CN117593689A - 一种基于计算机视觉的矿山人员危险行为识别方法及*** - Google Patents
一种基于计算机视觉的矿山人员危险行为识别方法及*** Download PDFInfo
- Publication number
- CN117593689A CN117593689A CN202311374064.3A CN202311374064A CN117593689A CN 117593689 A CN117593689 A CN 117593689A CN 202311374064 A CN202311374064 A CN 202311374064A CN 117593689 A CN117593689 A CN 117593689A
- Authority
- CN
- China
- Prior art keywords
- dangerous
- behavior recognition
- dangerous behavior
- behavior
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000006399 behavior Effects 0.000 claims abstract description 323
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 238000010276 construction Methods 0.000 claims abstract description 42
- 238000005065 mining Methods 0.000 claims abstract description 24
- 238000007781 pre-processing Methods 0.000 claims abstract description 17
- 238000002372 labelling Methods 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 13
- 238000011176 pooling Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 description 7
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于计算机视觉的矿山人员危险行为识别方法，包括以下步骤：S1、采集包含危险行为的危险行为视频数据，将危险行为视频数据上传至数据构建子***进行预处理和危险行为预标注，得到危险行为数据集；数据构建子***将危险行为数据集发送至行为识别子***；S2、行为识别子***根据危险行为数据集，对行为识别模块中的行为识别算法进行训练，得到危险行为识别模型；S3、通过目标检测模块对矿山视频数据进行目标检测，得到第一信息；通过危险行为识别模型对第一信息进行危险行为识别。本发明还公开了一种基于计算机视觉的矿山人员危险行为识别***。
Description
技术领域
本发明涉及安全监察领域，尤其涉及一种基于计算机视觉的矿山人员危险行为识别方法及***。
背景技术
随着矿山开采业的快速发展，矿山安全问题已成为一个日益严重的社会问题。为了保障矿山工人的生命安全，实现对矿山安全的有效管控，矿山危险行为识别研究显得尤为重要。矿山安全风险高发，主要原因是矿山开采过程中存在大量的危险因素，如矿井瓦斯***、矿井突水、矿井坍塌等，这些危险因素往往是由于矿山工人的危险行为导致的。因此，对矿山危险行为进行识别，并根据识别到的危险行为对人员进行管控，是防止矿山事故发生的关键。矿山危险行为识别研究旨在通过对矿山工人的行为进行监控和分析，识别出可能导致事故发生的危险行为，从而采取相应的措施进行预防和控制。
随着矿山作业自动化程度的提高，对作业现场的***提出了更高的要求。矿山危险行为识别的准确性对于预防事故和降低损失具有重要意义。然而，现如今的矿山***工作中，通常为人工对矿山工人的危险行为进行监管和识别，人工监管识别不仅需要投入大量的人力，还容易受到环境干扰、监管人员疲劳等因素的影响，监管效果通常不尽如人意，无法实时和准确地对矿山工人的危险行为进行识别。
因此，亟需一种能够解决传统的矿山安全人工监察识别方法无法实时和准确地对矿山人员的危险行为进行识别的技术问题的方案。
发明内容
本发明提供了一种基于计算机视觉的矿山人员危险行为识别方法及***，用以解决传统的矿山安全人工监察识别方法无法实时和准确地对矿山人员的危险行为进行识别的技术问题。
为实现上述目的，本发明提供了一种基于计算机视觉的矿山人员危险行为识别方法，用于基于计算机视觉的矿山人员危险行为识别***，***包括数据集构建子***和行为识别子******，数据集构建子***和行为识别子***之间通信连接，行为识别子***包括目标检测模块和行为识别模块，方法包括以下步骤：
S1、采集包含危险行为的危险行为视频数据，将危险行为视频数据上传至数据构建子***进行预处理和危险行为预标注，得到危险行为数据集；数据构建子***将危险行为数据集发送至行为识别子***；
S2、行为识别子***根据危险行为数据集，对行为识别模块中的行为识别算法进行训练，得到危险行为识别模型；
S3、通过目标检测模块对矿山视频数据进行目标检测，得到第一信息；通过危险行为识别模型对第一信息进行危险行为识别。
优选的，将危险行为视频数据上传至数据构建子***进行预处理和危险行为预标注包括：
通过数据集构建子***将危险行为视频数据进行裁剪和分帧；得到危险行为视频帧；
通过数据集构建子***将危险行为视频帧进行预标注得到危险行为数据集，危险行为数据集包括视频名称、视频帧序数、人员的锚框坐标、行为序号标签和人员序号标签。
优选的，通过数据集构建子***将危险行为视频帧进行预标注得到危险行为数据集包括：
对经过预标注的结果进行满足预设要求的锚框位置和大小的人工微调，得到第一数据集；将第一数据集转换为行为识别子***能够识别的数据集格式，得到危险行为数据集。
优选的，第一信息包括矿山人员的锚选坐标信息和视频信息；通过危险行为识别模型对第一信息进行危险行为识别后，若识别到危险行为，通过行为识别子***发出危险警告信息、记录危险行为信息。
优选的，人工采集危险行为视频数据包括：
通过使用视频采集设备采集具备预设视频质量和视频时长的视频数据，且视频数据中包含体现危险行为类别的第二信息，第二信息用于数据构建子***进行预处理和危险行为预标注。
优选的，危险行为预标注中采用Faster-RCNN算法对人员进行检测定位，包括以下步骤：
步骤一：通过一个经过预训练的深度卷积神经网络对输入的第二信息中原始图像进行特征提取；
步骤二：通过RPN网络将特征生成区域候选；
步骤三：将候选区域进行RoI池化，转换成统一的大小；
步骤四：将经过RoI池化后的特征送入用于判断候选区域的物体类别和用于精细调整候选区域的位置和尺寸的两个全连接网络，完成对第二信息中人员的位置定位。
优选的，在S3中，通过目标检测模块对矿山视频数据进行目标检测包括：
通过部署在矿山各区域的视频监控设备采集视频信息，发送至目标检测模块；目标检测模块采用Faster-RCNN算法进行人员目标检测，得到第一信息。
优选的，行为识别算法包括SlowFast行为识别算法；行为识别子***根据危险行为数据集，对行为识别模块中的SlowFast行为识别算法进行训练，得到危险行为识别模型；
通过危险行为识别模型对第一信息进行危险行为识别，包括以下步骤：
步骤一：将第一信息的视频帧输入到危险行为识别模型的慢路径和快路径两个路径中；
步骤二：在慢路径和快路径两个路径上都进行3D卷积操作，捕获视频帧内物体的空间信息和时间信息；
步骤三：选取快路径网络的一部分输出特征图，然后经过时间维度的降采样和卷积操作，将其与慢路径中相应层级的特征图结合起来；
步骤四：将慢路径和快路径的特征进行融合，得到融合的特征；
步骤五：将融合的特征输入分类器，将特征进行分类，输出视频帧中的行为预测结果，识别出危险行为。
优选的，通过危险行为识别模型对第一信息进行危险行为识别，还包括：
使用交叉熵损失函数来持续优化危险行为识别模型的参数，使危险行为识别模型的预测行为类别与实际行为类别的差距缩小。
本发明还提供了一种基于计算机视觉的矿山人员危险行为识别***，包括数据集构建子***和行为识别子***，数据集构建子***和行为识别子***之间通信连接；
数据集构建子***用于将人工采集的危险行为视频数据进行预处理和危险行为预标注，得到危险行为数据集；并将危险行为数据集发送至行为识别子***；
行为识别子***包括目标检测模块和行为识别模块；行为识别子***用于根据危险行为数据集对行为识别模块中的行为识别算法进行训练，得到危险行为识别模型；目标检测模块用于对矿山视频数据进行目标检测，得到第一信息；行为识别模块用于对第一信息进行危险行为识别。
本发明具有以下有益效果：
本发明的基于计算机视觉的矿山人员危险行为识别方法，通过使用经过预处理和危险行为预标注的危险行为数据集对行为识别算法进行训练，得到危险行为识别模型，使得本发明的算法在训练时能够能快地达到识别危险行为的效果；首先通过目标检测模块检测出目标，再将本发明的危险行为识别模型用于检测出的目标，对目标进行危险行为的识别，使得目标危险行为的检测效率和速度大大提升，能够实时且准确地对矿山人员的危险行为进行识别。
在行为识别的过程中，先采用目标检测算法进行目标检测，再采用行为识别算法进行行为识别，相比于直接利用行为识别算法，目标检测算法可以优先得到人类的精确地锚框信息，为行为识别提供关注点，使本发明可以得到人员锚框信息以及更精准的行为识别。
本发明的基于计算机视觉的矿山人员危险行为识别***用于本发明的方法，与本发明的方法有着相同的有益效果。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照附图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明优选实施例1的危险行为识别流程图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
参见图1，本发明优选实施例中，提供了一种基于计算机视觉的矿山人员危险行为识别方法，用于数据集构建子***和行为识别子***互相协作的***中，数据集构建子***和行为识别子***之间通信连接，行为识别子***包括目标检测模块和行为识别模块；方法包括以下步骤：
S1、人工采集危险行为视频数据，将危险行为视频数据上传至数据构建子***进行预处理和危险行为预标注，得到危险行为数据集；数据构建子***将危险行为数据集发送至行为识别子***；
人工采集危险行为视频数据包括：
通过使用视频采集设备采集具备预设视频质量和视频时长的视频数据，且视频数据中包含体现危险行为类别的第二信息，第二信息用于数据构建子***进行预处理和危险行为预标注。
本发明优选实施例中，通过使用视频采集设备采集具备预设视频质量和视频时长的视频数据，防止本方法后续处理过程中裁剪不出有效内容充足的视频数据，为数据提供有效的支撑效果。
将危险行为视频数据上传至数据构建子***进行预处理和危险行为预标注包括：
通过数据集构建子***将危险行为视频数据进行预处理，预处理包括视频数据的裁剪和分帧；危险行为视频数据经过预处理得到危险行为视频帧；
本发明优选实施例中，预处理使用开源、跨平台的多媒体处理工具FFmpeg对视频中有效的行为数据进行裁剪，以及对视频数据进行分帧操作。
通过数据集构建子***将危险行为视频帧进行预标注得到危险行为数据集，危险行为数据集包括视频名称、视频帧序数、人员的锚框坐标、行为序号标签和人员序号标签。
危险行为预标注中采用Faster-RCNN算法对人员进行检测定位，包括以下步骤：
步骤一：通过一个经过预训练的深度卷积神经网络对输入的第二信息中原始图像进行特征提取。
本发明优选实施例中，Faster RCNN算法作为一种CNN网络目标检测方法，首先使用一组基础的卷积层、relu激活函数、池化层层提取图片的特征图，该特征图被共享用于后续RPN层和全连接层，这样可以将原始图像转换为特征图；特征图包含了图像的重要信息，但是具有更小的空间维度。
步骤二：通过RPN网络(区域提议网络)将特征生成区域候选。
本发明优选实施例中，通过softmax判断锚框属于正类或者负类，再利用boundingbox回归修正锚框获得精确的候选。Faster RCNN则抛弃了传统的滑动窗口和SS方法，直接使用RPN生成检测框，这也是Faster R-CNN的巨大优势，能极大提升检测框的生成速度。
步骤三：将候选区域进行RoI池化，转换成统一的大小。
本发明优选实施例中，由于候选区域的大小和形状各不相同，所以需要将它们转换成统一的大小，以便输入到后续的分类和定位网络中。这个过程称为RoI池化。RoI池化可以对每个候选区域进行最大池化，使得无论区域的大小如何，都能得到固定大小的输出特征。
步骤四：将经过RoI池化后的特征送入用于判断候选区域的物体类别和用于精细调整候选区域的位置和尺寸的两个全连接网络，完成对第二信息中人员的位置定位。
本发明优选实施例中，RoI池化后得到的特征会被送入两个全连接的网络：一个是用于分类的网络，用于判断候选区域的物体类别；另一个是用于回归的网络，用于精细调整候选区域的位置和尺寸，使其更准确地覆盖到真正的物体。经过以上步骤，Faster-RCNN通过这些步骤完成对人员的位置定位，可以将位置区域信息用作对人员的锚框坐标的预标注，输出格式为JSON格式，用于人工微调。
本发明优选实施例中，通过数据集构建子***将危险行为视频帧进行预标注得到危险行为数据集包括：
对经过预标注的结果进行锚框位置和大小的人工微调，得到第一数据集；将第一数据集转换为行为识别子***能够识别的数据集格式，得到危险行为数据集。
本发明优选实施例中，对于预标注的结果，开发人员使用via3工具进行查看和微调。主要内容为调整锚框的大小和位置，以更好标注人员锚框坐标信息。
本发明优选实施例中，将标注信息微调之后，重新上传至数据集构建子***，子***将标注文件的via格式转化为AVA格式，包括有两个步骤：首先，根据via标注文件将会生成训练集和测试集的标注文件(包含视频名称、视频帧ID，人员位置信息，人员ID，危险行为标签)和对应的压缩文件，生成设定的危险行为列表和字典，生成不包含危险行为的视频帧标注文件；其次，数据集构建子***将修改统一视频帧文件的名称，用于进行行为识别算法的训练，危险行为数据集的构建过程结束。
S2、行为识别子***根据危险行为数据集，对行为识别模块中的行为识别算法进行训练，得到危险行为识别模型；
本发明优选实施例中，采用Slowfast网络作为行为识别算法。Slowfast网络可以被描述为一个在两个不同帧率下运行的单一流架构。通用架构有一个缓慢的路径和一个快速的路径，通过横向连接融合到一个网络中。
对行为识别模块中的行为识别算法进行训练，得到危险行为识别模型具体包括：
从随机初始化开始进行训练的，不进行任何预训练，并使用同步的SGD(梯度下降法)训练。在时间域，算法网络从危险行为数据集中随机抽取一个视频片段(αT×τ帧)，其中算法网络的慢路径和快路径的输入分别为T帧和αT帧；对于空间域，我们从危险行为数据集的视频中随机裁剪224×224像素，或其水平翻转，在[256,320]像素中随机进行较短的边采样。
S3、通过目标检测模块对矿山视频数据进行目标检测，得到第一信息；通过危险行为识别模型对第一信息进行危险行为识别。
第一信息包括矿山人员的锚选坐标信息和视频信息；通过危险行为识别模型对第一信息进行危险行为识别后，若识别到危险行为，通过行为识别子***发出危险警告信息、记录危险行为信息。
在S3中，通过目标检测模块对矿山视频数据进行目标检测包括：
通过部署在矿山各区域的视频监控设备采集视频信息，发送至目标检测模块；目标检测模块采用Faster-RCNN算法进行人员目标检测，得到第一信息。
本发明优选实施例中，目标检测模块所采用的Faster-RCNN算法与危险行为预标注中采用Faster-RCNN算法相同，所采用的Faster-RCNN算法均在ImageNet和COCO的人类关键点图像数据集上进行了预训练，并对AVA数据集上目标检测算法进行了微调。采用经过上述处理掉的Faster-RCNN算法进行人员目标检测，能够精准提取人员的锚框位置信息，用于后续对危险行为识别的任务。
行为识别算法包括SlowFast行为识别算法；即行为识别子***根据危险行为数据集，对行为识别模块中的SlowFast行为识别算法进行训练，得到危险行为识别模型；
通过危险行为识别模型对第一信息进行危险行为识别，包括以下步骤：
步骤一：将第一信息的视频帧输入到慢路径和快路径两个路径中；
步骤二：在慢路径和快路径两个路径上都进行3D卷积操作，捕获视频帧内物体的空间信息和时间信息；
步骤三：选取快路径网络的一部分输出特征图，然后经过时间维度的降采样和卷积操作，将其与慢路径中相应层级的特征图结合起来；
步骤四：将慢路径和快路径的特征进行融合，得到融合的特征；
步骤五：将融合的特征输入分类器，如softmax分类器，将特征进行分类，输出视频帧中的行为预测结果，识别出危险行为。
通过危险行为识别模型对第一信息进行危险行为识别，还包括：
使用交叉熵损失函数来持续优化危险行为识别模型的参数，使危险行为识别模型的预测行为类别越来越接近实际行为类别；并使用预设的验证集来验证危险行为识别模型的准确度。
本发明优选实施例中，在验证集的mAP(平均精度均值)达到较为理想的数值(一般在29左右)后，停止危险行为识别模型的优化。
本发明优选实施例中，还可以采用各种优化器(如Adam、SGD等)和学习率策略来调整模型的。
本发明优选实施例中，在行为识别的过程中，先采用目标检测算法进行目标检测，再采用行为识别算法进行行为识别，相比于直接利用行为识别算法，目标检测算法可以优先得到人类的精确地锚框信息，为行为识别提供关注点，使本发明可以得到人员锚框信息以及更精准的行为识别。
本发明优选实施例的基于计算机视觉的矿山人员危险行为识别方法，通过使用经过预处理和危险行为预标注的危险行为数据集对行为识别算法进行训练，得到危险行为识别模型，使得本发明的算法在训练时能够能快地达到识别危险行为的效果；首先通过目标检测模块检测出目标，再将本发明的危险行为识别模型用于检测出的目标，对目标进行危险行为的识别，使得目标危险行为的检测效率和速度大大提升，能够实时且准确地对矿山人员的危险行为进行识别。本发明的方法将计算机视觉应用到如今的生产生活中去，能解放人力提高效率，减少安全事故的产生，让生产者更安心于现有工作，管理人员也更好的对工地全局进行管控，让生产安全得到更好的保障。
本发明优选实施例中，还提供了一种基于计算机视觉的矿山人员危险行为识别***，包括数据集构建子***和行为识别子***，数据集构建子***和行为识别子***之间通信连接；
数据集构建子***用于将人工采集的危险行为视频数据进行预处理和危险行为预标注，得到危险行为数据集；并将危险行为数据集发送至行为识别子***；
行为识别子***包括目标检测模块和行为识别模块；行为识别子***用于根据危险行为数据集对行为识别模块中的行为识别算法进行训练，得到危险行为识别模型；目标检测模块用于对矿山视频数据进行目标检测，得到第一信息；行为识别模块用于对第一信息进行危险行为识别。
本发明的基于计算机视觉的矿山人员危险行为识别***用于本发明的方法，与本发明的方法有着相同的有益效果。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于计算机视觉的矿山人员危险行为识别方法，用于基于计算机视觉的矿山人员危险行为识别***，所述***包括数据集构建子***和行为识别子******，所述数据集构建子***和行为识别子***之间通信连接，所述行为识别子***包括目标检测模块和行为识别模块，其特征在于，所述方法包括以下步骤：
S1、采集包含危险行为的危险行为视频数据，将所述危险行为视频数据上传至所述数据构建子***进行预处理和危险行为预标注，得到危险行为数据集；所述数据构建子***将所述危险行为数据集发送至所述行为识别子***；
S2、所述行为识别子***根据所述危险行为数据集，对所述行为识别模块中的行为识别算法进行训练，得到危险行为识别模型；
S3、通过所述目标检测模块对矿山视频数据进行目标检测，得到第一信息；通过所述危险行为识别模型对所述第一信息进行危险行为识别。
2.根据权利要求1所述的基于计算机视觉的矿山人员危险行为识别方法，其特征在于，将所述危险行为视频数据上传至所述数据构建子***进行预处理和危险行为预标注包括：
通过数据集构建子***将所述危险行为视频数据进行裁剪和分帧；得到危险行为视频帧；
通过数据集构建子***将所述危险行为视频帧进行预标注得到危险行为数据集，所述危险行为数据集包括视频名称、视频帧序数、人员的锚框坐标、行为序号标签和人员序号标签。
3.根据权利要求2所述的基于计算机视觉的矿山人员危险行为识别方法，其特征在于，通过数据集构建子***将所述危险行为视频帧进行预标注得到危险行为数据集包括：
对经过预标注的结果进行满足预设要求的锚框位置和大小的人工微调，得到第一数据集；将所述第一数据集转换为所述行为识别子***能够识别的数据集格式，得到危险行为数据集。
4.根据权利要求3所述的基于计算机视觉的矿山人员危险行为识别方法，其特征在于，所述第一信息包括矿山人员的锚选坐标信息和视频信息；通过所述危险行为识别模型对所述第一信息进行危险行为识别后，若识别到危险行为，通过所述行为识别子***发出危险警告信息、记录危险行为信息。
5.根据权利要求4所述的基于计算机视觉的矿山人员危险行为识别方法，其特征在于，所述人工采集危险行为视频数据包括：
通过使用视频采集设备采集具备预设视频质量和视频时长的视频数据，且所述视频数据中包含体现危险行为类别的第二信息，所述第二信息用于所述数据构建子***进行预处理和危险行为预标注。
6.根据权利要求5所述的基于计算机视觉的矿山人员危险行为识别方法，其特征在于，所述危险行为预标注中采用Faster-RCNN算法对人员进行检测定位，包括以下步骤：
步骤一：通过一个经过预训练的深度卷积神经网络对输入的第二信息中原始图像进行特征提取；
步骤二：通过RPN网络将所述特征生成区域候选；
步骤三：将所述候选区域进行RoI池化，转换成统一的大小；
步骤四：将经过RoI池化后的特征送入用于判断候选区域的物体类别和用于精细调整候选区域的位置和尺寸的两个全连接网络，完成对第二信息中人员的位置定位。
7.根据权利要求1所述的基于计算机视觉的矿山人员危险行为识别方法，其特征在于，在S3中，通过所述目标检测模块对矿山视频数据进行目标检测包括：
通过部署在矿山各区域的视频监控设备采集视频信息，发送至所述目标检测模块；所述目标检测模块采用Faster-RCNN算法进行人员目标检测，得到第一信息。
8.根据权利要求1所述的基于计算机视觉的矿山人员危险行为识别方法，其特征在于，所述行为识别算法包括SlowFast行为识别算法；所述行为识别子***根据所述危险行为数据集，对所述行为识别模块中的SlowFast行为识别算法进行训练，得到危险行为识别模型；
通过所述危险行为识别模型对所述第一信息进行危险行为识别，包括以下步骤：
步骤一：将所述第一信息的视频帧输入到危险行为识别模型的慢路径和快路径两个路径中；
步骤二：在慢路径和快路径两个路径上都进行3D卷积操作，捕获视频帧内物体的空间信息和时间信息；
步骤三：选取快路径网络的一部分输出特征图，然后经过时间维度的降采样和卷积操作，将其与慢路径中相应层级的特征图结合起来；
步骤四：将慢路径和快路径的特征进行融合，得到融合的特征；
步骤五：将所述融合的特征输入分类器，将特征进行分类，输出视频帧中的行为预测结果，识别出危险行为。
9.根据权利要求8所述的基于计算机视觉的矿山人员危险行为识别方法，其特征在于，通过所述危险行为识别模型对所述第一信息进行危险行为识别，还包括：
使用交叉熵损失函数来持续优化所述危险行为识别模型的参数，使所述危险行为识别模型的预测行为类别与实际行为类别的差距缩小。
10.一种基于计算机视觉的矿山人员危险行为识别***，其特征在于，包括数据集构建子***和行为识别子***，所述数据集构建子***和行为识别子***之间通信连接；
所述数据集构建子***用于将人工采集的危险行为视频数据进行预处理和危险行为预标注，得到危险行为数据集；并将所述危险行为数据集发送至所述行为识别子***；
所述行为识别子***包括目标检测模块和行为识别模块；所述行为识别子***用于根据所述危险行为数据集对所述行为识别模块中的行为识别算法进行训练，得到危险行为识别模型；所述目标检测模块用于对矿山视频数据进行目标检测，得到第一信息；所述行为识别模块用于对所述第一信息进行危险行为识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311374064.3A CN117593689A (zh) | 2023-10-20 | 2023-10-20 | 一种基于计算机视觉的矿山人员危险行为识别方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311374064.3A CN117593689A (zh) | 2023-10-20 | 2023-10-20 | 一种基于计算机视觉的矿山人员危险行为识别方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117593689A true CN117593689A (zh) | 2024-02-23 |
Family
ID=89919158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311374064.3A Pending CN117593689A (zh) | 2023-10-20 | 2023-10-20 | 一种基于计算机视觉的矿山人员危险行为识别方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117593689A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975376A (zh) * | 2024-04-02 | 2024-05-03 | 湖南大学 | 基于深度分级融合残差网络的矿山作业安全检测方法 |
-
2023
- 2023-10-20 CN CN202311374064.3A patent/CN117593689A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975376A (zh) * | 2024-04-02 | 2024-05-03 | 湖南大学 | 基于深度分级融合残差网络的矿山作业安全检测方法 |
| CN117975376B (zh) * | 2024-04-02 | 2024-06-07 | 湖南大学 | 基于深度分级融合残差网络的矿山作业安全检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110738127B (zh) | 基于无监督深度学习神经网络算法的安全帽识别方法 | |
| CN111967393B (zh) | 一种基于改进YOLOv4的安全帽佩戴检测方法 | |
| CN111353413B (zh) | 一种输电设备低漏报率缺陷识别方法 | |
| CN109670446B (zh) | 基于线性动态***和深度网络的异常行为检测方法 | |
| CN110084165B (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
| CN112396658B (zh) | 一种基于视频的室内人员定位方法及定位*** | |
| CN111222478A (zh) | 一种工地安全防护检测方法和*** | |
| CN111784685A (zh) | 一种基于云边协同检测的输电线路缺陷图像识别方法 | |
| CN112200043A (zh) | 面向室外施工现场的危险源智能识别***及方法 | |
| CN111179249A (zh) | 一种基于深度卷积神经网络的电力设备检测方法和装置 | |
| CN117593689A (zh) | 一种基于计算机视觉的矿山人员危险行为识别方法及*** | |
| CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
| CN111091110A (zh) | 一种基于人工智能的反光背心穿戴识别方法 | |
| CN114648714A (zh) | 一种基于yolo的车间规范行为的监测方法 | |
| CN110458794B (zh) | 用于轨道列车的配件质量检测方法及装置 | |
| Prasad et al. | Review on Machine Vision based Insulator Inspection Systems for Power Distribution System. | |
| CN112184773A (zh) | 一种基于深度学习的安全帽佩戴检测方法及*** | |
| CN114998830A (zh) | 一种变电站人员安全帽佩戴检测方法及*** | |
| CN115035088A (zh) | 一种基于yolov5和姿态估计的安全帽佩戴检测方法 | |
| CN112508911A (zh) | 基于巡检机器人的轨交接触网悬挂支撑部件裂纹检测***及其检测方法 | |
| CN116259002A (zh) | 一种基于视频的人体危险行为分析方法 | |
| CN117197713A (zh) | 一种基于数字视频监控***的提取方法 | |
| CN107330441A (zh) | 火焰图像前景提取算法 | |
| CN117423157A (zh) | 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法 | |
| CN116934674A (zh) | 一种基于YOLOv8网络的大粒度硅料检测与清除*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |