WO2023082407A1 - 一种检测抽烟行为的网络模型训练方法及其设备 - Google Patents
一种检测抽烟行为的网络模型训练方法及其设备 Download PDFInfo
- Publication number
- WO2023082407A1 WO2023082407A1 PCT/CN2021/138039 CN2021138039W WO2023082407A1 WO 2023082407 A1 WO2023082407 A1 WO 2023082407A1 CN 2021138039 W CN2021138039 W CN 2021138039W WO 2023082407 A1 WO2023082407 A1 WO 2023082407A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- network model
- data set
- image
- training data
- detection frame
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 115
- 230000000391 smoking effect Effects 0.000 title claims abstract description 100
- 230000006399 behavior Effects 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 87
- 238000002372 labelling Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000007796 conventional method Methods 0.000 abstract 1
- 238000010276 construction Methods 0.000 description 14
- 210000000988 bone and bone Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 210000002411 hand bone Anatomy 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000610 foot bone Anatomy 0.000 description 1
- 210000001930 leg bone Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Definitions
- the initial network model includes a one-stage network model and a two-stage network model
- the filtered detection frame is fused with the corresponding image.
- said generating the judgment result about smoking behavior in each image in said training data set includes:
- the memory 41 is used to store program data
- the processor 42 is used to execute the program data to implement the network model training method described in the above-mentioned embodiments.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种检测抽烟行为的网络模型训练方法及其设备。该网络模型训练方法包括：建立初始网络模型；获取关于抽烟行为的训练数据集，以及对训练数据集进行标注，得到关于训练数据集的标注信息；将训练数据集及其标注信息输入一阶段网络模型，生成训练数据集中每一图像的检测框；将训练数据集中每一图像及其检测框输入所述二阶段网络模型，生成训练数据集中每一图像中关于抽烟行为的判断结果；基于判断结果对一阶段网络模型和二阶段网络模型进行训练，以得到检测抽烟行为的预设网络模型。通过上述方式，本申请的网络模型训练方法能够得到网络模型用于检测抽烟行为，解决了传统方法的局限性，且具有较好的准确性。
Description
本申请涉及图像识别技术领域，特别是涉及一种检测抽烟行为的网络模型训练方法及其设备。
吸烟行为是建筑工地现场***令之一，若不加以控制会增加引发火灾的可能，从而造成重大财产损失和人员伤亡的事故发生。目前建筑工地作业现场大多是通过烟雾探测器和人工监控方式对吸烟行为进行管控，但烟雾传感器受空间限制，在户外场景下即空间很大时，烟雾传感器检测的准确率会降低，而人工监控方式在浪费人力的同时又无法实现检测的实时性。因此，在建筑工地作业现场精准又实时地检测吸烟行为是一个急需解决的难题。
传统工人的不安全行为检测方法基于人工检测，人工检测完全依赖于人力，检测准确度取决于检测人员的注意力集中程度，随着建筑工地的覆盖面积越来越大，依靠人力来检测工地中的工人是否存在不安全行为越发困难。
发明内容
本申请提供了一种检测抽烟行为的网络模型训练方法及其设备。
本申请提供了一种检测抽烟行为的网络模型训练方法，所述网络模型训练方法包括：
建立初始网络模型，其中，所述初始网络模型包括一阶段网络模型和二阶段网络模型；
获取关于所述抽烟行为的训练数据集，以及对所述训练数据集进行标注，得到关于所述训练数据集的标注信息；
将所述训练数据集及其标注信息输入所述一阶段网络模型，生成所述训练数据集中每一图像的检测框；
将所述训练数据集中每一图像及其检测框输入所述二阶段网络模型，生成所述训练数据集中每一图像中关于抽烟行为的判断结果；
基于所述判断结果对所述一阶段网络模型和所述二阶段网络模型进行训练，以得到检测抽烟行为的预设网络模型。
其中，所述获取关于所述抽烟行为的训练数据集，包括：
在不同外界条件下，对预设场景中的抽烟行为进行图像采集，得到抽烟行为图像；
在不同外界条件下，对预设场景中的未抽烟行为进行图像采集，得到未抽烟行为图像；
基于所述抽烟行为图像和所述未抽烟行为图像，建立所述训练数据集。
其中，所述对所述训练数据集进行标注，包括：
在所述训练数据集中每一图像中标注工人检测框，以及工人骨骼点；
其中，所述工人骨骼点包括基本骨骼点和手部骨骼点。
其中，所述将所述训练数据集及其标注信息输入所述一阶段网络模型，包括：
对所述训练数据集中所有图像进行归一化处理；
将归一化处理后的图像及其标注信息输入所述一阶段网络模型。
其中，所述一阶段网络模型的损失函数包括检测框分类损失函数和检测框坐标损失函数；
其中，所述检测框分类损失函数用于学习预测检测框中人物分类置信度与标注检测框中人物分类置信度之间的关系，所述检测框坐标损失函数用于学习预测检测框的坐标位置与标注检测框的坐标位置之间的关系。
其中，所述将所述训练数据集中每一图像及其检测框输入所述二阶段网络模型之前，所述网络模型训练方法还包括：
采用预设算法对所述图像中的检测框进行筛选；
将筛选后的检测框与对应的图像进行融合。
其中，所述生成所述训练数据集中每一图像中关于抽烟行为的判断结果，包括：
获取预先标注的真实抽烟动作；
将所述训练数据集中每一图像及其检测框输入所述二阶段网络模型，以获取每一图像的检测框中的预设抽烟动作；
计算所述真实抽烟动作与所述预设抽烟动作的姿态距离；
当所述姿态距离小于预设阈值时，确认该图像的检测框范围存在抽烟行为。
其中，所述计算所述真实抽烟动作与所述预设抽烟动作的姿态距离，包括：
获取所述真实抽烟动作与所述预设抽烟动作相匹配的关节数；
计算所述真实抽烟动作与所述预设抽烟动作中相同关节的空间距离；
由所述相匹配的关节数以及所述相同关节的空间距离，计算所述真实抽烟动作与所述预设抽烟动作的姿态距离。
其中，所述网络模型训练方法还包括：
获取实时监控图像；
将所述实时监控图像输入所述预设网络模型，以获取所述预设网络模型输出的判断结果；
基于所述判断结果确认所述实时监控图像中是否存在抽烟行为。
本申请还提供了一种终端设备，所述终端设备包括存储器和处理器，其中，所述存储器与所述处理器耦接；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的网络模型训练方法。
本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的网络模型训练方法。
本申请的有益效果是：终端设备建立初始网络模型；获取关于抽烟 行为的训练数据集，以及对训练数据集进行标注，得到关于训练数据集的标注信息；将训练数据集及其标注信息输入一阶段网络模型，生成训练数据集中每一图像的检测框；将训练数据集中每一图像及其检测框输入所述二阶段网络模型，生成训练数据集中每一图像中关于抽烟行为的判断结果；基于判断结果对一阶段网络模型和二阶段网络模型进行训练，以得到检测抽烟行为的预设网络模型。通过上述方式，本申请的网络模型训练方法能够得到网络模型用于检测抽烟行为，解决了传统方法的局限性，且具有较好的准确性。
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的检测抽烟行为的网络模型训练方法一实施例的流程示意图；
图2是本申请提供的整体网络模型一实施例的框架示意图；
图3是本申请提供的终端设备一实施例的结构示意图；
图4是本申请提供的终端设备一实施例的结构示意图；
图5是本申请提供的计算机存储介质一实施例的结构示意图。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为解决上述技术问题，本申请公开了一种基于深度学习的建筑工地工人不安全行为的两阶段检测方法，适用于各大城市建筑工地的工人行 为检测领域，该方法通过将预处理过的建筑工地工人不安全行为图片数据训练第一阶段深度神经网络，一阶段网络负责生成工人检测框，将检测框作为第二阶段深度神经网络的训练数据，二阶段网络负责检测工人的行为。该方法基于深度学习框架，对各种难以量化的外部因素具有良好的自主学习能力、容错能力和泛化能力，并且具有良好的扩展性，预测精度较高。针对目前建筑工地的逐渐普及，以工人吸烟为例，工地逐步全面禁止吸烟等问题，该方法可以实现建筑工地工人不安全行为的自动监测与报警，降低了建筑工地管理成本，提高建筑施工的安全性和可靠性。
具体请参阅图1，图1是本申请提供的检测抽烟行为的网络模型训练方法一实施例的流程示意图。
其中，本申请的网络模型训练方法应用于一种终端设备，其中，本申请的终端设备可以为服务器，也可以为由服务器和移动终端相互配合的***。相应地，终端设备包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和移动终端中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本申请实施例的网络模型训练方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
具体而言，如图1所示，本申请实施例的网络模型训练方法具体包括以下步骤：
步骤S11：建立初始网络模型，其中，初始网络模型包括一阶段网络模型和二阶段网络模型。
在本申请实施例中，终端设备建立如图2所示的初始网络模型，其中，初始网络模型包括一阶段网络模型和二阶段网络模型，一阶段网络 模型负责生成工人检测框，而二阶段网络模型负责检测工人的行为。
具体地，一阶段网络模型可以基于faster-rcnn设置，二阶段网路模型可以基于RMPE:Regional Multi-Person Pose Estimation设置。在其他实施例中，也可以采用其他可行的网络模型搭建初始网络模型。
步骤S12：获取关于抽烟行为的训练数据集，以及对训练数据集进行标注，得到关于训练数据集的标注信息。
在本申请实施例中，终端设备收集建筑工地工人图像，建立训练数据集。工作人员在训练数据集中使用标注工具标注图像中工人的具***置，即标注工人检测框，标注工人基础骨骼点，详细标注手部骨骼点。其中，基础骨骼点包括躯干骨骼点、手部骨骼点、腿部骨骼点、脚部骨骼点等；手部骨骼点包括肩部骨骼点，手肘骨骼点，手腕骨骼点，掌心骨骼点以及五个手指骨骼点，共9个手部骨骼点。进一步地，工作人员还需要给训练数据集中每一个图像打赏标注，以标注图像中工人的行为是否属于抽烟行为。
具体地，工作人员对建筑工地场景下工人抽烟行为的训练数据集进行图像采集时，需要包括不同光照条件下，包含不同尺度的抽烟行为，以及未抽烟行为的图像采集，以丰富训练数据集的内容。
步骤S13：将训练数据集及其标注信息输入一阶段网络模型，生成训练数据集中每一图像的检测框。
在本申请实施例中，如图2所示，终端设备将训练数据集中的所有图像经过卷积层的卷积处理后，得到每一张图像的特征图。然后，终端设备将图像特征图进行归一化处理，将归一化处理后的图像特征图以及人工标注的标注信息同时输入一阶段网络模型，以获取一阶段网络模型在图像特征图上生成的预测检测框。
具体地，终端设备通过候选区域网络在图像特征图上生成若干候选区域，然后通过分类器选择出关于抽烟行为的感兴趣区域，以生成预测检测框。
进一步地，本申请实施例对于一阶段网络模型设置的损失函数定义如下：
其中，i是预测检测框，即一阶段网络模型生成的锚点框的索引。p
i是第i个预测检测框中存在工人的置信度，真实标签
表示当预测检测框中存在工人，真实标签
表示当预测检测框中不存在工人，仅为背景。
是第i个标注预测框的真实位置坐标，t
i是第i个预测检测框的位置坐标，包括[t
x,t
y,t
w,t
h]四个参数。N
cls为检测框分类损失函数的调整参数，N
reg和λ为检测框坐标损失函数的调整函数。由此可知，一阶段网络模型的损失函数具体由检测框分类损失函数和检测框坐标损失函数两部分组成。
在检测框回归中，[t
x,t
y,t
w,t
h]四个参数的定义如下：
t
x＝(x-x
a)/w
a t
y＝(y-y
a)/h
a t
w＝log(w/w
a) t
h＝log(h/h
a)
其中，[x，y，w，h]分别为预测检测框的中心坐标、宽度以及高度，[x
a，y
a，w
a，h
a]分别为标注检测框的中心坐标、宽度以及高度，[t
x,t
y,t
w,t
h]四个参数用于表征预测检测框与标注检测框之间的偏移。
在将预测检测框输入二阶段网络模型之前，终端设备还可以将一阶段网络模型生成的预测检测框使用NMS(非极大值抑制，Non-Maximum Suppression)算法筛选后再与图像特征图融合，并将融合结果输入二阶段网络模型，二阶段网络模型主要对一阶段网络模型生成的检测框通过姿态分析方法进行再次选择，生成最后的结果。
其中，本申请实施例关于NMS算法的定义如下：
Input∶B＝{b
1…b
N},S＝{s
1…s
N},N
t
B is the list of initial detection boxes
S contains cooresponding detection scores
N
t is the NMS threshold
具体地，终端设备输入一个图像特征图及其所有预测检测框B＝{b
1…b
N}，每个预测检测框对应的置信度S＝{s
1…s
N}。循环执行以下步骤，直至遍历所有预测检测框：获取B中置信度最高的预测检测框，然后计算置信度最高的预测检测框与其他预测检测框的交并比，当交并比大于预设阈值N
t时，删除该预测检测框及其置信度；当交并比小于等于预设阈值N
t时，保留该预测检测框及其置信度。
基于NMS算法遍历所有预测检测框后，将保留的预测检测框与图像特征图融合，并将融合结果输入到二阶段网络模型，其中。二阶段网络模型主要对一阶段网络模型生成的预测检测框通过姿态分析方法进行再次选择，生成最后的结果。
步骤S14：将训练数据集中每一图像及其检测框输入二阶段网络模型，生成训练数据集中每一图像中关于抽烟行为的判断结果。
在本申请实施例中，终端设备在二阶段网络模型中定义具有m个关节的抽烟动作
其中，
分别为第i个关节的 第j个位置坐标及其置信度。
二阶段网络模型根据步骤S13生成的预测检测框识别出预测检测框中的工人抽烟动作
假定抽烟动作P
i的检测框为
则可以定义软匹配函数，用于计算抽烟动作P
i和抽烟动作P
j两个姿态之间相匹配的关节数为：
其中，σ
1为软匹配函数的超参数。
进一步地，定义抽烟动作P
i和抽烟动作P
j两个姿态中各个相同关节之间的空间距离公式为：
其中，σ
2为空间距离公式的超参数。
最终，得到姿态距离函数：
d
pose(P
i,P
j|Λ)＝K
Sim(P
i,P
j|σ
1)+λH
Sim(P
i,P
j|σ
2)
由此可知，二阶段网络模型负责生成工人抽烟动作P
j，并计算工人抽烟动作P
j与标注的抽烟动作P
i之间的距离，当距离小于预设阈值时，则可以判断该动作属于抽烟动作。
步骤S15：基于判断结果对一阶段网络模型和二阶段网络模型进行训练，以得到检测抽烟行为的预设网络模型。
在本申请实施例中，终端设备可以分别基于一阶段网络模型和二阶段网络模型的损失函数对一阶段网络模型和二阶段网络模型进行训练，从而对图2整体的网络模型进行训练，最终得到检测抽烟行为的预设网络模型。
进一步地，训练好检测抽烟行为的预设网络模型后，终端设备即可获取实时监控图像；将所述实时监控图像输入所述预设网络模型，以获取所述预设网络模型输出的判断结果；基于所述判断结果确认所述实时监控图像中是否存在抽烟行为。
在本申请实施例中，终端设备建立初始网络模型；获取关于抽烟行为的训练数据集，以及对训练数据集进行标注，得到关于训练数据集的标注信息；将训练数据集及其标注信息输入一阶段网络模型，生成训练数据集中每一图像的检测框；将训练数据集中每一图像及其检测框输入所述二阶段网络模型，生成训练数据集中每一图像中关于抽烟行为的判断结果；基于判断结果对一阶段网络模型和二阶段网络模型进行训练，以得到检测抽烟行为的预设网络模型。通过上述方式，本申请的网络模型训练方法能够得到网络模型用于检测抽烟行为，解决了传统方法的局限性，且具有较好的准确性。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
为实现上述实施例的网络模型训练方法，本申请还提出了一种终端设备，具体请参阅图3，图3是本申请提供的终端设备一实施例的结构示意图。
本申请实施例的终端设备300包括建立模型模块31、数据获取模块32、行为判断模块33以及网络训练模块34；其中，
建立模型模块31，用于建立初始网络模型，其中，所述初始网络模型包括一阶段网络模型和二阶段网络模型。
数据获取模块32，用于获取关于所述抽烟行为的训练数据集，以及对所述训练数据集进行标注，得到关于所述训练数据集的标注信息。
行为判断模块33，用于将所述训练数据集及其标注信息输入所述一阶段网络模型，生成所述训练数据集中每一图像的检测框；将所述训练数据集中每一图像及其检测框输入所述二阶段网络模型，生成所述训练数据集中每一图像中关于抽烟行为的判断结果。
网络训练模块34，用于基于所述判断结果对所述一阶段网络模型和所述二阶段网络模型进行训练，以得到检测抽烟行为的预设网络模型。
为实现上述实施例的网络模型训练方法，本申请还提出了另一种终端设备，具体请参阅图4，图4是本申请提供的终端设备另一实施例的 结构示意图。
本申请实施例的终端设备400包括存储器41和处理器42，其中，存储器41和处理器42耦接。
存储器41用于存储程序数据，处理器42用于执行程序数据以实现上述实施例所述的网络模型训练方法。
在本实施例中，处理器42还可以称为CPU(Central Processing Unit，中央处理单元)。处理器42可能是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(DSP，Digital Signal Process)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现场可编程门阵列(FPGA，Field Programmable Gate Array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器42也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，如图5所示，计算机存储介质500用于存储程序数据51，程序数据51在被处理器执行时，用以实现如上述实施例所述的网络模型训练方法。
本申请还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本申请实施例所述的网络模型训练方法。该计算机程序产品可以为一个软件安装包。
本申请上述实施例所述的网络模型训练方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介 质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (11)
- 一种检测抽烟行为的网络模型训练方法，其特征在于，所述网络模型训练方法包括：建立初始网络模型，其中，所述初始网络模型包括一阶段网络模型和二阶段网络模型；获取关于所述抽烟行为的训练数据集，以及对所述训练数据集进行标注，得到关于所述训练数据集的标注信息；将所述训练数据集及其标注信息输入所述一阶段网络模型，生成所述训练数据集中每一图像的检测框；将所述训练数据集中每一图像及其检测框输入所述二阶段网络模型，生成所述训练数据集中每一图像中关于抽烟行为的判断结果；基于所述判断结果对所述一阶段网络模型和所述二阶段网络模型进行训练，以得到检测抽烟行为的预设网络模型。
- 根据权利要求1所述的网络模型训练方法，其特征在于，所述获取关于所述抽烟行为的训练数据集，包括：在不同外界条件下，对预设场景中的抽烟行为进行图像采集，得到抽烟行为图像；在不同外界条件下，对预设场景中的未抽烟行为进行图像采集，得到未抽烟行为图像；基于所述抽烟行为图像和所述未抽烟行为图像，建立所述训练数据集。
- 根据权利要求1所述的网络模型训练方法，其特征在于，所述对所述训练数据集进行标注，包括：在所述训练数据集中每一图像中标注工人检测框，以及工人骨骼点；其中，所述工人骨骼点包括基本骨骼点和手部骨骼点。
- 根据权利要求3所述的网络模型训练方法，其特征在于，所述将所述训练数据集及其标注信息输入所述一阶段网络模型，包括：对所述训练数据集中所有图像进行归一化处理；将归一化处理后的图像及其标注信息输入所述一阶段网络模型。
- 根据权利要求1或4所述的网络模型训练方法，其特征在于，所述一阶段网络模型的损失函数包括检测框分类损失函数和检测框坐标损失函数；其中，所述检测框分类损失函数用于学习预测检测框中人物分类置信度与标注检测框中人物分类置信度之间的关系，所述检测框坐标损失函数用于学习预测检测框的坐标位置与标注检测框的坐标位置之间的关系。
- 根据权利要求1所述的网络模型训练方法，其特征在于，所述将所述训练数据集中每一图像及其检测框输入所述二阶段网络模型之前，所述网络模型训练方法还包括：采用预设算法对所述图像中的检测框进行筛选；将筛选后的检测框与对应的图像进行融合。
- 根据权利要求1所述的网络模型训练方法，其特征在于，所述生成所述训练数据集中每一图像中关于抽烟行为的判断结果，包括：获取预先标注的真实抽烟动作；将所述训练数据集中每一图像及其检测框输入所述二阶段网络模型，以获取每一图像的检测框中的预设抽烟动作；计算所述真实抽烟动作与所述预设抽烟动作的姿态距离；当所述姿态距离小于预设阈值时，确认该图像的检测框范围存在抽烟行为。
- 根据权利要求7所述的网络模型训练方法，其特征在于，所述计算所述真实抽烟动作与所述预设抽烟动作的姿态距离，包括：获取所述真实抽烟动作与所述预设抽烟动作相匹配的关节数；计算所述真实抽烟动作与所述预设抽烟动作中相同关节的空间距离；由所述相匹配的关节数以及所述相同关节的空间距离，计算所述真 实抽烟动作与所述预设抽烟动作的姿态距离。
- 根据权利要求1所述的网络模型训练方法，其特征在于，所述网络模型训练方法还包括：获取实时监控图像；将所述实时监控图像输入所述预设网络模型，以获取所述预设网络模型输出的判断结果；基于所述判断结果确认所述实时监控图像中是否存在抽烟行为。
- 一种终端设备，其特征在于，所述终端设备包括存储器和处理器，其中，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现权利要求1-9任一项所述的网络模型训练方法。
- 一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现权利要求1-9任一项所述的网络模型训练方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111342312.7 | 2021-11-12 | ||
| CN202111342312.7A CN114170677A (zh) | 2021-11-12 | 2021-11-12 | 一种检测抽烟行为的网络模型训练方法及其设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023082407A1 true WO2023082407A1 (zh) | 2023-05-19 |
Family
ID=80479448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2021/138039 WO2023082407A1 (zh) | 2021-11-12 | 2021-12-14 | 一种检测抽烟行为的网络模型训练方法及其设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114170677A (zh) |
| WO (1) | WO2023082407A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116071624B (zh) * | 2023-01-28 | 2023-06-27 | 南京云创大数据科技股份有限公司 | 一种基于主动学习的抽烟检测数据标注方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052815A (zh) * | 2020-09-14 | 2020-12-08 | 北京易华录信息技术股份有限公司 | 一种行为检测方法、装置及电子设备 |
| CN112464895A (zh) * | 2020-12-14 | 2021-03-09 | 深圳市优必选科技股份有限公司 | 姿态识别模型训练方法、装置、姿态识别方法和终端设备 |
| CN113076903A (zh) * | 2021-04-14 | 2021-07-06 | 上海云从企业发展有限公司 | 一种目标行为检测方法、***、计算机设备及机器可读介质 |
| CN113392706A (zh) * | 2021-05-13 | 2021-09-14 | 上海湃道智能科技有限公司 | 抽烟及使用手机行为检测装置及方法 |
| WO2021208735A1 (zh) * | 2020-11-17 | 2021-10-21 | 平安科技（深圳）有限公司 | 行为检测方法、装置及计算机可读存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101241601B (zh) * | 2008-02-19 | 2010-06-02 | 深圳先进技术研究院 | 一种图形处理的关节中心参数估计方法 |
| CN109087329B (zh) * | 2018-07-27 | 2021-10-15 | 中山大学 | 基于深度网络的人体三维关节点估计框架及其定位方法 |
| DE102021102748A1 (de) * | 2020-02-11 | 2021-08-12 | Nvidia Corporation | 3d-posenschätzung des menschlichen körpers unter verwendung eines modells, das ausgehend von ungelabelten multi-view-daten trainiert wurde |
| CN112801061A (zh) * | 2021-04-07 | 2021-05-14 | 南京百伦斯智能科技有限公司 | 一种体态识别方法及*** |
-
2021
- 2021-11-12 CN CN202111342312.7A patent/CN114170677A/zh active Pending
- 2021-12-14 WO PCT/CN2021/138039 patent/WO2023082407A1/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112052815A (zh) * | 2020-09-14 | 2020-12-08 | 北京易华录信息技术股份有限公司 | 一种行为检测方法、装置及电子设备 |
| WO2021208735A1 (zh) * | 2020-11-17 | 2021-10-21 | 平安科技（深圳）有限公司 | 行为检测方法、装置及计算机可读存储介质 |
| CN112464895A (zh) * | 2020-12-14 | 2021-03-09 | 深圳市优必选科技股份有限公司 | 姿态识别模型训练方法、装置、姿态识别方法和终端设备 |
| CN113076903A (zh) * | 2021-04-14 | 2021-07-06 | 上海云从企业发展有限公司 | 一种目标行为检测方法、***、计算机设备及机器可读介质 |
| CN113392706A (zh) * | 2021-05-13 | 2021-09-14 | 上海湃道智能科技有限公司 | 抽烟及使用手机行为检测装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114170677A (zh) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110807429B (zh) | 基于tiny-YOLOv3的施工安全检测方法及*** | |
| CN107358223B (zh) | 一种基于yolo的人脸检测与人脸对齐方法 | |
| WO2021082112A1 (zh) | 神经网络训练、骨骼图构建、异常行为监控方法和*** | |
| US20220180534A1 (en) | Pedestrian tracking method, computing device, pedestrian tracking system and storage medium | |
| CN112085010A (zh) | 一种基于图像识别的口罩检测和部署***及方法 | |
| WO2020000912A1 (zh) | 一种行为检测方法、装置、电子设备和存储介质 | |
| CN107301376B (zh) | 一种基于深度学习多层刺激的行人检测方法 | |
| CN107545256A (zh) | 一种结合时空和网络一致性的摄像机网络行人重识别方法 | |
| WO2023082407A1 (zh) | 一种检测抽烟行为的网络模型训练方法及其设备 | |
| CN111626199A (zh) | 面向大型多人车厢场景的异常行为分析方法 | |
| CN117854156B (zh) | 一种特征提取模型的训练方法和相关装置 | |
| Alsakka et al. | Computer vision-based process time data acquisition for offsite construction | |
| Cheng | Real-time mask detection based on SSD-MobileNetV2 | |
| JP2024098114A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN113408435B (zh) | 一种安全监控方法、装置、设备和存储介质 | |
| CN113111733B (zh) | 一种基于姿态流的打架行为识别方法 | |
| CN113591885A (zh) | 目标检测模型训练方法、设备及计算机存储介质 | |
| Sun et al. | Automatic building age prediction from street view images | |
| CN116977256A (zh) | 缺陷检测模型的训练方法、装置、设备及存储介质 | |
| CN116246424A (zh) | 一种老年人行为安全监控*** | |
| Chen et al. | Development of permit-to-work management system based on POP model for petrochemical construction safety | |
| Dai et al. | Trajectory outlier detection based on dbscan and velocity entropy | |
| CN113420711A (zh) | 一种服务行业工作人员服务行为识别算法及*** | |
| Lv | Research on Underground Personnel Behavior Detection Algorithm Based on Lightweight OpenPose | |
| Zhang et al. | A Deep Learning-Based Tool for Face Mask Detection and Body Temperature Measurement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21963845 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |