CN113297910B

CN113297910B - 一种配网现场作业安全带识别方法

Info

Publication number: CN113297910B
Application number: CN202110449888.7A
Authority: CN
Inventors: 田园; 张航; 黄祖源; 原野; 苏文伟
Original assignee: Information Center of Yunnan Power Grid Co Ltd
Current assignee: Information Center of Yunnan Power Grid Co Ltd
Priority date: 2021-04-25
Filing date: 2021-04-25
Publication date: 2023-04-18
Anticipated expiration: 2041-04-25
Also published as: CN113297910A

Abstract

本发明公开了一种结合YOLOv4和Inception‑v4的配网现场作业人员系安全带的图像识别方法。通过YOLOv4模型对配网现场作业人员的位置进行检测定位，然后将定位到的配网作业人员从原图像中截取出来；将图像进行比例缩放后再通过Inception‑v4模型对缩放后的图像进行分类识别，获得配网作业人员系安全带的图像，最后采用类激活映射对配网作业人员的安全带进行定位。本发明方法可以实时检测到配网作业人员的安全带，可以替代人工进行检测识别，减少了人工筛查监督的繁重作业，识别结果标明，识别方法准确率高，可应用于监督配网现场作业人员系安全带。

Description

一种配网现场作业安全带识别方法

技术领域

本发明涉及图像处理领域，具体涉及一种配网现场作业安全带识别方法。

背景技术

配电是电力生产到电力应用的重要环节，配电多数时候需要在高空中完成，高空配电和检修坠落风险高，需要系安全带进行作业。安全带由带子、绳子、金属配件等组成，根据使用方式，分为单挂点安全带、双挂点安全带、带定位腰带的安全带。高空作业中，发生坠落事故时，安全带是保障配网作业人员生命安全的“救命带”，有着至关重要的作用。

配网作业涉及爬杆和在高处作业，需要系带定位腰带的安全带进行攀爬并固定作业人员的身位，解放双手进行作业，为预防配网作业人员高处作业出现坠落，保障作业人员的生命安全，需要对配网现场作业人员在高处作业中是否系安全带进行识别，监督配网现场作业人员高处作业时系安全带，保障作业人员的生命安全。

发明内容

为了解决背景技术中的问题，本发明提出了一种结合YOLOv4和 Inception-v4的配网现场作业人员系安全带识别方法，能准确识别配网现场作业人员高处作业过程中是否系安全带，监督配网现场作业人员规范作业，保障作业人员的生命安全。

实现本发明目的的技术方案如下：

一种配网现场作业安全带识别方法，包括以下步骤：

1)截取配网现场作业工作记录仪采集的视频帧作为图像样本集。

2)对图像数据集进行图像缩放，将样本图像尺寸调整为相同大小， resize为512×512，对缩放的样本数据集标注，按照1∶4的比例分为验证集和训练集。

3)用训练集对YOLOv4模型进行训练，并利用验证集对训练后的 YOLO v4模型进行验证，获得检测模型model1，使用YOLOv4模型预测配网现场作业人员在图像中的位置坐标。

4)根据model1中得到的作业人员位置坐标，从原始图像中截取配网作业人员图像，再将图像进行缩放，并对数据清洗，分类为系安全带和不系安全带两类。

5)将步骤4)整理的样本数据训练model2(Inception-v4)模型，并利用验证集对训练；

后的Inception-v4模型进行验证，获得识别模型model2，model2模型预测输出配网作业人员系安全带和不系安全带的图像分类。

6)级联model1(YOLOv4)和model2(Inception-v4)模型，得到配网作业人员系安全带和不系安全带的类别和坐标位置，并通过类激活映射显示出安全带位置。

7)统计每一帧图像的识别结果，并确定视频中作业人员是否系安全带。

所述步骤1)中，配网现场作业样本图像由配网作业工作人员在配网作业现场使用工作记录仪进行视频录制采集，作业人员将视频上传到监控中心，并使用视频算法截取视频帧得到图像样本，样本图像中包含配网作业人员系安全带和不系安全带两类；

所述步骤2)中采用的图像resize是双线性插值算法，保证精度的同时兼顾了速度。f 函数P＝(x，y)是需要求解的插值坐标点，已知P周围的四个坐标点Q₁₁＝(x₁，y₁，)，Q₁₂＝ (x₁，y₂)，Q₂₁＝(x₂，y₁)，Q₂₂＝(x_1，2y₂，)的值。

在x方向上进行插值，得到：

由此得到R₁＝(x，y_1，)，R₂＝(x，y_2，)。

在y方向上进行插值，得到：

由此得到f(x，y)即P的坐标如下：

YOLOv4和Inception-v4的图像输入都做使用以上相同的算法进行样本尺寸缩放，然后使用样本对YOLOv4进行训练得到model1。

所示步骤2)中的标注处理，标注框为一个长方形或正方形，表示成 1×4的行向量，记录包含框的左上角和右下角对应的横纵坐标。这些包围框的坐标信息被记录在标签文件中，每个包围框对应一个标签文件，每配网现场作业图像可以包含多个标注框。步骤2)中的图像数据集即按上述方法获得。

所述步骤3)中，主要是训练目标检测模型，根据标注的图像训练得到model1(YOLOv4)模型，通过model1得到图片中作业人员的位置坐标，通过坐标值从原图中截取出作业人员的作业图片。

所述步骤4)中，主要是对model1的输出数据进行截取、清洗和分类。图像截取主要是根据model1得到的左上角坐标和右下角坐标进行外扩，根据YOLOv4得到的坐标值进行裁剪会丢失作业人员的部分图像特征信息，坐标值外扩可以保留图像的特征信息。假设mode11得到的坐标值为X₁(x₁，y₁)，X₂(x₂，y₂)对图像外扩n个像素点，得到；

X′₁(x₁-n，y₁-n)，X′₂(x₂+n，y₂+n)，根据新得到的坐标点进行裁剪、数据清洗、类别分类得到Inception-v4的训练数据集。清洗主要是去除截取的图像中错误的样本，并对准确截出作业人员的图像进行分类，分为系安全带和不系安全带两类，通过双线性插值法将图像缩放为299 ×299。

所述步骤5)中，主要是训练目标识别模型，根据步骤4)中得到的样本数据训练model2(Inception-v4)模型。Inception-v4整个算法结构由input、Stem、Inception-A、Reduction-A、Inception-B、Redaction-B、Inception-C、Average-Pooling、Dropout、Softmax 模块构成。为了解决安全带差异较小的问题，对Inception-A改进：

构建卷积块convolution block，CB)，其中所有激活层activation layer，AL)神经元使用不同的激活函数，激活层被定义为神经元层，AL将m个特征映射转换为新的m个特征映射，通过激活函数f将卷积特征θⁿ变为新特征，即f(θⁿ)。AL(REL，SLG)表示新的卷积在每个CONV之后和POOL之前使用AL，括号内表示使用的激活函数，如REL表示relu激活函数，SIG表示sigmoid激活函数，TAN表示tanh激活函数。令CB为卷积层加激活层，可表示为[CONV→AL(REL，SIG)]，传统CNN的CB是[CONV→REL]，网络架构为INPUT→[CONV→AL(REL，SIG)]→POOL→[CONV]→AL(REL，SIG，TAN)]→[CONV→AL (LIN)]→POOL→[CONV→AL(PLS，SIG)]→[CONV→AL(SGN，ELU)]→[CONV→AL(TAN， ELU，LIN)]→POOL→OUTPUT。使用构建的CB改进Inception-A的结构，未改进前 Inception-v4的结构如附图说明图3所示，改进后的Inception-v4如附图说明图4所示。

所述步骤6)中级联的两个模型，model1负责检测作业人员的位置坐标，model2负责识别作业人员是否系安全带。model1的识别结果和 model2的识别结果映射到原图上标注出识别结果。

所述步骤7)中主要是确定视频中作业人员是否系安全带的识别结果，模型的级联得到每一帧图像的坐标和识别结果，使用统计比例的方式进行识别结果的判定，阈值设定为0.4，当识别到系安全带的帧数占视频总帧数大于等于0.4时，判定作业人员系安全带，小于0.4时判定作业人员不系安全带，增强模型的鲁棒性。

本方法首先通过YOLOv4对配网现场作业人员进行检测定位，然后将定位到的作业人员从原图像中截取出来并缩放为299X299的大小；再通过Inceptiom-v4对缩放后的配网现场作业人员进行分类识别，获得配网现场作业人员系安全带的图像，为增强图像的可视化，采用类激活映射对系安全带的配网作业人员图像进行标注定位。

本方法替代了监控中心工作人员人工检查配网现场作业人员是否系安全带的方法，通过配网现场作业的场景识别结果表明，该识别方法的准确率达到98.1％，可应用于配网现场作业人员是否系安全带的识别，同时对各种攀爬作业具有通用性。

附图说明

图1为model1(YOLOv4)检测模型的训练过程。

图2为model2(Inception-v4)识别模型的训练过程。

图3为Inception-v4的算法结构图。

图4为改进Inception-A模块后的Inception-v4算法结构图。

图5级联模型使用流程。

图6为配网现场作业人员系安全带的识别结果。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

在本实施例的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。

此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。

按照本发明内容完整的方法实施例及其实施过程如下：

1)通过工作记录仪采集到配网现场作业人员的检修工作视频，并上传到监控中心，监控中心将上传的视频按帧截取成图片,配网现场作业人员图片分不系安全带和系安全带两类,一张图像中可以有多个目标和两个分类。截取6000张图片作为训练数据集，系安全带的图片3000张，不系安全带的图片3000张。

2)对标注的图像做尺寸缩放，使用双线性插值算法将图像resize到固定的尺寸，大小为512×512样本数据集。

3)遍历所有图像，使用标注工具进行标注，标注样本数据集中的作业人员，获得对应的标签文件，标签文件与原始的图像共同组成图像数据集，随机从6000张图片中抽取20％作为验证集。

4)使用训练数据集训练YOLOv4得到目标检测模型，并使用验证集对训练后的YOLOv4模型进行验证，获得模型model1(流程如图1所示) ；

5)通过目标检测模型model1获取训练数据的坐标值，通过坐标值从原图中截取配网作业人员的图像样本集，对截取的样本做清洗和重分类处理，通过步骤2)的方法resize为299×299，并分为系安全带和不系安全带两类，系安全带的图片为3000张，不系安全带的图片为3000张，分别抽取20％作为验证集。

6)使用步骤5)中得到的数据集训练Inception-v4得到model2，并使用验证集对Inception-v4进行验证测试(流程图如图2所示)。

7)对于模型的使用过程以视频的形式进行目标检测和识别，将mdel1 和model2进行级联，直接将视频输入model1模型，model1的输出结果级联预处理模块，预处理模块连接model2进行是否系安全带的识别(流程如图5所示)。

8)根据model1的坐标检测结果和model2的类别识别结果，通过类激活映射显示出安全带位置(映射结果如图6所示)。

9)通过级联模型得到每一帧图像的坐标和识别结果，统计每一帧图像的识别结果确定视频最终的识别结果，增强模型的鲁棒性。

使用1000个视频作为测试，识别结果如下表：

待识别视频类型	测试视频数量	系安全带的识别结果	不系安全带的识别结果
				系安全带视频	500	497	3
不系安全带视频	500	16	484

从表中可以得到各个参数指标如下：

通过上述评估参数标明，模型准确率高。

识别结果如图6所示，左边的图片为未识别前从视频中截取的原图片，右边为识别后从视频中截取的图像结果。通过测试结果，本发明能够实现配网现场作业人员是否系安全带的自动识别，在gtx1080上识别速度达到了实时，并具有通用性高，准确率高，稳定性好等优点，能够应用于配网现场作业人员是否系安全带的识别检测。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims

1.一种配网现场作业安全带识别方法，其特征在于，包括以下步骤：

1)截取配网现场作业工作记录仪采集的视频帧作为图像样本集，完成样本数据集标注后，对图像数据集进行图像缩放，将样本图像尺寸调整为相同大小，并分为验证集和训练集，其中训练集大于所述验证集；

2)用训练集对YOLOv4模型进行训练，并利用验证集对训练后的YOLO v4模型进行验证，获得检测模型model1，并使用model1模型检测配网现场作业人员在图像中的位置坐标，根据model1得到的位置坐标向外膨胀相应的像素点，并从原始图像中截取配网作业人员图像，再将图像进行缩放，并对数据清洗，分类为系安全带和不系安全带两类；

3)改进Inception-v4的Inception-A模块，并训练model2模型，利用验证集对训练后的Inception-v4模型进行验证，获得识别模型model2，model2模型识别配网作业人员系安全带和不系安全带；

4)级联model1和model2模型，得到配网作业人员系安全带和不系安全带的类别和坐标位置，并通过类激活映射显示出安全带位置；

5)统计每一帧图像的识别结果，并确定视频中作业人员是否系安全带。

2.根据权利要求1所述的一种配网现场作业安全带识别方法，其特征在于：所述步骤1)中配网现场作业人员系安全带的图片样本，是通过现场工作记录仪采集作业视频，并将视频上传到监控中心，再将视频按帧截取得到的图片样本。

3.根据权利要求1所述的一种配网现场作业安全带识别方法，其特征在于：所述步骤2)中，图像膨胀是根据model1得到的左上角坐标和右下角坐标进行外扩，根据YOLOv4得到的坐标值进行裁剪会丢失作业人员的部分图像特征信息，坐标值外扩可以保留图像的特征信息，假设model1得到的坐标值为X₁(x₁，y₁)，X₂(x₂，y₂)对图像外扩n个像素点，得到

X′₁(x₁-n，y₁-n)，X′₂(x₂+n，y₂+n)，根据新得到的坐标点进行裁剪、数据清洗、类别分类得到Inception-v4的训练数据集。

4.根据权利要求1所述的一种配网现场作业安全带识别方法，其特征在于：所述步骤3)中，为了解决安全带差异较小的问题，对Inception-A改进：构建卷积块，其中所有激活层神经元使用不同的激活函数，激活层被定义为神经元层，AL将m个特征映射转换为新m个特征映射，通过激活函数f将卷积特征θⁿ变为新特征，即f(θⁿ)，AL(REL，SLG)表示新的卷积在每个CONV之后和POOL之前使用AL，括号内表示使用的激活函数，REL表示ReLu激活函数，SIG表示Sigmoid激活函数，TAN表示tanh激活函数，令CB为卷积层加激活层，可使用构建的CB改进Inception-A。

5.根据权利要求1所述的一种配网现场作业安全带识别方法，其特征在于：所述步骤4)中，model1和model2的级联模型，级联的方式可以充分发挥各自模型的优势，model1负责目标检测的识别，model2负责图像类别的识别，最后将model1得到的坐标信息和model2得到的类别信息通过类激活映射到原图像上得到作业人员是否系安全带的类别和安全的位置坐标信息。

6.根据权利要求1所述的一种配网现场作业安全带识别方法，其特征在于：所述步骤5)中，帧数统计是为了确定视频的识别结果，配网现场作业人员系安全带作业是一个连续的过程，需要对多帧图片进行检测识别，通过每一帧的检测结果确定最终的识别结果，其是使用统计比例的方式进行识别结果的判定，阈值设定为0.4，当识别到系安全带的帧数占视频总帧数大于等于0.4时，判定作业人员系安全带，小于0.4时判定作业人员不系安全带，这种方式增强了模型的鲁棒性。

7.根据权利要求1所述的一种配网现场作业安全带识别方法，其特征在于：所述步骤1)中训练集与所述验证集的比例为4:1。