CN112598040B - 一种基于深度学习的开关一致性实时检测方法 - Google Patents

一种基于深度学习的开关一致性实时检测方法 Download PDF

Info

Publication number
CN112598040B
CN112598040B CN202011485490.0A CN202011485490A CN112598040B CN 112598040 B CN112598040 B CN 112598040B CN 202011485490 A CN202011485490 A CN 202011485490A CN 112598040 B CN112598040 B CN 112598040B
Authority
CN
China
Prior art keywords
network
detection
switch
loss
cls
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011485490.0A
Other languages
English (en)
Other versions
CN112598040A (zh
Inventor
周恩
徐建楚
黄志炳
张秋声
胡威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Fangyuan Detection Group Stock Co ltd
Original Assignee
Zhejiang Fangyuan Detection Group Stock Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Fangyuan Detection Group Stock Co ltd filed Critical Zhejiang Fangyuan Detection Group Stock Co ltd
Priority to CN202011485490.0A priority Critical patent/CN112598040B/zh
Publication of CN112598040A publication Critical patent/CN112598040A/zh
Application granted granted Critical
Publication of CN112598040B publication Critical patent/CN112598040B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的开关一致性实时检测方法，分别采集待检测的三个开关的图片并进行归一化和统一尺寸处理；再将图片送入训练好的开关检测网络模型进行前向推理预测，开关检测网络模型采用resnet50融合IBN结构作为整个检测网络的backbone，其输出分别连接分类网络和分割网络，分类网络用于预测输入图片的开关的类别，分割网络用于预测输入图片中物体的像素级别位置。最后进行开关一致性判断。本发明设计的检测网络backbone采用resnet50+IBN的结构，增强了网络的特征提取能力，并结合实际应用需求设计了结合类别置信度损失、bounding box损失、分割损失的网络损失函数，使网络更好的收敛；设计的检测网络，可以一次性解决位置检测和类别检测的问题，能够实时检测。

Description

一种基于深度学习的开关一致性实时检测方法
技术领域
本发明涉及开关检测领域，尤其涉及一种基于深度学习的开关一致性实时检测方法。
背景技术
现行的开关检测标准要求至少三个相同的开关进行测试并记录测试结果。目前的测试过程都采用人工视检的方式确保测试样品的相同性，但是人工视检效率很低无法达到实时检测的需求，且难免出现疏漏，导致重复测试甚至测试结果无效。
现有的开关检测***已经能够设定检测次数，如果出现通断异常会自动中断测试，等待技术人员的处理，但是对进行测试的开关并无法确定其是否相同。
发明内容
本发明针对现有技术的不足，提出一种基于深度学习的开关一致性实时检测方法。
本发明具体采用的如下技术方案：
一种基于深度学习的开关一致性实时检测方法，包括以下步骤：
(1)分别采集待检测的三个开关的图片并进行归一化和统一尺寸处理；
(2)将图片送入训练好的开关检测网络模型进行前向推理预测，其中，所述开关检测网络模型采用resnet50融合IBN结构作为整个检测网络的backbone，其输出分别连接分类网络和分割网络，分类网络用于预测输入图片的开关的类别，分割网络用于预测输入图片中物体的像素级别位置。
所述开关检测网络模型采用标注类别和位置的开关图片进行训练，训练时的损失函数由三部分组成：
L＝Lcls+Lbox+Lmask
其中，Lcls+Lbox共同约束分类网络，Lcls为类别置信度损失，表示框出的box内确实有物体的置信程度和框出的box将整个物体的所有特征都包括进来的置信程度。Lcls表示如下：
Figure GDA0003164082890000011
S2表示网格数量；B表示每个网络产生B个锚框；
Figure GDA0003164082890000021
表示第i个网格的第j个锚框是否框到物体，是则为1，否则为0；
Figure GDA0003164082890000022
表示参数置信度，取值由第i个网格的第j个锚框是否负责检测目标决定，若负责则为1，否则为0；
Figure GDA0003164082890000023
表示检出置信度；λnoobj表示检出程度阈值；
Figure GDA0003164082890000024
表示第i个网格的第j个锚框是否框到物体，取值与
Figure GDA0003164082890000025
相反。
Lbox为bounding box损失。
Lmask用于约束分割网络，Lmask为分割损失采用改进的平均二值交叉熵，对于每个像素采用带概率的二值sigmoid交叉熵损失，即
Lmask(cls_k)＝β*Sigmoid(cls_k)
其中β是分割置信度阈值，cls_k表示检测置信度，k对应类别个数。
(3)进行开关一致性判断。
进一步地，统一尺寸处理具体为：将图片双线性插值缩放到416*416像素尺寸。
进一步地，所述分类网络包含两个分支，所述分支1由avgpooling、BNNeck、FC、softmax激活层依次连接组成。所述分支2由deconv、sigmoid、BNNneck、FC、softmax激活层依次连接组成。
进一步地，所述分割网络由deconv、sigmoid、RPN、ROIAlign层依次连接组成。
进一步地，所述bounding box损失Lbox由中心坐标误差损失和宽高坐标误差损失两部分组成，具体如下：
Figure GDA0003164082890000026
其中，
Figure GDA0003164082890000027
表示第i个网格第j个锚框检测出的物体中心点x坐标，
Figure GDA0003164082890000028
表示
Figure GDA0003164082890000029
对应的实际物体中心点x坐标，
Figure GDA00031640828900000210
表示第i个网格第j个锚框检测出的物体中心点y坐标，
Figure GDA00031640828900000211
表示
Figure GDA00031640828900000212
对应的实际物体中心点y坐标，
Figure GDA00031640828900000213
表示第i个网格第j个锚框检测出物体的宽，
Figure GDA00031640828900000214
表示
Figure GDA00031640828900000215
对应的实际物体的宽，
Figure GDA00031640828900000216
表示第i个网格第j个锚框检测出物体的高，
Figure GDA00031640828900000217
表示
Figure GDA00031640828900000218
对应的实际物体的高。
Figure GDA00031640828900000219
表示横向缩放系数，φ为纵向缩放系数，由图片原始尺寸和统一尺寸后计算获得。
进一步地，开关检测网络模型训练时，使用mixup、cutmix、mosaic策略对训练数据集进行数据增强处理。
进一步地，使用pytorch框架对开关检测网络模型进行网络训练，使用高性能推理框架RAMMER对训练得到的检测模型进行图优化。
本发明的有益效果是：
(1)设计的检测网络backbone采用resnet50+IBN的结构，增强了网络的特征提取能力；
(2)设计的检测网络具有多尺度、分类与分割相结合的优点，可以一次性解决位置检测和类别检测的问题；
(3)设计了网络的损失函数，结合实际应用需求设计了结合类别置信度损失、bounding box损失、分割损失的网络损失函数，使网络更好的收敛；
(4)采用高性能计算框架RAMMER对设计的网络进行图优化，能够极大加速网络的推理效率，达到实时检测的目标。
附图说明
图1是本发明方法检测流程图；
图2是检测网络模型结构；
图3是ResNet50_ibn结构示意图；
图4是检测模型加速推理流程图。
具体实施方式
下面，结合附图和具体实施方式对本发明作进一步说明：
如图1所示，本发明的一种基于深度学习的开关一致性实时检测方法，具体可以分为两个阶段：
一、训练阶段：
(1)收集不同种类开关的图片作为训练数据集，使用mixup、cutmix、mosaic策略对训练数据集进行数据增强处理，使训练数据更加鲁棒；
(2)对图片进行归一化操作，减少噪声干扰，使网络更易收敛；
(3)将输入图片双线性插值缩放到416*416像素尺寸；
构建开关检测网络模型，其结构如图2所示，所述开关检测网络模型采用resnet50融合IBN结构ResNet50_ibn(图3)作为整个检测网络的backbone，具备很强的特征提取能力，具体包括将resnet50网络结构中的BN层用IBN结构进行替换，其中IBN结构表示将30个通道切成两半，得到两个列表(32,15,256,128)，分别用IN层、BN层处理。ResNet50_ibn后接三个分支，分支1和分支2是分类网络，分支3是分割网络。其中backbone后接avgpooling、BNNeck、FC、softmax激活层形成分支1；backbone后接deconv、sigmoid、BNNneck、FC、softmax激活层形成分支2；backbone后接deconv、sigmoid、RPN、ROIAlign层形成分支3。本发明将分类和分割功能融合进一个网络，能够同时输出检测的目标精确位置及类别；其中分类分支采用多尺度预测，能够适应检测目标尺度变化的场景；
根据实际应用场景对损失函数进行了设计，损失函数由三部分组成：
L＝Lcls+Lbox+Lmask
分类网络(分支1和分支2)的功能是分类，在训练时共用Lcls+Lbox损失函数：
Lcls为类别置信度损失，表示框出的box内确实有物体的置信程度和框出的box将整个物体的所有特征都包括进来的置信程度。类别损失分为两个部分：有物体和没有物体，其中没有物体损失部分还增加权重系数，Lcls设计如下：
Figure GDA0003164082890000041
其中Lbox损失函数由中心坐标误差损失和宽高坐标误差损失两部分组成，设计如下：
Figure GDA0003164082890000042
训练时分类网络输出Iij、
Figure GDA0003164082890000043
其中Iij、
Figure GDA0003164082890000044
对应Lcls损失函数，Iij表示第i个网络的第j个锚框是否检测到物体，
Figure GDA0003164082890000045
表示检出置信度，
Figure GDA0003164082890000046
表示参数置信度(类别标签)。Lcls中的λnoobj表示检出程度阈值，在训练中可调；S2表示网格数量；B表示每个网络产生B个锚框。
Figure GDA0003164082890000047
对应Lbox损失函数中的第i个网格第j个锚框检出的物体中心点的x、y坐标和物体的高和宽。
Figure GDA0003164082890000048
分别表示实际物体中心点的x、y坐标和物体的高和宽。
分支3的功能是分割，训练时调用分类网络中的Iij、
Figure GDA0003164082890000049
及
Figure GDA00031640828900000410
信息，其中Iij、
Figure GDA00031640828900000411
对应Lmask(cls_k)中的cls_k,
Figure GDA00031640828900000412
即限定了分割的矩形框区域，因分割需逐像素进行，故缩小待分割目标区域可以加速分割的效率，cls_k中的β可协调网络对不同分辨率的图片的分割能力，该值由网络根据图片的分辨率进行自适应调节。
通过对每个类别对应一个Mask可以有效避免类间竞争，所以Lmask仅在第k个mask上面有贡献，其它的k-1个mask输出对整个Loss没有贡献。通过自适应图片清晰度阈值λ可协调网络对不同分辨率图片的分割能力，Lmask设计如下：
Lmask(cls_k)＝β*Sigmoid(cls_k)
(4)训练得到开关检测网络模型；
二、推理阶段：
(1)采用彩色相机分别采集三张图片p0、p1、p2；
(2)将推理阶段的图像预处理与训练阶段对齐，即进行归一化和resize操作；
(3)将图片送入开关检测网络模型进行前向推理；
(4)分别输出检测到的开关位置和类别；
(5)进行开关一致性判断；该步骤根据输出的类别可以直接进行一致性判断。
作为一优选的实施方案，使用pytorch框架对开关检测网络模型进行网络训练，使用高性能推理框架RAMMER对训练得到的检测模型进行图优化，具体操作如图4所示，包括如下步骤：
(1)使用pytorch深度学习框架搭建开关检测网络模型；
(2)使用训练数据集训练生成.pt格式的权重文件；
(3)将.pt格式的权重文件转换成.onnx结构；
(4)将onnx模型导入高性能计算框架RAMMER；
(5)使用RAMMER中NNFusion进行图编译与图优化；
(6)将优化后的模型用于推理加速；
上述加速后，能够极大加速网络的推理效率，达到实时检测的目标。
网络性能测试
在自制开关图片数据集上进行测试，对比了FPN、Mask Rcnn网络，本发明提出的网络在不同检出阈值下检测和分割能力，如表1所示，本发明方法在检出效果、推理速度上相比较具备一定的优势。
表1性能比较
Figure GDA0003164082890000061
其中APm表示网络的分割结果，APb表示网络的检测结果。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法把所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围。

Claims (6)

1.一种基于深度学习的开关一致性实时检测方法，其特征在于，包括以下步骤：
(1)分别采集待检测的三个开关的图片并进行归一化和统一尺寸处理；
(2)将图片送入训练好的开关检测网络模型进行前向推理预测，其中，所述开关检测网络模型采用resnet50融合IBN结构作为整个检测网络的backbone，其输出分别连接分类网络和分割网络，分类网络用于预测输入图片的开关的类别，分割网络用于预测输入图片中物体的像素级别位置；
所述开关检测网络模型采用标注类别和位置的开关图片进行训练，训练时的损失函数由三部分组成：
L＝Lcls+Lbox+Lmask
其中，Lcls+Lbox共同约束分类网络，Lcls为类别置信度损失，表示框出的box内确实有物体的置信程度和框出的box将整个物体的所有特征都包括进来的置信程度；Lcls表示如下：
Figure FDA0003164082880000011
S2表示网格数量；B表示每个网络产生B个锚框；
Figure FDA0003164082880000012
表示第i个网格的第j个锚框是否框到物体，是则为1，否则为0；
Figure FDA0003164082880000013
表示参数置信度，取值由第i个网格的第j个锚框是否负责检测目标决定，若负责则为1，否则为0；
Figure FDA0003164082880000014
表示检出置信度；λnoobj表示检出程度阈值；
Figure FDA0003164082880000015
表示第i个网格的第j个锚框是否框到物体，取值与
Figure FDA0003164082880000016
相反；
Lbox为bounding box损失，由中心坐标误差损失和宽高坐标误差损失两部分组成，具体如下：
Figure FDA0003164082880000017
其中，
Figure FDA0003164082880000018
表示第i个网格第j个锚框检测出的物体中心点x坐标，
Figure FDA0003164082880000019
表示
Figure FDA00031640828800000110
对应的实际物体中心点x坐标，
Figure FDA00031640828800000111
表示第i个网格第j个锚框检测出的物体中心点y坐标，
Figure FDA00031640828800000112
表示
Figure FDA00031640828800000113
对应的实际物体中心点y坐标，
Figure FDA0003164082880000021
表示第i个网格第j个锚框检测出物体的宽，
Figure FDA0003164082880000022
表示
Figure FDA0003164082880000023
对应的实际物体的宽，
Figure FDA0003164082880000024
表示第i个网格第j个锚框检测出物体的高，
Figure FDA0003164082880000025
表示
Figure FDA0003164082880000026
对应的实际物体的高；
Figure FDA0003164082880000027
表示横向缩放系数，φ为纵向缩放系数，由图片原始尺寸和统一尺寸后计算获得;
Lmask用于约束分割网络，Lmask为分割损失采用改进的平均二值交叉熵，对于每个像素采用带概率的二值sigmoid交叉熵损失，即
Lmask(cls_k)＝β*Sigmoid(cls_k)
其中β是分割置信度阈值，cls_k表示检测置信度，k对应类别个数；
(3)进行开关一致性判断。
2.根据权利要求1所述的开关一致性实时检测方法，其特征在于，统一尺寸处理具体为：将图片双线性插值缩放到416*416像素尺寸。
3.根据权利要求1所述的开关一致性实时检测方法，其特征在于，所述分类网络包含两个分支，所述分支1由avgpooling、BNNeck、FC、softmax激活层依次连接组成；所述分支2由deconv、sigmoid、BNNneck、FC、softmax激活层依次连接组成。
4.根据权利要求1所述的开关一致性实时检测方法，其特征在于，所述分割网络由deconv、sigmoid、RPN、ROIAlign层依次连接组成。
5.根据权利要求1所述的开关一致性实时检测方法，其特征在于，开关检测网络模型训练时，使用mixup、cutmix、mosaic策略对训练数据集进行数据增强处理。
6.根据权利要求1所述的开关一致性实时检测方法，其特征在于，使用pytorch框架对开关检测网络模型进行网络训练，使用高性能推理框架RAMMER对训练得到的检测模型进行图优化。
CN202011485490.0A 2020-12-16 2020-12-16 一种基于深度学习的开关一致性实时检测方法 Active CN112598040B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011485490.0A CN112598040B (zh) 2020-12-16 2020-12-16 一种基于深度学习的开关一致性实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011485490.0A CN112598040B (zh) 2020-12-16 2020-12-16 一种基于深度学习的开关一致性实时检测方法

Publications (2)

Publication Number Publication Date
CN112598040A CN112598040A (zh) 2021-04-02
CN112598040B true CN112598040B (zh) 2021-11-02

Family

ID=75196766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011485490.0A Active CN112598040B (zh) 2020-12-16 2020-12-16 一种基于深度学习的开关一致性实时检测方法

Country Status (1)

Country Link
CN (1) CN112598040B (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197637A (zh) * 2017-12-11 2018-06-22 国网上海市电力公司 一种基于深度学习的高压机柜开关检测方法
CN109712118A (zh) * 2018-12-11 2019-05-03 武汉三江中电科技有限责任公司 一种基于Mask RCNN的变电站隔离开关检测识别方法
CN110059556A (zh) * 2019-03-14 2019-07-26 天津大学 一种基于深度学习的变电站开关分合状态检测方法
CN110232380B (zh) * 2019-06-13 2021-09-24 应急管理部天津消防研究所 基于Mask R-CNN神经网络的火灾夜间场景复原方法
CN110322510B (zh) * 2019-06-27 2021-08-27 电子科技大学 一种利用轮廓信息的6d位姿估计方法
CN110543911B (zh) * 2019-08-31 2022-12-16 华南理工大学 一种结合分类任务的弱监督目标分割方法
CN110633750A (zh) * 2019-09-17 2019-12-31 中国石化销售有限公司华南分公司 一种基于lstm模型的电动阀门故障检测方法
CN111738156A (zh) * 2020-06-23 2020-10-02 国网宁夏电力有限公司培训中心 一种高压开关设备状态智能巡检管理方法及***
CN112052817B (zh) * 2020-09-15 2023-09-05 中国人民解放军海军大连舰艇学院 基于迁移学习的改进YOLOv3模型侧扫声纳沉船目标自动识别方法

Also Published As

Publication number Publication date
CN112598040A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN108961235B (zh) 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法
US20230418250A1 (en) Operational inspection system and method for domain adaptive device
CN113420643B (zh) 基于深度可分离空洞卷积的轻量级水下目标检测方法
CN109272060B (zh) 一种基于改进的darknet神经网络进行目标检测的方法和***
CN108764244B (zh) 基于卷积神经网络和条件随机场的潜在目标区域检测方法
CN112215859B (zh) 一种基于深度学习和邻接约束的纹理边界检测方法
CN110599458A (zh) 基于卷积神经网络的地下管网检测评估云***
CN110866455A (zh) 一种路面水体检测方法
CN113516126A (zh) 一种基于注意力特征融合的自适应阈值场景文本检测方法
CN115861210B (zh) 一种基于孪生网络的变电站设备异常检测方法和***
CN111160356A (zh) 一种图像分割分类方法和装置
CN115410087A (zh) 一种基于改进YOLOv4的输电线路异物检测方法
CN114283431B (zh) 一种基于可微分二值化的文本检测方法
CN115761568A (zh) 一种基于YOLOv7网络和Deepsort网络的猕猴检测方法
CN111079826B (zh) 融合slam和图像处理的施工进度实时识别方法
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
CN117095155A (zh) 一种基于改进的yolo自适应注意力-特征增强网络的多尺度数码管检测方法
CN115393635A (zh) 一种基于超像素分割以及数据增强的红外小目标检测方法
CN113536896B (zh) 基于改进Faster RCNN的绝缘子缺陷检测方法、装置及存储介质
CN113609904B (zh) 一种基于动态全局信息建模和孪生网络的单目标跟踪算法
CN114359167A (zh) 一种复杂场景下基于轻量化YOLOv4的绝缘子缺陷检测方法
CN112598040B (zh) 一种基于深度学习的开关一致性实时检测方法
CN112101113B (zh) 一种轻量化的无人机图像小目标检测方法
CN114037684A (zh) 一种基于yolov5和注意力机制模型的疵点检测方法
CN115393252A (zh) 显示面板的缺陷检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant