CN113850252A - 防振锤螺栓检测方法、装置和电子设备 - Google Patents

防振锤螺栓检测方法、装置和电子设备 Download PDF

Info

Publication number
CN113850252A
CN113850252A CN202110950811.8A CN202110950811A CN113850252A CN 113850252 A CN113850252 A CN 113850252A CN 202110950811 A CN202110950811 A CN 202110950811A CN 113850252 A CN113850252 A CN 113850252A
Authority
CN
China
Prior art keywords
damper
straight line
edge
bolt
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110950811.8A
Other languages
English (en)
Inventor
李恩
陈铭浩
汪晗
杨国栋
梁自泽
郭锐
李勇
刘海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
State Grid Shandong Electric Power Co Ltd
Original Assignee
Institute of Automation of Chinese Academy of Science
State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science, State Grid Shandong Electric Power Co Ltd filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110950811.8A priority Critical patent/CN113850252A/zh
Publication of CN113850252A publication Critical patent/CN113850252A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种防振锤螺栓检测方法、装置和电子设备，所述方法包括：从待检测图像中提取防振锤导线的直线拟合区域，并基于直线拟合区域，以及防振锤与防振锤导线之间的位置关系，确定防振锤轮廓；基于防振锤轮廓，以及防振锤的结构尺寸，确定防振锤螺栓区域图，并对防振锤螺栓区域图进行目标检测，得到防振锤螺栓的位置检测结果。本发明基于防振锤导线的直线拟合区域确定防振锤轮廓，并基于防振锤轮廓以及防振锤的结构尺寸，确定防振锤螺栓区域图，从而可以基于防振锤螺栓区域图精确得到防振锤螺栓的位置检测结果，避免传统方法中由于防振锤螺栓几何特征不明显导致无法准确检测螺栓位置的问题。

Description

防振锤螺栓检测方法、装置和电子设备
技术领域
本发明涉及目标检测技术领域，尤其涉及一种防振锤螺栓检测方法、装置和电子设备。
背景技术
架空输电线路中的防振锤在长时间运作后，会因导线振动而产生位置偏移，从而使得防振锤的功能失效。因此需对防振锤进行复位任务。机器人在进行防振锤复位任务过程中需要对防振锤螺栓进行松动和紧固的步骤，因此需要进行防振锤螺栓检测。
由于防振锤螺栓几何特征不明显，边缘特征区分性不高，传统检测方法鲁棒性不高。目前防振锤螺栓检测也有使用深度学习算法，但在输电线路场景下防振锤螺栓属于小目标，深度学习算法针对小目标检测会存在精度较低的问题。
发明内容
本发明提供一种防振锤螺栓检测方法、装置和电子设备，用以解决现有技术中在架空输电线路环境下，对防振锤螺栓检测精度较低的缺陷。
本发明提供一种防振锤螺栓检测方法，包括：
从待检测图像中提取防振锤导线的直线拟合区域，并基于所述直线拟合区域，以及防振锤与所述防振锤导线之间的位置关系，确定防振锤轮廓；
基于所述防振锤轮廓，以及所述防振锤的结构尺寸，确定防振锤螺栓区域图，并对所述防振锤螺栓区域图进行目标检测，得到防振锤螺栓的位置检测结果。
根据本发明提供的一种防振锤螺栓检测方法，所述从待检测图像中提取防振锤导线的直线拟合区域，并基于所述直线拟合区域，以及防振锤与所述防振锤导线之间的位置关系，确定防振锤轮廓，包括：
从所述待检测图像中提取防振锤导线的第一感兴趣区域图，并对所述第一感兴趣区域图进行边缘检测，确定所述直线拟合区域；
基于所述防振锤与所述防振锤导线之间的位置关系，对所述直线拟合区域进行区域扩展，确定防振锤的第二感兴趣区域图；
对所述第二感兴趣区域图进行边缘检测，确定所述防振锤轮廓。
根据本发明提供的一种防振锤螺栓检测方法，所述从所述待检测图像中提取防振锤导线的第一感兴趣区域图，并对所述第一感兴趣区域图进行边缘检测，确定所述直线拟合区域，包括：
对所述第一感兴趣区域图进行图像预处理，并对预处理后的第一感兴趣区域图进行边缘点检测，获取导线边缘特征集合；所述导线边缘特征集合中包括多个导线边缘点；
从所述多个导线边缘点中确定目标直线端点，并对各目标直线端点进行直线拟合，确定所述直线拟合区域。
根据本发明提供的一种防振锤螺栓检测方法，所述对所述第一感兴趣区域图进行图像预处理，包括：
依次对所述第一感兴趣图进行灰度化处理、降噪处理、均衡化处理以及去纹理处理。
根据本发明提供的一种防振锤螺栓检测方法，所述从所述多个导线边缘点中确定目标直线端点，并对各目标直线端点进行直线拟合，确定所述直线拟合区域，包括：
对各导线边缘点进行霍夫变换，并将霍夫变换后满足预设条件的导线边缘点作为直线搜索点，所述预设条件为相交的霍夫空间曲线数量大于阈值；
基于所述直线搜索点确定笛卡尔空间下的直线方向，并基于所述直线方向，从各导线边缘点中确定候选直线端点；
基于所述候选直线端点确定直线长度，若所述直线长度大于预设长度，则将对应的候选直线端点作为所述目标直线端点，并对各目标直线端点进行直线拟合，得到导线边缘直线集合；
基于所述导线边缘直线集合中各直线斜率，对各直线进行分类，得到左边缘直线集合和右边缘直线集合；
基于所述左边缘直线集合和所述右边缘直线集合，对所述第一感兴趣区域图进行最小二乘拟合，确定所述直线拟合区域。
根据本发明提供的一种防振锤螺栓检测方法，所述对所述第二感兴趣区域图进行边缘检测，确定所述防振锤轮廓，包括：
对所述第二感兴趣区域图进行边缘检测，得到防振锤边缘图，并确定所述防振锤边缘图中各非零点的圆周梯度；
基于各非零点的圆周梯度，确定圆形梯度直线，并基于所述圆形梯度直线确定累加矩阵；
若所述累加矩阵中的任一点与阈值之间的差值大于零，则将对应累加矩阵中的点作为候选圆心点，并对所述候选圆心点进行邻域对比，确定目标圆心点；
基于所述目标圆心点与所述防振锤边缘图中各防振锤边缘点之间的距离，确定候选防振锤轮廓，并将满足预设约束条件的候选防振锤轮廓作为所述防振锤轮廓。
根据本发明提供的一种防振锤螺栓检测方法，所述基于所述目标圆心点与所述防振锤边缘图中各防振锤边缘点之间的距离，确定候选防振锤轮廓，包括：
基于所述目标圆心点与所述防振锤边缘图中各防振锤边缘点之间的距离，确定候选圆半径值；
对各候选圆半径值进行计数，以计数值大于预设计数值对应的候选圆半径值作为有效圆半径值；
以所述有效圆半径值作为半径，以对应目标圆心点作为圆心，得到有效圆形轮廓，并以所述有效圆形轮廓作为所述候选防振锤轮廓。
根据本发明提供的一种防振锤螺栓检测方法，所述对所述防振锤螺栓区域图进行目标检测，得到防振锤螺栓的位置检测结果，包括：
将所述防振锤螺栓区域图输入至目标检测模型，得到所述目标检测模型输出的所述位置检测结果；
其中，所述目标检测模型是基于样本防振锤螺栓区域图以及样本位置检测结果进行训练得到的；所述目标检测模型是对YOLOv3模型进行稀疏训练得到的轻量化模型。
本发明还提供一种防振锤螺栓检测装置，包括：
轮廓确定单元，用于从待检测图像中提取防振锤导线的直线拟合区域，并基于所述直线拟合区域，以及防振锤与所述防振锤导线之间的位置关系，确定防振锤轮廓；
螺栓检测单元，用于基于所述防振锤轮廓，以及所述防振锤的结构尺寸，确定防振锤螺栓区域图，并对所述防振锤螺栓区域图进行目标检测，得到防振锤螺栓的位置检测结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述防振锤螺栓检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述防振锤螺栓检测方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述防振锤螺栓检测方法的步骤。
本发明提供的防振锤螺栓检测方法、装置和电子设备，基于防振锤导线的直线拟合区域确定防振锤轮廓，并基于防振锤轮廓以及防振锤的结构尺寸，确定防振锤螺栓区域图，从而可以基于防振锤螺栓区域图精确得到防振锤螺栓的位置检测结果，避免传统方法中由于防振锤螺栓几何特征不明显导致无法准确检测螺栓位置的问题。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的防振锤螺栓检测方法的流程示意图之一；
图2是本发明提供的第一感兴趣区域图图像预处理方法的流程示意图；
图3是本发明提供的直线拟合区域获取方法的流程示意图；
图4是本发明提供的防振锤轮廓获取方法的流程示意图；
图5是本发明提供的轻量化模型获取方法的流程示意图；
图6是本发明提供的防振锤螺栓检测方法的流程示意图之二；
图7是本发明提供的防振锤螺栓检测装置的结构示意图；
图8是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于防振锤螺栓几何特征不明显，边缘特征区分性不高，传统检测方法鲁棒性不高。目前防振锤螺栓检测也有使用深度学习算法，但在输电线路场景下防振锤螺栓属于小目标，深度学习算法针对小目标检测会存在精度较低的问题，同时深度学习算法部署在嵌入式设备上存在运行效率低和内存消耗严重等问题。
对此，本发明提供一种防振锤螺栓检测方法。图1是本发明提供的防振锤螺栓检测方法的流程示意图，如图1所示，该方法包括如下步骤：
步骤110、从待检测图像中提取防振锤导线的直线拟合区域，并基于直线拟合区域，以及防振锤与防振锤导线之间的位置关系，确定防振锤轮廓。
具体地，待检测图像指包含有防振锤、防振锤导线以及防振锤螺栓信息的图像，其中，待检测图像可以是通过相机获取的彩色图，也可以是通过摄像机获取视频，并从视频中截取的视频帧图像。
防振锤导线的直线拟合区域指由防振锤导线轮廓确定的闭合区域，而防振锤导线的两端通常与防振锤连接，从而根据防振锤与防振锤导线之间的位置关系(如防振锤与防振锤导线之间的安装位置关系)，以及防振锤导线的直线拟合区域，可以得到防振锤的轮廓。
例如，基于直线拟合区域，以及防振锤与防振锤导线之间的位置关系，可以得到防振锤的感兴趣区域图，并从防振锤的感兴趣区域图中提取防振锤的轮廓。
步骤120、基于防振锤轮廓，以及防振锤的结构尺寸，确定防振锤螺栓区域图，并对防振锤螺栓区域图进行目标检测，得到防振锤螺栓的位置检测结果。
具体地，由于防振锤的结构尺寸中包含有防振锤螺栓的位置信息，因此基于防振锤的轮廓，以及防振锤的结构尺寸，可以确定防振锤螺栓区域图，从而可以对防振锤螺栓区域图进行目标检测，如可以将防振锤螺栓输入目标检测模型中，得到防振锤螺栓的位置检测结果。
由此可见，本发明实施例基于防振锤导线的直线拟合区域确定防振锤的轮廓，并基于防振锤轮廓以及防振锤的结构尺寸，确定防振锤螺栓区域图，从而可以避免传统方法中由于防振锤螺栓几何特征不明显导致无法准确检测螺栓位置的问题。本发明实施例首先提取易于识别的防振锤导线的直线拟合区域，然后基于直线拟合区域精确确定防振锤的轮廓，最终根据防振锤轮廓以及防振锤的结构尺寸，定位至防振锤螺栓，提高了防振锤螺栓的检测精度。
本发明实施例提供的防振锤螺栓检测方法，基于防振锤导线的直线拟合区域确定防振锤轮廓，并基于防振锤轮廓以及防振锤的结构尺寸，确定防振锤螺栓区域图，从而可以基于防振锤螺栓区域图精确得到防振锤螺栓的位置检测结果，避免传统方法中由于防振锤螺栓几何特征不明显导致无法准确检测螺栓位置的问题。
基于上述实施例，从待检测图像中提取防振锤导线的直线拟合区域，并基于直线拟合区域，以及防振锤与防振锤导线之间的位置关系，确定防振锤轮廓，包括：
从待检测图像中提取防振锤导线的第一感兴趣区域图，并对第一感兴趣区域图进行边缘检测，确定直线拟合区域；
基于防振锤与防振锤导线之间的位置关系，对直线拟合区域进行区域扩展，确定防振锤的第二感兴趣区域图；
对第二感兴趣区域图进行边缘检测，确定防振锤轮廓。
具体地，由于防振锤固定于输电导线下方，为获取准确的防振锤轮廓，可先通过检测输电导线确定防振锤导线的第一感兴趣区域图，具体为：对待检测图像中央区域以滑动窗口方式进行直方图相似性匹配搜索获得铝绞线区域图，并对铝绞线区域图进行固定像素区域扩展，获得第一感兴趣区域图图。
其中，直方图相似性通过巴氏距离衡量，其计算方法如式(1)和式(2)所示：
Figure BDA0003218559590000081
Figure BDA0003218559590000082
其中，Hdest代表目标图像块的直方图，其可以由固定的铝绞线纹理图进行直方图计算获得，Hsearch代表搜索区域块的直方图，Hdest和Hsearch所代表的直方图的图像块大小相等，I、J分别代表目标图像块直方图和搜索区域块直方图的灰度值范围，N代表直方图直条的个数，
Figure BDA0003218559590000083
代表归一化系数。
在得到第一感兴趣区域图之后，可以基于防振锤与防振锤导线之间的位置关系，按照待检测图的x轴方向进行定量扩展，确定防振锤的第二感兴趣区域图，并对第二感兴趣区域图进行边缘检测，确定防振锤轮廓。
基于上述任一实施例，从待检测图像中提取防振锤导线的第一感兴趣区域图，并对第一感兴趣区域图进行边缘检测，确定直线拟合区域，包括：
对第一感兴趣区域图进行图像预处理，并对预处理后的第一感兴趣区域图进行边缘点检测，获取导线边缘特征集合；导线边缘特征集合中包括多个导线边缘点；
从多个导线边缘点中确定目标直线端点，并对各目标直线端点进行直线拟合，确定直线拟合区域。
具体地，在得到第一感兴趣区域图之后，可以对其进行图像预处理(如灰度化处理、降噪处理等)，从而可以基于预处理后的第一感兴趣区域图准确进行边缘点检测，获取防振锤导线的边缘特征，构成导线边缘特征集合。
其中，导线边缘特征集合包括导线以及导线周围物体的特征，为获取导线需将干扰的特征排除，提取导线的目标直线端点，并对各目标直线端点进行直线拟合，确定直线拟合区域。
基于上述任一实施例，对第一感兴趣区域图进行图像预处理，包括：
依次对第一感兴趣图进行灰度化处理、降噪处理、均衡化处理以及去纹理处理。
具体地，导线周围的噪声以及导线纹理均会对导线边缘直线特征的提取产生干扰，因此需进行图像预处理改善这一问题，图像预处理主要使用了五种手段，对第一感兴趣区域图进行灰度化和高斯滤波抑制图像噪声，再进行直方图均衡化增强图像，使用形态学闭运算消除导线表面纹理，最后使用Canny边缘检测算法检测边缘点。
如图2所示，对第一感兴趣区域图进行灰度化处理，获得第一感兴趣区域灰度图。对第一感兴趣区域灰度图进行高斯滤波，获得降噪图。
第一感兴趣区域灰度图通过二维高斯滤波进行降噪，其方法如式(3)所示：
Figure BDA0003218559590000091
其中，A代表幅值，(x0，y0)代表高斯滤波的中心点坐标，σx和σy分别代表x轴方向和y轴方向的方差，可选地，σx和σy设置为2。
在获取降噪图后，对降噪图进行直方图均衡化，获得均衡化图，接着，对均衡化图进行形态学闭运算，获得导线去纹理图。对导线去纹理图进行Canny边缘检测，获得导线边缘特征集合。
由此可见，本发明实施例通过灰度化、高斯滤波降噪、直方图均衡化以及形态学闭运算的处理，消除了导线周围环境以及导线表面纹理的干扰，有利于提取准确的导线边缘特征集合，进一步提高了获取的直线拟合区域的准确性。
基于上述任一实施例，从多个导线边缘点中确定目标直线端点，并对各目标直线端点进行直线拟合，确定直线拟合区域，包括：
对各导线边缘点进行霍夫变换，并将霍夫变换后满足预设条件的导线边缘点作为直线搜索点，预设条件为相交的霍夫空间曲线数量大于阈值；
基于直线搜索点确定笛卡尔空间下的直线方向，并基于直线方向，从各导线边缘点中确定候选直线端点；
基于候选直线端点确定直线长度，若直线长度大于预设长度，则将对应的候选直线端点作为目标直线端点，并对各目标直线端点进行直线拟合，得到导线边缘直线集合；
基于导线边缘直线集合中各直线斜率，对各直线进行分类，得到左边缘直线集合和右边缘直线集合；
基于左边缘直线集合和右边缘直线集合，对第一感兴趣区域图进行最小二乘拟合，确定直线拟合区域。
具体地，导线边缘直线集合是基于如下步骤确定的：
步骤a1、对导线边缘特征集合中的边缘点进行标注检测，若全部边缘点已被标注，则进行步骤e1；否则，获得抽取点。
步骤b1、对抽取点进行霍夫变换，并寻找最多条霍夫空间曲线相交于点(ρ0，θ0)，若点(ρ0，θ0)的相交曲线数量小于阈值T，则返回步骤a；否则，得到抽取点集合并进行步骤c1。
霍夫变换采用极坐标形式进行直线表达，其方法如式(4)所示：
ρ＝x0cosθ+y0sinθ (4)
其中，ρ代表极坐标的极径，θ代表极坐标的极角，x0，y0分别代表所述抽取点在笛卡尔坐标系下x轴方向和y轴方向的值。
步骤c1、基于点(ρ0，θ0)获得笛卡尔空间下的直线方向，并基于直线方向寻找抽取点集合中的直线中间点和候选直线端点。
步骤d1、基于候选直线端点，计算直线长度，若直线长度大于直线最小长度L，则将对应的候选直线端点作为目标直线端点，并对抽取点集合中的点进行标注；否则，返回步骤a1。
步骤e1、对目标直线端点进行总和，获得导线边缘直线集合。
由于导线边缘直线集合中的直线在图像上的分布不连续，无法直接判断导线区域，需要通过区分直线为导线左右边缘并进行拟合来解决这一问题，如图3所示，在获取导线边缘直线集合后，基于如下步骤获取直线拟合区域：
步骤a2，对导线边缘直线集合中的每条直线计算斜率，获得直线斜率集合。
步骤b2，对直线斜率集合进行二均值聚类，获得左边缘直线斜率集合和右边缘直线斜率集合。
步骤c2，基于左边缘直线斜率集合和右边缘直线斜率集合划分导线边缘直线集合，获得左边缘直线集合和右边缘直线集合。
步骤d2，基于左边缘直线集合和右边缘直线集合对第一感兴趣区域图中的导线进行最小二乘拟合，获得直线拟合区域。
基于上述任一实施例，对第二感兴趣区域图进行边缘检测，确定防振锤轮廓，包括：
对第二感兴趣区域图进行边缘检测，得到防振锤边缘图，并确定防振锤边缘图中各非零点的圆周梯度；
基于各非零点的圆周梯度，确定圆形梯度直线，并基于圆形梯度直线确定累加矩阵；
若累加矩阵中的任一点与阈值之间的差值大于零，则将对应累加矩阵中的点作为候选圆心点，并对候选圆心点进行邻域对比，确定目标圆心点；
基于目标圆心点与防振锤边缘图中各防振锤边缘点之间的距离，确定候选防振锤轮廓，并将满足预设约束条件的候选防振锤轮廓作为防振锤轮廓。
具体地，在获取直线拟合区域后，即可根据直线拟合区域扩展成为防振锤的第二感兴趣区域并提取防振锤轮廓，如图4所示，防振锤轮廓是基于如下步骤确定的：
步骤a3，对直线拟合区域沿相机彩色图的x轴方向进行定量扩展，获得防振锤的第二感兴趣区域图。
步骤b3，对第二感兴趣区域图进行边缘检测获得边缘图，并基于边缘图中的每个非零点进行梯度计算获得圆周梯度。
步骤c3，基于圆周梯度和非零点获得图形梯度直线，并将图形梯度直线上的每个点进行累加，获得累加矩阵。
步骤d3，以累加矩阵中点的数量值与阈值Tc之间的差大于零的点作为候选圆心点，并对候选圆心点进行4邻域对比，若候选圆心点大于任意4邻域中的值，则确定候选圆心点为目标圆心点；否则，剔除无效的候选圆心点。
步骤e3，遍历各防振锤边缘点到目标圆心点的距离值，并根据设定的最小半径Rmin和最大半径Rmax对距离值进行筛选排序，得到圆半径值。
步骤f3，对圆半径值进行计数，以计数值大于阈值Tr的半径值作为有效圆半径。
步骤g3，重复步骤e3至g3，直到所有目标圆心点以及有效圆半径被计算，获得待筛选圆。
步骤h3，对待筛选圆进行区域条件约束，获得防振锤轮廓。
其中，对待筛选圆进行区域条件约束，其方法如式(5)、式(6)和式(7)所示：
r1＜r＜r2 (5)
xα-d1＜x＜xβ+d1 (6)
d1＝k|xβ-xα| (7)
其中，r为待筛选圆的半径值，r1、r2分别为待筛选圆的最小半径和最大半径，x为待筛选圆的x轴坐标值，xα、xβ分别为拟合导线x轴坐标最小值和最大值，d1为区域范围值，k为区域范围权重，可选地，k设置为3。
由此可见，本发明实施例通过直线拟合区域扩展得到防振锤的第二感兴趣区域以及设置区域约束条件，使得防振锤轮廓检测的范围更集中，排除了输电线路场景下的部分圆形物体的干扰，防振锤检测的准确性明显挺高。
基于上述任一实施例，基于目标圆心点与防振锤边缘图中各防振锤边缘点之间的距离，确定候选防振锤轮廓，包括：
基于目标圆心点与防振锤边缘图中各防振锤边缘点之间的距离，确定候选圆半径值；
对各候选圆半径值进行计数，以计数值大于预设计数值对应的候选圆半径值作为有效圆半径值；
以有效圆半径值作为半径，以对应目标圆心点作为圆心，得到有效圆形轮廓，并以有效圆形轮廓作为候选防振锤轮廓。
具体地，遍历防振锤边缘图中各防振锤边缘点到目标圆心点的距离值，并根据设定的最小半径Rmin和最大半径Rmax对距离值进行筛选排序，得到候选圆半径值。
接着，对候选圆半径值进行计数，以计数值大于阈值Tr的半径值作为有效圆半径值。以有效圆半径值作为半径，以对应目标圆心点作为圆心，得到有效圆形轮廓，并以有效圆形轮廓作为候选防振锤轮廓。
基于上述任一实施例，对防振锤螺栓区域图进行目标检测，得到防振锤螺栓的位置检测结果，包括：
将防振锤螺栓区域图输入至目标检测模型，得到目标检测模型输出的位置检测结果；
其中，目标检测模型是基于样本防振锤螺栓区域图以及样本位置检测结果进行训练得到的；目标检测模型是对YOLOv3模型进行稀疏训练得到的轻量化模型。
具体地，基于防振锤圆形轮廓和防振锤结构能够估计大致的螺栓所处位置，获得防振锤螺栓区域图，并使用模型压缩后的YOLOv3模型对防振锤螺栓区域图进行目标检测，获得螺栓的位置检测结果，具体包括：
步骤a4，基于防振锤圆形轮廓和防振锤结构划分固定大小的区域，获得防振锤螺栓区域图。
步骤b4，基于模型压缩的YOLOv3模型对防振锤螺栓区域图进行螺栓检测，获得位置检测结果。
需要说明的是，不经模型压缩的YOLOv3模型参数容量大，在嵌入式设备中推理速度慢，因此需对YOLOv3模型进行模型压缩，如图5所示，对YOLOv3模型进行压缩的流程如下：
步骤a5，基于样本防振锤螺栓区域图以及样本位置检测结果进行YOLOv3模型训练，获得基础模型。
步骤b5，对基础模型进行稀疏训练，获得稀疏模型。
对基础模型进行稀疏训练，其方法如式(8)所示：
Figure BDA0003218559590000141
其中，x和y分别为训练的输入和目标，W为训练模型的权重，∑(x，y)l(f(x，W)，y)为卷积层的训练损失函数，γ为批量归一化层的缩放因子，∑γ∈Γg(γ)为缩放因子的惩罚项，λ为平衡因子。
步骤c5，对稀疏模型中每个通道缩放因子进行排序，获得缩放因子排序表。
步骤d5，基于缩放因子排序表裁剪定量趋近于零的缩放因子通道，获得裁剪模型。
步骤e5，对裁剪模型进行微调，获得轻量化模型。
由此可见，本发明实施例通过防振锤轮廓和防振锤结构尺寸得到螺栓区域图，再由基于模型压缩的YOLOv3进行检测，在保证防振锤螺栓检测精度的同时提高了YOLOv3模型的加载速率和检测帧速率，避免传统方法中将深度学习算法部署在嵌入式设备上存在运行效率低和内存消耗严重的问题。
基于上述任一实施例，本发明还提供一种防振锤螺栓检测方法，如图6所示，该方法包括：
首先，获取相机彩色图，并提取彩色图中的导线感兴趣区域，获得导线感兴趣区域图；对导线感兴趣区域图进行图像预处理，获得导线边缘特征集合；
接着，提取导线边缘特征集合中的导线边缘直线特征，获得导线边缘直线特征集合，并基于导线边缘直线特征集合对导线感兴趣区域图中的导线进行直线拟合，获得导线拟合区域；
然后对导线拟合区域进行扩展，获得防振锤感兴趣区域图，并对防振锤感兴趣区域图提取防振锤，获得防振锤圆形轮廓。
最后，基于防振锤圆形轮廓和防振锤结构获得螺栓感兴趣区域图，并基于模型压缩后的YOLOv3模型对螺栓感兴趣区域图进行目标检测，获得螺栓位置。
下面对本发明提供的防振锤螺栓检测装置进行描述，下文描述的防振锤螺栓检测装置与上文描述的防振锤螺栓检测方法可相互对应参照。
基于上述任一实施例，本发明提供一种防振锤螺栓检测装置，如图7所示，该装置包括：
轮廓确定单元710，用于从待检测图像中提取防振锤导线的直线拟合区域，并基于所述直线拟合区域，以及防振锤与所述防振锤导线之间的位置关系，确定防振锤轮廓；
螺栓检测单元720，用于基于所述防振锤轮廓，以及所述防振锤的结构尺寸，确定防振锤螺栓区域图，并对所述防振锤螺栓区域图进行目标检测，得到防振锤螺栓的位置检测结果。
基于上述任一实施例，所述轮廓确定单元710，包括：
直线拟合区域确定单元，用于从所述待检测图像中提取防振锤导线的第一感兴趣区域图，并对所述第一感兴趣区域图进行边缘检测，确定所述直线拟合区域；
防振锤感兴趣区域确定单元，用于基于所述防振锤与所述防振锤导线之间的位置关系，对所述直线拟合区域进行区域扩展，确定防振锤的第二感兴趣区域图；
防振锤轮廓确定单元，用于对所述第二感兴趣区域图进行边缘检测，确定所述防振锤轮廓。
基于上述任一实施例，所述直线拟合区域确定单元，包括：
边缘特征确定单元，用于对所述第一感兴趣区域图进行图像预处理，并对预处理后的第一感兴趣区域图进行边缘点检测，获取导线边缘特征集合；所述导线边缘特征集合中包括多个导线边缘点；
拟合单元，用于从所述多个导线边缘点中确定目标直线端点，并对各目标直线端点进行直线拟合，确定所述直线拟合区域。
基于上述任一实施例，所述边缘特征确定单元，用于：
依次对所述第一感兴趣图进行灰度化处理、降噪处理、均衡化处理以及去纹理处理。
基于上述任一实施例，所述拟合单元，包括：
直线搜索单元，用于对各导线边缘点进行霍夫变换，并将霍夫变换后满足预设条件的导线边缘点作为直线搜索点，所述预设条件为相交的霍夫空间曲线数量大于阈值；
直线端点确定单元，用于基于所述直线搜索点确定笛卡尔空间下的直线方向，并基于所述直线方向，从各导线边缘点中确定候选直线端点；
拟合子单元，用于基于所述候选直线端点确定直线长度，若所述直线长度大于预设长度，则将对应的候选直线端点作为所述目标直线端点，并对各目标直线端点进行直线拟合，得到导线边缘直线集合；
直线分类单元，用于基于所述导线边缘直线集合中各直线斜率，对各直线进行分类，得到左边缘直线集合和右边缘直线集合；
直线拟合单元，用于基于所述左边缘直线集合和所述右边缘直线集合，对所述第一感兴趣区域图进行最小二乘拟合，确定所述直线拟合区域。
基于上述任一实施例，所述防振锤轮廓确定单元，包括：
防振锤边缘图确定单元，用于对所述第二感兴趣区域图进行边缘检测，得到防振锤边缘图，并确定所述防振锤边缘图中各非零点的圆周梯度；
累加矩阵确定单元，用于基于各非零点的圆周梯度，确定圆形梯度直线，并基于所述圆形梯度直线确定累加矩阵；
邻域对比单元，用于若所述累加矩阵中的任一点与阈值之间的差值大于零，则将对应累加矩阵中的点作为候选圆心点，并对所述候选圆心点进行邻域对比，确定目标圆心点；
候选防振锤轮廓确定单元，用于基于所述目标圆心点与所述防振锤边缘图中各防振锤边缘点之间的距离，确定候选防振锤轮廓，并将满足预设约束条件的候选防振锤轮廓作为所述防振锤轮廓。
基于上述任一实施例，所述候选防振锤轮廓确定单元，包括：
候选圆半径确定单元，用于基于所述目标圆心点与所述防振锤边缘图中各防振锤边缘点之间的距离，确定候选圆半径值；
有效圆半径确定单元，用于对各候选圆半径值进行计数，以计数值大于预设计数值对应的候选圆半径值作为有效圆半径值；
有效轮廓确定单元，用于以所述有效圆半径值作为半径，以对应目标圆心点作为圆心，得到有效圆形轮廓，并以所述有效圆形轮廓作为所述候选防振锤轮廓。
基于上述任一实施例，所述螺栓检测单元720，用于：
将所述防振锤螺栓区域图输入至目标检测模型，得到所述目标检测模型输出的所述位置检测结果；
其中，所述目标检测模型是基于样本防振锤螺栓区域图以及样本位置检测结果进行训练得到的；所述目标检测模型是对YOLOv3模型进行稀疏训练得到的轻量化模型。
图8是本发明提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、存储器(memory)820、通信接口(Communications Interface)830和通信总线840，其中，处理器810，存储器820，通信接口830通过通信总线840完成相互间的通信。处理器810可以调用存储器820中的逻辑指令，以执行防振锤螺栓检测方法，该方法包括：从待检测图像中提取防振锤导线的直线拟合区域，并基于所述直线拟合区域，以及防振锤与所述防振锤导线之间的位置关系，确定防振锤轮廓；基于所述防振锤轮廓，以及所述防振锤的结构尺寸，确定防振锤螺栓区域图，并对所述防振锤螺栓区域图进行目标检测，得到防振锤螺栓的位置检测结果。
此外，上述的存储器820中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的防振锤螺栓检测方法，该方法包括：从待检测图像中提取防振锤导线的直线拟合区域，并基于所述直线拟合区域，以及防振锤与所述防振锤导线之间的位置关系，确定防振锤轮廓；基于所述防振锤轮廓，以及所述防振锤的结构尺寸，确定防振锤螺栓区域图，并对所述防振锤螺栓区域图进行目标检测，得到防振锤螺栓的位置检测结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的防振锤螺栓检测方法，该方法包括：从待检测图像中提取防振锤导线的直线拟合区域，并基于所述直线拟合区域，以及防振锤与所述防振锤导线之间的位置关系，确定防振锤轮廓；基于所述防振锤轮廓，以及所述防振锤的结构尺寸，确定防振锤螺栓区域图，并对所述防振锤螺栓区域图进行目标检测，得到防振锤螺栓的位置检测结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种防振锤螺栓检测方法，其特征在于，包括：
从待检测图像中提取防振锤导线的直线拟合区域，并基于所述直线拟合区域，以及防振锤与所述防振锤导线之间的位置关系，确定防振锤轮廓；
基于所述防振锤轮廓，以及所述防振锤的结构尺寸，确定防振锤螺栓区域图，并对所述防振锤螺栓区域图进行目标检测，得到防振锤螺栓的位置检测结果。
2.根据权利要求1所述的防振锤螺栓检测方法，其特征在于，所述从待检测图像中提取防振锤导线的直线拟合区域，并基于所述直线拟合区域，以及防振锤与所述防振锤导线之间的位置关系，确定防振锤轮廓，包括：
从所述待检测图像中提取防振锤导线的第一感兴趣区域图，并对所述第一感兴趣区域图进行边缘检测，确定所述直线拟合区域；
基于所述防振锤与所述防振锤导线之间的位置关系，对所述直线拟合区域进行区域扩展，确定防振锤的第二感兴趣区域图；
对所述第二感兴趣区域图进行边缘检测，确定所述防振锤轮廓。
3.根据权利要求2所述的防振锤螺栓检测方法，其特征在于，所述从所述待检测图像中提取防振锤导线的第一感兴趣区域图，并对所述第一感兴趣区域图进行边缘检测，确定所述直线拟合区域，包括：
对所述第一感兴趣区域图进行图像预处理，并对预处理后的第一感兴趣区域图进行边缘点检测，获取导线边缘特征集合；所述导线边缘特征集合中包括多个导线边缘点；
从所述多个导线边缘点中确定目标直线端点，并对各目标直线端点进行直线拟合，确定所述直线拟合区域。
4.根据权利要求3所述的防振锤螺栓检测方法，其特征在于，所述对所述第一感兴趣区域图进行图像预处理，包括：
依次对所述第一感兴趣图进行灰度化处理、降噪处理、均衡化处理以及去纹理处理。
5.根据权利要求3所述的防振锤螺栓检测方法，其特征在于，所述从所述多个导线边缘点中确定目标直线端点，并对各目标直线端点进行直线拟合，确定所述直线拟合区域，包括：
对各导线边缘点进行霍夫变换，并将霍夫变换后满足预设条件的导线边缘点作为直线搜索点，所述预设条件为相交的霍夫空间曲线数量大于阈值；
基于所述直线搜索点确定笛卡尔空间下的直线方向，并基于所述直线方向，从各导线边缘点中确定候选直线端点；
基于所述候选直线端点确定直线长度，若所述直线长度大于预设长度，则将对应的候选直线端点作为所述目标直线端点，并对各目标直线端点进行直线拟合，得到导线边缘直线集合；
基于所述导线边缘直线集合中各直线斜率，对各直线进行分类，得到左边缘直线集合和右边缘直线集合；
基于所述左边缘直线集合和所述右边缘直线集合，对所述第一感兴趣区域图进行最小二乘拟合，确定所述直线拟合区域。
6.根据权利要求2所述的防振锤螺栓检测方法，其特征在于，所述对所述第二感兴趣区域图进行边缘检测，确定所述防振锤轮廓，包括：
对所述第二感兴趣区域图进行边缘检测，得到防振锤边缘图，并确定所述防振锤边缘图中各非零点的圆周梯度；
基于各非零点的圆周梯度，确定圆形梯度直线，并基于所述圆形梯度直线确定累加矩阵；
若所述累加矩阵中的任一点与阈值之间的差值大于零，则将对应累加矩阵中的点作为候选圆心点，并对所述候选圆心点进行邻域对比，确定目标圆心点；
基于所述目标圆心点与所述防振锤边缘图中各防振锤边缘点之间的距离，确定候选防振锤轮廓，并将满足预设约束条件的候选防振锤轮廓作为所述防振锤轮廓。
7.根据权利要求6所述的防振锤螺栓检测方法，其特征在于，所述基于所述目标圆心点与所述防振锤边缘图中各防振锤边缘点之间的距离，确定候选防振锤轮廓，包括：
基于所述目标圆心点与所述防振锤边缘图中各防振锤边缘点之间的距离，确定候选圆半径值；
对各候选圆半径值进行计数，以计数值大于预设计数值对应的候选圆半径值作为有效圆半径值；
以所述有效圆半径值作为半径，以对应目标圆心点作为圆心，得到有效圆形轮廓，并以所述有效圆形轮廓作为所述候选防振锤轮廓。
8.根据权利要求1至7任一项所述的防振锤螺栓检测方法，其特征在于，所述对所述防振锤螺栓区域图进行目标检测，得到防振锤螺栓的位置检测结果，包括：
将所述防振锤螺栓区域图输入至目标检测模型，得到所述目标检测模型输出的所述位置检测结果；
其中，所述目标检测模型是基于样本防振锤螺栓区域图以及样本位置检测结果进行训练得到的；所述目标检测模型是对YOLOv3模型进行稀疏训练得到的轻量化模型。
9.一种防振锤螺栓检测装置，其特征在于，包括：
轮廓确定单元，用于从待检测图像中提取防振锤导线的直线拟合区域，并基于所述直线拟合区域，以及防振锤与所述防振锤导线之间的位置关系，确定防振锤轮廓；
螺栓检测单元，用于基于所述防振锤轮廓，以及所述防振锤的结构尺寸，确定防振锤螺栓区域图，并对所述防振锤螺栓区域图进行目标检测，得到防振锤螺栓的位置检测结果。
10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述防振锤螺栓检测方法的步骤。
CN202110950811.8A 2021-08-18 2021-08-18 防振锤螺栓检测方法、装置和电子设备 Pending CN113850252A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110950811.8A CN113850252A (zh) 2021-08-18 2021-08-18 防振锤螺栓检测方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110950811.8A CN113850252A (zh) 2021-08-18 2021-08-18 防振锤螺栓检测方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN113850252A true CN113850252A (zh) 2021-12-28

Family

ID=78975922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110950811.8A Pending CN113850252A (zh) 2021-08-18 2021-08-18 防振锤螺栓检测方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN113850252A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627059A (zh) * 2022-02-27 2022-06-14 扬州孚泰电气有限公司 一种基于数据处理的防震锤螺栓检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114627059A (zh) * 2022-02-27 2022-06-14 扬州孚泰电气有限公司 一种基于数据处理的防震锤螺栓检测方法
CN114627059B (zh) * 2022-02-27 2022-12-13 扬州孚泰电气有限公司 一种基于数据处理的防震锤螺栓检测方法

Similar Documents

Publication Publication Date Title
CN115861135B (zh) 一种应用于箱体全景探测的图像增强及识别方法
CN112052782B (zh) 基于环视的停车位识别方法、装置、设备及存储介质
CN116385450B (zh) 基于图像处理的ps片材抗耐磨性检测方法
CN114782330B (zh) 基于人工智能的炉排异常检测方法及***
CN114596551A (zh) 一种车载前视图像裂缝检测的方法
CN113780110A (zh) 一种图像序列中弱小目标实时检测方法及设备
CN111476804A (zh) 托辊图像高效分割方法、装置、设备及存储介质
CN1564600A (zh) 动态场景下的运动物体检测方法
CN114255468A (zh) 一种笔迹识别方法及其相关设备
CN117455915A (zh) 基于机器视觉的三轴转台缺陷检测方法
CN113850252A (zh) 防振锤螺栓检测方法、装置和电子设备
CN107977608B (zh) 一种应用于公路视频图像道路区域提取的方法
CN111639555B (zh) 一种指静脉图像噪声精确提取和自适应滤波去噪方法及装置
CN113436102A (zh) 一种加工零件表面缺陷检测方法
WO2024016632A1 (zh) 亮点定位方法、亮点定位装置、电子设备及存储介质
Cheng et al. Power pole detection based on graph cut
CN116524269A (zh) 一种视觉识别检测***
CN115100510B (zh) 一种轮胎磨损度识别方法
CN114758139B (zh) 基坑积水检测方法
CN115994870A (zh) 一种用于增强去噪的图像处理方法
CN116129187A (zh) 基于局部稳定特征点的快速目标检测方法及***
Bi et al. Adaptive blind image restoration algorithm of degraded image
CN115330818A (zh) 一种图片分割方法及其计算机可读存储介质
CN115578594A (zh) 基于计算机视觉的边缘定位方法、装置及相关设备
CN110276260B (zh) 一种基于深度摄像头的商品检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination