CN114863311A - 一种变电站机器人巡检目标自动跟踪方法及*** - Google Patents

一种变电站机器人巡检目标自动跟踪方法及*** Download PDF

Info

Publication number
CN114863311A
CN114863311A CN202210284103.XA CN202210284103A CN114863311A CN 114863311 A CN114863311 A CN 114863311A CN 202210284103 A CN202210284103 A CN 202210284103A CN 114863311 A CN114863311 A CN 114863311A
Authority
CN
China
Prior art keywords
target
inspection
robot
image
automatic tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210284103.XA
Other languages
English (en)
Inventor
宫德锋
武同宝
亓鹏
邹浩
杨雷
杨坤
谢雨濛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TaiAn Power Supply Co of State Grid Shandong Electric Power Co Ltd
Original Assignee
TaiAn Power Supply Co of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TaiAn Power Supply Co of State Grid Shandong Electric Power Co Ltd filed Critical TaiAn Power Supply Co of State Grid Shandong Electric Power Co Ltd
Priority to CN202210284103.XA priority Critical patent/CN114863311A/zh
Publication of CN114863311A publication Critical patent/CN114863311A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种变电站机器人巡检目标自动跟踪方法及***，包括：获取机器人巡检视频数据，并进行预处理；基于预处理后的视频图像数据和训练好的目标检测模型，识别得到机器人巡检设备的目标图像位置；确定巡检设备中心点与图像中心点的距离以及相对位置关系，计算巡检机器人所搭载摄像头的偏转方向，使得目标图像始终处于图像的中心区域。本发明创造性的提出了巡检目标自动跟踪方法，能够准确并实时的对巡检设备进行目标检测和自动跟踪，使得目标图像始终处于图像的中心区域，解决了现有技术中对巡检目标识别不准确的问题，提高了目标识别及定位的准确性。

Description

一种变电站机器人巡检目标自动跟踪方法及***
技术领域
本发明涉及机器人巡检技术领域，尤其涉及一种变电站机器人巡检目标自动跟踪方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
变电站巡检机器人***是集机电一体化、多传感器融合、导航及行为规划、机器人视觉、无线传输等于一体的复杂***。巡检机器人携带CCD摄像机、红外热成像仪、拾音器、超声波，通过导航定位，并规划最优路径对室外高压设备进行自主或者遥控巡检，采集设备的红外热图、图像和音频等信息，并自动识别设备的热缺陷、开关或刀闸状态，生成统一规范的告警事项和巡检报告。
由于机器人的定位误差和机器人本体自由度的误差，会造成机器人到固定点取图像时巡检目标偏移甚至丢失。
现有技术采用传统的机器学习算法对巡检图像中的目标进行定位，识别错误率较高，定位也不准确，无法实现使得机器人的摄像头始终对准巡检目标，从而不利于巡检目标的提取。
发明内容
为了解决上述问题，本发明提出了一种变电站机器人巡检目标自动跟踪方法及***，利用基于深度学习的多目标检测算法YOLO来对巡检目标进行定位；通过视觉伺服的方法，结合巡检目标在图像中的位置坐标计算摄像头的偏转方向，使巡检目标始终处于视频的中间区域。
在一些实施方式中，采用如下技术方案：
一种变电站机器人巡检目标自动跟踪方法，包括：
获取机器人巡检视频数据，并进行预处理；
基于预处理后的视频图像数据和训练好的目标检测模型，识别得到机器人巡检设备的目标图像位置；
确定巡检设备中心点与图像中心点的距离以及相对位置关系，计算巡检机器人所搭载摄像头的偏转方向，使得目标图像始终处于图像的中心区域。
作为可选的方案，获取机器人巡检视频数据，并进行预处理，具体为：
将视频帧分解为多张图像，分析巡检图像的背景特征，采用直方图均衡化技术对巡检图像进行滤波处理。
作为可选的方案，所述训练好的目标检测模型具体为：改进的YOLO目标检测模型。
作为可选的方案，所述改进的YOLO目标检测模型以残差网络作为特征提取网络。
作为可选的方案，所述改进的YOLO目标检测模型在特征提取网络之前，设置数据增强模块。
作为可选的方案，所述改进的YOLO目标检测模型在原始YOLO算法的基础上，去掉全连接层。
作为可选的方案，所述改进的YOLO目标检测模型的最后设置空洞卷积网络，增加特征图的语义特征。
在另一些实施方式中，采用如下技术方案：
一种变电站机器人巡检目标自动跟踪***，包括：
数据获取模块，用于获取机器人巡检视频数据，并进行预处理；
巡检目标识别模块，用于基于预处理后的视频图像数据和训练好的目标检测模型，识别得到机器人巡检设备的目标图像位置；
目标跟踪模块，用于确定巡检设备中心点与图像中心点的距离以及相对位置关系，计算巡检机器人所搭载摄像头的偏转方向，使得目标图像始终处于图像的中心区域。
在另一些实施方式中，采用如下技术方案：
一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的变电站机器人巡检目标自动跟踪方法。
在另一些实施方式中，采用如下技术方案：
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的变电站机器人巡检目标自动跟踪方法。
与现有技术相比，本发明的有益效果是：
(1)本发明创造性的提出了巡检目标自动跟踪方法，能够准确并实时的对巡检设备进行目标检测和自动跟踪，使得目标图像始终处于图像的中心区域，解决了现有技术中对巡检目标识别不准确的问题，提高了目标识别及定位的准确性。
(2)本发明创造性的提出了改进的YOLO目标检测模型，在原有YOLO算法的基础上，增加数据增强模块，能够扩充训练数据，增加训练样本的多样性；增加空洞卷积网络，以突出特征图的语义特征；改进的YOLO目标检测模型能够减少显存的占用率，降低巡检目标识别的误检率，提高目标检测的准确度。
本发明的其他特征和附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本方面的实践了解到。
附图说明
图1为本发明实施例中的变电站机器人巡检目标自动跟踪方法示意图；
图2为本发明实施例中的改进的YOLO目标检测模型训练过程示意图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
在一个或多个实施方式中，公开了一种变电站机器人巡检目标自动跟踪方法，首先变电站巡检机器人通过搭载的可见光相机采集巡检视频，并将视频帧分解为多张图像，利用图像预处理技术对图像进行处理，从而过滤背景和其他杂光对设备识别的干扰；然后利用基于深度学习的多目标检测算法YOLO来对巡检目标进行定位；最后通过视觉伺服的方法，结合巡检目标在图象中的位置坐标计算摄像头的偏转方向，使巡检目标始终处于视频的中间区域。
作为具体的实施方式，本实施例一种变电站机器人巡检目标自动跟踪方法，结合图1，具体包括以下过程：
S101：获取机器人巡检视频数据，将视频帧分解为多张图像，利用图像预处理技术对图像进行处理，从而过滤背景和其他杂光对设备识别的干扰。
具体地，变电站机器人通过搭载可见光相机拍摄巡检视频，分析巡检视频的背景特征，采用直方图均衡化技术对巡检视频进行滤波处理，提升视频画面的对比度和清晰度，保证采集视频的质量，从而为接下来的智能识别奠定基础；
将视频帧分解为多张图像，利用图像预处理技术对图像进行处理，从而过滤背景和其他杂光对设备识别的干扰。
S102：基于预处理后的视频图像数据和训练好的目标检测模型，识别得到机器人巡检设备的目标图像位置；
本实施例中，为了能够实现变电站机器人前端化实时检测和识别，对原始的YOLOv1算法进行改进，设计了基于残差网络结构的YOLO目标检测模型，选择残差网络模型作为目标检测器的特征提取模块。改进措施如下：
1)添加数据增强模块(包含调整图象饱和度、亮度、平移、随机裁剪等)；
2)去掉全连接层，这样模型可以接受多个尺寸的输入(必须是32的倍数)，从而可以多尺度训练和预测。(默认输入是448×448×3，网格的数量是14×14，每个网格检测一个物体，最多检测256个物体)；
3)特征提取网络替换成resnet系列(选取resnet18)；
4)在模型的最后添加空洞卷积模块，在保持特征图的分辨率情况下，增加特征图的语义特征。
通过YOLO算法进行巡检图象识别，可以减少模型运算的复杂度，缩短深度学习模型的推理时间，对与提高智能识别的实时性具有重大意义。
结合图2，本实施例对于改进的YOLO目标检测模型的训练过程如下：
(1)采集变电站巡检图像样本，并对图像中的目标位置进行标定，制作好样本后，划分训练集和测试集。
(2)使用resnet18作为YOLO框架的基础网络来提取图像特征；
(3)利用后续的分类模块和边框回归模块来对目标进行分类和定位。
(4)根据模型的预测值和真实值计算训练损失，并对网络的参数不断进行优化。
S103：确定巡检设备中心点与图像中心点的距离以及相对位置关系，计算巡检机器人所搭载摄像头的偏转方向，使得目标图像始终处于图像的中心区域。
本实施例中，通过视觉伺服实现变电站机器人巡检目标自动跟踪；首先使用YOLO目标检测算法得到巡检设备的中心点在图象中的坐标位置，然后计算巡检设备的中心点与图象中心点的距离以及巡检设备相对于图象中心的位置。最后根据中心点间距和相对位置关系计算变电站机器人搭载摄像头的偏转方向，不断按照一定的方向移动摄像头，直到巡检目标处于图象的中心区域。
按照上述方法，能够实现巡检目标始终处于巡检图像的中心区域，能够准确并实时的对巡检设备进行目标检测和自动跟踪。
实施例二
在一个或多个实施方式中，公开了一种变电站机器人巡检目标自动跟踪***，包括：
数据获取模块，用于获取机器人巡检视频数据，并进行预处理；
巡检目标识别模块，用于基于预处理后的视频图像数据和训练好的目标检测模型，识别得到机器人巡检设备的目标图像位置；
目标跟踪模块，用于确定巡检设备中心点与图像中心点的距离以及相对位置关系，计算巡检机器人所搭载摄像头的偏转方向，使得目标图像始终处于图像的中心区域。
需要说明的是，上述模块的具体实现方式已经在实施例一中进行了说明，此处不再详述。
实施例三
在一个或多个实施方式中，公开了一种终端设备，包括服务器，所述服务器包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例一中的变电站机器人巡检目标自动跟踪方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
实施例四
在一个或多个实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行实施例一中所述的变电站机器人巡检目标自动跟踪方法。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种变电站机器人巡检目标自动跟踪方法，其特征在于，包括：
获取机器人巡检视频数据，并进行预处理；
基于预处理后的视频图像数据和训练好的目标检测模型，识别得到机器人巡检设备的目标图像位置；
确定巡检设备中心点与图像中心点的距离以及相对位置关系，计算巡检机器人所搭载摄像头的偏转方向，使得目标图像始终处于图像的中心区域。
2.如权利要求1所述的一种变电站机器人巡检目标自动跟踪方法，其特征在于，获取机器人巡检视频数据，并进行预处理，具体为：
将视频帧分解为多张图像，分析巡检图像的背景特征，采用直方图均衡化技术对巡检图像进行滤波处理。
3.如权利要求1所述的一种变电站机器人巡检目标自动跟踪方法，其特征在于，所述训练好的目标检测模型具体为：改进的YOLO目标检测模型。
4.如权利要求3所述的一种变电站机器人巡检目标自动跟踪方法，其特征在于，所述改进的YOLO目标检测模型以残差网络作为特征提取网络。
5.如权利要求3所述的一种变电站机器人巡检目标自动跟踪方法，其特征在于，所述改进的YOLO目标检测模型在特征提取网络之前，设置数据增强模块。
6.如权利要求3所述的一种变电站机器人巡检目标自动跟踪方法，其特征在于，所述改进的YOLO目标检测模型在原始YOLO算法的基础上，去掉全连接层。
7.如权利要求3所述的一种变电站机器人巡检目标自动跟踪方法，其特征在于，所述改进的YOLO目标检测模型的最后设置空洞卷积网络，增加特征图的语义特征。
8.一种变电站机器人巡检目标自动跟踪***，其特征在于，包括：
数据获取模块，用于获取机器人巡检视频数据，并进行预处理；
巡检目标识别模块，用于基于预处理后的视频图像数据和训练好的目标检测模型，识别得到机器人巡检设备的目标图像位置；
目标跟踪模块，用于确定巡检设备中心点与图像中心点的距离以及相对位置关系，计算巡检机器人所搭载摄像头的偏转方向，使得目标图像始终处于图像的中心区域。
9.一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行权利要求1-7任一项所述的变电站机器人巡检目标自动跟踪方法。
10.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行权利要求1-7任一项所述的变电站机器人巡检目标自动跟踪方法。
CN202210284103.XA 2022-03-22 2022-03-22 一种变电站机器人巡检目标自动跟踪方法及*** Pending CN114863311A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210284103.XA CN114863311A (zh) 2022-03-22 2022-03-22 一种变电站机器人巡检目标自动跟踪方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210284103.XA CN114863311A (zh) 2022-03-22 2022-03-22 一种变电站机器人巡检目标自动跟踪方法及***

Publications (1)

Publication Number Publication Date
CN114863311A true CN114863311A (zh) 2022-08-05

Family

ID=82627915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210284103.XA Pending CN114863311A (zh) 2022-03-22 2022-03-22 一种变电站机器人巡检目标自动跟踪方法及***

Country Status (1)

Country Link
CN (1) CN114863311A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046943A (zh) * 2019-12-09 2020-04-21 国网智能科技股份有限公司 变电站隔离刀闸状态自动识别方法及***
CN116258466A (zh) * 2023-05-15 2023-06-13 国网山东省电力公司菏泽供电公司 多模态电力场景作业规范检测方法、***、设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111046943A (zh) * 2019-12-09 2020-04-21 国网智能科技股份有限公司 变电站隔离刀闸状态自动识别方法及***
CN116258466A (zh) * 2023-05-15 2023-06-13 国网山东省电力公司菏泽供电公司 多模态电力场景作业规范检测方法、***、设备及介质
CN116258466B (zh) * 2023-05-15 2023-10-27 国网山东省电力公司菏泽供电公司 多模态电力场景作业规范检测方法、***、设备及介质

Similar Documents

Publication Publication Date Title
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
CN109977813B (zh) 一种基于深度学习框架的巡检机器人目标定位方法
CN102175701B (zh) 工业x射线机在线探伤检测***及方法
CN114863311A (zh) 一种变电站机器人巡检目标自动跟踪方法及***
CN102915432B (zh) 一种车载微机图像视频数据提取方法及装置
CN110321933B (zh) 一种基于深度学习的故障识别方法和装置
CN110443212B (zh) 用于目标检测的正样本获取方法、装置、设备及存储介质
CN111695373B (zh) 斑马线的定位方法、***、介质及设备
CN111199556A (zh) 基于摄像头的室内行人检测和跟踪方法
CN110533654A (zh) 零部件的异常检测方法及装置
CN113052295B (zh) 一种神经网络的训练方法、物体检测方法、装置及设备
CN115439458A (zh) 基于深度图注意力的工业图像缺陷目标检测算法
CN111091101A (zh) 基于一步法的高精度行人检测方法、***、装置
CN110610123A (zh) 一种多目标车辆检测方法、装置、电子设备及存储介质
CN114781514A (zh) 一种融合注意力机制的漂浮物目标检测方法及***
CN112017172A (zh) 一种基于树莓派的深度学习产品缺陷检测***及方法
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN112419261A (zh) 具有异常点去除功能的视觉采集方法及装置
CN116416613A (zh) 一种基于改进YOLO v7的柑橘果实识别方法及***
CN114227717A (zh) 基于巡检机器人的智能巡检方法、装置、设备及存储介质
CN112784675B (zh) 目标检测方法及装置、存储介质、终端
Xiang et al. Research on target detection method based on HSV fusion Gaussian mixture model
CN113723841B (zh) 一种装配式预制构件中工装缺失的在线检测方法
CN114596244A (zh) 基于视觉处理和多特征融合的红外图像识别方法及***
CN113642473A (zh) 一种基于计算机视觉的矿下煤机状态识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination