CN110006435A - 一种基于残差网络的变电站巡检机器人视觉辅助导航方法 - Google Patents

一种基于残差网络的变电站巡检机器人视觉辅助导航方法 Download PDF

Info

Publication number
CN110006435A
CN110006435A CN201910329956.9A CN201910329956A CN110006435A CN 110006435 A CN110006435 A CN 110006435A CN 201910329956 A CN201910329956 A CN 201910329956A CN 110006435 A CN110006435 A CN 110006435A
Authority
CN
China
Prior art keywords
layers
semantic segmentation
network
output
built
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910329956.9A
Other languages
English (en)
Inventor
史晋芳
黄占鳌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN201910329956.9A priority Critical patent/CN110006435A/zh
Publication of CN110006435A publication Critical patent/CN110006435A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于残差网络的变电站巡检机器人视觉辅助导航方法，包括S1、采集巡检机器人巡检的变电站道路场景图像，对道路场景图像进行筛选，并采用语义分割模型辅助人工进行数据集标注；S2、构建基于残差网络的语义分割模型；S3、采用SGD方法对步骤S2中搭建的语义分割模型进行训练，并保存最后一次迭代获得的语义分割模型；S4、确定语义分割模型的泛化性能，输入新的巡检道路场景图像，输出语义分割结果，将语义分割结果中感兴趣区域内的对象类别分布状态传输至巡检机器人导航***。

Description

一种基于残差网络的变电站巡检机器人视觉辅助导航方法
技术领域
本发明属于巡检机器人导航的技术领域，具体涉及一种基于残差网络的变电站巡检机器人视觉辅助导航方法。
背景技术
随着电网技术的飞速发展，智能化、自动化的电力产品正在逐步替代人工。其中变电站巡检机器人通常是实现各种类型的巡检任务的重要平台，其导航定位***决策的可靠性是其中的一个重要环节。在机器人巡检过程中，室外变电站道路场景的非结构性、随机性及复杂性等特点使得巡检机器人的导航***在决策出机器人的巡检路线时仍存在一定的问题。如巡检道路环境中出现的路坑，积水等可能会导致激光雷达***无法获得当前路况的反馈信息从而导致机器人无法做出下一步的行进的策略；在较窄的巡检道路上，路边杂草、石头等物体可能使得机器人导航***将其视为障碍物做出的停止前行或绕行的决策，最终导致机器人可能产生跌落的风险。因此，在巡检过程中，若能使巡检机器人获得类似于人类视觉的直观理解能力来辅助巡检机器人的导航***对自身所处环境进行理解与分析，且将原本巡检机器人传感器获取的导航数据结合视觉手段提供的场景数据，则巡检机器人的导航***在决策出巡检路径时可综合考虑更多的决策因素，从而有利于规划出更加合理的巡检路线。
在现有的变电站巡检机器人导航技术中，很少出现结合图像的语义信息的导航***，且目前依赖于激光雷达导航的***存在无法辨别出检测障碍物的类型的情况，在某些区域内甚至无法接受雷达信号的反馈，这对于巡检机器人导航***的决策过程是不利的，因此，提供一种直观的语义理解信息辅助导航***做出合理的决策路径是具有重要意义的。
随着近几年人工智能技术的飞速发展，各种涵盖深度学习技术的产品层出不穷，如汽车的自动驾驶***和疲劳检测***，服务机器人的智能推荐***，语音识别***与机器翻译***等技术的应用。深度学习技术已经展现出了良好的学习与表达能力且具有广泛的应用场景，如在图像语义分割领域，深度学习技术展现出了远超传统语义分割技术的优越性能。这使得利用深度学习技术对变电站复杂的道路场景进行图像的语义分割成为可能，从而建立起巡检机器人类似于人类视觉的直观理解能力，辅助自身导航***决策出更为合理的导航路线。
目前巡检机器人常见的导航技术有磁导航、轨道式导航、基于机器视觉的导航及激光雷达导航等技术。如文献[1]提出了一种用于巡检机器人的磁导航技术，该技术导航定位精度高、扛干扰能力强，但需针对巡检道路提前铺设好磁条，存在成本高，后期维护不便等问题。文献[2]提出了一种轨道式巡检机器人导航***，该技术需根据电力设备位置分布情况设计相应的巡检轨道，大都用于室内场景，面对复杂性的室外场景还无法较好的满足其应用需求。文献[3][4]提出了基于机器视觉的导航技术用于变电站巡检机器人导航***，该技术通过视觉算法识别巡检标识及视觉测量技术进行导航和定位，其定位导航可靠性依赖于采取的视觉算法的精度及鲁棒性，且铺设辅助标识也会带来额外的经济成本及后期维护问题。随着近年激光雷达导航技术的飞速发展，基于激光雷达的导航***的精度及可靠性日渐提升，目前国内外变电站的巡检机器人的导航定位大都采用了激光雷达，如文献[5]提出了一种利用二维激光雷达对巡检机器人进行定位及导航，文献[6]提出的一种基于北斗RTK和激光雷达的导航技术，这种技术不需重新改造巡检线路，具有良好的环境适应性等优点，但激光雷达导航无法判断检测到的障碍物的类型，在某些复杂巡检条件下，变电站道路场景中可能会出现一些杂草、水洼、碎石及围栏之类影响导航***决策的可靠性。
综上，现有技术存在如下缺点或不足：
1、磁导航需耗费大量的资源铺设相关巡检道路，存在后期维护不便等问题；
2、轨道导航适用于室内的一些设备巡检，室外复杂的环境增加铺设轨道的难度，且可能因为天气等原因对轨道造成一定的影响；
3、基于视觉的导航定位技术需要铺设额外的辅助标识，导航定位可靠性依赖于采取的视觉算法的精度及鲁棒性，存在后期维护问题；
4、激光雷达导航无法判断检测到的障碍物的类型，对于变电站道路场景中可能会出现一些杂草、水洼、碎石机围栏之类的对象会影响导航***决策的可靠性。
参考文献如下：
[1]王金钗.变电站巡检机器人磁导航***设计与实现[D].西南交通大学,2015.
[2]裴文良,张树生,岑强,饶毅.轨道式巡检机器人***设计与应用[J].煤矿机械,2016,37(06):142-144.
[3]施泽华.基于机器视觉的变电站巡检机器人导航定位技术[D].安徽理工大学,2018.
[4]樊绍胜,张绍海,胡文韬,等.基于视觉的变电站巡检机器人导航定位控制方法[P].湖南：CN105700532A,2016-06-22.
[5]肖鹏,王海鹏,李荣,等.变电站巡检机器人定位导航用二维激光雷达标定装置及方法[P].山东：CN106556826A,2017-04-05.
[6]彭道刚,戚尔江,夏飞,等.基于RTK北斗和激光雷达的巡检机器人导航***及方法[P].上海：CN107817509A,2018-03-20.
发明内容
本发明的目的在于针对现有技术中的上述不足，提供一种基于残差网络的变电站巡检机器人视觉辅助导航方法，以解决或改善上述问题。
为达到上述目的，本发明采取的技术方案是：
一种基于残差网络的变电站巡检机器人视觉辅助导航方法，其包括：
S1、采集巡检机器人巡检的变电站道路场景数据，对道路场景数据进行筛选，并采用语义分割模型辅助人工进行数据集标注；
S2、构建基于残差网络的语义分割模型；
S3、采用SGD方法对步骤S2中搭建的语义分割模型进行训练，并保存最后一次迭代获得的语义分割网络模型；
S4、输入新的巡检道路场景图像至保存的语义分割模型，输出语义分割结果，将语义分割结果中感兴趣区域内的对象类别分布状态传输至巡检机器人导航***。
进一步，步骤S1中具体包括以下步骤：
S1.1、采集巡检机器人巡检的变电站道路场景视频，提取视频的每一帧，去掉重复度较高的视频帧，筛选出部分原始样本数据进行人工标注；
S1.2、采用语义分割模型辅助人工进行数据集标注。
进一步，步骤S1.2中采用语义分割模型辅助人工进行数据集标注的具体步骤包括：
S1.2.1、人工标注部分原始样本数据；
S1.2.2、利用已标注的原始样本数据训练语义分割模型；
S1.2.3、利用训练的语义分割模型对原始样本数据中的剩余样本进行语义分割，并输出分割结果；
S1.2.4、对分割结果差的样本进行重新标注，最后将重新调整后的分割结果加入已标注的数据集。
进一步，步骤S2中构建基于残差网络的语义分割网络模型的具体步骤包括：
S2.1、搭建语义分割模型的编码、解码、多层网络融合层三部分框架；
S2.2、根据步骤S2.1中的网络框架，构建针对变电站数据集的网络结构。
进一步，步骤S2.2中构建针对变电站数据集的网络结构，包括编码网络实施步骤：
搭建网络输入层，输入层输入包含变电站道路场景图像及对应的标注标签数据；
搭建卷积层conv1，对输入图像进行卷积操作；
搭建池化层pool1，对conv1中输出进行2×下采样；
搭建残差块Res2，残差块Res2中连续进行两次卷积，2×下采样，连续卷积后的输出以Eltwise操作融合pool1输出结果；
搭建残差块Res3，残差块Res3中连续进行两次卷积，2×下采样，连续卷积后的输出以Eltwise操作融合Res2输出结果；
搭建残差块Res4，残差块Res4中连续进行两次卷积，2×下采样，连续卷积后的输出以Eltwise操作融合Res3输出结果；
搭建残差块Res5，残差块Res5中连续进行两次卷积，2×下采样，连续卷积后的输出以Eltwise操作融合Res4输出结果；
搭建池化层pool5，对Res5输出进行2×下采样；
搭建卷积层Conv6，输出通道数与变电站道路场景数据集中标注类别一致。
进一步，步骤S2.2中构建针对变电站数据集的网络结构，还包括解码与多层网络融合网络层实施步骤：
搭建Upscore2_1层，Upscore2_1层以Deconvolution操作将conv6输出进行2×上采样；
搭建score4层，score4层将Res4输出通道数压缩至与conv6输出通道数一致；
搭建Crop4层，Crop4层将score4层输出与Upscore2_1层输出尺寸裁剪至一致；
搭建Fuse4层，Fuse4层以Eltwise操作融合score4与conv6输出；
搭建Upscore2_2层，Upscore2_2层将fuse4进行2×上采样；
搭建score3层，score3层将Res3输出通道数压缩至与Fuse4层输出通道数一致；
搭建Crop3层，Crop3层将Upscore2_2层与score3层输出尺寸裁剪值一致；
搭建Fuse3层，Fuse3层以Elewise操作将Upscore2_2层与score3层输出进行融合；
搭建Upscore8层，Upscore8层以Deconvolution操作将Fuse3输出进行8×上采样；
搭建Crop8层，Crop8层将Upscore8层输出裁剪至与输入图像同尺寸；
分类层具体实施步骤为：搭建分类层，采用softmaxWithloss对Crop8层输入进行逐像素分类。
进一步，步骤S3中采用SGD方法对语义分割模型进行训练，并保存最后一次迭代获得的语义分割模型的具体步骤包括：
S3.1、将数据集分为训练集、验证集与测试集；
S3.2、设置网络优化方法，选择SGD进行优化；
S3.3、固定学习率参数；
S3.4、设置动量矩参数；
S3.5、设置权重衰减参数；
S3.6、设置优化迭代步长；
S3.7、随机初始化相关网络层参数；
S3.8、当网络层softmaxWithloss输出loss值趋近于平衡或模型的验证精度基本保持不变时停止训练；
S3.9、保存最后一次迭代获得的语义分割网络模型。
优选地，步骤S4输入新的巡检道路场景图像至保存的语义分割模型，输出语义分割结果，将语义分割结果中感兴趣区域内的对象类别分布状态传输至巡检机器人导航***的具体步骤包括：
S4.1、输入测试集至保存的语义分割网络模型；
S4.2、进行前向计算输出测试集对应的语义分割结果，确定网络的泛化性能；
S4.3、输入新的变电站道路场景图像至语义分割模型，输出语义分割结果图，选择感兴趣区域；
S4.4、确定感兴趣区域内的对象类别分布情况；
S4.5、传输对象类别分布状态至巡检机器人导航***。
本发明提供的基于残差网络的变电站巡检机器人视觉辅助导航方法，具有以下有益效果：
本发明通过对变电站道路场景图像进行语义分割，构建并训练语义分割模型，最后将语义分割结果图中感兴趣区域内的对象类别分布信息传输至巡检机器人的导航***；本发明利用语义分割图可直接提供当前巡检机器人视场中的一些场景类型及对象分布情况，从而辅助其导航***决策出更为合理的行驶路径。
附图说明
图1为基于残差网络的变电站巡检机器人视觉辅助导航方法的流程图。
图2为基于残差网络的变电站巡检机器人视觉辅助导航方法的语义分割模型中的残差块。
图3为基于残差网络的变电站巡检机器人视觉辅助导航方法语义分割网络结构。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
根据本申请的一个实施例，参考图1，本方案的基于残差网络的变电站巡检机器人视觉辅助导航方法，包括：
S1、采集巡检机器人巡检的变电站道路场景数据，对道路场景数据进行筛选，并采用语义分割模型辅助人工进行数据集标注；
S2、构建基于残差网络的语义分割网络模型；
S3、采用SGD方法对步骤S2中搭建的语义分割网络模型进行训练，并保存最后一次迭代获得的语义分割网络模型；
S4、输入新的巡检道路场景图像至保存的语义分割模型，输出语义分割结果，将语义分割结果中感兴趣区域内的对象类别分布状态传输至巡检机器人导航***。
以下对上述步骤进行详细描述
S1、采集巡检机器人巡检的变电站道路场景数据，对道路场景数据进行筛选，并采用语义分割模型辅助人工进行数据集标注；
S1.1、采集变电站道路场景数据，筛选出部分原始样本数据进行人工标注；
变电站道路场景图像获取通过机器自身搭建的可见光相机进行采集。在采集过程中，固定相机的安装高度及角度，巡检机器人按照正常的巡视路径进行巡视，相机拍摄相关巡检的道路场景视频，提取视频的每一帧，去掉重复度较高的视频帧，最终筛选出部分原始样本数据进行人工标注，标注对象包含道路、草、石头、围栏、水坑及背景六类。
S1.2、采用语义分割模型辅助人工进行数据集标注，具体包括以下步骤：
S1.2.1、人工标注部分原始样本数据；
S1.2.2、利用已标注的原始样本数据训练语义分割模型；
S1.2.3、利用训练的语义分割模型对原始样本数据中的剩余样本进行语义分割，并输出分割结果；
S1.2.4、对分割结果差的样本进行重新标注，最后将重新调整后的分割结果加入已标注的数据集。
S2、构建基于残差网络的语义分割网络模型；
S2.1、搭建语义分割模型的编码、解码、多层网络融合层三部分框架。
参考图3，网络中包含编码、解码、多层网络融合三部分框架；
编码网络即为基本的残差网络，负责抽象出变电站道路场景图像中的对象信息；
解码网络为一些上采样层，主要功能为对编码网络输出进行上采样，从而实现端对端的变电站道路场景图像语义分割；
多层网络融合层主要为跳接结构，该部分功能为结合深浅层网络输出来提升网络的语义分割精度。
编码网络中，包含Res2、Res3、Res4与Res5四个残差块，每一个残差块包含两个卷积网络层，第一个卷积网络层输入叠加第二个卷积网络层的输出，叠加后的结果作为下一个残差块的输入。
解码网络中，变化Upscore2与Upscore8两种类型的上采样，两种类型分别对应2×上采样与8×上采样，上采样操作层采用Deconvolution。
多层网络融合结果中，该部分进行了两次融合，第一层融合为Res4输出结果与编码网络输出端的融合，第二次融合为Res3输出结果与第一次融合进行2×上采样后的输出进行融合，在这一过程中，将Res3与Res4的输出进行融合前采用1×1的卷积层分别将其输出通道数压缩至训练数据集的类别数(变电站道路场景为6类)，最后在解码网络中，将进行了两次融合的输出进行8×上采样直原始输入图像尺寸，利用softmaxWithloss对其每一个像素类别进行分类。
S2.2、根据步骤S2.1中的网络框架，构建针对变电站道路场景数据集的网络结构，其具体包括编码网络实施步骤：
搭建网络输入层，输入层输入包含变电站道路场景图像及对应的标注标签数据；
搭建卷积层conv1，对输入图像进行卷积操作；
搭建池化层pool1，对conv1中输出进行2×下采样；
搭建残差块Res2，残差块Res2中连续进行两次卷积，2×下采样，连续卷积后的输出以Eltwise操作融合pool1输出结果；
搭建残差块Res3，残差块Res3中连续进行两次卷积，2×下采样，连续卷积后的输出以Eltwise操作融合Res2输出结果；
搭建残差块Res4，残差块Res4中连续进行两次卷积，2×下采样，连续卷积后的输出以Eltwise操作融合Res3输出结果；
搭建残差块Res5，残差块Res5中连续进行两次卷积，2×下采样，连续卷积后的输出以Eltwise操作融合Res4输出结果；
搭建池化层pool5，对Res5输出进行2×下采样；
搭建卷积层Conv6，输出通道数与变电站道路场景数据集中标注类别一致。
还包括解码与多层网络融合网络层实施步骤：
搭建Upscore2_1层，Upscore2_1层以Deconvolution操作将conv6输出进行2×上采样；
搭建score4层，score4层将Res4输出通道数压缩至与conv6输出通道数一致；
搭建Crop4层，Crop4层将score4层输出与Upscore2_1层输出尺寸裁剪至一致；
搭建Fuse4层，Fuse4层以Eltwise操作融合score4与conv6输出；
搭建Upscore2_2层，Upscore2_2层将fuse4进行2×上采样；
搭建score3层，score3层将Res3输出通道数压缩至与Fuse4层输出通道数一致；
搭建Crop3层，Crop3层将Upscore2_2层与score3层输出尺寸裁剪值一致；
搭建Fuse3层，Fuse3层以Elewise操作将Upscore2_2层与score3层输出进行融合；
搭建Upscore8层，Upscore8层以Deconvolution操作将Fuse3输出进行8×上采样；
搭建Crop8层，Crop8层将Upscore8层输出裁剪至与输入图像同尺寸；
分类层具体实施步骤为：搭建分类层，采用softmaxWithloss对Crop8层输入进行逐像素分类。
S3、采用SGD方法对步骤S2中搭建的语义分割模型进行训练，并保存最后一次迭代获得的语义分割模型，其具体步骤为：
S3.1、将数据集分为训练集、验证集与测试集；其中训练集用于拟合搭建的语义分割网络参数，验证集用于评价在训练过程中获得模型的分割性能从而指导其训练过程中相关参数的拟合方向；使用测试集对最终保存的模型进行测试以检测该模型在面对新的道路场景图像时的泛化性能；将训练集与验证集输入网络输入层；
S3.2、设置网络优化方法，选择SGD进行优化；
S3.3、固定学习率参数；
S3.4、设置动量矩参数；
S3.5、设置权重衰减参数；
S3.6、设置优化迭代步长；
S3.7、随机初始化相关网络层参数；
S3.8、当网络层softmaxWithloss输出loss值趋近于平衡或模型的验证精度基本保持不变时停止训练；
S3.9、保存最后一次迭代获得的语义分割模型。
S4、输入新的巡检道路场景图像至保存的语义分割模型，输出语义分割结果，将语义分割结果中感兴趣区域内的对象类别分布状态传输至巡检机器人导航***，其具体步骤为：
S4.1、输入测试集至保存的语义分割网络模型；
S4.2、进行前向计算输出测试集对应的语义分割结果，确定网络的泛化性能；
步骤S3中语义分割模型的泛化性能直接影响到输出的视觉辅助信息的可靠性，为确定步骤S3中最后保存的语义分割模型对新的变电站道路场景图像有良好的泛化性能，在步骤4.2中以步骤S3中数据集的测试集对该模型进行测试，采用像素精度(PixelAccuracy，PA)、平均精度(MA)、均交并比(Mean Intersection over Union，Mean IU)与频权交并比(Frequency Weighted Intersection over Union，Fw IU)四个精度指标对其性能进行评价。其中PA、MA、Mean IU与Fw IU精度指标定义为：
PA＝∑inii/∑iti
MA＝(1/nc1)∑inii/ti
Mean IU＝(1/nc1)∑inii/(ti+∑jnji-nii)
Fw IU＝(∑ktk)-1∑itinii/(ti+∑jnji-nii)
nij为代表属于类别i却被预测为类别j的像素个数，nc1代表总的类别数，ti＝∑jnij代表类别i的总像素
测试步骤为：
S4.2.1、输入测试集至保存的语义分割模型；
S4.2.2、进行前向计算输出测试集对应的语义分割结果；
S4.2.3、根据输出语义分割结果与对应测试集中图像的标签计算PA、MA、Mean IU与Fw IU精度；
在该测试集中，搭建的语义分割模型的测试精度如表4-1所示
表4-1语义分割模型测试精度
精度 PA MA Mean IU Fw IU
测试结果 84.0 56.1 42.9 74.4
由上表可知，在该测试过程中，该网络的PA精度可达到84.0％，MA精度可达到56.1％，Mean IU精度可达到42.9％，Fw IU精度可达到了74.4％，在面对新的道路场景数据集时，搭建的语义分割网络具有良好的泛化性能，可为后续步骤中获取变电站道路场景图像的视觉辅助信息的可靠性奠定良好的基础。
S4.3、输入新的变电站道路场景图像至语义分割模型，输出语义分割结果图，选择感兴趣区域；
S4.4、确定感兴趣区域内的对象类别分布情况；
S4.5、传输对象类别分布状态至巡检机器人导航***。
本发明通过对变电站道路场景图像进行语义分割，构建并训练语义分割模型，最后验证模型对新的变电站道路场景图像进行语义分割的泛化能力；本发明利用语义分割图可直接提供当前巡检机器人视场中的一些场景类型及对象分布情况，从而辅助其导航***决策出更为合理的行驶路径。
虽然结合附图对发明的具体实施方式进行了详细地描述，但不应理解为对本专利的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属本专利的保护范围。

Claims (8)

1.一种基于残差网络的变电站巡检机器人视觉辅助导航方法，其特征在于，包括：
S1、采集巡检机器人巡检的变电站道路场景图像，对道路场景图像进行筛选，并采用语义分割模型辅助人工进行数据集标注；
S2、构建基于残差网络的语义分割模型；
S3、采用SGD方法对步骤S2中搭建的语义分割模型进行训练，并保存收敛的语义分割模型；
S4、确定语义分割模型的泛化性能，输入新的巡检道路场景图像，输出语义分割结果，将语义分割结果中感兴趣区域内的对象类别分布状态传输至巡检机器人导航***。
2.根据权利要求1所述的基于残差网络的变电站巡检机器人视觉辅助导航方法，其特征在于，所述步骤S1中具体包括以下步骤：
S1.1、采集巡检机器人巡检的变电站道路场景视频，提取视频的每一帧，去掉重复度较高的视频帧，筛选出部分原始样本数据进行人工标注；
S1.2、采用语义分割模型辅助人工进行数据集标注。
3.根据权利要求2所述的基于残差网络的变电站巡检机器人视觉辅助导航方法，其特征在于，所述步骤S1.2中采用语义分割模型辅助人工进行数据集标注的具体步骤包括：
S1.2.1、人工标注部分原始样本数据；
S1.2.2、利用已标注的原始样本数据训练语义分割模型；
S1.2.3、利用训练的语义分割模型对原始样本数据中的剩余样本进行语义分割，并输出分割结果；
S1.2.4、对分割结果差的样本进行重新标注，最后将重新调整后的分割结果加入已标注的数据集。
4.根据权利要求1所述的基于残差网络的变电站巡检机器人视觉辅助导航方法，其特征在于，所述步骤S2中构建基于残差网络的语义分割模型的具体步骤包括：
S2.1、搭建语义分割模型的编码、解码、多层网络融合层三部分框架；
S2.2、根据步骤S2.1中的网络框架，构建针对变电站道路场景数据集的网络结构。
5.根据权利要求4所述的基于残差网络的变电站巡检机器人视觉辅助导航方法，其特征在于，所述步骤S2.2中构建针对变电站道路场景数据集的网络结构，包括编码网络实施步骤：
搭建网络输入层，输入层输入包含变电站道路场景图像及对应的标注标签数据；
搭建卷积层conv1，对输入图像进行卷积操作；
搭建池化层pool1，对conv1中输出进行2×(采样步长为2)下采样；
搭建残差块Res2，残差块Res2中连续进行两次卷积，2×下采样，连续卷积后的输出以Eltwise操作融合pool1输出结果；
搭建残差块Res3，残差块Res3中连续进行两次卷积，2×下采样，连续卷积后的输出以Eltwise操作融合Res2输出结果；
搭建残差块Res4，残差块Res4中连续进行两次卷积，2×下采样，连续卷积后的输出以Eltwise操作融合Res3输出结果；
搭建残差块Res5，残差块Res5中连续进行两次卷积，2×下采样，连续卷积后的输出以Eltwise操作融合Res4输出结果；
搭建池化层pool5，对Res5输出进行2×下采样；
搭建卷积层Conv6，输出通道数与变电站道路场景数据集中标注类别一致。
6.根据权利要求4所述的基于残差网络的变电站巡检机器人视觉辅助导航方法，其特征在于，所述步骤S2.2中构建针对变电站道路场景数据集的网络结构，还包括解码与多层网络融合实施步骤：
搭建Upscore2_1层，Upscore2_1层以Deconvolution操作将conv6输出进行2×上采样；
搭建score4层，score4层将Res4输出通道数压缩至与conv6输出通道数一致；
搭建Crop4层，Crop4层将score4层输出与Upscore2_1层输出尺寸裁剪至一致；
搭建Fuse4层，Fuse4层以Eltwise操作融合score4与conv6输出；
搭建Upscore2_2层，Upscore2_2层将fuse4进行2×上采样；
搭建score3层，score3层将Res3输出通道数压缩至与Fuse4层输出通道数一致；
搭建Crop3层，Crop3层将Upscore2_2层与score3层输出尺寸裁剪值一致；
搭建Fuse3层，Fuse3层以Elewise操作将Upscore2_2层与score3层输出进行融合；
搭建Upscore8层，Upscore8层以Deconvolution操作将Fuse3输出进行8×上采样；
搭建Crop8层，Crop8层将Upscore8层输出裁剪至与输入图像同尺寸；
分类层具体实施步骤为：搭建分类层，采用softmaxWithloss对Crop8层输入进行逐像素分类。
7.根据权利要求1所述的基于残差网络的变电站巡检机器人视觉辅助导航方法，其特征在于，所述步骤S3中采用SGD方法对语义分割网络模型进行训练，并保存最后一次迭代获得的语义分割网络模型的具体步骤包括：
S3.1、将数据集分为训练集、验证集与测试集；
S3.2、设置网络优化方法，选择SGD进行优化；
S3.3、固定学习率参数；
S3.4、设置动量矩参数；
S3.5、设置权重衰减参数；
S3.6、设置优化迭代步长；
S3.7、随机初始化相关网络层参数；
S3.8、当网络层softmaxWithloss输出loss值趋近于平衡或模型的验证精度基本保持不变时停止训练；
S3.9、保存最后一次迭代获得的语义分割网络模型。
8.根据权利要求1所述的基于残差网络的变电站巡检机器人视觉辅助导航方法，其特征在于，所述步骤S4确定语义分割模型的泛化性能，输入新的巡检道路场景图像，输出语义分割结果，将语义分割结果中感兴趣区域内的对象类别分布状态传输至巡检机器人导航***的具体步骤包括：
S4.1、输入测试集图像至保存的语义分割模型；
S4.2、进行前向计算输出对应的语义分割结果，确定网络的泛化性能；
S4.3、输入新的变电站道路场景图像至语义分割模型，输出语义分割结果图，选择感兴趣区域；
S4.4、确定感兴趣区域内的对象类别分布情况；
S4.5、传输对象类别分布状态至巡检机器人导航***。
CN201910329956.9A 2019-04-23 2019-04-23 一种基于残差网络的变电站巡检机器人视觉辅助导航方法 Pending CN110006435A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910329956.9A CN110006435A (zh) 2019-04-23 2019-04-23 一种基于残差网络的变电站巡检机器人视觉辅助导航方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910329956.9A CN110006435A (zh) 2019-04-23 2019-04-23 一种基于残差网络的变电站巡检机器人视觉辅助导航方法

Publications (1)

Publication Number Publication Date
CN110006435A true CN110006435A (zh) 2019-07-12

Family

ID=67173765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910329956.9A Pending CN110006435A (zh) 2019-04-23 2019-04-23 一种基于残差网络的变电站巡检机器人视觉辅助导航方法

Country Status (1)

Country Link
CN (1) CN110006435A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490729A (zh) * 2019-08-16 2019-11-22 南京汇银迅信息技术有限公司 一种基于用户画像模型的金融用户分类方法
CN111144418A (zh) * 2019-12-31 2020-05-12 北京交通大学 一种铁路轨道区域分割提取的方法
CN111367282A (zh) * 2020-03-09 2020-07-03 山东大学 一种基于多模感知与强化学习的机器人导航方法及***
CN111645073A (zh) * 2020-05-29 2020-09-11 武汉理工大学 一种机器人视觉语义导航方法、装置及***
CN111917178A (zh) * 2020-06-23 2020-11-10 国网浙江乐清市供电有限公司 一种运维一体化变电站的巡视方法
CN111958595A (zh) * 2020-08-13 2020-11-20 成都理工大学 一种变电站巡检机器人多传感器异步信息融合***及方法
CN112598003A (zh) * 2020-12-18 2021-04-02 燕山大学 基于数据扩充和全监督预处理的实时语义分割方法
CN112669316A (zh) * 2021-01-29 2021-04-16 南方电网调峰调频发电有限公司 电力生产异常监控方法、装置、计算机设备和存储介质
CN113743330A (zh) * 2021-09-08 2021-12-03 新疆大学 一种基于视觉导航的变电站智能无人机巡检方法
CN114005097A (zh) * 2020-07-28 2022-02-01 株洲中车时代电气股份有限公司 基于图像语义分割的列车运行环境实时检测方法及***
CN114152937A (zh) * 2022-02-09 2022-03-08 西南科技大学 一种旋转激光雷达的外参标定方法
CN115222799A (zh) * 2021-08-12 2022-10-21 达闼机器人股份有限公司 图像重力方向的获取方法、装置、电子设备及存储介质
CN115249261A (zh) * 2021-08-12 2022-10-28 达闼机器人股份有限公司 图像重力方向的获取方法、装置、电子设备及存储介质
CN116228774A (zh) * 2023-05-10 2023-06-06 国网山东省电力公司菏泽供电公司 基于图像质量评价的变电站巡检图像缺陷识别方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426930A (zh) * 2015-11-09 2016-03-23 国网冀北电力有限公司信息通信分公司 一种基于卷积神经网络的变电站属性分割方法
CN108174165A (zh) * 2018-01-17 2018-06-15 重庆览辉信息技术有限公司 电力安全作业及运维智能监管***及方法
CN108319972A (zh) * 2018-01-18 2018-07-24 南京师范大学 一种针对图像语义分割的端到端差异网络学习方法
CN108664974A (zh) * 2018-04-03 2018-10-16 华南理工大学 一种基于rgbd图像与全残差网络的语义分割方法
CN109446970A (zh) * 2018-10-24 2019-03-08 西南交通大学 一种基于深度学习的变电站巡检机器人道路场景识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426930A (zh) * 2015-11-09 2016-03-23 国网冀北电力有限公司信息通信分公司 一种基于卷积神经网络的变电站属性分割方法
CN108174165A (zh) * 2018-01-17 2018-06-15 重庆览辉信息技术有限公司 电力安全作业及运维智能监管***及方法
CN108319972A (zh) * 2018-01-18 2018-07-24 南京师范大学 一种针对图像语义分割的端到端差异网络学习方法
CN108664974A (zh) * 2018-04-03 2018-10-16 华南理工大学 一种基于rgbd图像与全残差网络的语义分割方法
CN109446970A (zh) * 2018-10-24 2019-03-08 西南交通大学 一种基于深度学习的变电站巡检机器人道路场景识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王晨: "基于深度学习的红外图像语义分割技术研究", 《中国博士学位论文全文数据库•信息科技辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490729A (zh) * 2019-08-16 2019-11-22 南京汇银迅信息技术有限公司 一种基于用户画像模型的金融用户分类方法
CN111144418A (zh) * 2019-12-31 2020-05-12 北京交通大学 一种铁路轨道区域分割提取的方法
CN111144418B (zh) * 2019-12-31 2022-12-02 北京交通大学 一种铁路轨道区域分割提取的方法
CN111367282A (zh) * 2020-03-09 2020-07-03 山东大学 一种基于多模感知与强化学习的机器人导航方法及***
CN111645073A (zh) * 2020-05-29 2020-09-11 武汉理工大学 一种机器人视觉语义导航方法、装置及***
CN111917178A (zh) * 2020-06-23 2020-11-10 国网浙江乐清市供电有限公司 一种运维一体化变电站的巡视方法
CN111917178B (zh) * 2020-06-23 2023-07-14 国网浙江乐清市供电有限公司 一种运维一体化变电站的巡视方法
CN114005097A (zh) * 2020-07-28 2022-02-01 株洲中车时代电气股份有限公司 基于图像语义分割的列车运行环境实时检测方法及***
CN111958595A (zh) * 2020-08-13 2020-11-20 成都理工大学 一种变电站巡检机器人多传感器异步信息融合***及方法
CN111958595B (zh) * 2020-08-13 2021-09-17 成都理工大学 一种变电站巡检机器人多传感器异步信息融合***及方法
CN112598003A (zh) * 2020-12-18 2021-04-02 燕山大学 基于数据扩充和全监督预处理的实时语义分割方法
CN112669316A (zh) * 2021-01-29 2021-04-16 南方电网调峰调频发电有限公司 电力生产异常监控方法、装置、计算机设备和存储介质
CN112669316B (zh) * 2021-01-29 2023-05-30 南方电网调峰调频发电有限公司 电力生产异常监控方法、装置、计算机设备和存储介质
CN115222799A (zh) * 2021-08-12 2022-10-21 达闼机器人股份有限公司 图像重力方向的获取方法、装置、电子设备及存储介质
CN115249261A (zh) * 2021-08-12 2022-10-28 达闼机器人股份有限公司 图像重力方向的获取方法、装置、电子设备及存储介质
CN115222799B (zh) * 2021-08-12 2023-04-11 达闼机器人股份有限公司 图像重力方向的获取方法、装置、电子设备及存储介质
CN113743330A (zh) * 2021-09-08 2021-12-03 新疆大学 一种基于视觉导航的变电站智能无人机巡检方法
CN114152937A (zh) * 2022-02-09 2022-03-08 西南科技大学 一种旋转激光雷达的外参标定方法
CN116228774A (zh) * 2023-05-10 2023-06-06 国网山东省电力公司菏泽供电公司 基于图像质量评价的变电站巡检图像缺陷识别方法及***
CN116228774B (zh) * 2023-05-10 2023-09-08 国网山东省电力公司菏泽供电公司 基于图像质量评价的变电站巡检图像缺陷识别方法及***

Similar Documents

Publication Publication Date Title
CN110006435A (zh) 一种基于残差网络的变电站巡检机器人视觉辅助导航方法
Jiang et al. Real‐time crack assessment using deep neural networks with wall‐climbing unmanned aerial system
CN102147260B (zh) 电子地图匹配方法和装置
CN105241465B (zh) 一种道路更新的方法
CN111983935B (zh) 一种性能评测方法和装置
CN108389256B (zh) 二三维交互式无人机电力杆塔巡检辅助方法
CN109829908B (zh) 基于双目影像的电力线下方地物安全距离检测方法及设备
CN102044094A (zh) 线路巡检管理***及方法
CN109766746A (zh) 一种无人机航拍视频的轨道异物检测方法
CN114998744B (zh) 基于运动与视觉双特征融合的农机轨迹田路分割方法及装置
CN109816780B (zh) 一种双目序列影像的输电线路三维点云生成方法及装置
CN108984755A (zh) 一种地质地理信息***处理方法
CN111080609A (zh) 一种基于深度学习的闸瓦插销丢失检测方法
CN111295666A (zh) 一种车道线检测方法、装置、控制设备及存储介质
CN110910440A (zh) 一种基于电力影像数据的输电线路长度确定方法和***
CN115690153A (zh) 一种智能体轨迹预测方法及***
CN114003035A (zh) 一种机器人自主导航的方法、装置、设备及介质
CN111507189A (zh) 一种基于图像处理技术的绝缘子串缺陷快速检测方法
Manninen et al. Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images
CN113985406A (zh) 一种海上雷达目标航迹拼接方法
CN114612803A (zh) 一种改进CenterNet的输电线路绝缘子缺陷检测方法
CN116699643A (zh) 盾构隧道的错台检测方法、装置、设备及存储介质
Li et al. Automated bridge crack detection based on improving encoder–decoder network and strip pooling
CN116627126A (zh) 一种基于大数据的智能巡检方法和***
Chen et al. Defect digital twinning: A technical framework to integrate robotics, AI and BIM for facility management and renovation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination