CN113205526B - 基于多源信息融合的配电线路精准语义分割方法 - Google Patents

基于多源信息融合的配电线路精准语义分割方法 Download PDF

Info

Publication number
CN113205526B
CN113205526B CN202110355431.XA CN202110355431A CN113205526B CN 113205526 B CN113205526 B CN 113205526B CN 202110355431 A CN202110355431 A CN 202110355431A CN 113205526 B CN113205526 B CN 113205526B
Authority
CN
China
Prior art keywords
semantic segmentation
mask
rcnn
distribution line
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110355431.XA
Other languages
English (en)
Other versions
CN113205526A (zh
Inventor
张冬
高明
刘灵光
卢健
盛晓翔
顾礼峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaianhongneng Group Co ltd
HuaiAn Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Yijiahe Technology Co Ltd
Original Assignee
Huaianhongneng Group Co ltd
HuaiAn Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Yijiahe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaianhongneng Group Co ltd, HuaiAn Power Supply Co of State Grid Jiangsu Electric Power Co Ltd, Yijiahe Technology Co Ltd filed Critical Huaianhongneng Group Co ltd
Priority to CN202110355431.XA priority Critical patent/CN113205526B/zh
Publication of CN113205526A publication Critical patent/CN113205526A/zh
Application granted granted Critical
Publication of CN113205526B publication Critical patent/CN113205526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机视觉与图像处理技术领域，公开了一种基于多源信息融合的配电线路精准语义分割方法，获取激光雷达的3D点云图和高精度视觉相机的RGB图像，对其融合；对Mask‑RCNN网络进行改进，构建改进的Mask‑RCNN语义分割模型；并改进损失函数；在现场采集配电线路图片制成数据集，并将其分为测试集和训练集；对数据集进行预处理，利用测试集和训练集对改进的Mask‑RCNN语义分割模型进行训练与测试；将融合后的数据作为网络输入，输入到改进的Mask‑RCNN语义分割模型中进行语义分割。与现有技术相比，本发明基于改进的Mask‑RCNN语义分割模型，对配电线路实现精准的高速度的语义分割。

Description

基于多源信息融合的配电线路精准语义分割方法
技术领域
本发明涉及计算机视觉与图像处理技术领域，具体涉及一种基于多源信息融合的配电线路精准语义分割方法。
背景技术
随着我国经济的蓬勃发展，目前社会生产及人民日常生活处处都离不开用电，这使得对供电部门提出了更高的要求，不仅要保证充足的供电量，还要保证较高的供电可靠性。“对配电线路进行带电作业”的技术就是为了满足在持续供电的条件下，对供电设备以及供电线路进行维护检修，测试等相关作业而诞生的，该技术目前已广泛应用到相关领域，用以保证供电的可靠性。
然而作业人员在对配电线路进行带电作业时具有较高的危险性，所以精确的安全预警***在带电作业时是非常重要的。而对配电线路进行精准语义分割又是带电作业安全预警中最为核心的技术之一，语义分割的精度直接决定了安全预警的可靠性。现有的配电线路的架设环境较为复杂，设施布置较为密集，因此单一的传感器采集到的配电线路信息很容易受周围复杂环境因素影响，使得获取的数据信息不准确，进而导致安全预警的可靠性降低。而且现有的配电线路语义分割大都存在精度不高，预警的可靠性低等问题。
图像语义分割是指从像素的角度将表达不同语义类别的像素按区域分割开来，是图像处理任务的核心技术之一。随着步入人工智能时代，使得图像语义分割逐渐成为了无人驾驶、室内导航等前沿科科技领域的研究热点。
在图像语义分割领域，以深度学习为代表的机器学习技术不断取得更好的成绩，逐渐替代了传统的分割方法。相较于传统的分割方法，基于深度学习的分割方法可以通过搭建深度学习网络自主学习、提取图像的特征，从而进行端到端的分类学习，这样可以有效地提高语义分割的速度和精度。
2015年，首次提出了全卷积网络(Fully Convolutional Networks，FCN)，这是人们首次将深度学习技术用于语义分割领域，它将卷积神经网络中用于图片分类任务的全连接层全部转化为了卷积层，并且引入反卷积层及跳跃结构，确保了网络的稳定性和鲁棒性。随着FCN的出现，深度学习正式进入图像语义分割领域。
作为在医学图像分割领域中最常用的模型，U-Net以其最典型的U型对称结构被人熟记，U型对称结构的的两侧分别做下采样操作和上采样操作。其中通过下采样可以获取图像的上下文信息，而上采样可以对语义分割的边界实现精准定位，这样使得模型可以在训练较少数据的情况下具有较高的分割能力。同年，一个名为SegNet的语义分割模型问世，其采用编码器-解码器结构来对图像进行语义分割，并利用maxpool的索引进行上采样，从而节省了网络模型的内存。
Google团队的DeepLab系列的语义分割模型也在语义分割领域不断进步。DeepLabv1是由深度卷积神经网络(DCNN)和全连接的条件随机场(CRF)构成，这样可以有效地解决深度卷积神经网络定位不精确的问题。而DeepLabv2语义分割模型的在DeepLabv1的基础上进行了创新，在模型结构上融合了空洞空间卷积池化金字塔(ASPP)模块。该模块可以有效地提高网络分割能力。同年改进的DeepLabv3版本问世，其核心思想是改进ASPP结构并引入了批量归一化层，从而提升网络的分割精度。而最新的DeepLabv3+语义分割模型在DeepLabv3的基础上增加了编解码器和Xception主干网络，提高了网络语义分割的速度和精度。
此外，Zhao等人提出的PSPNet语义分割模型引入了金字塔池化模块，这样可以使语义分割网络提高获取图像全局上下文信息的能力。以及He等人提出的Mask-RCNN语义分割模型，其主要对Faster-RCNN模型进行了扩展，在其基础上增加了一个用于分割任务网络分支，采用ROIAlign替代Faster-RCNN中的RoIPooling,同时将残差网络与特征金字塔网络(FPN)相结合用于对图像进行特征提取，使得网络在检测到目标的同时对其实现高质量地分割。
通过大量实验表明，基于深度学习的图像语义分割算法在处理图像语义分割方面都具有较好的表现。然而带电作业环境复杂，且对分割精度要求较高，传统的语义分割模型并不能满足工作需求。
发明内容
发明目的：针对现有技术中存在的问题，本发明提供一种基于多源信息融合的配电线路精准语义分割方法，采用激光雷达，融合高精度视觉相机作为多源信息输入，基于改进的Mask-RCNN语义分割模型，对配电线路实现精准的语义分割。
技术方案：本发明提供了一种基于多源信息融合的配电线路精准语义分割方法，在配电线路一侧安装有激光雷达和高精度视觉相机，其均与配电线路精准语义分割***电连接，所述配电线路精准语义分割***获取激光雷达和高精度视觉相机信息后通过以下步骤实现语义分割：
Setp1：获取激光雷达的3D点云图和高精度视觉相机的RGB图像，对两者进行配准融合；
Setp2：对Mask-RCNN网络进行改进，修改ResNet的下采样结构，对ResNet网络拆解大核卷积，将大核卷积由多层小卷积替代，提出新的网络结构，构建改进的Mask-RCNN语义分割模型；
Setp3：对Mask-RCNN语义分割模型损失函数进行改进，在原Mask-RCNN的损失函数末尾新增了一个L2范数损失函数，以增加配电线路形状的约束；
Setp4：在带电作业现场采集相关配电线路图片制成数据集，并将其分为测试集和训练集；
Setp5：对所述数据集进行预处理，利用测试集和训练集对所述改进的Mask-RCNN语义分割模型进行训练与测试；
Setp6：将Setp1融合后的数据作为网络输入，输入到改进的Mask-RCNN语义分割模型中进行语义分割。
进一步地，所述改进的Mask-RCNN语义分割模型修改Mask-RCNN的候选区域，所述候选区域选取方法为：
首先，将Setp1获取的图片用霍夫直线(弧线)检测算法，来提取候选区域，对于检测到无直线(弧线)的区域直接进行舍弃，把原有2000个候选区域缩小为100个候选区域；
然后，直接将图片归一化到卷积网络需要的格式，整张图片送入卷积网络，将第五层的普通池化层替换为RoI池化层，图片然后经过5层卷积操作后，得到一张特征图，开始得到的坐标信息通过一定的映射关系转换为对应特征图的坐标，截取对应的候选区域，经过RoI层后提取到固定长度的特征向量，送入全连接层。
进一步地，修改后的新的网络结构以ResNet50作为主干网络，ResNet使用了跨层连接。
进一步地，将新的网络结构的中间n×n的卷积块改为1个1×n和n×1的卷积块对，并将每对卷积块并联起来。
进一步地，所述Setp2中改进后的损失函数定义为：
L＝Lcls+Lbox+αLmask+βLre (1)
其中，Lcls，Lbox，Lmask分别为Mask-RCNN语义分割模型损失函数中的分类损失，检测框损失和掩膜损失，Lre为3D点云数据配准损失，α，β分别表示掩膜损失和配准损失的权重系数；Lmask、Lre、Lcls以及Lbox分别定义为：
Figure BDA0003003557090000031
Figure BDA0003003557090000032
Lcls(pi,pi *)＝-log[pipi *+(1-pi)(1-pi *)] (4)
Figure BDA0003003557090000041
其中，y(i)，y'(i)分别为真实值和预测值；pi为锚点的预测分类概率；锚点是正样本时，pi *＝1；锚点是负样本时，pi *＝0；ti是锚点的预测偏移量，
Figure BDA0003003557090000042
表示锚点相对于真实值的偏移量；
Figure BDA0003003557090000043
R是SmoothL1函数，
Figure BDA0003003557090000044
进一步地，所述激光雷达的3D点云图和高精度视觉相机的RGB图像进行融合的具体步骤为：首先需定义一个统一坐标系，建立起3D点云图与RGB图像特征点与特征点之间的配准联系，将雷达点云图上空间坐标系上的点pi＝(x,y,z)映射到二维空间中的平面坐标系中，并将其作为网络输入，输入到后续的语义分割模型中。
进一步地，利用测试集和训练集对所述改进的Mask-RCNN语义分割模型进行训练与测试时，需要对数据集做如下处理：
1)图片缩放：在改进的Mask-RCNN语义分割模型的训练和测试期间，将数据集里面的图片缩放成960×540；
2)数据增强：将数据集里面的图片去均值并利用水平翻转进行训练。
有益效果：
1、本发明基于多源信息融合的方式来采集数据，可利用多个维度的信息来实现对配电线路的准确识别、提取，有效提高了对配电线路提取的准确及完整性，进而保证了安全预警***的可靠性。
2、本发明基于对ResNet网络一种经典的改进方法-拆解大核卷积，即将大核卷积由多层小卷积替代，这样可以加深网络深度。
3、本发明提出的网络结构：将中间n×n的卷积块改为n个1×n和n×1的卷积块对，并将每对卷积块并联起来，这样可以在加快网络计算速度的同时，又减小网络过拟合的概率。
4、本发明在损失函数末尾新增了一个L2损失，以增加配电线路形状约束。
附图说明
图1为激光雷达的3D点云图与RGB图像数据融合原理图；
图2为主干网络ResNet101结构图；
图3为ResNet改进结构图；
图4为本发明实施例配电线路分割结果图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明公开了一种基于多源信息融合的配电线路精准语义分割方法，在配电线路一侧安装有激光雷达和高精度视觉相机，其均与配电线路精准语义分割***电连接，所述配电线路精准语义分割***获取激光雷达和高精度视觉相机信息后通过一下步骤实现语义分割：
Setp1：获取激光雷达的3D点云图和高精度视觉相机的RGB图像，对两者进行配准融合。
Setp2：对Mask-RCNN网络进行改进，修改ResNet的下采样结构，对ResNet网络拆解大核卷积，将大核卷积由多层小卷积替代，提出新的网络结构，构建改进的Mask-RCNN语义分割模型，以增加配电线路的检测速度。
原Mask-RCNN在特征提取上，首先将输入图片用选择搜索算法(selectivesearch)得到2000个候选区域(region proposals)的坐标信息。在本发明中，因为配电线路具有非常明显的直线或弧线的几何特征，所以我们对于图片利用霍夫直线(弧线)检测算法，来提取候选区域，对于检测到无直线(弧线)的区域直接进行舍弃，把原有2000个候选区域缩小为100个候选区域。通过这样的操作可以极大的加快网络的训练和检测速度。
然后，直接将图片归一化到卷积网络需要的格式，整张图片送入卷积网络，将第五层的普通池化层替换为RoI池化层，图片然后经过5层卷积操作后，得到一张特征图(feature maps)，开始得到的坐标信息通过一定的映射关系转换为对应特征图的坐标，截取对应的候选区域，经过RoI层后提取到固定长度的特征向量，送入全连接层。
Setp3：对Mask-RCNN语义分割模型损失函数进行改进，在原Mask-RCNN的损失函数末尾新增了一个L2范数损失函数，以增加配电线路形状的约束；
Setp4：在带电作业现场采集相关配电线路图片制成数据集，并将其分为测试集和训练集。
Setp5：对所述数据集进行预处理，利用测试集和训练集对所述改进的Mask-RCNN语义分割模型进行训练与测试。
Setp6：将Setp1融合后的数据作为网络输入，输入到改进的Mask-RCNN语义分割模型中进行语义分割。
对于多源信息融合输入：
由于配电线路的架设环境较为复杂，设施布置较为密集,因此单一的传感器采集到的配电线路信息很容易受周围复杂环境因素影响，使得获取的数据信息不准确，进而导致安全预警的可靠性降低。而基于多源信息融合的方式来采集数据，可利用多个维度的信息来实现对配电线路的准确识别、提取，有效提高了对配电线路提取的准确及完整性，进而保证了安全预警***的可靠性。
因带电作业的环境较为复杂，本发明采用激光雷达，融合高精度视觉相机作为多源信息输入，激光雷达的3D点云图可以精确获取目标的位置信息，而RGB视觉相机可以很好地获取周围视觉信息，将两者相融合可以更精确地获取到带电作业周围的环境信息，提高传感器的抗干扰能力，确保对配电线路实现完整、准确的识别和提取。
由于雷达点云图为3D数据，为满足Mask-RCNN语义分割模型输入的要求，需使得雷达3D点云图和RGB图像的融合结果为4通道RGB-D数据。雷达3D点云图和RGB图像的融合算法主要过程如下：首先需定义一个统一坐标系，建立起3D点云图与RGB图像点与点之间的配准联系。将雷达点云图的空间坐标系上的点pi＝(x,y,z)映射到二维空间中的平面坐标系中，映射公式如下：
Figure BDA0003003557090000061
其中，
Figure BDA0003003557090000062
是映射后的图像坐标，h和w是所需范围图像表示的高度和宽度。f＝fu+fd为激光雷达垂直视野范围，fu是水平线上的仰角大小，fd是水平线下的俯角大小。r＝||pi||2表示球面坐标系上点的范围。这样就可以将3D点云图上的点映射在RGB图像上的坐标。从而实现数据融合，并将其作为网络输入，输入到后续的语义分割模型中。
改进的Mask-RCNN语义分割模型
一、改进网络结构
Mask-RCNN是一个非常灵活的框架，可以完成目标检测、语义分割等多种图像处理任务。为了保证网络对配电线路分割的精度，本发明将对Mask-RCNN网络进行改进。根据配电线路的特点修改了ResNet中的下采样结构。
本发明以ResNet50作为主干网络。ResNet使用了跨层连接，使得训练更加容易。ResNet50的网络结构如图2所示。
基于对ResNet网络一种经典的改进方法-拆解大核卷积，即将大核卷积由多层小卷积替代，结构图如图3所示，这样可以加深网络深度。这种思想来自于InceptionV2网络。
基于上述改进方法，本发明提出了一种新的网络结构：将中间n×n的卷积块改为n个1×n和n×1的卷积块对，并将每对卷积块并联起来。这样可以在加快网络计算速度的同时，又减小网络过拟合的概率。参见附图3，本发明实施例以5*5卷积块为例，将5*5卷积块改为5个1×5和5×1的卷积块对，并将每对卷积块并联起来。
二、改进模型的损失函数
由于配电线路的形状固定，本发明对Mask-RCNN语义分割模型损失函数进行了一些优化，在Mask-RCNN语义分割模型的损失函数末尾新增了一个L2损失函数，以加强形状约束，本发明将改进后的损失函数定义为：
L＝Lcls+Lbox+αLmask+βLre (1)
其中，Lcls，Lbox，Lmask分别为Mask-RCNN语义分割模型损失函数中的分类损失，检测框损失和掩膜损失，Lre为3D点云数据配准损失，α，β分别表示掩膜损失和配准损失的权重系数；Lmask、Lre、Lcls以及Lbox分别定义为：
Figure BDA0003003557090000071
Figure BDA0003003557090000072
Lcls(pi,pi *)＝-log[pipi *+(1-pi)(1-pi *)] (4)
Figure BDA0003003557090000073
其中，y(i)，y'(i)分别为真实值和预测值；pi为锚点的预测分类概率；锚点是正样本时，pi *＝1；锚点是负样本时，pi *＝0；ti是锚点的预测偏移量，
Figure BDA0003003557090000074
表示锚点相对于真实值的偏移量；
Figure BDA0003003557090000075
R是SmoothL1函数，
Figure BDA0003003557090000076
实验与分析
本发明采用的实验环境如表1所示，对模型训练过程中各项参数如表2所示参数：
表1实验环境
Figure BDA0003003557090000077
Figure BDA0003003557090000081
表2训练参数
Figure BDA0003003557090000082
对于Setp4的数据集处理如下：
本发明使用激光雷达，融合高精度视觉相机在带电作业现场采集相关配电线路图片制成数据集，数据集一共1800张图片。首先对数据集进行预处理，图像大小设置为1920×1080。然后用标注工具对数据进行人工标注，生成对应label图和存放标签名称的yaml文件。本发明选取其中的1700张图片用于训练，100张图片用于测试。
另外，在模型训练过程中对数据集做以下操作。
图片缩放：在本文模型的训练和测试期间，为提升模型训练速度，需要将数据集里面的图片缩放成960×540。
数据增强：为了使输入图片满足网络架构的需要，本文将去均值，水平翻转等数据增强也应用于训练中。
本发明基于改进的Mask-RCNN模型对10KV配电线路进行语义分割，可视化分割结果如图4所示，其中第一列为原始图片，第二列为label图，第三列为分割结果图。
由图4可见，本发明提出的方法在带电作业的复杂背景下可以对配电线路实现精确的分割。
同时本发明选取了几个经典语义分割模型基于本发明创建的数据集进行对比，其中SegNet语义分割模型代表的是文献：Badrinarayanan V,Kendall A,Cipolla R.SegNet:ADeep Convolutional Encoder-Decoder Architecture for Image Segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015:1。U-Net语义分割模型代表的是文献：Ronneberger O,Fischer P,Brox T.U-Net:Convolutional Networks for Biomedical Image Segmentation[J].2015。Deeplabv3+语义分割模型代表的是文献：Chen L C,Zhu Y,Papandreou G,et al.Encoder-decoder withatrous separable convolution for semantic image segmentation[C]//Proceedingsof the European conference on computer vision(ECCV),2018:801-818。Mask-RCNN语义分割模型代表的是文献：He,K.,Gkioxari,G.,Dollar,P.,et al.(2017).Mask R-CNN.In2017IEEE International Conference on Computer Vision(ICCV)-Mask R-CNN,Venice,Italy,October 22–29,2017(pp.2980–2988)。方法使用平均交并比(MIoU)对模型性能进行评估。对比结果如表3所示，可以看出本发明提出的方法较其他方法效果更好。
表3与其他模型对比结果
Figure BDA0003003557090000091
上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于多源信息融合的配电线路精准语义分割方法，其特征在于，在配电线路一侧安装有激光雷达和高精度视觉相机，其均与配电线路精准语义分割***电连接，所述配电线路精准语义分割***获取激光雷达和高精度视觉相机信息后通过以下步骤实现语义分割：
Setp1：获取激光雷达的3D点云图和高精度视觉相机的RGB图像，对两者进行配准融合；
Setp2：对Mask-RCNN网络进行改进，修改ResNet的下采样结构，对ResNet网络拆解大核卷积，将大核卷积由多层小卷积替代，提出新的网络结构，构建改进的Mask-RCNN语义分割模型；
Setp3：对Mask-RCNN语义分割模型损失函数进行改进，在原Mask-RCNN的损失函数末尾新增了一个L2范数损失函数，以增加配电线路形状的约束；
Setp4：在带电作业现场采集相关配电线路图片制成数据集，并将其分为测试集和训练集；
Setp5：对所述数据集进行预处理，利用测试集和训练集对所述改进的Mask-RCNN语义分割模型进行训练与测试；
Setp6：将Setp1融合后的数据作为网络输入，输入到改进的Mask-RCNN语义分割模型中进行语义分割。
2.根据权利要求1所述的基于多源信息融合的配电线路精准语义分割方法，其特征在于，所述改进的Mask-RCNN语义分割模型修改Mask-RCNN的候选区域，所述候选区域选取方法为：
首先，将Setp1获取的图片用霍夫直线检测算法，来提取候选区域，对于检测到无直线的区域直接进行舍弃，把原有2000个候选区域缩小为100个候选区域；
然后，直接将图片归一化到卷积网络需要的格式，整张图片送入卷积网络，将第五层的普通池化层替换为RoI池化层，图片然后经过5层卷积操作后，得到一张特征图，开始得到的坐标信息通过一定的映射关系转换为对应特征图的坐标，截取对应的候选区域，经过RoI层后提取到固定长度的特征向量，送入全连接层。
3.根据权利要求1所述的基于多源信息融合的配电线路精准语义分割方法，其特征在于，修改后的新的网络结构以ResNet50作为主干网络，ResNet使用了跨层连接。
4.根据权利要求3所述的基于多源信息融合的配电线路精准语义分割方法，其特征在于，将新的网络结构的中间n×n的卷积块改为1个1×n和n×1的卷积块对，并将每对卷积块并联起来。
5.根据权利要求1所述的基于多源信息融合的配电线路精准语义分割方法，其特征在于，所述Setp3中改进后的损失函数定义为：
L＝Lcls+Lbox+αLmask+βLre (1)
其中，Lcls，Lbox，Lmask分别为Mask-RCNN语义分割模型损失函数中的分类损失，检测框损失和掩膜损失，Lre为3D点云数据配准损失，α，β分别表示掩膜损失和配准损失的权重系数；Lmask、Lre、Lcls以及Lbox分别定义为：
Figure FDA0003691991600000021
Figure FDA0003691991600000022
Lcls(pi,pi *)＝-log[pipi *+(1-pi)(1-pi *)] (4)
Figure FDA0003691991600000023
其中，y(i)，y'(i)分别为真实值和预测值；pi为锚点的预测分类概率；锚点是正样本时，pi *＝1；锚点是负样本时，pi *＝0；ti是锚点的预测偏移量，
Figure FDA0003691991600000024
表示锚点相对于真实值的偏移量；
Figure FDA0003691991600000025
R是SmoothL1函数，
Figure FDA0003691991600000026
6.根据权利要求1所述的基于多源信息融合的配电线路精准语义分割方法，其特征在于，所述激光雷达的3D点云图和高精度视觉相机的RGB图像进行融合的具体步骤为：首先需定义一个统一坐标系，建立起3D点云图与RGB图像特征点与特征点之间的配准联系，将雷达点云图上空间坐标系上的点pi＝(x,y,z)映射到二维空间中的平面坐标系中，并将其作为网络输入，输入到后续的语义分割模型中。
7.根据权利要求1所述的基于多源信息融合的配电线路精准语义分割方法，其特征在于，利用测试集和训练集对所述改进的Mask-RCNN语义分割模型进行训练与测试时，需要对数据集做如下处理：
1)图片缩放：在改进的Mask-RCNN语义分割模型的训练和测试期间，将数据集里面的图片缩放成960×540；
2)数据增强：将数据集里面的图片去均值并利用水平翻转进行训练。
CN202110355431.XA 2021-04-01 2021-04-01 基于多源信息融合的配电线路精准语义分割方法 Active CN113205526B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110355431.XA CN113205526B (zh) 2021-04-01 2021-04-01 基于多源信息融合的配电线路精准语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110355431.XA CN113205526B (zh) 2021-04-01 2021-04-01 基于多源信息融合的配电线路精准语义分割方法

Publications (2)

Publication Number Publication Date
CN113205526A CN113205526A (zh) 2021-08-03
CN113205526B true CN113205526B (zh) 2022-07-26

Family

ID=77026115

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110355431.XA Active CN113205526B (zh) 2021-04-01 2021-04-01 基于多源信息融合的配电线路精准语义分割方法

Country Status (1)

Country Link
CN (1) CN113205526B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114297237A (zh) * 2021-12-14 2022-04-08 重庆邮电大学 基于类别融合的三维点云数据检索方法、装置及计算机设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210443A (zh) * 2020-01-03 2020-05-29 吉林大学 基于嵌入平衡的可变形卷积混合任务级联语义分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210443A (zh) * 2020-01-03 2020-05-29 吉林大学 基于嵌入平衡的可变形卷积混合任务级联语义分割方法

Also Published As

Publication number Publication date
CN113205526A (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
CN111985376A (zh) 一种基于深度学习的遥感影像舰船轮廓提取方法
Alidoost et al. A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和***
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
CN109635726B (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
Yang et al. An ensemble Wasserstein generative adversarial network method for road extraction from high resolution remote sensing images in rural areas
CN112149547A (zh) 基于图像金字塔引导和像素对匹配的遥感影像水体识别
CN111414954B (zh) 一种岩石图像检索方法及其***
CN108230330B (zh) 一种快速的高速公路路面分割和摄像机定位的方法
CN111461006B (zh) 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法
US11763471B1 (en) Method for large scene elastic semantic representation and self-supervised light field reconstruction
CN113052106A (zh) 一种基于PSPNet网络的飞机起降跑道识别方法
CN112950780A (zh) 一种基于遥感影像的网络地图智能生成方法及***
CN116883650A (zh) 一种基于注意力和局部拼接的图像级弱监督语义分割方法
CN115272306A (zh) 利用梯度运算的太阳能电池板栅线增强方法
CN113205526B (zh) 基于多源信息融合的配电线路精准语义分割方法
CN117274627A (zh) 一种基于图像转换的多时相积雪遥感图像匹配方法及***
CN113706562A (zh) 图像分割方法、装置、***及细胞分割方法
CN114882494A (zh) 一种基于多模态注意力驱动的三维点云特征提取方法
CN116612357B (zh) 一种无监督rgbd多模态数据集的构建方法、***和存储介质
CN111881914B (zh) 一种基于自学习阈值的车牌字符分割方法及***
Chen et al. BARS: a benchmark for airport runway segmentation
CN116385477A (zh) 一种基于图像分割的杆塔图像配准方法
Hu et al. Point cloud segmentation for an individual tree combining improved point transformer and hierarchical clustering
CN114463628A (zh) 一种基于阈值约束的深度学习遥感影像船舰目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant