CN114708395A - 用于变电站巡检机器人的电表识别、定位及三维建图方法 - Google Patents

Abstract

用于变电站巡检机器人的电表识别、定位及三维建图方法，包括电表的识别、定位和电表的局部三维重建。所述的电表的识别是指巡检机器人在构建地图时对变电站中的各种表盘的识别，所述的电表定位是指确定电表在地图中的位置，所述的电表局部三维重建是指在识别表盘的基础上，对变电站中的表盘进行局部三维重建，使其能够快速获得重建的地图，所述的重建地图是指变电站其他地区的稀疏点云地图和各种表盘的三维重建图，特别对电表进行稠密三维重建，是为了让变电站管理人员在可视化平台上清楚的看到电表在变电站场景中的具***置，这样方便管理人员控制巡检机器人去查看某一电表的读数，然后反馈结果给工作人员，提高变电站工作人员的工作效率。

Description

用于变电站巡检机器人的电表识别、定位及三维建图方法

技术领域

本发明涉及变电站巡检机器人控制领域，具体为用于变电站巡检机器人的电表识别、定位及三维建图方法。

背景技术

随着科技进步和电力体制改革的不断深入发展，电力***自动化程度已有很大提高，变电站值班也逐渐趋于无人化或少人化。为了保证变电站设备的安全可靠运行，利用巡检机器人完成电站设备的巡检，可以提高工作效率和质量。建图和导航是巡检机器人需要完成的两个主要任务。巡检机器人的导航功能主要是通过众多车载传感器实现的。传感器负责采集机器人所需要的信息，包括感知机器人在局部或全局环境下的位姿、机器人的周围环境等，并对这些信息分析处理，为机器人的安全行驶提供及时可靠的决策依据。使用巡检机器人对变电站进行巡检首先要对变电站建立地图，现有的巡检机器人建图方法有使用安装于激光导航变电站巡检机器人本体上的激光雷达和编码器共同采集数据，后期将数据融合，从而生成变电站地图，这种方式生成的变电站地图会产生较大的累积误差，导致部分环形道路无法闭合。还有使用三维建图设备在变电站内设多点进行扫描建图，后期将三维地图通过软件拼接驻点扫描的数据，之后还需将三维地图转化为激光导航变电站巡检机器人所需的二维变电站地图，这需要购买三维建图的专用设备，费用昂贵，需要每隔一段距离进行小区域建图，后期需要通过软件将地图拼接，需要耗费大量时间采集数据。现有的这些方法仅能够建立稀疏的点云地图用于定位，稀疏点云地图由于无法详细描述空间环境因此难以用于人机交互。而对整个变电站进行全部的三维重建计算量大，计算设备昂贵等问题无法实施。在变电站空间中，巡检机器人除了需要完成自身的定位，更为重要的是需要确切地知道表盘在所建地图中的位置以实现环境交互，同时能将这种交互通过可视化平台给变电站管理人员展示出来，使管理人员能进一步控制巡检机器人，实现人机交互。空间中表盘的位置需要事先采集变电站地图，并在采集的地图中与单体化后的表盘进行交互设置其属性信息。

现有的变电站建图方法包括以几种：

1.变电站建图现在大多使用人工绘制，通过全站仪，米尺和激光测距仪进行人工测绘；但是使用人工绘制，会产生较大的误差，对激光导航变电站巡检机器人定位精度和导航效果产生影响，同时人工绘制也会耗费大量人力和时间成本；

2.使用安装于激光导航变电站巡检机器人本体上的激光雷达和编码器共同采集数据，后期将数据融合，从而生成变电站地图，这种方式生成的变电站地图会产生较大的累积误差，导致部分环形道路无法闭合；

3.使用三维建图设备在变电站内设多点进行扫描建图，后期将三维地图通过软件拼接驻点扫描的数据，之后还需将三维地图转化为激光导航变电站巡检机器人所需的二维变电站地图，需要购买三维建图的专用设备，费用昂贵，需要每隔一段距离进行小区域建图，后期需要通过软件将地图拼接，需要耗费大量时间采集数据。

4.使用激光导航变电站巡检机器人的GPS、视觉及激光雷达的变电站建图方法利用视觉采集设备对环境抓图将相邻的两张图像对比，分析机器人的航向角，结合激光雷达采集的距离信息和GPS获得的坐标信息获得机器人周边区域的地图。这种方法建立的地图也是一种稀疏的点云地图。它无法详细描述空间环境因此难以用于人机交互。

发明内容

为解决上述技术问题，本发明提出了用于变电站巡检机器人的电表识别、定位及三维建图方法，这个方法通过对电表的识别定位并构建电表的稠密三维地图，将其融合到全局稀疏地图中，使变电站管理人员在可视化平台上能清楚的看到电表在变电站场景中的具***置，这样方便管理人员控制巡检机器人去查看某一电表的读数并反馈给工作人员，提高变电站工作人员的工作效率。相比于建立全局的地图既达到了较好的可视化效果又大大减小了运算量。

用于变电站巡检机器人的电表识别、定位及三维建图方法，包括，其特征在于：

电表的识别定位是指机器人在构建地图的时候对变电站中的各种表盘的识别，电表的局部三维重建是指在上述识别定位的基础上的局部重建，以实现人机交互；

所述的巡检机器人的电表识别重建方法，包括以下步骤：

S1.巡检机器人通过视觉传感器获取变电站环境中的原始彩色图像；

S2.通过基于深度学习的物体检测方法检测上述所述原始彩色图像中是否有表盘的存在；

所述的步骤S2中，包括以下步骤：

S21.对S1中的图像进行卷积、激活、池化处理，提取图像的特征图；

S22.在S1中的原始彩色图上铺设锚框，用softmax损失函数对这个锚框进行前景和背景的二分类，其中前景指含有表盘的锚框，背景指不含有表盘的锚框；

S23.利用smoothL1损失函数修正S22中得到的前景锚框，也就是含有表盘的锚框；

S24.将S23中得到的前景锚框映射到S21的特征图上，得到含有锚框的特征图；

S25.对S24中锚框进行多分类与回归，多分类指的是这个锚框包住的是什么类型的表，回归指的是确定锚框最终的精确位置；

如果上述步骤之后识别出有电表的存在，就开始进行步骤S3中的稠密三维重建，如果没有识别出电表的存在就进行稀疏点云的重建；

S3.基于S2中的识别与定位结果，如果有电表的存在就进行电表的稠密重建，如果没有就进行场景的稀疏重建；

所述的步骤S3中，对没有电表的地方进行普通的稀疏点云重建，对含有电表的图，对电表局部进行单张图片的三维稠密重建，采用深度学习的方法，包括以下步骤：

S31.对S2中识别出有电表的彩色图像，将其送入编码器网络以获得图像特征；

S32.解码器网络将S31得到的图像特征和任意深度作为输入，生成该深度下的RGB-σ图；

S33.由S32就可以得到一个由多个平面组成的的三维表达，即在一次完整的前向传播中，编码需要推理一次，而解码需要推理N次获得N个平面；

S34.获得上述三维表达后，渲染电表在视觉传感器位姿下的视角；

S35.最后是尺度校准，由于S31输入的是单一图像，因此深度尺度在一个尺度因子范围内是模糊的，所以需要计算一个尺度因子使网络预测的尺度与从运动中构建的尺度进行对齐，通过从运动中构建获得每个图片的可见的三维点P以及网络预测的深度图z计算尺度因子

获得尺度因子s之后，通过t'＝t·s对相机的位移进行校准，获得准确的深度值用于重建；

S36.将上述电表的三维图与激光雷达获得的稀疏图通过卷积空间传播网络的方法进行融合，最终将其展示到可视化平台供管理人员使用。

S4.对整个变电站进行上述步骤S1，S2，S3的操作，完成场景稀疏图和电表稠密图的重建，并将其传到视觉可视化平台，从而进行进一步的控制管理。

作为本发明进一步改进，所述的步骤S43需要以下两步：

首先，利用单应性扭曲建立像素点间的对应，从视觉传感器射出一条光线，这条光线与电表图片的一个像素点相交，延长这条射线，让它与视觉传感器视锥的各个平面相交，相交点的RGB-σ值可以通过双线性采样获得；然后，利用体积渲染将上述光线上的点渲染到目标图片像素点上，获得该像素点的RGB值与深度。

有益效果：

机器人除了需要自身定位，更为重要的是需要确切地知道表盘在所建地图中地位置以实现环境交互。而空间中表盘的位置需要事先采集变电站地图，并在采集的地图中与单体化后的表盘进行交互设置其属性信息。本方法通过对电表的识别定位并构建电表的稠密三维地图，将其融合到全局稀疏地图中，使变电站管理人员在可视化平台上能清楚的看到电表在变电站场景中的具***置，这样方便管理人员控制巡检机器人去查看某一电表的读数并反馈给工作人员，提高变电站工作人员的工作效率。相比于建立全局的地图既达到了较好的可视化效果又大大减小了运算量。

附图说明

图1是本发明的一个总体流程图；

图2是电表局部重建中获得三维表达的编码器-解码器架构。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明是一种巡检机器人对电表进行识别并进行局部重建的方法，目的是通过对电表的识别和重建实现环境交互，同时通过可视化平台向变电站管理人员展示出来实现人机交互。本发明包括电表的识别定位和电表的局部三维重建。电表的识别定位是指机器人在构建地图的时候对变电站中的各种表盘的识别，电表的局部三维重建是指在识别电表的基础上，对电表进行三维重建，这样变电站管理人员在可视化平台上就能清楚的看到电表在变电站场景中的具***置，如果想知道某一电表的读数，就可以在可视化平台上点击电表，机器人就会自动规划路径到相应的电表跟前读数反馈给管理人员以提高工作效率。

巡检机器人通过视觉传感器获取变电站环境中的原始彩色图像；

(一)电表识别与定位具体实现

对获得的原始彩色图像缩放至固定大小MxN,然后将MxN图像送入包含了13个卷积层，13个激活层，和4个池化层的卷积网络中进行处理，得到图像的特征图。所述的卷积层为核为3，填充为1，步长为1的卷积处理，所述的激活层为Relu激活函数，所述的池化层为核为2，填充为0，步长为2的最大池化处理。

对上述得到的特征图铺设一系列大小和比例的锚框，每一个锚框都有两种可能，前景和背景，用softmax损失函数对这个锚框进行二分类，得到正负样本，其中正样本指含有表盘的锚框，负样本指不含有表盘的锚框。其中softmax损失函数为:

其中z_k表示正样本锚框在特征图所在区域上的像素和，L(y,z)是类别损失，y是真实标签，如果是正样本，标注为1，如果是负样本，标注为0。C为总类别数；

对上述操作所得的正样本进行回归，使用SmoothL1损失函数不断校正位置偏移。回归指的是确定表盘的最终精确位置。对于锚框的回归目标值的计算可以用下式：

其中，

是真实框的左上角坐标，

是真实框右下角坐标，x₁,y₁是正样本锚框左上角坐标，x₂,y₂是正样本锚框右下角坐标。

上述所述的SmoothL1损失函数为：

其中x指预测框位置与真实框位置之差。σ可取为1。

最后，包围电表的锚框的回归目标值即可确定电表在图中的位置。

(二)电表重建方法

对(一)中识别出电表的彩色图像，将其送入编码器网络以获得原始图像的特征图，可以使用ResNet-50作为编码器，然后将特征图和一个视差值d_i＝1/z_i作为输入到解码器产生4通道图像

解码器的设计类似自监督深度估计模型Monodepth2。这样可以得到一个由多个平面组成的的三维表达，在这个过程中，编码需要推理一次，而解码需要推理N次来生成平面的的离散集合

如图2所示。

获得上述三维表达后，渲染电表：

设图像平面上的像素坐标为

针孔相机内设为

相机视锥利用透视几何来表示，将其中的一个3D点用[x,y,z]^T表示，z是该点相对于相机的深度。将透视3D坐标[x,y,z]^T转换到笛卡尔坐标定义C(·)。

如图2所示，对相机视锥体内任意数量的不同深度值z∈[z_n,z_f]进行采样，每个平面由RGB值

和体积密度

组成。体积密度σ(x,y,z)表示射线终止于位置[x,y,z]^T的无穷小粒子的微分概率。因为RGB任意位置[x,y,z]^T的c(x,y,z)和σ(x,y,z)是由采样深度z平面和查询c_z(x,y)和σ_z(x,y)被给的，在深度范围为[z_n,z_f]内相机视锥不断被重建。

上面定义的c和σ是连续的二维函数，表示截锥体中每个可能的位置。实际中，在两个方面离散了平面辐射场，一个是锥体由N个平面

组成。另一个是将每个平面

简化为深度z_i处的4通道图像平面。其中离散化只是为了方便绘制。离散表示仍然能够获得任意3D位置上的RGB-σ值，因为在每个4通道平面上任意深度z_i∈[z_n,z_f]和亚像素采样是微不足道的。

如图2所示，渲染输入图像

首先用渲染

的简单设置来说明渲染机制。一个新颖的视图可以以类似的方式呈现，并带有额外的单应性扭曲。使用经典体绘制原理直接渲染

即:

其中：

为从第一平面到第i个平面的累积透光率图。

其中T_i(x,y)表示射线从(x,y,z₁)到(x,y,z_i)不击中任何物体的概率。此外,

是平面i+1和i之间的距离映射

根据上式，需要集合

来渲染输入图像。如图二所示，

是网络的输出，以

和d_i＝1/z_i为输入。根据分层抽样策略，在[z_n,z_f]范围内抽样{z_i|i＝1,…,N}。事实上，在透视几何中采样视差{d_i＝1/z_i}。将[d_n,d_f]划分为N个均匀间隔的格，并从每个格中均匀抽取样本，即:

抽样策略确保网络在训练过程中暴露于锥架中的每一个深度值，从而学习一个连续的

另外，输入图像的深度图可以用类似于等式2的方式渲染，即:

渲染一个全新视角

如图2所示，将相机旋转

和平移

渲染成一个新视图，主要通过三个步骤实现:

1)应用单应性扭曲w(·)建立源像素坐标[x_s,y_s]^T和目标像素坐标[x_t,y_t]^T之间的对应关系。遵循标准逆单应性来定义w(·)。目标平面上的像素坐标[x_t,y_t]^T与源平面上的像素坐标[x_s,y_s]^T之间的对应关系如下:

其中n＝[0,0,1]^T是前平行平面

相对于源摄像机的法向量。为了简洁起见，现在将上面的弯曲表示为

用于深度为z_i的平面与源摄像机。然后我们计算平面投影

在目标坐标系:

而

注意，N个平面与源摄像机是正平行的，因此

就是投射到目标摄像机的投影。

2)体绘制依赖于每个位置的密度σ，以及射线中每个点之间的距离。因此，可以计算:

如图2所示，想象一条从目标相机原点出发，与目标图像相交于像素坐标[x_t,y_t]^T处的射线，以便更好地理解上式。这条光线与

平面相交于像素坐标

相对于源相机。同样，光线在源相机像素坐标

处相交于

平面。

表示两个相交点之间的欧氏距离。

3)最后，将c,σ,δ替换为c′,σ′,δ′后，应用方程2生成新的视图。

最后是尺度校准。由于最初输入的是单一图像，因此深度尺度在一个尺度因子范围内是模糊的，所以需要计算一个尺度因子使网络预测的尺度与从运动中构建的尺度进行对齐。通过从运动中构建获得每个图片的可见的三维点P以及网络预测的深度图z计算尺度因子

获得尺度因子s之后，对相机的位移进行校准：t'＝t·s。

最后，将上述方法得到的电表三维图与激光雷达获得的稀疏图通过卷积空间传播网络的方法进行融合，最终将其展示到可视化平台供管理人员使用。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (2)

1.用于变电站巡检机器人的电表识别、定位及三维建图方法，包括，其特征在于：

电表的识别定位是指机器人在构建地图的时候对变电站中的各种表盘的识别，电表的局部三维重建是指在上述识别定位的基础上的局部重建，以实现人机交互；

所述的巡检机器人的电表识别重建方法，包括以下步骤：

S1.巡检机器人通过视觉传感器获取变电站环境中的原始彩色图像；

S2.通过基于深度学习的物体检测方法检测上述所述原始彩色图像中是否有表盘的存在；

所述的步骤S2中，包括以下步骤：

S21.对S1中的图像进行卷积、激活、池化处理，提取图像的特征图；

S22.在S1中的原始彩色图上铺设锚框，用softmax损失函数对这个锚框进行前景和背景的二分类，其中前景指含有表盘的锚框，背景指不含有表盘的锚框；

S23.利用smoothL1损失函数修正S22中得到的前景锚框，也就是含有表盘的锚框；

S24.将S23中得到的前景锚框映射到S21的特征图上，得到含有锚框的特征图；

S25.对S24中锚框进行多分类与回归，多分类指的是这个锚框包住的是什么类型的表，回归指的是确定锚框最终的精确位置；

如果上述步骤之后识别出有电表的存在，就开始进行步骤S3中的稠密三维重建，如果没有识别出电表的存在就进行稀疏点云的重建；

S3.基于S2中的识别与定位结果，如果有电表的存在就进行电表的稠密重建，如果没有就进行场景的稀疏重建；

所述的步骤S3中，对没有电表的地方进行普通的稀疏点云重建，对含有电表的图，对电表局部进行单张图片的三维稠密重建，采用深度学习的方法，包括以下步骤：

S31.对S2中识别出有电表的彩色图像，将其送入编码器网络以获得图像特征；

S32.解码器网络将S31得到的图像特征和任意深度作为输入，生成该深度下的RGB-σ图；

S33.由S32就可以得到一个由多个平面组成的的三维表达，即在一次完整的前向传播中，编码需要推理一次，而解码需要推理N次获得N个平面；

S34.获得上述三维表达后，渲染电表在视觉传感器位姿下的视角；

S35.最后是尺度校准，由于S31输入的是单一图像，因此深度尺度在一个尺度因子范围内是模糊的，所以需要计算一个尺度因子使网络预测的尺度与从运动中构建的尺度进行对齐，通过从运动中构建获得每个图片的可见的三维点P以及网络预测的深度图z计算尺度因子

获得尺度因子s之后，通过t'＝t·s对相机的位移进行校准，获得准确的深度值用于重建；

S36.将上述电表的三维图与激光雷达获得的稀疏图通过卷积空间传播网络的方法进行融合，最终将其展示到可视化平台供管理人员使用。

S4.对整个变电站进行上述步骤S1，S2，S3的操作，完成场景稀疏图和电表稠密图的重建，并将其传到视觉可视化平台，从而进行进一步的控制管理。

2.根据权利要求1所述的用于变电站巡检机器人的电表识别、定位及三维建图方法，其特征在于：

所述的步骤S43需要以下两步：

首先，利用单应性扭曲建立像素点间的对应，从视觉传感器射出一条光线，这条光线与电表图片的一个像素点相交，延长这条射线，让它与视觉传感器视锥的各个平面相交，相交点的RGB-σ值可以通过双线性采样获得；然后，利用体积渲染将上述光线上的点渲染到目标图片像素点上，获得该像素点的RGB值与深度。

Images