CN110728670A - 一种基于ar技术的低压设备运维方法 - Google Patents

Abstract

本发明公开了一种基于AR技术的低压设备运维方法，该方法 包括步骤：首先通过现场智能眼镜和终端设备采集现场音视频、图像信息，通过网络上传到云平台运维***；其次进行运维对象的目标检测和识别，利用数据训练模型对运维现场传来的图像进行目标的检测和识别；然后进行运维对象的故障诊断，根据常见故障数据和经验进行存储，再建立数据映射；最后基于增强现实呈现诊断结果，将设计好的增强现实内容叠加到运维对象上。本发明方法针对低压集抄运维业务需求，基于人工智能和AR技术公开了一种基于AR技术的低压设备运维方法，可以自动采集、处理运维现场的信息并给出故障诊断和排查意见，通过增强现实的方式进行呈现，对电网低压设备的运维具有较大的应用价值。

Description

一种基于AR技术的低压设备运维方法

技术领域

本发明属于低压运维技术领域，具体涉及一种基于AR技术的低压设备运维方法。

背景技术

低压集抄相对传统的人工上门抄表节省了大量的人力和时间，降低了人为差错，同时还可以对采集到的真实数据进行分析研究，有利于智能化电网建设。贵州电网公司智能电能表及低压集抄已基本实现全覆盖，南方电网范围内“双覆盖”也将完成。然而随着低压集抄设备的大规模应用，集抄设备运维中存在的问题也逐渐暴露出来。运维需要现场查勘提出检修方案，而传统运维检修过程采用纸质记录，数据关联性差、不易统计分析，另外终端表计种类多、更新换代快；以供电局基层供电所为主体的运维人员普遍存在技术水平和工作经验的局限性，需要依靠专家的培训和现场指导，但由于专家数量有限，无法较好提供现场协助。目前采用人工经验排查的传统运维手段，随着运维工作量的急剧增加，已经不能有效及时消除设备隐患，造成目前运维成本较高。通过新技术手段快速对现场反馈问题进行处理，提高低压集抄的运维效率已迫在眉睫。

现有的相关技术在计量自动化终端的运维上开展了一些研究，但采用AR和人工智能结合的低压集抄运维技术尚处于起步阶段，还未见良好的应用产品。

发明内容

本发明要解决的技术问题是：提供一种基于AR技术的低压设备运维方法，实现自动采集、处理运维现场的信息并给出故障诊断和排查意见，通过增强现实的方式进行呈现，可以极大提高运维效率，以解决现有技术中存在的问题。

本发明采取的技术方案为：一种基于AR技术的低压设备运维方法，该方法包括以下步骤：

（1）现场音视频采集：采集现场音视频和图像信息，到云平台运维***；

（2）运维对象的目标检测和识别：采集至少5000张运维设备上的目标样本，进行数据清洗和框选类别标注；利用图像以及标注框训练YOLO深度神经网络模型；模型训练完成后对运维现场传来的图像进行运维设备上目标的检测，给出目标包围框；

（3）运维对象的故障诊断：根据常见运维故障及运维数据和经验，建立专家知识库进行存储，再通过计算机语言和逻辑判断将各类故障编码和解决方案建立数据映射；

（4）增强现实呈现诊断结果：检测运维设备在图像中的横纵坐标位置，再通过相机的位姿追踪计算相机和对象在空间中相对的位置，接着重建场景的三维信息，最后将设计好的增强现实内容叠加到运维对象上。

步骤（1）中运维人员穿戴增强现实智能眼镜设备，通过连线连接智能终端或手机；智能终端或手机运行智能运维应用后即可与智能眼镜通信；通过智能眼镜和终端设备采集现场音视频、图像信息，通过网络上传到云平台运维***。

步骤（2）中深度神经网络检测模型在训练阶段，深度网络在三种不同的尺度上进行检测，对于输入图像，先归一化到416×616的大小，深度网络在三个尺度等级上进行预测，这是通过分别将输入图像的尺寸下采样32、16和8倍精确地给出，网络的基本组件为卷积、批量归一化和带泄露的截断线性单元，第一次检测由第82层进行，图像由网络前81层下采样，得到13×13×255的检测特征图，然后，来自层79的特征经过几个卷积层2倍上采样到26×26的大小并且与来自层61的特征映射深度连接产生26×26×255的检测特征图，进行第二次检测，第三次检测在第106层进行，采用第二次检测方法得到特征图的尺寸为52×52×255。

步骤（3）中运维对象的故障诊断：APP扫描计量设备条形码开始工单排查，后台接口收到APP上传图像识别通知，接口上传的信息包括：客户端及其链路socket id、图片信息（顺序连续的N张图片OSS存储路径及名称）和检测类别（整体巡检、资产编号比对）；

后台接口调用C语言开发的图像识别检测动态库,传递需要检测的图片信息及检测类别，图像检测动态里根据故障检测模型detectConfig.xml找到相应检测场景下的方法method做处理，处理函数有耗时，需异步回调返回结果；

回调返回结果：图像识别检测动态库检测出结果会保存更新至结构体，在YOLO检测算法进程里调用java回调函数返回结构体；结构体中包含每次检测的结果（厂家名称、设备种类、故障代码这些值）等，如识别出的厂家名称factory、设备型号model、成功及失败的识别结果等；

APP工单排查接口返回展示：APP根据返回的检测结果，在APP本地素材库里找到配置文件进行解析，然后进行向导式的故障运维知识指导和流程跳转，若本地没有素材，则去云端下载更新到本地服务器。

步骤（4）中利用滑动窗口和模版匹配法确定运维设备在图像中的横纵坐标位置，其中滑动窗口为与运维设备在图像中的大小相同的窗口，模版图像为采集的具有代表性的运维设备图像，用滑动窗口在图像中从上到下、从左到右地进行滑动，在每个位置将窗口内的图像与模版图像进行互相关匹配，选取相关度最高的位置作为运维设备在图像中的位置；

在相机采集到的相邻两帧图像中提取特征点，并利用特征点周围的像素为该特征点生成描述子，在相邻两帧图像中根据描述子对特征点进行匹配，找到至少4对的特征点对后根据相机模型解算相机采集这两帧之间的运动变换矩阵，连续执行该步骤得到相机在每一个时刻的位置，获得相机运动的轨迹信息以及对象在空间中的位置信息；

利用相机运动的轨迹信息和提取到的特征点，利用对极几何和三角测量原理获得像素的深度值；根据摄像机成像原理，计算出世界坐标系与图像像素坐标系之间的转换关系；对于多帧通过不同角度拍摄的景物图像，各帧之间包含的公共部分，对图像进行分析，求解各帧之间的变换参数，深度图像的配准是以场景的公共部分为基准，把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中。

本发明的有益效果：与现有技术相比，本发明方法针对低压集抄运维业务需求，基于人工智能和AR技术公开了一种基于AR技术的低压设备运维方法，可以自动采集、处理运维现场的信息并给出故障诊断和排查意见，通过增强现实的方式进行呈现，步骤（2）中利用YOLO检测模型，相比经验不足的运维人员可以更加准确、高效地检测运维设备状态；步骤（3）中基于专家知识库中的大量数据和经验进行故障推断，可以实时给出诊断结果，相比于传统的纸质记录、人工分析有极大的效率和准确性提升；步骤（4）中基于增强现实技术呈现故障诊断结果，提供自然的交互，将工作任务处理流程、处理结果、现场与后台实时互动等全流程管控机制紧密结合，实现现场作业流程的标准化，降低现场工作人员的技术依赖和工作量，提升人员工作效率和作业自动化和安全水平。综上所述，本发明可以极大提高运维效率，对电网低压设备的运维具有较大的应用价值。

附图说明

图1为本发明的基于AR技术的低压设备运维方法流程示意图；

图2为智能眼镜前视结构示意图；

图3为智能眼镜侧视结构示意图；

图4为智能眼镜俯视结构示意图；

图5为运维对象的目标检测和识别流程示意图；

图6为本发明的增强现实呈现流程示意图。

图中2-4中，1-相机，2-显示屏，3-LED指示灯，4-麦克风，5-多功能键，6-扬声器，7-USB type-C接口。

具体实施方式

下面结合附图及具体的实施例对本发明进行进一步介绍。

实施例1：如图1-6所示，一种基于AR技术的低压设备运维方法，该方法包括以下步骤：

步骤（1）现场音视频采集：运维人员穿戴增强现实智能眼镜设备，通过连线连接智能终端或手机；智能终端或手机运行智能运维应用后即可与智能眼镜通信；通过智能眼镜和终端设备采集现场音视频、图像信息，通过网络上传到云平台运维***。

增强现实AR GLASS智能眼镜，其是一款可解放双手进行拍照录像、人脸识别、物体跟踪、查看信息、视频播放的智能穿戴式头显设备。该智能眼镜采用新型集成化主控芯片，内嵌矢量处理器，支持本地化的深度学习和计算机视觉计算；结合专业 ISP 图像处理器和USB3.0/2.0 控制器来保证高质量的图像数据采集。显示部分采用 640×400 像素点阵的OLED 显示器和折反式一体棱镜，提供高质量的近眼显示效果。摄像头和显示屏处于前端靠近人眼的位置，便于取景和观看。智能眼镜还包含一个扬声器，一个麦克风以及一个物理按键，可以实现语音交互和快捷操作。其结构如图2-4所示。

智能眼镜通过连线（Type-C to Type-C 或Type-C to Micro USB）连接智能终端或手机，当智能眼镜***后，通过连接线缆给智能眼镜供电。智能眼镜的摄像头和显示屏处于前端靠近人眼的位置，便于取景和观看。

智能眼镜支持以30fps、1280×720的分辨率进行录像，支持区域对焦和测光，可防抖动。带有数字麦克风和扬声器，支持噪音和回音消除，可以进行高质量的图像和语音信息采集。采集到的信息先经过压缩加密，随后通过4G或wifi网络上传到云平台运维***。

步骤（2）运维对象的目标检测和识别：采集至少5000张运维设备上的目标样本，进行数据清洗和框选类别标注；利用采集并标注好的数据训练一个深度神经网络检测模型；模型训练完成后就可以对运维现场传来的图像进行运维设备上目标的检测。

低压运维设备包括各种计量设备如集中器、采集器，以及400V以下电能表设备。在采集样本时，需要综合考虑各自环境条件，保证样本的多样性，如采集图像时设备距离相机的距离不同，相机拍摄的角度不同，采集现场的光照明暗条件不同等等；对于采集到的单个图像来说，有些图像可能存在模糊不清，光照条件过暗，目标不完全显示的情况，这些数据需要被清除以免影响训练过程的稳定性；数据清洗完毕后进行标注的工作，需要标注的目标包括：集中器厂家名称、型号、电源灯(亮灭)、载波电源灯(亮灭)、载波ABC灯闪烁、通信电源灯(亮灭)、通信NET灯(亮灭)、液晶屏4G信号格（无、1~2格、2格以上）、液晶屏逻辑地址等，每个目标对应一个包围框；

在训练阶段，为了解决对不同尺度目标的检测，深度网络在三种不同的尺度上进行检测。对于输入图像，先归一化到416×616的大小，深度网络在三个尺度等级上进行预测，这是通过分别将输入图像的尺寸下采样32，16和8倍来精确地给出。网络的基本组件为卷积，批量归一化和带泄露的截断线性单元（Leaky ReLU）。 第一次检测由第82层进行，图像由网络前81层下采样，得到13×13×255的检测特征图。然后，来自层79的特征经过几个卷积层2倍上采样到26×26的大小并且与来自层61的特征映射深度连接产生26×26×255的检测特征图，进行第二次检测。与此类似，第三次检测在第106层进行，特征图的尺寸为52×52×255。

步骤（3）运维对象的故障诊断：根据常见运维故障及运维数据和经验进行存储，再通过计算机语言和逻辑判断将各类故障编码和解决方案建立数据映射。

APP扫描计量设备条形码开始工单排查，后台接口收到APP上传图像识别通知，接口上传的信息包括：客户端及其链路socket id，图片信息（顺序连续的N张图片OSS存储路径及名称），检测类别（整体巡检、资产编号比对）等；

后台接口调用C语言开发的图像识别检测动态库,传递需要检测的图片信息及检测类别。图像检测动态里根据故障检测模型detectConfig.xml找到相应检测场景下的哪些方法method做处理，处理函数有耗时，需异步回调返回结果；

回调返回结果：C动态库检测出结果会保存更新至结构体，C检测算法进程里调用java回调函数返回结构体；结构体中包含每次检测的结果（厂家名称、设备种类、故障代码这些值）等，如识别出的厂家名称factory、设备型号model、成功及失败的识别结果等；

APP工单排查接口返回展示：APP根据返回值，在APP本地素材库里找到json文件进行解析，然后进行向导式的故障运维知识指导和流程跳转。若本地没有素材，则去云端下载更新到本地。

步骤（4）增强现实呈现诊断结果：检测运维设备在图像中的横纵坐标位置，再通过相机的位姿追踪计算相机和对象在空间中相对的位置，接着重建场景的三维信息，最后将设计好的增强现实内容叠加到运维对象上。

利用滑动窗口和模版匹配法确定运维设备在图像中的横纵坐标位置。其中滑动窗口为与运维设备在图像中的大小大致相同的窗口，模版图像为采集的具有代表性的运维设备图像。用滑动窗口在图像中从上到下、从左到右地进行滑动，在每个位置将窗口内的图像与模版图像进行匹配，选取匹配都最高的位置作为运维设备在图像中的横纵坐标位置。

在相机采集到的相邻两帧图像中提取特征点，并利用特征点周围的像素为该特征点生成描述子，在相邻两帧图像中根据描述子对特征点进行匹配，找到至少4对的特征点对后根据相机模型解算相机采集这两帧之间的运动变换矩阵，连续执行上述步骤从而得到相机在每一个时刻的位置，获得相机运动的轨迹信息以及对象在空间中的位置信息。

利用相机运动的轨迹信息和提取到的特征点，基于对极几何和三角测量原理获得像素的深度值；以摄像机成像原理为基础，计算出世界坐标系与图像像素坐标系之间的转换关系；对于多帧通过不同角度拍摄的景物图像，各帧之间包含一定的公共部分。为了利用深度图像进行三维重建，需要对图像进行分析，求解各帧之间的变换参数。深度图像的配准是以场景的公共部分为基准，把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中。

调用AR设备的增强现实应用引擎，将从后台***专家知识库中获取的知识数据（图像、文字、视频等）同现实场景进行叠加，直观展现在使用者眼前。后台***将内容（如文字、图片、视频、3D动画）进行编辑，排序形成SOP可视化手册，传输给AR终端，实时指引人员完成标准规范工作。通过AR运维终端解放运维人员的双手，使其集中精力完成任务，根据需求随时将信息推送到眼前，从而提高工作效率。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内，因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (5)

1.一种基于AR技术的低压设备运维方法，其特征在于：该方法包括以下步骤：

（1）现场音视频采集：采集现场音视频和图像信息，到云平台运维***；

（2）运维对象的目标检测和识别：采集至少5000张运维设备上的目标样本，进行数据清洗和框选类别标注；利用图像以及标注框训练YOLO深度神经网络模型；模型训练完成后对运维现场传来的图像进行运维设备上目标的检测，给出目标包围框；

（3）运维对象的故障诊断：根据常见运维故障及运维数据和经验，建立专家知识库进行存储，再通过计算机语言和逻辑判断将各类故障编码和解决方案建立数据映射；

（4）增强现实呈现诊断结果：检测运维设备在图像中的横纵坐标位置，再通过相机的位姿追踪计算相机和对象在空间中相对的位置，接着重建场景的三维信息，最后将设计好的增强现实内容叠加到运维对象上。

2.根据权利要求1所述的一种基于AR技术的低压设备运维方法，其特征在于：步骤（1）中运维人员穿戴增强现实智能眼镜设备，通过连线连接智能终端或手机；智能终端或手机运行智能运维应用后即可与智能眼镜通信；通过智能眼镜和终端设备采集现场音视频、图像信息，通过网络上传到云平台运维***。

3.根据权利要求1所述的一种基于AR技术的低压设备运维方法，其特征在于：步骤（2）中深度神经网络检测模型在训练阶段，深度网络在三种不同的尺度上进行检测，对于输入图像，先归一化到416×616的大小，深度网络在三个尺度等级上进行预测，深度网络是通过分别将输入图像的尺寸下采样32、16和8倍精确地给出，网络的基本组件为卷积、批量归一化和带泄露的截断线性单元，第一次检测由第82层进行，图像由网络前81层下采样，得到13×13×255的检测特征图，然后，来自层79的特征经过几个卷积层2倍上采样到26×26的大小并且与来自层61的特征映射深度连接产生26×26×255的检测特征图，进行第二次检测，第三次检测在第106层进行，采用第二次检测方法得到特征图的尺寸为52×52×255。

4.根据权利要求1所述的一种基于AR技术的低压设备运维方法，其特征在于：步骤（3）中运维对象的故障诊断：APP扫描计量设备条形码开始工单排查，后台接口收到APP上传图像识别通知，接口上传的信息包括：客户端及其链路socket id、图片信息和检测类别；

后台接口调用图像识别检测动态库,传递需要检测的图片信息及检测类别，图像检测动态里根据故障检测模型detectConfig.xml找到相应检测场景下的方法method做处理，异步回调返回结果；

回调返回结果：图像识别检测动态库检测出结果会保存更新至结构体，在YOLO检测算法进程里调用java回调函数返回结构体；结构体中包含每次检测的结果；

APP工单排查接口返回展示：APP根据返回的检测结果，在APP本地素材库里找到配置文件进行解析，然后进行向导式的故障运维知识指导和流程跳转，若本地没有素材，则去云端下载更新到本地服务器。

5.根据权利要求1所述的一种基于AR技术的低压设备运维方法，其特征在于：步骤（4）中利用滑动窗口和模版匹配法确定运维设备在图像中的横纵坐标位置，其中滑动窗口为与运维设备在图像中的大小相同的窗口，模版图像为采集的具有代表性的运维设备图像，用滑动窗口在图像中从上到下、从左到右地进行滑动，在每个位置将窗口内的图像与模版图像进行互相关匹配，选取相关度最高的位置作为运维设备在图像中的位置；

在相机采集到的相邻两帧图像中提取特征点，并利用特征点周围的像素为该特征点生成描述子，在相邻两帧图像中根据描述子对特征点进行匹配，找到至少4对的特征点对后根据相机模型解算相机采集这两帧之间的运动变换矩阵，连续执行该步骤得到相机在每一个时刻的位置，获得相机运动的轨迹信息以及对象在空间中的位置信息；

利用相机运动的轨迹信息和提取到的特征点，利用对极几何和三角测量原理获得像素的深度值；根据摄像机成像原理，计算出世界坐标系与图像像素坐标系之间的转换关系；对于多帧通过不同角度拍摄的景物图像，各帧之间包含的公共部分，对图像进行分析，求解各帧之间的变换参数，深度图像的配准是以场景的公共部分为基准，把不同时间、角度、照度获取的多帧图像叠加匹配到统一的坐标系中。

Images