CN112432641B - 基于点云数字孪生技术的变电站操作票执行方法 - Google Patents

基于点云数字孪生技术的变电站操作票执行方法 Download PDF

Info

Publication number
CN112432641B
CN112432641B CN202011224015.8A CN202011224015A CN112432641B CN 112432641 B CN112432641 B CN 112432641B CN 202011224015 A CN202011224015 A CN 202011224015A CN 112432641 B CN112432641 B CN 112432641B
Authority
CN
China
Prior art keywords
point cloud
sub
mobile terminal
pose
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011224015.8A
Other languages
English (en)
Other versions
CN112432641A (zh
Inventor
尚云
苏劲
张松鹏
王锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yida Enneng Technology Co ltd
Original Assignee
Beijing Yida Enneng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yida Enneng Technology Co ltd filed Critical Beijing Yida Enneng Technology Co ltd
Priority to CN202011224015.8A priority Critical patent/CN112432641B/zh
Publication of CN112432641A publication Critical patent/CN112432641A/zh
Application granted granted Critical
Publication of CN112432641B publication Critical patent/CN112432641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C22/00Measuring distance traversed on the ground by vehicles, persons, animals or other moving solid bodies, e.g. using odometers, using pedometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Water Supply & Treatment (AREA)
  • Strategic Management (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于点云数字孪生技术的变电站操作票执行方法,包括以下步骤:构建目标场景的三维点云地图预存储至移动终端;操作人员穿戴智能背心,智能背心包括背心本体、设置在背心本体上的定位模块;操作人员在移动终端上选择需要进行操作的操作票,确定任务锚点;定位模块配合移动终端实时获得操作人员的定位信息并显示在三维点云地图上;移动终端依据目标锚点与当前定位信息规划三维导航路径;操作人员依据三维导航路径到达操作现场后,移动终端判断当前定位信息是否进入目标锚点对应操作范围内,若是,执行操作票。本发明具有实现定位方法的高精度性,时效性,避免由于定位误差导致操作人员误操作的问题的有益效果。

Description

基于点云数字孪生技术的变电站操作票执行方法
技术领域
本发明涉及变电站操作票执行技术领域。更具体地说,本发明涉及一种基于点云数字孪生技术的变电站操作票执行方法。
背景技术
对于电力***,尤其是大型的变电站,对国民经济具有重大的战略意义,所以一直以来非常主动安全生产,其中,设备操作是风险最大的部分。操作票正是解决强制操作步骤,避免操作失误的重要环节。很多事故也充分表明哪怕是很小的操作失误都有可能发生重大的人身或设备事故。但是今年来在实际工作 中依然出现了较多的误操作事件,综合分析其产生的原因其一是由于变电站设备密集、距离近,就设备外观来看,大部分设备外观接近甚至相同,导致操作人员在执行操作票时,由于定位的不准确而误操作的问题。
发明内容
本发明的一个目的是解决至少上述问题,并提供至少后面将说明的优点。
本发明还有一个目的是提供一种基于点云数字孪生技术的变电站操作票执行方法,定位过程中,采用GPS传感器进行粗定位,而后结合激光雷达在GPS传感器粗定位的附近进行精确匹配,提高绝对定位时效性,进一步,通过融合相对定位与绝对定位技术,实现定位方法的高精度性,避免由于定位误差导致操作人员误操作的问题。
为了实现根据本发明的这些目的和其它优点,提供了一种基于点云数字孪生技术的变电站操作票执行方法,包括:
S1、构建目标场景的三维点云地图预存储至移动终端;
S2、操作人员穿戴智能背心,智能背心包括背心本体、设置在背心本体上的定位模块,其中,定位模块包括分别与移动终端连接GPS传感器、激光雷达、VIO里程计;
S3、操作人员在移动终端上选择需要进行操作的操作票,移动终端更新该操作票以在三维点云地图上显示该操作票对应的任务锚点;
S4、移动终端发送激活命令至智能背心,智能背心接受激活命令激活定位模块;
S5、定位模块配合移动终端实时获得操作人员的定位信息并显示在三维点云地图上;
S6、移动终端依据目标锚点与当前定位信息规划三维导航路径;
S7、操作人员依据三维导航路径到达操作现场后,移动终端判断当前定位信息是否进入目标锚点对应操作范围内,若是,执行操作票;
其中,S5具体包括:
S51、通过激光雷达获取真实场景的图像信息;
S52、GPS传感器获取操作人员当前时刻的位置坐标;
S53、匹配计算真实场景的图像信息与数据孪生场景仿真地图位于该位置坐标附近的图像信息,得到当前时刻的观测绝对位姿;
S54、获取VIO里程计的数据,计算得到当前时刻相对于上一时刻的相对位姿;
S55、基于上一时刻的实际绝对位姿,结合当前时刻相对于上一时刻的相对位姿,计算得到当前时刻的预测绝对位姿;
S56、将当前时刻的观测绝对位姿和预测绝对位姿通过非线性优化的方式融合,得到当前时刻的实际绝对位姿,其中,实际绝对位置即为定位信息。
优选的是,所述智能背心还包括模式选择模块,步骤S2中操作人员通过功能选择模块确定智能背心为工作模式,监护人员穿戴智能背心,通过功能选择模块确定智能背心为监护模式,其中,VIO里程计包括摄像头、IMU传感器,监护人员摄像头朝向操作人员拍摄,至少记录操作人员的操作流程;
步骤S3中所述移动终端还包括身份认证模块,操作人员、监护人员通过身份认证后,构建移动终端与对应智能背心的通信连接,进一步操作人员在移动终端上登录操作***选择需要进行操作的操作票。
优选的是,步骤S53具体为:
确定数据孪生场景仿真地图位于该位置坐标附近的位置信息,通过遍历姿态信息获取每个位置信息在每个姿态信息下数据孪生场景仿真地图的图像信息,得图像信息集;
匹配计算真实场景的图像信息与图像信息集中图像信息的得分,得分最高的图像信息对应的位姿信息即为当前时刻的观测绝对位姿。
优选的是,步骤S54中获取VIO里程计的数据具体为:上一时刻相对于初始时刻的相对位姿oPk-1、当前时刻相对于初始时刻的相对位姿oPk,则当前时刻相对于上一时刻的相对位姿k-1Pk=(oPk-1)-1·oPk
优选的是,计算得到当前时刻的预测绝对位姿具体为:wRkwRk-1·k-1Rk,其中wRk为当前时刻的预测绝对位姿,wRk-1为上一时刻的实际绝对位姿,k-1Rk为当前时刻相对于上一时刻的相对位姿。
优选的是,步骤S1利用扫描设备构建目标场景的三维点云地图,其中,扫描设备包括用于获取扫描车当前位姿及加速度的IMU传感器、用于获取扫描设备地理位置的GPS 传感器、用于获取目标场景三维点云数据的双激光雷达、用于获取目标场景视频数据的摄像机;
具体包括以下步骤:
Sa、子区域划分:采用蛇形推进的方式将目标场景划分成多个子区域,推进方向任意相邻两个子区域的部分区域重叠,重叠区域的起始点位于上一子区域的中部;
Sb、子区域扫描:
采用蛇形推进的方式完成子区域的扫描,沿扫描方向相邻两个区域的扫描为:
在上一子区域的起始、中段及末端分别安放标志图板,将扫描设备置于起始位置的标志图板前,将摄像机对准标志图板,保持静止后起动扫描程序,开始移动,采用环回方式使扫描轨迹应覆盖整个区域,最后回到起始标志图板处,其中,在每个标志图板位置处时均对准、保持静止状态5秒以上,扫描结果包含激光雷达数据,IMU数据及视频数据;
去除上一子区域起始位置的标志图板,在下一子区域末端放置另一块标志图板,从上一子区域的中段位置开始完成下一子区域的扫描;
Sc、建图:
Sc1、依据扫描数据,对每个子区域进行建图,输出每个子区域的点云图、轨迹点坐标及标志点相对位姿信息;
Sc2、采用区域环回扫描的方法,以第一个子区域的点云图为起点,记录该子区域中段标志图板的标志点相对位姿信息;
Sc3、获取下一个子区域起始标志图板的标志点相对位姿信息;
Sc4、结合上一子区域中段标志图板的标志点相对位姿信息、下一个子区域起始标志图板的标志点相对位姿信息,获得相邻两个子区域之间的相对坐标变换关系,对相邻两个子区域进行粗匹配;
Sc5、将下一子区域的点云图、轨迹点坐标加入全局优化图,通过ICP对全局点云图进行精匹配,获得目标场景的三维点云地图。
本发明至少包括以下有益效果:
第一、定位过程中,采用GPS传感器进行粗定位,而后结合激光雷达在GPS传感器粗定位的附近进行精确匹配,提高绝对定位时效性,进一步,通过融合相对定位与绝对定位技术,实现定位方法的高精度性,避免由于定位误差导致操作人员误操作的问题;
第二、在变电站运行过程中,任何不规范的操作都有可能影响电网安全、稳定运行,甚至造成重大事故,通过智能背心的设置,操作人员和监护人员配合工作,实现对执行操作票的全过程、操作票的执行状态的有效、实时的监控。
第三、对目标场所的三维点云地图构建过程中,利用重叠标志图板位姿识别所能获得的两个子区域之间的相对坐标变换关系,有效提升全局建图的效率及精度,解决手工拼接过程中所要配置的各项参数比较繁复,对使用人员的能力要求很高,造成整个拼接流程效率低,门槛高的问题,实现不依赖手工拼图以重建大型场景的三维点云地图的效果,融合视觉标记点,并在建图扫描过程中采用了区域迭代扫描方式,大大提升了对大型、复杂工业场景三维建图的精度及效率。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明的其中一种技术方案所述子区域划分的示意图;
图2为本发明的其中一种技术方案所述任务票目标锚点在移动终端显示的效果图。
具体实施方式
下面结合实施例对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
如图1-2所示,本发明提供一种基于点云数字孪生技术的变电站操作票执行方法,包括:
S1、构建目标场景的三维点云地图预存储至移动终端;
S2、操作人员穿戴智能背心,智能背心包括背心本体、设置在背心本体上的定位模块,其中,定位模块包括分别与移动终端连接GPS传感器、激光雷达、VIO里程计;
S3、操作人员在移动终端上选择需要进行操作的操作票,移动终端更新该操作票以在三维点云地图上显示该操作票对应的任务锚点;
S4、移动终端发送激活命令至智能背心,智能背心接受激活命令激活定位模块,即移动终端更新了相关的任务后,建立移动终端与相关智能背心之间的连接并开启对应的智能背心相关模块工作;
S5、定位模块配合移动终端实时获得操作人员的定位信息并显示在三维点云地图上,具体为:
S5a、通过激光雷达获取真实场景的图像信息,具体为点云数据;
S5b、GPS传感器获取操作人员当前时刻的位置坐标;
S5c、匹配计算真实场景的图像信息与数据孪生场景仿真地图位于该位置坐标附近(附近的范围具体依据GPS传感器的误差范围确定,确定的目的在于包含其误差防范围)的图像信息,得到当前时刻的观测绝对位姿;
S5d、获取VIO里程计的数据,计算得到当前时刻相对于上一时刻的相对位姿;
S5e、基于上一时刻的实际绝对位姿,结合当前时刻相对于上一时刻的相对位姿,通过预积分计算得到当前时刻的预测绝对位姿;
S5f、将当前时刻的观测绝对位姿和预测绝对位姿通过非线性优化的方式融合,得到当前时刻的实际绝对位姿,其中,实际绝对位置即为定位信息;
S6、移动终端采用路径规划算法依据目标锚点与操作人员的当前定位信息规划三维导航路径;
S7、操作人员依据三维导航路径到达操作现场后,移动终端判断当前定位信息是否进入目标锚点对应操作范围内,若是,执行操作票,其中,操作票状态信息更改为执行中,若否操作票状态信息为未执行,任务确认执行结束后,操作票状态信息更新为已结束;
在上述技术方案中,操作人员的行驶的路径信息也被实时记录,并反馈,使用过程中,移动终端***里的任务状态分为三种,未执行、执行中、已结束,操作人员按照导航路径的指示,必须进入任务的操作区域(标锚点对应操作范围)内,锚点状态才会更改为执行中,与此同时,此锚点处的任务详情会自动在移动终端里显示,否则任务状态会一直保持为未执行,这样就能确保工作人员操作位置的正确性,防止误走间隔进行操作的事情产生;采用这种技术方案,定位过程中,采用GPS传感器进行粗定位,而后结合激光雷达在GPS 传感器粗定位的附近进行精确匹配,提高绝对定位时效性,进一步,通过融合相对定位与绝对定位技术,实现定位方法的高精度性,避免由于定位误差导致操作人员误操作的问题,即首先,采用GPS估计初始位置,大幅提高了初始化的效率,然后通过激光雷达在该位置附近进行回环检测全局匹配,为了提高匹配精度,采用正态分布变换(NDT)方法,充分利用了地图的高精度与高密度;其次,重定位成功后,为了提高计算效率,采用多线程的方式分别进行相对定位与绝对定位,相对定位充分利用VIO里程计传感器在短时间内快速定位,该线程以高频率实时运行;绝对定位则利用相对定位的信息与全局点云地图匹配,该线程以较低频率运行,最终实现高精度全局定位。
在另一种技术方案中,所述智能背心还包括模式选择模块,操作票执行过程中,需要监护人员配合操作人员一起完成,操作人员和监护人员均穿戴智能背心,步骤S2中操作人员通过功能选择模块确定智能背心为工作模式,监护人员穿戴智能背心后通过功能选择模块确定智能背心为监护模式,其中,VIO里程计包括摄像头、IMU传感器,监护人员摄像头朝向操作人员拍摄,至少记录操作人员的操作流程,在操作人员进行操作的过程中,监护人员穿戴的智能背心肩膀位置的摄像头会实时记录操作人员的操作流程,操作人员出现的违规操作,移动终端会进行自动提示并自动记录违规行为,但不会干涉任务进行。任务确认执行结束后,移动终端上的锚点状态信息会自动进行更新为已结束,操作票里的所有任务执行完毕后,操作人员、监护人员需要手写签字,将操作票提交至***,同时,监护人员摄像头记录的操作人员的所有操作过程,也会被提交至后台的分析评价***,对操作人员的操作规范进行考核。
步骤S3中所述移动终端还包括身份认证模块,操作人员、监护人员通过身份认证后,构建移动终端与对应智能背心的通信连接,进一步操作人员在移动终端上登录操作***选择需要进行操作的操作票,其中,身份认证模块具体为指纹认证、人脸识别中的一种,当为人脸识别时,其实现步骤如下:
采集变电站站内工作人员的照片以及姓名信息
使用单目摄像头采集每个工作人员的人脸照片,并记录下工作人员的姓名,以名字为标签,其中,每个人采集三张,采集完成之后,将数据转化为训练所需要的格式,将全部数据分为测试集、验证集和训练集,其中,为了提高训练的速度与精度,计算图片均值,将训练集中的每张图片减去均值之后再进行训练,训练结束后,使用测试集测试每个模型,挑选出一个准确率最高,效果最好的模型作为最终模型,在线加载到到移动终端的在线***中实现人脸识别。所述智能背心还包括设于背心本体上的AI模块、生命体征监测模块,在步骤S4时,同步激活。采用这种方案,通过模式选择模块的设置,能够使操作人员和监控人员根据需求选择对应的工作模式,使背心同步适用于操作人员和监控人员,提高背心的适用性,通过身份认证模块的设置,避免误操作。
在另一种技术方案中,步骤S5c具体为:
确定数据孪生场景仿真地图位于该位置坐标附近的位置信息,通过遍历姿态信息获取每个位置信息在每个姿态信息下数据孪生场景仿真地图的图像信息,得图像信息集;
匹配计算真实场景的图像信息与图像信息集中图像信息的得分,得分最高的图像信息对应的位姿信息即为当前时刻的观测绝对位姿。采用这种方案,通过遍历姿态信息获取每个姿态信息下数据孪生场景仿真地图的图像信息,姿态信息即姿态角,由于姿态角在360°范围内取值,可以等差数列的形式试算一系列的姿态角,如5°、10°、15°……360°逐一尝试。
在另一种技术方案中,步骤S5d中获取VIO里程计的数据具体为:上一时刻相对于初始时刻的相对位姿oPk-1、当前时刻相对于初始时刻的相对位姿oPk,则当前时刻相对于上一时刻的相对位姿k-1Pk=(oPk-1)-1·oPk
在另一种技术方案中,通过预积分计算得到当前时刻的预测绝对位姿具体为:wRkwRk-1·k-1Rk,其中wRk为当前时刻的预测绝对位姿,wRk-1为上一时刻的实际绝对位姿,k-1Rk为当前时刻相对于上一时刻的相对位姿。
在另一种技术方案中,步骤S1利用扫描设备构建目标场景的三维点云地图,其中,扫描设备包括用于获取扫描车当前位姿及加速度的IMU传感器、用于获取扫描设备地理位置的GPS传感器、用于获取目标场景三维点云数据的双激光雷达、用于获取目标场景视频数据的摄像机;
具体包括以下步骤:
Sa、子区域划分:采用循环迭代、蛇形推进的方式将目标场景划分成多个子区域,推进方向任意相邻两个子区域的部分区域重叠,重叠区域的起始点位于上一子区域的中部;具体的,如图1所示:首先将整个目标建图区域划分为若干个近似等尺寸矩形子区域,每个区域的长度不超过30米,宽不超过20米。如果目标场景形状不规律,可根据实际情况划分实际行、列数,如果目标场景是如图1规则的形状,可以规律地划分为M行*N列个子区域,在同一行中,相邻矩形区域有1/2的区域是重叠的,相邻列中首尾相接扫描的两个区域中,下一个扫描行的首个区域呈L型,其下半部分与上一个扫描行的一半区域重叠。
Sb、子区域扫描:
扫描方向如图1箭头所示按蛇形扫描方式,整个区域的第一行按从左到右方向依次扫描该行中所有子区域,扫描完该行最后一个区域后,扫描第二行相邻的也就是第二行最右边的子区域,再从右向左依次扫描第二行中所有子区域中,依此类推,直到扫描完整个目标区域,其中,子区域编号顺序与扫描顺序一致。
具体的对相邻两个子区域的扫描为:
将AprilTag二维码打印制作成硬质的标志图板;
准备三个三脚架,选择三个标志图板分别安装到三个三脚架上;
在上一子区域的起始、中段及末端分别安放上述三个三脚架(具体如图1所述的三个实心三角形处),以实现在上一子区域的起始、中段及末端分别安放标志图板(三个标志图板上具有的AprilTag二维码不一样),分别构成当前子区域的起始、中段及末端;
将扫描设备置于起始位置的标志图板前,将摄像机对准标志图板,保持静止后起动扫描程序,开始移动,采用环回方式使扫描轨迹应覆盖整个区域,最后回到起始标志图板处,其中,在每个标志图板位置处时均对准、保持静止状态5秒以上,扫描结果包含激光雷达数据,IMU数据(位姿和加速度)及视频数据;
去除上一子区域起始位置的三脚架,更换其上标志图板,在下一子区域末端放置该更换过标志图板的三脚架,从上一子区域的中段位置(该子区域的起始段)开始完成下一子区域的扫描,扫描方式同上一子区域;
Sc、建图
Sc1、子区域建图:完成区域扫描过程后,依据扫描数据,对每个子区域进行建图,输出每个子区域的点云图、轨迹点坐标及标志点相对位姿信息,具体为:
利用IMU数据中的位姿信息,对激光雷达数据进行逐帧局部扫描匹配(ScanMatching),以获得相邻帧扫描设备在子区域地图中的局部位姿,获得子区域的点云图、轨迹点坐标;
依据IMU数据中的加速度信息,判断设备当前是否处于静止状态,若是,开始进行标志图板的检测流程,建图程序分析其后第一帧视频数据,识别是否具有标志图样,若是,计算得到标志点图样与摄像头之间的位姿关系,判断位姿关系是否满足一定的距离及视角条件(预先根据实际情况设定),若是,则认为该标志位是有效的;
下一步利用事先标定得到的摄像头与扫描设备基准坐标的外参,计算该有效标志点位的位姿数据,之后退出标志图样检测流程,得到标志点位的位姿数据,其中,每个标志点位对应一个ID号;
Sc2、全局建图:
采用区域环回扫描的方法,以第一个子区域的点云图为起点,记录该子区域中段标志图板的标志点相对位姿信息;
Sc3、获取下一个子区域起始标志图板的标志点相对位姿信息;
Sc4、结合上一子区域中段标志图板的标志点相对位姿信息、下一个子区域起始标志图板的标志点相对位姿信息,获得相邻两个子区域之间的相对坐标变换关系,对相邻两个子区域进行粗匹配;
Sc5、将下一子区域的点云图、轨迹点坐标加入全局优化图,通过ICP对全局点云图进行精匹配,获得目标场景的三维点云地图。采用这种方案,再对待扫描区域进行区域划分的过程中,相邻两个子区域间存在重复区域,进而在扫描过程中由于相邻子区域存在两个重叠的标志图板,可以利用重叠标志图板位姿识别所能获得的两个子区域之间的相对坐标变换关系,有效提升全局建图的效率及精度,解决手工拼接过程中所要配置的各项参数比较繁复,对使用人员的能力要求很高,造成整个拼接流程效率低,门槛高的问题,实现不依赖手工拼图以重建大型场景的三维点云地图的效果,融合视觉标记点,并在建图扫描过程中采用了区域迭代扫描方式,大大提升了对大型、复杂工业场景三维建图的精度及效率,以常规500kV变电站(200m*200m)为例,现场扫描约2小时,三维实景后处理约4小时,总共6小时,就可以获得与现实场景的数字孪生模型。
<实施例1>
一种基于点云数字孪生技术的变电站操作票执行方法,包括:
S1、利用扫描设备(扫描车)构建目标场景的三维点云地图预存储至移动终端,其中,扫描设备上设置用于获取扫描车当前位姿及加速度的IMU传感器、用于获取扫描设备地理位置的GPS传感器、用于获取目标场景三维点云数据的双激光雷达、用于获取目标场景视频数据的摄像机,扫描车上配备一套完整的数字孪生场景建图方案,利用该建图方案构建目标场景的三维点云地图,具体为:
Sa、子区域划分:采用循环迭代、蛇形推进的方式将目标场景划分成多个子区域,推进方向任意相邻两个子区域的部分区域重叠,重叠区域的起始点位于上一子区域的中部;
Sb、子区域扫描:
按蛇形扫描方式扫描完整个目标区域,具体的对相邻两个子区域的扫描为:
将AprilTag二维码打印制作成硬质的标志图板;
准备三个三脚架,选择三个标志图板分别安装到三个三脚架上;
在上一子区域的起始、中段及末端分别安放上述三个三脚架(具体如图1所述的三个实心三角形处),以实现在上一子区域的起始、中段及末端分别安放标志图板(三个标志图板上具有的AprilTag二维码不一样),分别构成当前子区域的起始、中段及末端;
将扫描设备置于起始位置的标志图板前,将摄像机对准标志图板,保持静止后起动扫描程序,开始移动,采用环回方式使扫描轨迹应覆盖整个区域,最后回到起始标志图板处,其中,在每个标志图板位置处时均对准、保持静止状态5秒以上,扫描结果包含激光雷达数据,IMU数据(位姿和加速度)及视频数据;
去除上一子区域起始位置的三脚架,更换其上标志图板,在下一子区域末端放置该更换过标志图板的三脚架,从上一子区域的中段位置(该子区域的起始段)开始完成下一子区域的扫描,扫描方式同上一子区域;
Sc、建图
Sc1、子区域建图:完成区域扫描过程后,依据扫描数据,对每个子区域进行建图,输出每个子区域的点云图、轨迹点坐标及标志点相对位姿信息,具体为:
利用IMU数据中的位姿信息,对激光雷达数据进行逐帧局部扫描匹配(ScanMatching),以获得相邻帧扫描设备在子区域地图中的局部位姿,获得子区域的点云图、轨迹点坐标;
依据IMU数据中的加速度信息,判断设备当前是否处于静止状态,若是,开始进行标志图板的检测流程,建图程序分析其后第一帧视频数据,识别是否具有标志图样,若是,计算得到标志点图样与摄像头之间的位姿关系,判断位姿关系是否满足一定的距离及视角条件(预先根据实际情况设定),若是,则认为该标志位是有效的;
下一步利用事先标定得到的摄像头与扫描设备基准坐标的外参,计算该有效标志点位的位姿数据,之后退出标志图样检测流程,得到标志点位的位姿数据,其中,每个标志点位对应一个ID号;
Sc2、全局建图:
采用区域环回扫描的方法,以第一个子区域的点云图为起点,记录该子区域中段标志图板的标志点相对位姿信息;
Sc3、获取下一个子区域起始标志图板的标志点相对位姿信息;
Sc4、结合上一子区域中段标志图板的标志点相对位姿信息、下一个子区域起始标志图板的标志点相对位姿信息,获得相邻两个子区域之间的相对坐标变换关系,对相邻两个子区域进行粗匹配;
Sc5、将下一子区域的点云图、轨迹点坐标加入全局优化图,通过ICP对全局点云图进行精匹配,获得目标场景的三维点云地图;
S2、操作人员与监护人员均穿戴智能背心,智能背心包括背心本体、设置在背心本体上的定位模块、模式选择模块、身份认证模块、生命体征监测模块等,操作人员通过功能选择模块确定智能背心为工作模式,监护人员穿戴智能背心后通过功能选择模块确定智能背心为监护模式,其中,定位模块包括分别与移动终端连接GPS传感器、激光雷达、VIO 里程计,VIO里程计包括摄像头、IMU传感器;
S3、操作人员、监护人员通过身份认证后,构建移动终端与对应智能背心的通信连接,操作人员在移动终端上选择需要进行操作的操作票,移动终端更新该操作票以在三维点云地图上显示该操作票对应的任务锚点(具体为按照执行过程,当前需要支撑任务对应的锚点),其中,身份认证为人脸识别,每个操作票可能对应多个任务,任务状态分为三种:未执行、执行中、已结束。操作人员按照***导航的指示,必须进入任务的操作区域内,孪生***里锚点状态才会更改为执行中,与此同时,此锚点处的任务详情会自动在孪生***里显示。否则任务状态会一直保持为未执行,这样就能确保工作人员操作位置的正确性,防止误走间隔进行操作的事情产生。如图2所示,其为一个变电站的倒闸操作票,其包括 6项操作项目,依次标号为1-6,会通过颜色区分(图示未示出)目前状态,再本实施例中,1、2为绿色代表已执行,3为黄色代表执行中,4-6为灰色,代表未执行;
S4、移动终端发送激活命令至操作人员、监护人员的智能背心,智能背心接受激活命令激活开始工作;
S5、定位模块配合移动终端实时获得操作人员、监护人员的定位信息并显示在三维点云地图上,具体为:
S5a、通过激光雷达获取真实场景的图像信息,具体为点云数据;
S5b、GPS传感器获取对应人员当前时刻的位置坐标;
S5c、匹配计算真实场景的图像信息与数据孪生场景仿真地图位于该位置坐标附近(附近的范围具体依据GPS传感器的误差范围确定,确定的目的在于包含其误差防范围)的图像信息,得到当前时刻的观测绝对位姿,具体为:
确定数据孪生场景仿真地图位于该位置坐标附近的位置信息,通过遍历姿态信息获取每个位置信息在每个姿态信息下数据孪生场景仿真地图的图像信息,得图像信息集,其中,通过遍历姿态信息获取每个姿态信息下数据孪生场景仿真地图的图像信息,姿态信息即姿态角,由于姿态角在360°范围内取值,可以等差数列的形式试算一系列的姿态角,如5°、 10°、15°……360°逐一尝试;
匹配计算真实场景的图像信息与图像信息集中图像信息的得分,得分最高的图像信息对应的位姿信息即为当前时刻的观测绝对位姿,匹配计算得分具体采用正态分布变换(NDT)方法;
S5d、获取VIO里程计的数据(包括上一时刻相对于初始时刻的相对位姿oPk-1、当前时刻相对于初始时刻的相对位姿oPk),计算得到当前时刻相对于上一时刻的相对位姿k-1Pk=(oPk-1)-1·oPk
S5e、基于上一时刻的实际绝对位姿wRk-1,结合当前时刻相对于上一时刻的相对位姿k-1Rk,计算得到当前时刻的预测绝对位姿wRkwRk-1·k-1Rk
S5f、将当前时刻的观测绝对位姿和预测绝对位姿通过非线性优化的方式融合,得到当前时刻的实际绝对位姿,其中,实际绝对位置即为定位信息;
S6、移动终端采用路径规划算法依据目标锚点与操作人员的当前定位信息规划三维导航路径;
S7、操作人员在监护人员监护作用下依据三维导航路径到达操作现场后,移动终端判断当前定位信息是否进入目标锚点对应操作范围内,若是,执行操作票,操作票(对应的其中一项任务)状态信息更改为执行中,若否操作票状态信息为未执行,任务确认执行结束后,操作票状态信息更新为已结束;
操作票里的所有任务执行完毕后,操作人员、监护人员需要手写签字,将操作票提交至***,同时,监护人员摄像头记录的操作人员的所有操作过程,也会被提交至后台的分析评价***,对操作人员的操作规范进行考核。
<实施例2>
2018年7月,在济南市国网技术学院教学变电站进行了简易背包实验,该场景大小为200m*100m。实验过程中,首先建立了此教学变电站的数字孪生环境(三维点云地图);接着进行人脸数据采集工作,利用执法仪摄像头采集了站里各个工作人员的人脸照片,并训练人脸识别的模型;而后操作人员与监护人员执行电子操作票上的任务,按照预期安全执行完了本次任务。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。

Claims (6)

1.基于点云数字孪生技术的变电站操作票执行方法,其特征在于,包括以下步骤:
S1、构建目标场景的三维点云地图预存储至移动终端;
S2、操作人员穿戴智能背心,智能背心包括背心本体、设置在背心本体上的定位模块,其中,定位模块包括分别与移动终端连接GPS传感器、激光雷达、VIO里程计;
S3、操作人员在移动终端上选择需要进行操作的操作票,移动终端更新该操作票以在三维点云地图上显示该操作票对应的任务锚点;
S4、移动终端发送激活命令至智能背心,智能背心接受激活命令激活定位模块;
S5、定位模块配合移动终端实时获得操作人员的定位信息并显示在三维点云地图上;
S6、移动终端依据目标锚点与当前定位信息规划三维导航路径;
S7、操作人员依据三维导航路径到达操作现场后,移动终端判断当前定位信息是否进入目标锚点对应操作范围内,若是,执行操作票;
其中,S5具体包括:
S51、通过激光雷达获取真实场景的图像信息;
S52、GPS传感器获取操作人员当前时刻的位置坐标;
S53、匹配计算真实场景的图像信息与数据孪生场景仿真地图位于该位置坐标附近的图像信息,得到当前时刻的观测绝对位姿;
S54、获取VIO里程计的数据,计算得到当前时刻相对于上一时刻的相对位姿;
S55、基于上一时刻的实际绝对位姿,结合当前时刻相对于上一时刻的相对位姿,计算得到当前时刻的预测绝对位姿;
S56、将当前时刻的观测绝对位姿和预测绝对位姿通过非线性优化的方式融合,得到当前时刻的实际绝对位姿,其中,实际绝对位置即为定位信息。
2.如权利要求1所述的基于点云数字孪生技术的变电站操作票执行方法,其特征在于,所述智能背心还包括模式选择模块,步骤S2中操作人员通过功能选择模块确定智能背心为工作模式,监护人员穿戴智能背心,通过功能选择模块确定智能背心为监护模式,其中,VIO里程计包括摄像头、IMU传感器,监护人员摄像头朝向操作人员拍摄,至少记录操作人员的操作流程;
步骤S3中所述移动终端还包括身份认证模块,操作人员、监护人员通过身份认证后,构建移动终端与对应智能背心的通信连接,进一步操作人员在移动终端上登录操作***选择需要进行操作的操作票。
3.如权利要求1所述的基于点云数字孪生技术的变电站操作票执行方法,其特征在于,步骤S53具体为:
确定数据孪生场景仿真地图位于该位置坐标附近的位置信息,通过遍历姿态信息获取每个位置信息在每个姿态信息下数据孪生场景仿真地图的图像信息,得图像信息集;
匹配计算真实场景的图像信息与图像信息集中图像信息的得分,得分最高的图像信息对应的位姿信息即为当前时刻的观测绝对位姿。
4.如权利要求1所述的基于点云数字孪生技术的变电站操作票执行方法,其特征在于,步骤S54中获取VIO里程计的数据具体为:上一时刻相对于初始时刻的相对位姿oPk-1、当前时刻相对于初始时刻的相对位姿oPk,则当前时刻相对于上一时刻的相对位姿k-1Pk=(oPk-1)-1·oPk
5.如权利要求1所述的基于点云数字孪生技术的变电站操作票执行方法,其特征在于,计算得到当前时刻的预测绝对位姿具体为:wRkwRk-1·k-1Rk,其中wRk为当前时刻的预测绝对位姿,wRk-1为上一时刻的实际绝对位姿,k-1Rk为当前时刻相对于上一时刻的相对位姿。
6.如权利要求1所述的基于点云数字孪生技术的变电站操作票执行方法,其特征在于,步骤S1利用扫描设备构建目标场景的三维点云地图,其中,扫描设备包括用于获取扫描车当前位姿及加速度的IMU传感器、用于获取扫描设备地理位置的GPS传感器、用于获取目标场景三维点云数据的双激光雷达、用于获取目标场景视频数据的摄像机;
具体包括以下步骤:
Sa、子区域划分:采用蛇形推进的方式将目标场景划分成多个子区域,推进方向任意相邻两个子区域的部分区域重叠,重叠区域的起始点位于上一子区域的中部;
Sb、子区域扫描:
采用蛇形推进的方式完成子区域的扫描,沿扫描方向相邻两个区域的扫描为:
在上一子区域的起始、中段及末端分别安放标志图板,将扫描设备置于起始位置的标志图板前,将摄像机对准标志图板,保持静止后启动 扫描程序,开始移动,采用环回方式使扫描轨迹应覆盖整个区域,最后回到起始标志图板处,其中,在每个标志图板位置处时均对准、保持静止状态5秒以上,扫描结果包含激光雷达数据,IMU数据及视频数据;
去除上一子区域起始位置的标志图板,在下一子区域末端放置另一块标志图板,从上一子区域的中段位置开始完成下一子区域的扫描;
Sc、建图:
Sc1、依据扫描数据,对每个子区域进行建图,输出每个子区域的点云图、轨迹点坐标及标志点相对位姿信息;
Sc2、采用区域环回扫描的方法,以第一个子区域的点云图为起点,记录该子区域中段标志图板的标志点相对位姿信息;
Sc3、获取下一个子区域起始标志图板的标志点相对位姿信息;
Sc4、结合上一子区域中段标志图板的标志点相对位姿信息、下一个子区域起始标志图板的标志点相对位姿信息,获得相邻两个子区域之间的相对坐标变换关系,对相邻两个子区域进行粗匹配;
Sc5、将下一子区域的点云图、轨迹点坐标加入全局优化图,通过ICP对全局点云图进行精匹配,获得目标场景的三维点云地图。
CN202011224015.8A 2020-11-05 2020-11-05 基于点云数字孪生技术的变电站操作票执行方法 Active CN112432641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011224015.8A CN112432641B (zh) 2020-11-05 2020-11-05 基于点云数字孪生技术的变电站操作票执行方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011224015.8A CN112432641B (zh) 2020-11-05 2020-11-05 基于点云数字孪生技术的变电站操作票执行方法

Publications (2)

Publication Number Publication Date
CN112432641A CN112432641A (zh) 2021-03-02
CN112432641B true CN112432641B (zh) 2022-11-18

Family

ID=74695511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011224015.8A Active CN112432641B (zh) 2020-11-05 2020-11-05 基于点云数字孪生技术的变电站操作票执行方法

Country Status (1)

Country Link
CN (1) CN112432641B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113900517B (zh) * 2021-09-30 2022-12-20 北京百度网讯科技有限公司 线路导航方法和装置、电子设备、计算机可读介质
CN114584571B (zh) * 2021-12-24 2024-02-27 北京中电飞华通信有限公司 基于空间计算技术的电网场站数字孪生同步通信方法
CN114363161B (zh) * 2022-01-11 2024-03-22 中国工商银行股份有限公司 异常设备的定位方法、装置、设备及介质
CN115603464B (zh) * 2022-10-31 2023-05-12 国网安徽省电力有限公司宣城供电公司 一种基于数字孪生的电网操作票智能生成管理***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3291180A1 (en) * 2016-08-31 2018-03-07 Siemens Aktiengesellschaft Method for creating a digital twin of a room
CN111091609A (zh) * 2019-12-11 2020-05-01 云南电网有限责任公司保山供电局 一种基于三维动态建模的变电站现场作业管控***和方法
CN111145236A (zh) * 2019-12-04 2020-05-12 东南大学 一种基于数字孪生的产品拟实物装配模型生成方法及实现框架
CN111337030A (zh) * 2020-05-19 2020-06-26 北京数字绿土科技有限公司 一种基于背负式的激光雷达扫描***、导航定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643379B2 (en) * 2017-07-31 2020-05-05 Quantum Spatial, Inc. Systems and methods for facilitating imagery and point-cloud based facility modeling and remote change detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3291180A1 (en) * 2016-08-31 2018-03-07 Siemens Aktiengesellschaft Method for creating a digital twin of a room
CN111145236A (zh) * 2019-12-04 2020-05-12 东南大学 一种基于数字孪生的产品拟实物装配模型生成方法及实现框架
CN111091609A (zh) * 2019-12-11 2020-05-01 云南电网有限责任公司保山供电局 一种基于三维动态建模的变电站现场作业管控***和方法
CN111337030A (zh) * 2020-05-19 2020-06-26 北京数字绿土科技有限公司 一种基于背负式的激光雷达扫描***、导航定位方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《From LiDAR point cloud towards digital twin city: Clustering city objects based on Gestalt principles》;Fan Xue等;《ISPRS Journal of Photogrammetry and Remote Sensing》;20200804;第167卷;第418-431页 *
Navigation based application with augmented reality and accessibility;Rocha S等;《Extended Abstracts of the 2020 CHI Conference on Human Factors in Computing Systems》;20200425;第1-9页 *
应用于增强现实变电运检三维场景重建的增量八叉树算法;焦进 等;《应用科技》;20200930;第47卷(第05期);第58-63页 *
机器人路径规划及目标识别算法在变电站检测机器人中的应用;唐法庆等;《云南电力技术》;20171031;第45卷(第05期);第78-81页 *

Also Published As

Publication number Publication date
CN112432641A (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN112432641B (zh) 基于点云数字孪生技术的变电站操作票执行方法
Yang et al. Deep concrete inspection using unmanned aerial vehicle towards cssc database
CN105825498B (zh) 测量数据处理装置、测量数据处理方法以及程序
JP6543520B2 (ja) 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
JP6918672B2 (ja) 劣化診断システム
US9448758B2 (en) Projecting airplane location specific maintenance history using optical reference points
CN110142785A (zh) 一种基于目标检测的巡检机器人视觉伺服方法
CN102369549B (zh) 用于估计物***置的信息创建设备、用于估计物***置的信息创建方法
CN108839016B (zh) 机器人巡检方法、存储介质、计算机设备及巡检机器人
CN107833249A (zh) 一种基于视觉引导的舰载机着陆过程姿态预估方法
Yang et al. A robotic system towards concrete structure spalling and crack database
JP7240573B2 (ja) 施工支援システムおよび施工支援装置
CN110246235A (zh) 一种基于Hololens混合现实技术的配电房现场巡检方法及***
WO2018193880A1 (ja) プラント設備機器認識システムおよびプラント設備機器認識方法
EP4068210A1 (en) System and method for automated estimation of 3d orientation of a physical asset
CN112200911A (zh) 结合标志物的区域重叠式三维地图构建方法和装置
JP4521568B2 (ja) 対応点探索方法、相互標定方法、3次元画像計測方法、対応点探索装置、相互標定装置、3次元画像計測装置、対応点探索プログラム及び対応点探索プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2021009508A (ja) 点検管理システム、点検管理サーバ、点検管理方法および点検管理プログラム
CN114663473A (zh) 基于多视角信息融合的人员目标定位与追踪方法及***
Shah et al. Condition assessment of ship structure using robot assisted 3D-reconstruction
CN108492378A (zh) 一种基于ar图像增强技术的故障排除方法
CN113989335A (zh) 一种对厂房内工人自动定位的方法
US20210027481A1 (en) System, method, and computer-readable medium for managing position of target
CN112634434A (zh) 一种基于无人机的矿山三维模型制作方法
JP6597702B2 (ja) 設営アシストシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant