CN117557931A - 一种基于三维场景的表计最优巡检点的规划方法 - Google Patents

一种基于三维场景的表计最优巡检点的规划方法 Download PDF

Info

Publication number
CN117557931A
CN117557931A CN202410041943.2A CN202410041943A CN117557931A CN 117557931 A CN117557931 A CN 117557931A CN 202410041943 A CN202410041943 A CN 202410041943A CN 117557931 A CN117557931 A CN 117557931A
Authority
CN
China
Prior art keywords
point
meter
dimensional
camera
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410041943.2A
Other languages
English (en)
Other versions
CN117557931B (zh
Inventor
韩庆
王小冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Speed China Technology Co Ltd
Original Assignee
Speed China Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Speed China Technology Co Ltd filed Critical Speed China Technology Co Ltd
Priority to CN202410041943.2A priority Critical patent/CN117557931B/zh
Publication of CN117557931A publication Critical patent/CN117557931A/zh
Application granted granted Critical
Publication of CN117557931B publication Critical patent/CN117557931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于三维场景的表计最优巡检点的规划方法，步骤：S1加载点云数据：准备场景点云数据和表计三维模型数据，筛选场景点云数据并匹配表计三维点云模型；S2路径规划：选定路网路线上的起始点，在巡检路线上设置必经点；S3加载路网数据：将场景点云数据、三维表计对象加载至三维引擎中；S4巡检点规划识别：平台监测算法待识别空间变化，读取表计ID文件，进行解压后，分别对各图片进行位置检测，建立映射关系，并存储至表计识别结果表；表计ID文件则移至算法识别存档空间；S5：根据步骤S4的识别结果，输出表计最优巡检点。该方法能够快速、准确寻找出最优巡检点，提高机器人巡检规划效率，提升最终的巡检效果。

Description

一种基于三维场景的表计最优巡检点的规划方法
技术领域
本发明涉及机器人巡检技术领域，尤其涉及一种基于三维场景的表计最优巡检点的规划方法。
背景技术
近年来，随着检测、数据处理和互联网等技术的发展和应用，一些融合智能控制、数据处理和互联网等技术的发展和应用，一些融合智能控制、先进检测及自动决策的产品不断出现。例如智能电站中的巡检机器人已经逐渐取代了传统人工巡检工作，通过利用机器人巡检极大地降低了人工巡检的工作强度和危险性，并能有效提升电站设备的可靠性。但如何根据电站设备分布情况，提出一种适合电站机器人巡检任务规划的方法，使得机器人能够自主独立地完成巡检任务是重要的研究内容。目前国内机器人巡检点规划的背景技术主要包含以下几个方面：
（1）地图数据与建模：基于地图数据进行路径规划和环境建模。复杂环境下，需要进行三维建模或者室内定位等技术来获取更精确的地图数据；
（2）机器人定位与导航：需要准确的机器人定位与导航技术。可以帮助机器人根据当前位置和目标点进行路径规划；
（3）路径规划与优化算法：常用的路径规划算法包括A*算法、Dijkstra算法、RRT（Rapidly Exploring Random Tree）算法等；
（4）环境感知与避障：需要机器人能够对环境进行感知并避免障碍物。在路径规划过程中避免碰撞风险，保证机器人的安全行驶；
（5）人工智能与机器学习：人工智能和机器学习技术在机器人巡检功能中发挥着重要作用。机器学习算法可以通过对大量数据的训练和学习，提高机器人在图像识别、目标检测、故障诊断等方面的准确性和效率。
中国专利文献CN115793638A公开了一种电力***中巡检机器人路径点库规划建立方法，包括离线全局路径的建立、涉及电站智能***生成离线全局的规划路径，将路径规划导入机器人并形成指令、机器人沿着规划路径根据gps或者北斗移动，并绕开障碍物，对周围环境状态进行测量、分析和实时局部路径优化处理。该技术方案用于电力***中巡检机器人路径点库规划和建立。该发明的目的是解决电站巡检机器人巡检路径存在离线全局路径单一简单且容易出错的问题，重点是通过高精度传感器判断行驶路线上是否存在障碍物，进而改变巡检轨迹并存储过程中的路径点。
中国专利文献CN109828578A公开了一种基于YOLOv3的仪表巡检机器人最优路线规划方法，具体如下：S1、创建巡检工作环境地图和确定巡检目标位置；S2、输入初始化的信息素矩阵，确定初始点和终止点；S3、确定下一步可以到达的节点，选择出下一步的初始点；S4、更新路径和路程长度；S5、反复多次进行步骤3和步骤4，直到蚂蚁到达目标点或者是蚂蚁已经走完所有可走的路；S6、反复多次进行步骤3至步骤5，直到蚂蚁迭代计算完成；S7、更新信息素矩阵T，没有到达目标点的蚂蚁不在计算范围内；S8、重复步骤3至步骤7，直到第n代蚂蚁迭代结束，输出最优路径曲线。通过YOLOv3目标检测算法，输出最优路径曲线，以实施简单、成本低、精确度高优势，有效提高巡检机器人自动化水平，减少了人工在整个路径规划过程中的参与。
中国专利文献CN115984724A公开了一种变电站表计的智能巡检方法、装置、***及设备，通过无人机在预设的巡检航线上拍摄变电站表计图片；将拍摄的变电站表计图片通过表计识别模型处理，识别并截取变电站表计图像；将截取的变电站表计图像通过表计分割模型进行分割，得到所述变电站表计的刻度图像和指针图像；根据所述刻度图像和所述指针图像，获取变电站表计的读数。通过本实施例所述的变电站表计的智能巡检方法能够减少人工的工作量，大大提高变电站智能化巡检的效率和准确性，巡检数据也便于进行追溯分析。该技术方案侧重于无人机在预设的巡检航线上拍摄变电站表计图片，通过YOLOv5目标检测算法进行图像识别结果，提高变电站智能化巡检的效率和准确性。该技术方案中的无人机基于已规划飞行路线飞行，无人机飞行路线的规划质量决定图片的质量，进而影响结果；无法解决飞行路线中拍摄的多张表计，识别混乱的问题；无法覆盖室内：无人机依赖GPS导航，室内狭小空间设备安全性要求高、飞行条件差、避障能力要求高，一般考虑变电站设备安全，不允许使用。
国内变电站机器人巡检点规划，一般通过人工现场调试的方式进行，存在主观性和依赖性、人力成本和效率问题、调整和更新困难以及客观制约性等问题，详细如下：
（1）主观性和依赖性：巡检点的选择和布置往往基于操作人员的经验和判断，可能受到个人偏见或误解的影响，导致覆盖不全、重点区域被忽略或误判问题；
（2）人力成本和效率问题：人工规划需要投入大量的人力资源和时间来完成。操作人员需要对变电站进行实地勘察、制定巡检计划，并手动记录巡检点的位置和状态以及调整摄像机云台的俯仰角和焦距（PTZ值）信息。这种人力成本和效率问题可能导致巡检任务耗时长、效率低下，特别是在大型变电站中更为明显；
（3）调整和更新困难：变电站设备可能随时间发生变化，新的设备可能被添加，旧的设备可能被更换或移除。人工规划需要频繁调整和更新，以保持与变电站实际情况的一致性。这种调整和更新过程可能繁琐且容易出错，也容易遗漏更新的部分；
（4）客观制约性：无人机巡航、工人出入变电站需要办理手续，规划工作受天气（雨、雪、高温天气）、时间（晚间）、检修禁止入场等客观因素影响，会导致既定计划推后延迟，并影响整体规划进度。
综上，国内变电站机器人巡检点规划，一般通过人工现场操控机器人并调试摄像机云台的方式进行，存在主观性和依赖性、人力成本和效率问题、调整和更新困难以及客观制约性等问题。
发明内容
本发明要解决的技术问题是提供一种基于三维场景的表计最优巡检点的规划方法，旨在三维场景中，利用现有信息化和数字化方法，快速、准确寻找出最优巡检点，提高机器人巡检规划效率，提升最终的巡检效果。
为了解决上述技术问题，本发明采用的技术方案是：该基于三维场景的表计最优巡检点的规划方法，具体包括以下步骤：
S1加载点云数据：准备场景点云数据和表计三维模型数据，筛选场景点云数据并匹配表计三维点云模型；
S2路径规划：选定路网路线上的起始点，在巡检路线上设置必经点，确保覆盖目标表计周边的观测路线；
S3加载路网数据：将场景点云数据、三维表计对象加载至三维引擎中；
S4巡检点规划识别：平台监测算法待识别空间变化，读取表计ID文件，进行解压后，分别对各图片进行位置检测，建立映射关系，并存储至表计识别结果表；完成识别后，ID文件则移出算法待识别空间且移至算法识别存档空间；
S5排序输出：根据所述步骤S4的识别结果，按置信度、焦距差联合排序，输出表计最优巡检点。
采用上述技术方案，引入自动化和智能化的方法来改进机器人表计巡检点的规划和布置，基于客观路网数据、表计点位、规划方法做到场景全覆盖，解决国网电力巡检业务中机器人巡检最优路径规划，提高机器人表计巡检的准确性、效率和可操作性；且解决变电站机器人表计巡检过程中，寻求摄像机拍摄表计最优的位置坐标点，该结果会影响机器人巡检最优路径规划结果，以期达到最佳的巡检目标。
优选地，所述步骤S1的具体步骤为：
S11：采用OpenCV软件库编码实现点云数据解析加载；
S12：利用基于点对特征法PPF（Point Pair Features）的6D姿态估算方法（PPF算法）调用模块，返回多个结果簇clusters，从而获得每个点云数据的姿态和位置，并匹配表计三维点云模型；
S13：在匹配表计三维点云模型中的Point Pair Features的6D姿态估算方法返回的结果簇clusters中，获得表计点云点位，提取三维坐标点，从而确定表计三维点云模型所在的三维空间位置，进而筛选出表计点位；
S14：通过虚幻引擎4（UE4）的(unreal engine 4.26)点云插件(LiDAR CloudSupport)将场景点云模型导入虚幻引擎4（UE4）中，按照实际道路1:1画路网，贴合道路中线绘制路线，移除场景点云模型，保存道路点云数据，然后保存至数据库PostgreSQL（由PostGIS扩展存储管理空间数据的能力）；
S15：使用ArcGIS软件，将道路点云数据导入表计点位及路网数据，再采用欧氏距离公式计算各表计点位到路网的距离，通过栅格像元来计算两者之间的距离，获得距离数据结果，并将距离数据结果导入数据库PostgreSQL。
优选地，所述步骤S11的具体步骤为：
S111：首先加载变电站场景点云数据；
S112：然后通过三维模型转点云工具Solidworks、CloudCompare，或者函数open3d.visualization.draw_geometries将表计三维点云模型转换为点云数据，并调用loadPLYSimple方法加载点云数据。
优选地，所述步骤S2的具体步骤为：
S21：设定机器人起始点，以表计为目标/>，自动规划机器人行驶路径的集合设为L，其中摄像机距地面高度h，则摄像机点为/>；
S22：采用步骤S15中的距离数据结果，通过数据库PostgreSQL查询并获得符合摄像机焦距范围内的多条线路，并将所述多条线路的顶点设为必经点，确保三维场景中摄像机的可视范围360度全方位覆盖目标表计；
S23：使用数据库PostgreSQL完成路径规划。
优选地，所述步骤S3的具体步骤为：
S31：设置目标表计在三维引擎中显示，即轮询三维场景中的表计三维点云模型的对象，设置开始索引的三维表计模型的对象为显示状态，其余则为隐藏状态，并设该表计模型的对象所在位置为点；
S32：距离计算，即设三维场景中摄像机最大焦距范围为，最小焦距范围为/>，根据空间两点距离公式，计算当前摄像机点的视角位置与目标表计的位置的距离d，公式为：
，
其中，Pc为当前摄像机点；P2为目标表计的位置；
若或/>，则该当前摄像机点舍弃，不作为最优巡检点的使用数据，则继续移动机器人的位置，同时设该位置为起始点P1，并反复计算，找到摄像机的可视范围的路网数据点，即/>；
S33：计算目标表计方位的向量，生成仰视角、俯视角以及焦距；
S34：调用三维引擎的camera对象视角调整方法，使三维场景匹配检测摄像机的拍摄内容，同时通过通视分析，检测摄像机到目标表计之间是否有遮挡物，若包含遮挡物则沿路线L继续移动，反之则截取三维区域并生成图片；
S35：若完成选定路线，则将图片合并至一个压缩文件；
S36：将压缩文件上传至算法服务器，并存放至算法待识别空间。
优选地，所述步骤S33的具体步骤为：
S331：根据摄像机的规格尺寸，结合摄像机的成像原理，得到摄像机的焦距，计算 公式为，其中F指镜头焦距；D指目标表计至摄像机镜头的距离；h指图像高度，即目 标表计在CCD靶面上成像高度；H指被摄物体高度，即目标表计的形成面的最大直径；
S332：采用法向量方法，以当前摄像机点Pc为原点，目标表计P2为目标点，计算摄像 机与目标表计的水平夹角和垂直夹角，即向量在水平方向的夹角和垂直方向的夹角， 其中水平方向的夹角为方位角，垂直夹角为俯视角。
优选地，所述步骤S34中调用三维引擎camera对象调整视角的具体步骤为：
S341：计算空间的当前摄像机点Pc和目标表计的起始点P1的欧拉角，返回俯仰值pitch、航向值raw；
S342：计算三维引擎camera到起始点P1的距离distance，结合摄像机的焦距F与距离D的关系，得到距离 distance = H * 0.85；该公式经过测算，可以覆盖被拍摄表计高度，在三维中全部展现；
S343：移动三维引擎camera视角；具体调用方法为：__g.camera.lookAt(目标点,distance,pitch,raw,0)；
S344：使用JS类库html2canvas（一个web端软件库名称，可以用来进行web端图片截取），对三维区域进行截取，后生成PNG图片。图片的命名规则为：经纬高度_俯仰角和焦距（PTZ值）.png。
优选地，所述步骤S34中通视分析具体为：检测当前摄像机点Pc与目标表计P2之间 是否存在障碍物遮挡；若存在遮挡，则以起始点P1为起点，并设终点为，沿向量前进距离dn，前进后的点记为，并重新将起始点P1赋值为Pn，且 满足，同理检测此时当前摄像机点Pc坐标为，反之继续；其中，向量的计算公式为：；当当前规划线路已前进距离为d n，则 起始点P 1 到终点P e 的线段距离为；那么，点P n 的 坐标为，同理此时当前摄像机点P c 的坐标为。
优选地，所述步骤S4的具体步骤为：
S41：平台监测算法待识别空间变化，读取表计ID.zip文件，进行解压后，分别对各图片进行批量位置检测，并使用基于YOLOv8的目标检测算法计算表计置信度，
S42：建立映射关系，经纬高度_俯仰角和焦距={置信度，焦距差=实际焦距-焦距中值}；
S43：存储置信度、焦距差、对应表计信息、图片截图时位置信息、PTZ值信息至表计识别表。
优选地，在所述步骤S332中当值在该机器人的焦距视角范围内时， 计算仰视角、俯视角，后续提供给机器人搭载的摄像机使用；具体为：
已知三维空间点坐标和点坐标，O为坐标原点；那么P2点 相对于Pe点的坐标为：，则得出P2点相对于Pe点水平方 向夹角和垂直方向夹角，即向量在水平方向的夹角与垂直 方向夹角；其中水平方向夹角为向量在平面的投影向量与 轴正方向的角度，计算公式为：；当，；反 之，；同理垂直方向夹角为向量与轴正方向夹角。
优选地，在所述步骤S5中按置信度从大到小且焦距差从小到大联合排序，输出表计最优巡检点结果。
与现有技术相比，本发明具有的有益效果为：
（1）客观性强、依赖性弱：本发明巡检点的选择基于客观路网数据、表计点位，规划方法通过蚂蚁递归方法做到场景全覆盖，通过AI算法，在对同一个表计识别过程中，场景路网上数千个巡检点不同焦距视觉截图中的选择最优巡检点；
（2）低成本、高效率：本发明利用国网变电站信息化、数字化的资产沉淀，如点云模型、三维模型以及基于变电站模型的路网数据，无新增成本；
（3）三维调整、快速更新：变电站设备可能随时间发生变化，新的设备可能被添加，旧的设备可能被更换或移除；点云或三维数据更新后，重新规划新的表计最优巡检点，只需选定目标表计即可重新规划其最优巡检点；
（4）无客观性制约：无需办理入站手续，该发明方法可全天候，在变电站室内外任意位置和不受各种天气环境干扰条件下工作；
（5）科学性：通过最优巡检点，再去规划巡检路线，既能避免覆盖不全、重点区域被忽略或误判问题，也能避免识别混乱（实际巡检过程中，通过该点拍摄的表计图片清晰度最高，相较于图片中可能存在拍摄到的其他非目标表计，置信度最高），为后续表计识别业务的开展提供高质量条件。
附图说明
图1为本发明的基于三维场景的表计最优巡检点的规划方法的流程图；
图2为本发明的基于三维场景的表计最优巡检点的规划方法的最优巡检点规划处理流程图；
图3（a）为本发明的基于三维场景的表计最优巡检点的规划方法中的AI表计识别前路径规划及三维场景执行示意图；
图3（b）为本发明的基于三维场景的表计最优巡检点的规划方法中的AI表计识别后及最佳观测点结果示意；
图4为本发明的基于三维场景的表计最优巡检点的规划方法的摄像机焦距结构说明图。
具体实施方式
下面将结合本发明的实施例图中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
实施例：如图1所示，该基于三维场景的表计最优巡检点的规划方法，具体包括以下步骤：
S1加载点云数据：准备变电站场景点云数据和表计三维模型数据，筛选场景点云数据并匹配表计三维点云模型；
所述步骤S1的具体步骤为：
S11：采用OpenCV软件库编码实现点云数据解析加载；核心方法依赖于ppf_match_3d.loadPLYSimple()，实现点云数据解析加载；
所述步骤S11的具体步骤为：
S111：首先加载变电站场景点云数据；
S112：然后通过三维模型转点云工具Solidworks、CloudCompare，或者函数open3d.visualization.draw_geometries将表计三维点云模型转换为点云数据，并调用loadPLYSimple方法加载点云数据；
S12：匹配表计三维模型，利用PPF算法，即利用基于点对特征法PPF（Point PairFeatures）的6D姿态估算方法（PPF算法）调用模块，返回多个结果簇（clusters），从而获得每个点云数据的姿态和位置，并匹配表计三维点云模型；本发明通过OpenCV软件库实现，核心方法依赖于PPF3DDetector API，调用 surface_matching 模块相关方法实现，基于该算法返回多个结果簇clusters，每个结果簇cluster包含位姿（retrieved poses）的位置、姿态；
S13：即在匹配表计三维点云模型中的点对特征法PPF（Point Pair Features）的6D姿态估算方法返回的结果簇clusters中，获得表计点云点位，提取三维坐标点，从而确定表计三维点云模型所在的三维空间位置，进而筛选出表计点位；
S14：通过虚幻引擎4（UE4）(unreal engine 4.26)点云插件(LiDAR CloudSupport)，将场景点云模型导入虚幻引擎4（UE4）点中，按照实际道路1:1画路网，贴合道路中线绘制路线，移除场景点云模型，保存道路点云数据，然后保存至数据库PostgreSQL（由PostGIS扩展存储管理空间数据的能力）；
S15：使用ArcGIS软件，将道路点云数据导入表计点位及路网数据，再采用欧氏距离公式计算各表计点位到路网的距离，通过栅格像元来计算两者之间的距离，获得距离数据结果，并将距离数据结果导入数据库PostgreSQL；
S2路径规划：选定路网路线上的起始点，采用迪杰斯特拉算法(Dijkstra)，在符合条件的巡检路线上设置相关必经点，确保覆盖目标表计周边的观测路线；
如图2所示，所述步骤S2的具体步骤为：
S21：设定机器人起始点，以表计为目标，自动规划机器人行 驶路径的集合设为L（行驶路线数据），其中摄像机距地面高度h，则摄像机点为；
S22：采用步骤S15中的距离数据结果，通过数据库PostgreSQL查询符合摄像机焦距范围内的多条线路，并将该多条线路的顶点设为必经点，确保摄像机仿真可视范围360度全方位覆盖目标表计；
S23：使用数据库PostgreSQL的PostGIS和pgRouting插件完成路径规划；
S3加载路网数据：将场景点云数据、三维表计对象加载至三维引擎中；设置屏幕可见区域分辨率为300 * 400；所述步骤S3的具体步骤为：
S31：设置目标表计在三维引擎中显示，即轮询三维场景中的表计三维点云模型的 对象，设置开始索引的三维表计模型的对象为显示状态，其余则为隐藏状态，并设该表计模 型的对象所在位置为点；其余非目标表计设置为不可见，用于确保摄像机仿真 视角中有且只有唯一的目标表计，目标是为了减少后续步骤中AI算法识别过程中误判目标 对象；
S32：距离计算，即设摄像机最大焦距范围为，摄像机最小焦距范围为，根据 空间两点距离公式，计算当前摄像机点的视角位置与目标表计的位置的距离d，公式为：
，
其中，Pc为当前摄像机点；P2为目标表计的位置；
若或，则该当前摄像机点舍弃，不作为最优巡检点的使用数据，则继 续移动机器人的位置，同时设该位置为起始点P1，并反复计算，找到摄像机的可视范围的路 网数据点，即；
S33：计算目标表计方位的向量，生成仰视角、俯视角以及焦距；
所述步骤S33的具体步骤为：
S331：根据摄像机的规格尺寸，结合摄像机的成像原理，得到摄像机的焦距，计算 公式为，其中F指镜头焦距；D指目标表计至摄像机镜头的距离；h指图像高度，即目 标表计在CCD靶面上成像高度；H指被摄物体高度，即目标表计的形成面的最大直径；详见图 4和表1；
表1 常规摄像机镜头中主要CCD靶面规格尺寸
；
S332：采用法向量方法，以当前摄像机点Pc为原点，目标表计P2为目标点，计算摄像 机与目标表计的水平夹角和垂直夹角，即向量在水平方向的夹角和垂直方向的夹角， 其中水平方向的夹角为方位角，垂直夹角为俯视角；
在所述步骤S332中当距离值在该机器人的焦距视角范围内时，计算 仰视角、俯视角，后续提供给机器人搭载的摄像机使用；具体为：
已知三维空间点坐标和点坐标，O为坐标原点；那么P2点 相对于Pe点的坐标为：，则得出P2点相对于Pe点水平方 向夹角和垂直方向夹角，即向量在水平方向的夹角与垂直 方向夹角；其中水平方向夹角为向量在平面的投影向量与 轴正方向的角度，计算公式为：；当，； 反之，；同理垂直方向夹角为向量与轴正方向夹角；
S34：调用三维引擎的camera对象视角调整方法，使三维场景匹配检测摄像机的拍摄内容，同时通过通视分析，检测摄像机到目标表计之间是否有遮挡物，若包含遮挡物则沿路线L继续移动，反之利用前端截屏功能，截取三维区域（指定DOM元素）并生成图片，命名规则为：经纬高度_俯仰角和焦距（PTZ值）.png；
所述步骤S34中调用三维引擎camera对象调整视角的具体步骤为：
S341：计算空间的当前摄像机点Pc和目标表计的起始点P1的欧拉角，返回俯仰值pitch、航向值raw；
S342：计算三维引擎camera到起始点P1的距离distance，结合摄像机的焦距F与距离D的关系，得到距离 distance = H * 0.85；该公式经过测算，可以覆盖被拍摄表计高度，在三维中全部展现；
S343：移动三维引擎camera视角；具体调用方法为：__g.camera.lookAt(目标点,distance,pitch,raw,0)；
S344：使用JS类库html2canvas（一个web端软件库名称，可以用来进行web端图片截取），对三维区域进行截取，后生成PNG图片；命名规则为：经纬高度_俯仰角和焦距（PTZ值）.png；
所述步骤S34中通视分析具体为：检测当前摄像机点Pc与目标表计点P2之间是否存 在障碍物遮挡；若存在遮挡，则以起始点P1为起点，并设终点为，沿向量前 进距离dn，前进后的点记为，并重新将起始点P1赋值为Pn，且满足，同理检测此时当前摄像机点Pc坐标为，反之继续；其中，向量的 计算公式为：；当当前规划线路已前进距离为d n，则起始点P 1 到终点P e 的线段距离为；那么，点P n 的坐标 为，同理此时当前摄像机点P c 的坐标为；
S35：若完成选定路线，则将图片通过jszip合并至一个压缩文件，命名规则为：表计ID.zip；
S36：数据上传，将压缩文件表计ID.zip上传至算法服务器，并存放至算法待识别空间；
S4巡检点规划（AI表计）识别：平台监测算法待识别空间变化，读取表计ID.zip文件，进行解压后，分别对各图片进行位置检测，建立映射关系，并存储至表计识别结果表；完成识别后，ID文件则移出算法待识别空间且移至算法识别存档空间；如图3（a）所示为目标表计识别前路径规划及三维场景执行示意图；如图3（b）所示为目标表计识别后及最佳观测点结果示意图；
所述步骤S4的具体步骤为：
S41：平台监测算法待识别空间变化，读取表计ID.zip文件，进行解压后，分别对各图片进行批量位置检测，并使用基于YOLOv8的目标检测算法计算表计置信度，
S42：建立映射关系，经纬高度_俯仰角和焦距（PTZ值） ={置信度，焦距差=实际焦距-焦距中值}；
S43：存储置信度、焦距差、对应表计信息、图片截图时位置信息、PTZ值信息至表计识别表；
S5排序输出：根据所述步骤S4的识别结果，按置信度、焦距差联合排序，输出表计最优巡检点；在所述步骤S5中按置信度从大到小且焦距差从小到大联合排序，输出表计最优巡检点结果。
具体实施例：三维引擎以国产数字孪生三维引擎产品飞渡DTS为例巡检过程具体为：
（1）将场景点云数据、三维表计模型、路网数据加载三维引擎中；
（2）将每个表计开始规划时的起点设为符合摄像机焦距范围内的4条线路中任意 一条路线顶点作为机器人起始点，设摄像机距离机器人起点垂直高度为，则 摄像机点位；
（3）轮询三维场景中的三维表计动态模型对象，设置开始索引的三维表计模型对 象为显示状态，其余则为隐藏状态。设该表计模型对象所在位置为点；
（4）根据已知起始点和目标点，结合数据准备阶段，数据库存储的摄像机焦距 范围内的4条线路的顶点数据作为必经点，调用路径规划服务。该路径规划服务由PostGIS 和pgRouting插件技术实现，封装API接口，供前端调用，返回路径规划结果为GeoJSON数据 对象；
（5）前端解析GeoJSON对象（为MultiLineString类要素，用三维数组表示），取得规 划线路数据，置点为开始线路值coordinates[0][0]，并作为机器人起始点，其 中值coordinates[0][1]作为当前行驶路线这一段的终点，设为；
（6）通视分析，即检测当前摄像机点位与目标表计之间是否存在障碍物遮挡， 若存在遮挡，则以为起点，沿向量前进0.5米，前进后的点记为，重新将 起点赋值为，同理此时当前摄像机点位坐标为；反之继续；本发明实施 案例使用国产三维引擎飞渡DTS产品，其中计算方法如下：
1)单条线段求交：__g.tools.lineIntersect(摄像机点位,目标点),若存在遮 挡，则返回LineIntersectPoint属性和对应交点值，反之无；
2)计算可知，且满足；
然后，计算出当前摄像机点与表计目标的距离；若值不在该机器人的焦距视角范 围内，则以为起点，沿向量前进0.5米，前进后的点重新赋值为点，同理 摄像机点位坐标为，反之继续；其中计算方法如下：
1)向量；
2)设当前规划线路已前进距离为d n ，则点P 1 到点P e 的线段距离为；
3)P n 点的坐标为，同理P c 的坐标为；
（7）当d值在该机器人的焦距视角范围内时，计算仰视角、俯视角，后 续提供给机器人搭载的摄像机使用，算法如下：
1)已知三维空间点坐标和点坐标，O为坐标原点；
2)那么点相对于点的坐标为,则得出点相对于点水平方向夹角和垂直方向夹角，即向量在 水平方向的夹角与垂直方向夹角；其中水平方向夹角为向量在平面的投影向量与轴正方向的角度，计算公式为； 当，；反之；
同理垂直方向夹角为向量与轴正方向夹角；
（8）计算焦距，其计算逻辑如下：
1）已知三维模型及点位，建立三维模型信息表，包含模型形状（圆形、方形、其他）、 模型表面最大直径等信息；设模型表面最大直径为；
2）上述过程已知距离值为，这里设为；
3）根据机器人搭载摄像机基础信息，获知摄像机CCD靶面规格尺寸，设其图像高度 为；
4）根据焦距计算公式为；
（9）调用三维引擎camera对象调整视角，采用飞渡产品提供的方法在三维中模拟摄像机成像；
1）计算空间两点欧拉角，返回俯仰值pitch、航向值raw；具体方法为：__ g.camera.getEulerAngle(摄像机点位,目标点)；
2）三维引擎camera观测目标点距离distance（以米为单位）计算，与现实中摄像机 成像思路相同，不同点在于该三维引擎distance参数是相对于目标点， 结合摄像机焦距 与距离的关系，则 distance = H * 0.85，该公式经过测算，可以覆盖被拍摄表计高度，在 三维中全部展现；
3）移动三维引擎camera视角，具体调用方法为：__g.camera.lookAt(目标点, distance,pitch,raw,0)；
然后，使用JS类库html2canvas（一个web端软件库名称，可以用来进行web端图片截取），对三维区域进行截取，后生成PNG图片；
1）使用html2canvas设置三维区域DOM参数，返回canvas对象；
2）处理为base64格式图片，调用canvas.toDataURL(‘image/png’, 1)；
（10）合并图片，并上传至算法服务器；同时继续轮询表计模型对象，由前端继续执行上述步骤；
1）核心使用JSZip类库，先对文件流命名，(new JSZip()).folder(标记ID).file(经纬高度_俯仰角和焦距（PTZ值）.png，base64, {base64: true})；
2）压缩处理zip.generateAsync({type: ‘blob’})，结果上传至算法服务器指定待识别区；
同步，算法服务器任务调度，由算法调度中心扫描待识别区资源，若发现资源，则分发给空闲算法服务器处理；
（11）对图片进行批量位置检测；本发明使用基于YOLOv8的目标检测算法，计算表计置信度；
（12）存储置信度、焦距差、对应表计信息、图片截图时位置信息、PTZ值等信息；
（13）按置信度从大到小且焦距差从小到大联合排序，得到表计最优巡检点结果。
该技术方案中无需人工进入场地，只在实际巡检规划中寻找巡检点以及机器校验确认时需要2名工人，且大约30个工作日完成（站内面积越大、表计越多，时间越长）；以某±500kV换流站（总面积110000余平方米）为例，该巡检规划中寻找的巡检点的相关参数如表2所示。
表2 巡检规划中寻找的巡检点的相关参数
从巡检结果可以看出，该巡检点同时满足观测效果最优、摄像机调焦幅度最小等条件，为机器人表计巡检业务提供最优解。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于三维场景的表计最优巡检点的规划方法，其特征在于，具体包括以下步骤：
S1加载点云数据：准备场景点云数据和表计三维模型数据，筛选场景点云数据并匹配表计三维点云模型；
S2路径规划：选定路网路线上的起始点，在巡检路线上设置必经点，确保覆盖目标表计周边的观测路线；
S3加载路网数据：将场景点云数据、三维表计对象加载至三维引擎中；
S4巡检点规划识别：平台监测算法待识别空间变化，读取表计ID文件，进行解压后，分别对各图片进行位置检测，建立映射关系，并存储至表计识别结果表；完成识别后，表计ID文件则移出算法待识别空间且移至算法识别存档空间；
S5排序输出：根据所述步骤S4的识别结果，按置信度、焦距差联合排序，输出表计最优巡检点。
2.根据权利要求1所述的基于三维场景的表计最优巡检点的规划方法，其特征在于，所述步骤S1的具体步骤为：
S11：采用OpenCV软件库编码实现点云数据解析加载；
S12：利用基于点对特征法Point Pair Features的6D姿态估算方法调用模块，返回多个结果簇，从而获得每个点云数据的姿态和位置，并匹配表计三维点云模型；
S13：在匹配表计三维点云模型中的Point Pair Features的6D姿态估算方法返回的结果簇中，获得表计点云点位，提取三维坐标点，从而确定表计三维点云模型所在的三维空间位置，进而筛选出表计点位；
S14：通过虚幻引擎4点云插件将场景点云模型导入虚幻引擎4中，按照实际道路1:1画路网，贴合道路中线绘制路线，移除场景点云模型，保存道路点云数据，然后保存至数据库PostgreSQL；
S15：使用ArcGIS软件，将道路点云数据导入表计点位及路网数据，再采用欧氏距离公式计算各表计点位到路网的距离，获得距离数据结果，并将距离数据结果导入数据库PostgreSQL。
3.根据权利要求2所述的基于三维场景的表计最优巡检点的规划方法，其特征在于，所述步骤S11的具体步骤为：
S111：首先加载变电站场景点云数据；
S112：然后通过三维模型转点云工具将表计三维点云模型转换为点云数据，并调用方法加载点云数据。
4.根据权利要求2中的所述的基于三维场景的表计最优巡检点的规划方法，其特征在于，所述步骤S2的具体步骤为：
S21：设定机器人起始点，以表计为目标/>，自动规划机器人行驶路径的集合设为L，其中摄像机距地面高度h，则摄像机点为/>；
S22：采用步骤S15中的距离数据结果，通过数据库PostgreSQL查询并获得符合摄像机焦距范围内的多条线路，并将所述多条线路的顶点设为必经点，确保三维场景中摄像机的可视范围360度全方位覆盖目标表计；
S23：使用数据库PostgreSQL完成路径规划。
5.根据权利要求2中的所述的基于三维场景的表计最优巡检点的规划方法，其特征在于，所述步骤S3的具体步骤为：
S31：设置目标表计在三维引擎中显示，即轮询三维场景中的表计三维点云模型的对象，设置开始索引的三维表计模型的对象为显示状态，其余则为隐藏状态，并设该表计模型的对象所在位置为点；
S32：距离计算，即设三维场景中摄像机最大焦距范围为，最小焦距范围为/>，根据空间两点距离公式，计算当前摄像机点的视角位置与目标表计的位置的距离d，公式为：
；
其中，Pc为当前摄像机点；P2为目标表计的位置；
若或/>，则该当前摄像机点舍弃，不作为最优巡检点的使用数据，则继续移动机器人的位置，同时设该位置为起始点P1，并反复计算，找到摄像机可视范围的路网数据点，即/>；
S33：计算目标表计方位的向量，生成仰视角、俯视角以及焦距；
S34：调用三维引擎的camera对象视角调整方法，使三维场景匹配检测摄像机的拍摄内容，同时通过通视分析，检测摄像机到目标表计之间是否有遮挡物，若包含遮挡物则沿路线L继续移动，反之则截取三维区域并生成图片；
S35：若完成选定路线，则将图片合并至一个压缩文件；
S36：将压缩文件上传至算法服务器，并存放至算法待识别空间。
6.根据权利要求5中的所述的基于三维场景的表计最优巡检点的规划方法，其特征在于，所述步骤S33的具体步骤为：
S331：根据摄像机的规格尺寸，结合摄像机的成像原理，得到摄像机的焦距，计算公式为，其中F指镜头焦距；D指目标表计至摄像机镜头的距离；h指图像高度，即目标表计在CCD靶面上成像高度；H指被摄物体高度，即目标表计的形成面的最大直径；
S332：采用法向量方法，以当前摄像机点Pc为原点，目标表计P2为目标点，计算摄像机与目标表计的水平夹角和垂直夹角，即向量在水平方向的夹角和垂直方向的夹角，其中水平方向的夹角为方位角，垂直夹角为俯视角。
7.根据权利要求5中的所述的基于三维场景的表计最优巡检点的规划方法，其特征在于，所述步骤S34中调用三维引擎camera对象调整视角的具体步骤为：
S341：计算空间的当前摄像机点Pc和目标表计的起始点P1的欧拉角，返回俯仰值pitch、航向值raw；
S342：计算三维引擎camera到起始点P1的距离distance，结合摄像机的焦距F与距离D的关系，得到距离 distance = H * 0.85；
S343：移动三维引擎camera视角；
S344：使用JS类库html2canvas，对三维区域进行截取，后生成PNG图片。
8.根据权利要求6中的所述的基于三维场景的表计最优巡检点的规划方法，其特征在于，所述步骤S34中通视分析具体为：检测当前摄像机点Pc与目标表计P2之间是否存在障碍物遮挡；若存在遮挡，则以目标表计的起始点P1为起点，并设终点为，沿向量前进距离dn，前进后的点记为/>，并重新将起始点P1赋值为Pn，/>且满足/>，同理检测此时当前摄像机点Pc坐标为/>，反之继续；其中，向量的计算公式为：/>；当当前规划线路已前进距离为d n，则起始点P 1 到终点P e 的线段距离为/>；那么，点P n 的坐标为/>，同理此时当前摄像机点P c 的坐标为。
9.根据权利要求6中的所述的基于三维场景的表计最优巡检点的规划方法，其特征在于，所述步骤S4的具体步骤为：
S41：平台监测算法待识别空间变化，读取表计ID.zip文件，进行解压后，分别对各图片进行批量位置检测，并使用基于YOLOv8的目标检测算法计算表计置信度，
S42：建立映射关系，经纬高度_俯仰角和焦距 ={置信度，焦距差=实际焦距-焦距中值}；
S43：存储置信度、焦距差、对应表计信息、图片截图时位置信息、PTZ值信息至表计识别表。
10.根据权利要求9中的所述的基于三维场景的表计最优巡检点的规划方法，其特征在于，在所述步骤S332中当距离值在该机器人的焦距视角范围内/>时，计算仰视角和俯视角，具体为：
已知三维空间点坐标和/>点坐标，O为坐标原点；那么P2点相对于Pe点的坐标为：/>，则得出P2点相对于Pe点水平方向夹角和垂直方向夹角，即向量/>在水平方向的夹角与垂直方向夹角；其中水平方向夹角为向量/>在/>平面的投影向量/>与/>轴正方向的角度/>，计算公式为：/>；当/>，/>；反之，/>；同理垂直方向夹角为向量/>与/>轴正方向夹角/>。
CN202410041943.2A 2024-01-11 2024-01-11 一种基于三维场景的表计最优巡检点的规划方法 Active CN117557931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410041943.2A CN117557931B (zh) 2024-01-11 2024-01-11 一种基于三维场景的表计最优巡检点的规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410041943.2A CN117557931B (zh) 2024-01-11 2024-01-11 一种基于三维场景的表计最优巡检点的规划方法

Publications (2)

Publication Number Publication Date
CN117557931A true CN117557931A (zh) 2024-02-13
CN117557931B CN117557931B (zh) 2024-04-02

Family

ID=89823671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410041943.2A Active CN117557931B (zh) 2024-01-11 2024-01-11 一种基于三维场景的表计最优巡检点的规划方法

Country Status (1)

Country Link
CN (1) CN117557931B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117831147A (zh) * 2024-03-04 2024-04-05 陕西泰沃云科技有限公司 一种机器人与摄像头联合巡检方法及***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171796A (zh) * 2017-12-25 2018-06-15 燕山大学 一种基于三维点云的巡检机器人视觉***及控制方法
CN109739239A (zh) * 2019-01-21 2019-05-10 天津迦自机器人科技有限公司 一种用于巡检机器人的不间断仪表识别的规划方法
CN111897332A (zh) * 2020-07-30 2020-11-06 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及***
US20210381846A1 (en) * 2020-12-15 2021-12-09 Beijing Baidu Netcom Science And Technology Co., Ltd. Methods and apparatuses for navigation guidance and establishing a three-dimensional real scene model, device and medium
CN114092537A (zh) * 2021-09-23 2022-02-25 国电南瑞科技股份有限公司 一种变电站电力无人机自动巡检方法及装置
US20220351466A1 (en) * 2021-04-28 2022-11-03 Shenzhen University Method, computer device, and storage medium for exploring and collecting scene reconstruction data
CN115309151A (zh) * 2022-07-18 2022-11-08 深圳市朗驰欣创科技股份有限公司 巡检路径规划方法、装置、可读存储介质及程序产品
CN116661488A (zh) * 2023-05-15 2023-08-29 南京瀚元科技有限公司 一种基于激光点云模型的变电站无人机自主巡检方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108171796A (zh) * 2017-12-25 2018-06-15 燕山大学 一种基于三维点云的巡检机器人视觉***及控制方法
CN109739239A (zh) * 2019-01-21 2019-05-10 天津迦自机器人科技有限公司 一种用于巡检机器人的不间断仪表识别的规划方法
CN111897332A (zh) * 2020-07-30 2020-11-06 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及***
US20210381846A1 (en) * 2020-12-15 2021-12-09 Beijing Baidu Netcom Science And Technology Co., Ltd. Methods and apparatuses for navigation guidance and establishing a three-dimensional real scene model, device and medium
US20220351466A1 (en) * 2021-04-28 2022-11-03 Shenzhen University Method, computer device, and storage medium for exploring and collecting scene reconstruction data
CN114092537A (zh) * 2021-09-23 2022-02-25 国电南瑞科技股份有限公司 一种变电站电力无人机自动巡检方法及装置
CN115309151A (zh) * 2022-07-18 2022-11-08 深圳市朗驰欣创科技股份有限公司 巡检路径规划方法、装置、可读存储介质及程序产品
CN116661488A (zh) * 2023-05-15 2023-08-29 南京瀚元科技有限公司 一种基于激光点云模型的变电站无人机自主巡检方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117831147A (zh) * 2024-03-04 2024-04-05 陕西泰沃云科技有限公司 一种机器人与摄像头联合巡检方法及***
CN117831147B (zh) * 2024-03-04 2024-05-03 陕西泰沃云科技有限公司 一种机器人与摄像头联合巡检方法及***

Also Published As

Publication number Publication date
CN117557931B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
KR102015388B1 (ko) 무인항공기와 지상용 3d라이다스캐너를 활용한 정사영상 3차원 포인트클라우드 db 구축기반 가상현실 공간 맵 제공시스템 및 제공방법
CN112633535A (zh) 一种基于无人机图像的光伏电站智能巡检方法及***
CN104067145B (zh) 剪枝机器人***
CN115597659B (zh) 一种变电站智能安全管控方法
WO2022078240A1 (zh) 一种应用于电子地图中的摄像头精准定位方法及处理终端
CN114077764B (zh) 基于三维gis与bim集成的临建模型建立方法及应用
CN111006646B (zh) 基于无人机倾斜摄影测量技术实现施工进度监测的方法
CN111597666A (zh) 一种将bim应用到变电站建设过程的方法
CN117557931B (zh) 一种基于三维场景的表计最优巡检点的规划方法
CN112469967A (zh) 一种测绘***、测绘方法、装置、设备及介质
Kim et al. As-is geometric data collection and 3D visualization through the collaboration between UAV and UGV
CN114964275A (zh) 地空协同地图构建方法、装置、设备及存储介质
CN116129064A (zh) 电子地图生成方法、装置、设备及存储介质
Guo et al. Application of UAV tilt photogrammetry in 3D modeling of ancient buildings
CN116957360A (zh) 一种基于无人机的空间观测与重建方法及***
CN116524143A (zh) 一种gis地图构建方法
EP3664038A1 (en) Geospatial surveying tool
Reja et al. As-built data acquisition for vision-based construction progress monitoring: A qualitative evaluation of factors.
CN113916244A (zh) 巡检位置设置的方法、装置、电子设备和可读存储介质
Liu et al. Visualization of Power Corridor Based on UAV Line Inspection Data
CN113741413B (zh) 一种无人设备的作业方法、无人设备及存储介质
Dhruwa et al. Generation of 3-D Large-Scale Maps Using Lidar Point Cloud Data
Ojeda et al. Estimation of the Physical Progress of Work Using UAV and BIM in Construction Projects
Sammartano Optimization of three-dimensional (3D) multi-sensor models for damage assessment in emergency context: rapid mapping experiences in the 2016 Italian earthquake
CN113532283B (zh) 基于消费级无人机协同gps监测基坑位移趋势的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant