CN114390270A - 实时智能站点全景查勘方法、装置和电子设备 - Google Patents

实时智能站点全景查勘方法、装置和电子设备 Download PDF

Info

Publication number
CN114390270A
CN114390270A CN202011112049.8A CN202011112049A CN114390270A CN 114390270 A CN114390270 A CN 114390270A CN 202011112049 A CN202011112049 A CN 202011112049A CN 114390270 A CN114390270 A CN 114390270A
Authority
CN
China
Prior art keywords
survey
pole
environment
image
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011112049.8A
Other languages
English (en)
Other versions
CN114390270B (zh
Inventor
张高山
张新程
***
马力鹏
詹义
李晓良
朱华
张海聪
刘仲思
王雪
倪宁宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Group Design Institute Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Group Design Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Group Design Institute Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202011112049.8A priority Critical patent/CN114390270B/zh
Publication of CN114390270A publication Critical patent/CN114390270A/zh
Application granted granted Critical
Publication of CN114390270B publication Critical patent/CN114390270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供一种实时智能站点全景查勘方法、装置和电子设备，该方法包括：接收查勘任务，查勘任务包括机房内部查勘建模、抱杆周边环境建模和抱杆大范围环境建模；采集查勘任务对应查勘目标的图像，其中，采集查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的查勘目标的自然空间条件确定的；基于图像进行三维模型恢复，将所述三维模型作为任务结果发送至查勘平台以供发布。本发明实施例提供的方法、装置和电子设备，实现了站点全景查勘的高效率、低人工成本、查勘结果信息量大且易于展示和便于共享。

Description

实时智能站点全景查勘方法、装置和电子设备
技术领域
本发明涉及站点查勘技术领域，尤其涉及一种实时智能站点全景查勘方法、装置和电子设备。
背景技术
通信站点包括机房和抱杆，要对站点进行全景查勘需要采集室内的机房信息以及室外的抱杆的周围环境，机房的内部信息又包括机房内部查勘信息、机房设备信息和机房机柜空位情况，而抱杆的周围环境分有抱杆周边环境(即小范围，距离抱杆较近)和抱杆大范围环境(即大范围，距离抱杆较远)，此小范围和大范围是根据站点的规模设定。现有的对站点的查勘方法，需要测量所有设施设备尺寸、记录所有设备编号和绘制图纸，都由人工完成，工作量大，效率较低，难度高，不能直观地展示出站点的情况，且图纸只包括二维信息，还不便于传播共享。
因此，如何避免采用人工的方法对站点进行查勘导致的效率低人工成本高的情况，且图纸形式的查勘结果信息量少且不便于共享的麻烦，仍然是本领域技术人员亟待解决的问题。
发明内容
本发明实施例提供一种实时智能站点全景查勘方法、装置和电子设备，用以解决现有的采用人工的方法对站点进行查勘导致的效率低人工成本高且图纸形式的查勘结果信息量少且不便于共享的问题。
第一方面，本发明实施例提供一种实时智能站点全景查勘方法，包括：
接收查勘任务，所述查勘任务包括机房内部查勘建模、抱杆周边环境建模和抱杆大范围环境建模；
采集所述查勘任务对应查勘目标的图像，其中，采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的；
基于所述图像进行三维模型恢复，将所述三维模型作为任务结果发送至查勘平台以供发布。
优选地，该方法中，还包括：
若所述查勘目标为机房内部，则所述自然空间条件为自然光强度和设备纹理丰富程度；
若所述查勘目标为抱杆周边环境，则所述自然空间条件为抱杆周边雨雾情况；
若所述查勘目标为抱杆大范围环境，则所述自然空间条件为所述抱杆大范围环境中物体的体积。
优选地，该方法中，所述采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的，具体包括：
当所述查勘任务为机房内部查勘建模时，
若自然光强度低且设备纹理缺乏，则使用SLAM机器人携带结构光深度相机在机房内运动拍摄；
若自然光强度适当且设备纹理丰富，则使用SLAM机器人携带双目相机在机房内运动拍摄；
若不满足上述任一条件，则使用SLAM机器人携带相机和激光雷达在机房内运动拍摄；
当所述查勘任务为抱杆周边环境建模时，
若没有雨雾，则使用无人机搭载相机和激光雷达在抱杆周围绕飞并拍摄；
当所述查勘任务为抱杆大范围环境建模时，
若抱杆大范围环境中物体体积较大，则使用无人机搭载相机在抱杆大范围环境中绕飞并拍摄；
若抱杆大范围环境中物体体积较小，则使用无人机搭载相机和激光雷达在抱杆大范围环境中绕飞并拍摄。
优选地，该方法中，所述基于所述图像进行三维模型恢复，具体包括：
将所述图像基于SIFT算子进行特征匹配得到匹配特征点对；
对所述匹配特征点对采用RANSAC八点法计算基础矩阵，剔除不满足所述基础矩阵的匹配特征点对；
再将剔除后的匹配特征点对使用CMVS或PMVS算法进行稠密点云重建，得到三维模型。
第二方面，本发明实施例提供一种实时智能站点全景查勘装置，包括：
接收单元，用于接收查勘任务，所述查勘任务包括机房内部查勘建模、抱杆周边环境建模和抱杆大范围环境建模；
采集单元，用于采集所述查勘任务对应查勘目标的图像，其中，采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的；
计算单元，用于基于所述图像进行三维模型恢复，将所述三维模型作为任务结果发送至查勘平台以供发布。
优选地，该装置中，还包括：
若所述查勘目标为机房内部，则所述自然空间条件为自然光强度和设备纹理丰富程度；
若所述查勘目标为抱杆周边环境，则所述自然空间条件为抱杆周边雨雾情况；
若所述查勘目标为抱杆大范围环境，则所述自然空间条件为所述抱杆大范围环境中物体的体积。
优选地，该装置中，所述采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的，具体包括：
当所述查勘任务为机房内部查勘建模时，
若自然光强度低且设备纹理缺乏，则使用SLAM机器人携带结构光深度相机在机房内运动拍摄；
若自然光强度适当且设备纹理丰富，则使用SLAM机器人携带双目相机在机房内运动拍摄；
若不满足上述任一条件，则使用SLAM机器人携带相机和激光雷达在机房内运动拍摄；
当所述查勘任务为抱杆周边环境建模时，
若没有雨雾，则使用无人机搭载相机和激光雷达在抱杆周围绕飞并拍摄；
当所述查勘任务为抱杆大范围环境建模时，
若抱杆大范围环境中物体体积较大，则使用无人机搭载相机在抱杆大范围环境中绕飞并拍摄；
若抱杆大范围环境中物体体积较小，则使用无人机搭载相机和激光雷达在抱杆大范围环境中绕飞并拍摄。
优选地，该装置中，所述基于所述图像进行三维模型恢复，具体包括：
将所述图像基于SIFT算子进行特征匹配得到匹配特征点对；
对所述匹配特征点对采用RANSAC八点法计算基础矩阵，剔除不满足所述基础矩阵的匹配特征点对；
再将剔除后的匹配特征点对使用CMVS或PMVS算法进行稠密点云重建，得到三维模型。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的实时智能站点全景查勘方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的实时智能站点全景查勘方法的步骤。
本发明实施例提供的方法、装置和电子设备，接收查勘任务，所述查勘任务包括机房内部查勘建模、抱杆周边环境建模和抱杆大范围环境建模；采集所述查勘任务对应查勘目标的图像，其中，采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的；基于所述图像进行三维模型恢复，将所述三维模型作为任务结果发送至查勘平台以供发布。如此，根据查勘任务的类型不同还有查勘任务对应的查勘目标的自然空间条件的不同选择相适应的采集图像的设备和方式，最后基于采集的图像进行识别或者三维建模得到的识别结果或者三维建模作为查勘任务结果进行返回，实现了查勘流程的自动化和结果自动返回分享且作为任务完成结果的三维模型还能提供更多信息便于展示。因此，本发明实施例提供的实时智能站点全景查勘方法、装置和电子设备，实现了站点全景查勘的高效率、低人工成本、查勘结果信息量大且易于展示和便于共享。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的实时智能站点全景查勘方法的流程示意图；
图2为本发明实施例提供的实时智能站点全景查勘装置的结构示意图；
图3为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有的采用人工测量绘图的方法对站点进行查勘普遍存在效率低、人工成本高、图纸形式的查勘结果信息量少且不便于共享的问题。对此，本发明实施例提供了一种基于区块链的电信服务合约的一致性保障方法，该方法的执行主体为权威服务装置。图1为本发明实施例提供的实时智能站点全景查勘方法的流程示意图，如图1所示，该方法包括：
步骤110，接收查勘任务，所述查勘任务包括机房内部查勘建模、抱杆周边环境建模和抱杆大范围环境建模。
具体地，接收查勘任务，然后确定查勘任务类别以及对应的查勘目标，其中，查勘任务类别分为三类：机房内部查勘建模、抱杆周边环境建模和抱杆大范围环境建模，上述三类查勘任务对应的查勘目标分别是：机房内部、抱杆周边环境和抱杆大范围环境。上述任务都需要返回的是三维模型，即对查勘目标进行三维建模，然后将三维模型作为查勘结果进行返回。接收到查勘任务后，通过对任务的解析，可以得到任务类型和对应的查勘目标。
步骤120，采集所述查勘任务对应查勘目标的图像，其中，采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的。
具体地，本发明实施例提供的站点全景查勘方法由于是全自动的，因此，无需人工进行查勘目标的测量和绘制，统一采用采集图像然后对采集的图形进行处理得到相应的三维模型。由于查勘任务包括机房内部查勘建模、抱杆周边环境建模和抱杆大范围环境建模，因此，不同的查勘任务和不同的查勘目标的环境条件需要选择相适应的采集图像的设备和方法。尤其对于站点环境建模，因为需要基于图像恢复出三维模型，而三维模型需要的图像信息丰富，对采集图像的要求较高，因此，机房内部的自然光强度和设备纹理丰富程度都会影响机房内部查勘建模时采集机房内部图像的设备和采集方法，而抱杆周边和抱杆大范围环境的空间环境情况(例如天气情况和环境中物体体积大小情况)也会影响抱杆周边环境和抱杆大范围环境的建模。而对于不同光线条件，不同纹理条件的机房内部以及天气情况不同的室外环境，可以选择相对应的图像采集技术，例如结构光深度相机更适合光线一般且物体设备缺乏纹理的近景拍摄，双目相机更适合物体纹理丰富的近景拍摄，相机加激光雷达适合任何情况只是成本更高，而室外的图像采集通常是无人机携带相机进行绕飞然后拍摄。因此，采用不同的设备和采集图像的方式更适应于查勘目标，而且避免了使用统一的采集设备带来的图像拍摄效果差最后需要强大的图像处理算法对不同质量的图像进行处理的麻烦。
步骤130，基于所述图像进行三维模型恢复，将所述三维模型作为任务结果发送至查勘平台以供发布。
具体地，对于上述查勘任务，在确定好适应于查勘目标的采集图像设备和采集图像方法后，进行图像的采集，后续对采集的图像进行三维模型重建的过程，通常是基于深度数据得到点云数据，然后进行点云配准与融合，最后生成表面的过程，最后将生成的三维模型作为任务结果发送到查看平台进行发布。具体地，在内网设置服务器，将三维模型上传至服务器，之后需要查看三维模型的人员可以登录服务器网站进行查看而无需下载，例如：使用Register360和TrueView Enterprise进行自动拼接、测量距离和发布成果。当需要查看三维模型的人员登录服务器网站，选择要查看的模型，可以使用鼠标滚轮进行放大缩小，移动鼠标调整视角，点击采集点位实现跳转，从菜单选择测距功能，然后点击模型中除天空以外任意两点，可以测量距离以及X轴、Y轴和Z轴距离。
本发明实施例提供的方法，接收查勘任务，所述查勘任务包括机房内部查勘建模、抱杆周边环境建模和抱杆大范围环境建模；采集所述查勘任务对应查勘目标的图像，其中，采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的；基于所述图像进行三维模型恢复，将所述三维模型作为任务结果发送至查勘平台以供发布。如此，根据查勘任务的类型不同还有查勘任务对应的查勘目标的自然空间条件的不同选择相适应的采集图像的设备和方式，最后基于采集的图像进行识别或者三维建模得到的识别结果或者三维建模作为查勘任务结果进行返回，实现了查勘流程的自动化和结果自动返回分享且作为任务完成结果的三维模型还能提供更多信息便于展示。因此，本发明实施例提供的实时智能站点全景查勘方法，实现了站点全景查勘的高效率、低人工成本、查勘结果信息量大且易于展示和便于共享。
基于上述实施例，该方法中，还包括：
若所述查勘目标为机房内部，则所述自然空间条件为自然光强度和设备纹理丰富程度；
若所述查勘目标为抱杆周边环境，则所述自然空间条件为抱杆周边雨雾情况；
若所述查勘目标为抱杆大范围环境，则所述自然空间条件为所述抱杆大范围环境中物体的体积。
具体地，对于不同的查勘目标，对其进行图像采集的采集设备和采集方式会有影响的自然空间条件也不同。当查勘目标为机房内部，主要考虑自然光强度和设备纹理丰富程度对于图像采集的影响，当查勘目标为抱杆周边环境时，主要考虑抱杆周边的天气情况的影响，主要是雨雾情况，当查勘目标为抱杆大范围环境时，主要考虑抱杆大范围环境中物体的体积的影响。而上述自然空间条件都是可以直接获取的预先确定然后存储的状态数据。
基于上述任一实施例，该方法中，所述采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的，具体包括：
具体包括：
当所述查勘任务为机房内部查勘建模时，
若自然光强度低且设备纹理缺乏，则使用SLAM机器人携带结构光深度相机在机房内运动拍摄；
若自然光强度适当且设备纹理丰富，则使用SLAM机器人携带双目相机在机房内运动拍摄；
若不满足上述任一条件，则使用SLAM机器人携带相机和激光雷达在机房内运动拍摄；
当所述查勘任务为抱杆周边环境建模时，
若没有雨雾，则使用无人机搭载相机和激光雷达在抱杆周围绕飞并拍摄；
当所述查勘任务为抱杆大范围环境建模时，
若抱杆大范围环境中物体体积较大，则使用无人机搭载相机在抱杆大范围环境中绕飞并拍摄；
若抱杆大范围环境中物体体积较小，则使用无人机搭载相机和激光雷达在抱杆大范围环境中绕飞并拍摄。
具体地，当所述查勘任务为机房内部查勘建模时，若自然光强度低且设备纹理缺乏，则使用SLAM机器人携带结构光深度相机在机房内运动拍摄。其中，自然光强度低且设备纹理缺乏为可以直接获取的预先判定好的自然空间条件，即预先就通过自然光的强度检测和设备纹理丰富程度的检测和判定确定了该机房内的自然光强度高低和设备纹理丰富程度，上述检测和判定方法分别都有多种且常见，此处不再具体说明。而SLAM机器人携带结构光深度相机在机房内运动拍摄是指使用SLAM(Simultaneous Localization And Mapping，同步定位与建图)算法的机器人携带结构光深度相机在机房内运动拍摄，SLAM算法最早被应用于机器人领域，其目标是在没有任何先验知识的情况下，根据传感器数据实施构建周围环境地图，同时根据这个地图推测自身的地位，假设机器人携带传感器(相机)在未知环境中运动，运动时刻t＝1，2，…，k，对应机器人的位置x1，x2，...，xk。假设地图由n个路标y1，y2，...，yn组成，每个时刻相机会测量到一部分路标数据，通过运动测量和传感器读数来求解定位问题(估计x)和建图问题(估计y)。该机器人在机房内进行运动拍摄时，会使用预先设定的路线和采集点停留时长来进行运动拍摄，通常，采集点的选择一般为机柜之间的地面上，需要靠近重要设备，每两个采集点之间的距离不能超过相机的测量距离，在所有采集点相机的测量范围加起来可以覆盖整个机房，采集点的数量越多生成的三维模型就会越精确，根据相机的测量距离和机房环境的复杂程度，一般每个点位停留一分钟以内，整个采集过程一般需要十分钟以内。当所述查勘任务为机房内部查勘建模时，若自然光强度低且设备纹理缺乏，则使用SLAM机器人携带结构光深度相机在机房内运动拍摄，会使用预先设定的路线和采集点停留时长来进行运动拍摄，通常，采集点的选择一般为机柜之间的地面上，需要靠近重要设备，每两个采集点之间的距离不能超过相机的测量距离，在所有采集点相机的测量范围加起来可以覆盖整个机房，采集点的数量越多生成的三维模型就会越精确，根据相机的测量距离和机房环境的复杂程度，一般每个点位停留数分钟，整个采集过程一般需要半小时至一小时。当所述查勘任务为机房内部查勘建模时，不是自然光强度低且设备纹理缺乏这种自然空间条件，也不是自然光强度适当且设备纹理丰富这种自然空间条件，就使用SLAM机器人携带相机和激光雷达在机房内运动拍摄。激光雷达更适合在自然环境不好的情况下作为深度信息的采集设备，会使用预先设定的路线和采集点停留时长来进行运动拍摄，通常，采集点的选择一般为机柜之间的地面上，需要靠近重要设备，每两个采集点之间的距离不能超过相机和激光雷达的测量距离，在所有采集点相机和激光雷达的测量范围加起来可以覆盖整个机房，采集点的数量越多生成的三维模型就会越精确，根据相机和激光雷达的测量距离和机房环境的复杂程度，一般每个点位停留一分钟以内，整个采集过程一般需要十分钟以内。当所述查勘任务为抱杆周边环境建模时，若没有雨雾，则使用无人机搭载相机和激光雷达在抱杆周围绕飞并拍摄；如有雨或雾，天气恶劣，无法进行图像采集，故查勘任务不能进行，只能等到天气恢复正常，再继续采集。当所述查勘任务为抱杆大范围环境建模时，若抱杆大范围环境中物体体积较大，则使用无人机搭载相机在抱杆大范围环境中绕飞并拍摄，物体体积大，即使用普通相机进行拍摄也能识别物体，特别是建模精度要求不高的条件下，由无人机搭载相机在抱杆环境绕飞并拍摄，根据需要采集的范围大小在数十米的空中飞行，直至覆盖环境内所有部分，并且需要多次绕飞；若抱杆大范围环境中物体体积较小，则使用无人机搭载相机和激光雷达在抱杆大范围环境中绕飞并拍摄，物体体积小，即需要相机加上激光雷达，特别是建模精度要求高的条件下，由无人机搭载相机和激光雷达在抱杆环境绕飞并拍摄，根据需要采集的范围大小在数十米的空中飞行，直至覆盖环境内所有部分，并且需要多次绕飞。
基于上述任一实施例，该方法中，所述基于所述图像进行三维模型恢复，具体包括：
将所述图像基于SIFT算子进行特征匹配得到匹配特征点对；
对所述匹配特征点对采用RANSAC八点法计算基础矩阵，剔除不满足所述基础矩阵的匹配特征点对；
再将剔除后的匹配特征点对使用CMVS或PMVS算法进行稠密点云重建，得到三维模型。
具体地，首先进行图像特征提取和匹配：主要使用的是SIFT(尺度不变特征变换)算子进行提取，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关，具有尺度和旋转不变性，对光线、噪声、微视角改变的容忍度相当高，鲁棒性强，适合用来提取尺度变换和旋转角度的各种图片特征点信息，其准确性强；其次，进行稀疏点云重建：为了进行重建，首先要把匹配点中的错误匹配去掉。图像中一个特征点可能匹配多个特征点，就会出现多对一的情况，实际上特征点之间应该一一对应，为了解决这种多对一的情况，对匹配点可采用采样一致性算法RANSAC八点法计算基础矩阵，剔除不满足基础矩阵的匹配对，有了一对正确的匹配点后，就可以用三角测量法恢复对应的三维点的深度信息，加入更多的图像，与之前的图像进行匹配，推算出三维点信息，从而构成稀疏点云；最后，进行稠密点云重建：在稀疏点云重建之后一般会使用CMVS(clustering multi-view stereo)或PMVS(patch-based multi-view stereo)进行稠密点云重建，恢复更多的三维信息，以便于更好地建立三维模型，其中，CMVS是通过图像聚类算法过滤掉重合度较高的图像，减少后续PMVS算法需要处理的图像个数，PMVS是通过小块图片的多视角匹配来获得最终的稠密点云。
基于上述任一实施例，本发明实施例提供一种实时智能站点全景查勘装置，图2为本发明实施例提供的实时智能站点全景查勘装置的结构示意图。如图2所示，该装置包括接收单元210、采集单元220和计算单元230，其中，
所述接收单元210，用于接收查勘任务，所述查勘任务包括机房内部查勘建模、抱杆周边环境建模和抱杆大范围环境建模；
所述采集单元220，用于采集所述查勘任务对应查勘目标的图像，其中，采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的；
所述计算单元230，用于基于所述图像进行三维模型恢复，将所述三维模型作为任务结果发送至查勘平台以供发布。
本发明实施例提供的装置，接收查勘任务，所述查勘任务包括机房内部查勘建模、抱杆周边环境建模和抱杆大范围环境建模；采集所述查勘任务对应查勘目标的图像，其中，采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的；基于所述图像进行三维模型恢复，将所述三维模型作为任务结果发送至查勘平台以供发布。如此，根据查勘任务的类型不同还有查勘任务对应的查勘目标的自然空间条件的不同选择相适应的采集图像的设备和方式，最后基于采集的图像进行识别或者三维建模得到的识别结果或者三维建模作为查勘任务结果进行返回，实现了查勘流程的自动化和结果自动返回分享且作为任务完成结果的三维模型还能提供更多信息便于展示。因此，本发明实施例提供的实时智能站点全景查勘装置，实现了站点全景查勘的高效率、低人工成本、查勘结果信息量大且易于展示和便于共享。
基于上述任一实施例，该装置中，还包括：
若所述查勘目标为机房内部，则所述自然空间条件为自然光强度和设备纹理丰富程度；
若所述查勘目标为抱杆周边环境，则所述自然空间条件为抱杆周边雨雾情况；
若所述查勘目标为抱杆大范围环境，则所述自然空间条件为所述抱杆大范围环境中物体的体积。
基于上述任一实施例，该装置中，所述采集所述站点环境建模对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的，具体包括：
当所述查勘任务为机房内部查勘建模时，
若自然光强度低且设备纹理缺乏，则使用SLAM机器人携带结构光深度相机在机房内运动拍摄；
若自然光强度适当且设备纹理丰富，则使用SLAM机器人携带双目相机在机房内运动拍摄；
若不满足上述任一条件，则使用SLAM机器人携带相机和激光雷达在机房内运动拍摄；
当所述查勘任务为抱杆周边环境建模时，
若没有雨雾，则使用无人机搭载相机和激光雷达在抱杆周围绕飞并拍摄；
当所述查勘任务为抱杆大范围环境建模时，
若抱杆大范围环境中物体体积较大，则使用无人机搭载相机在抱杆大范围环境中绕飞并拍摄；
若抱杆大范围环境中物体体积较小，则使用无人机搭载相机和激光雷达在抱杆大范围环境中绕飞并拍摄。
基于上述任一实施例，该装置中，所述采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的，具体包括：
将所述图像基于SIFT算子进行特征匹配得到匹配特征点对；
对所述匹配特征点对采用RANSAC八点法计算基础矩阵，剔除不满足所述基础矩阵的匹配特征点对；
再将剔除后的匹配特征点对使用CMVS或PMVS算法进行稠密点云重建，得到三维模型。
图3为本发明实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)302、存储器(memory)303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储在存储器303上并可在处理器301上运行的计算机程序，以执行上述各实施例提供的实时智能站点全景查勘方法，例如包括：接收查勘任务，所述查勘任务包括机房内部查勘建模、抱杆周边环境建模和抱杆大范围环境建模；采集所述查勘任务对应查勘目标的图像，其中，采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的；基于所述图像进行三维模型恢复，将所述三维模型作为任务结果发送至查勘平台以供发布。
此外，上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的实时智能站点全景查勘方法，例如包括：接收查勘任务，所述查勘任务包括机房内部查勘建模、抱杆周边环境建模和抱杆大范围环境建模；采集所述查勘任务对应查勘目标的图像，其中，采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的；基于所述图像进行三维模型恢复，将所述三维模型作为任务结果发送至查勘平台以供发布。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种实时智能站点全景查勘方法，其特征在于，包括：
接收查勘任务，所述查勘任务包括机房内部查勘建模、抱杆周边环境建模和抱杆大范围环境建模；
采集所述查勘任务对应查勘目标的图像，其中，采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的；
基于所述图像进行三维模型恢复，将所述三维模型作为任务结果发送至查勘平台以供发布。
2.根据权利要求1所述的实时智能站点全景查勘方法，其特征在于，还包括：
若所述查勘目标为机房内部，则所述自然空间条件为自然光强度和设备纹理丰富程度；
若所述查勘目标为抱杆周边环境，则所述自然空间条件为抱杆周边雨雾情况；
若所述查勘目标为抱杆大范围环境，则所述自然空间条件为所述抱杆大范围环境中物体的体积。
3.根据权利要求2所述的实时智能站点全景查勘方法，其特征在于，所述采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的，具体包括：
当所述查勘任务为机房内部查勘建模时，
若自然光强度低且设备纹理缺乏，则使用SLAM机器人携带结构光深度相机在机房内运动拍摄；
若自然光强度适当且设备纹理丰富，则使用SLAM机器人携带双目相机在机房内运动拍摄；
若不满足上述任一条件，则使用SLAM机器人携带相机和激光雷达在机房内运动拍摄；
当所述查勘任务为抱杆周边环境建模时，
若没有雨雾，则使用无人机搭载相机和激光雷达在抱杆周围绕飞并拍摄；
当所述查勘任务为抱杆大范围环境建模时，
若抱杆大范围环境中物体体积较大，则使用无人机搭载相机在抱杆大范围环境中绕飞并拍摄；
若抱杆大范围环境中物体体积较小，则使用无人机搭载相机和激光雷达在抱杆大范围环境中绕飞并拍摄。
4.根据权利要求1-3中任一项所述的实时智能站点全景查勘方法，其特征在于，所述基于所述图像进行三维模型恢复，具体包括：
将所述图像基于SIFT算子进行特征匹配得到匹配特征点对；
对所述匹配特征点对采用RANSAC八点法计算基础矩阵，剔除不满足所述基础矩阵的匹配特征点对；
再将剔除后的匹配特征点对使用CMVS或PMVS算法进行稠密点云重建，得到三维模型。
5.一种实时智能站点全景查勘装置，其特征在于，包括：
接收单元，用于接收查勘任务，所述查勘任务包括机房内部查勘建模、抱杆周边环境建模和抱杆大范围环境建模；
采集单元，用于采集所述查勘任务对应查勘目标的图像，其中，采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的；
计算单元，用于基于所述图像进行三维模型恢复，将所述三维模型作为任务结果发送至查勘平台以供发布。
6.根据权利要求5所述的实时智能站点全景查勘装置，其特征在于，还包括：
若所述查勘目标为机房内部，则所述自然空间条件为自然光强度和设备纹理丰富程度；
若所述查勘目标为抱杆周边环境，则所述自然空间条件为抱杆周边雨雾情况；
若所述查勘目标为抱杆大范围环境，则所述自然空间条件为所述抱杆大范围环境中物体的体积。
7.根据权利要求6所述的实时智能站点全景查勘装置，其特征在于，所述采集所述查勘任务对应查勘目标的图像的采集设备和采集方式是基于预先确定的所述查勘目标的自然空间条件确定的，具体包括：
当所述查勘任务为机房内部查勘建模时，
若自然光强度低且设备纹理缺乏，则使用SLAM机器人携带结构光深度相机在机房内运动拍摄；
若自然光强度适当且设备纹理丰富，则使用SLAM机器人携带双目相机在机房内运动拍摄；
若不满足上述任一条件，则使用SLAM机器人携带相机和激光雷达在机房内运动拍摄；
当所述查勘任务为抱杆周边环境建模时，
若没有雨雾，则使用无人机搭载相机和激光雷达在抱杆周围绕飞并拍摄；
当所述查勘任务为抱杆大范围环境建模时，
若抱杆大范围环境中物体体积较大，则使用无人机搭载相机在抱杆大范围环境中绕飞并拍摄；
若抱杆大范围环境中物体体积较小，则使用无人机搭载相机和激光雷达在抱杆大范围环境中绕飞并拍摄。
8.根据权利要求5-7中任一项所述的实时智能站点全景查勘装置，其特征在于，所述基于所述图像进行三维模型恢复，具体包括：
将所述图像基于SIFT算子进行特征匹配得到匹配特征点对；
对所述匹配特征点对采用RANSAC八点法计算基础矩阵，剔除不满足所述基础矩阵的匹配特征点对；
再将剔除后的匹配特征点对使用CMVS或PMVS算法进行稠密点云重建，得到三维模型。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4中任一项所述的实时智能站点全景查勘方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至4中任一项所述的实时智能站点全景查勘方法的步骤。
CN202011112049.8A 2020-10-16 2020-10-16 实时智能站点全景查勘方法、装置和电子设备 Active CN114390270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011112049.8A CN114390270B (zh) 2020-10-16 2020-10-16 实时智能站点全景查勘方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011112049.8A CN114390270B (zh) 2020-10-16 2020-10-16 实时智能站点全景查勘方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN114390270A true CN114390270A (zh) 2022-04-22
CN114390270B CN114390270B (zh) 2023-08-15

Family

ID=81194334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011112049.8A Active CN114390270B (zh) 2020-10-16 2020-10-16 实时智能站点全景查勘方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN114390270B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006084385A1 (en) * 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
US20130096873A1 (en) * 2011-10-17 2013-04-18 Kla-Tencor Corporation Acquisition of Information for a Construction Site
CN105023291A (zh) * 2015-05-22 2015-11-04 燕山大学 一种基于立体视觉的犯罪现场重构装置及方法
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成***及方法
CN106780729A (zh) * 2016-11-10 2017-05-31 中国人民解放军理工大学 一种无人机序列影像批处理三维重建方法
CN108375367A (zh) * 2018-01-25 2018-08-07 中铁第四勘察设计院集团有限公司 结合地面激光雷达和倾斜摄影的工点勘察方法及***
CN108765298A (zh) * 2018-06-15 2018-11-06 中国科学院遥感与数字地球研究所 基于三维重建的无人机图像拼接方法和***
US20190130592A1 (en) * 2015-12-29 2019-05-02 Government Of The United States As Represetned By Secretary Of The Air Force Method for fast camera pose refinement for wide area motion imagery
CN109801358A (zh) * 2018-12-06 2019-05-24 宁波市电力设计院有限公司 一种基于slam扫描和点云影像融合的变电站三维勘测方法
CN110009218A (zh) * 2019-03-28 2019-07-12 云南电网有限责任公司临沧供电局 一种智能变电站安全作业管控方法及***
CN111696194A (zh) * 2020-05-07 2020-09-22 广东康云科技有限公司 基于现场勘查的三维可视化实现方法、***和存储介质
CN111695424A (zh) * 2020-05-07 2020-09-22 广东康云科技有限公司 基于三维实景的犯罪现场还原方法、***和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006084385A1 (en) * 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
US20130096873A1 (en) * 2011-10-17 2013-04-18 Kla-Tencor Corporation Acquisition of Information for a Construction Site
CN105023291A (zh) * 2015-05-22 2015-11-04 燕山大学 一种基于立体视觉的犯罪现场重构装置及方法
CN106485655A (zh) * 2015-09-01 2017-03-08 张长隆 一种基于四旋翼飞行器航拍地图生成***及方法
US20190130592A1 (en) * 2015-12-29 2019-05-02 Government Of The United States As Represetned By Secretary Of The Air Force Method for fast camera pose refinement for wide area motion imagery
CN106780729A (zh) * 2016-11-10 2017-05-31 中国人民解放军理工大学 一种无人机序列影像批处理三维重建方法
CN108375367A (zh) * 2018-01-25 2018-08-07 中铁第四勘察设计院集团有限公司 结合地面激光雷达和倾斜摄影的工点勘察方法及***
CN108765298A (zh) * 2018-06-15 2018-11-06 中国科学院遥感与数字地球研究所 基于三维重建的无人机图像拼接方法和***
CN109801358A (zh) * 2018-12-06 2019-05-24 宁波市电力设计院有限公司 一种基于slam扫描和点云影像融合的变电站三维勘测方法
CN110009218A (zh) * 2019-03-28 2019-07-12 云南电网有限责任公司临沧供电局 一种智能变电站安全作业管控方法及***
CN111696194A (zh) * 2020-05-07 2020-09-22 广东康云科技有限公司 基于现场勘查的三维可视化实现方法、***和存储介质
CN111695424A (zh) * 2020-05-07 2020-09-22 广东康云科技有限公司 基于三维实景的犯罪现场还原方法、***和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
R. RAGHAVENDRA: "3D face reconstruction and multimodal person identification from video captured using smartphone camera", 2013 IEEE INTERNATIONAL CONFERENCE ON TECHNOLOGIES FOR HOMELAND SECURITY *
国网山西省电力公司: "国网山西省电力公司首次完成1000kV长南一线全线无人机巡检工作", 电力信息与通信技术 *

Also Published As

Publication number Publication date
CN114390270B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN108401461B (zh) 三维建图方法、装置、***、云端平台、电子设备和计算机程序产品
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN110400363B (zh) 基于激光点云的地图构建方法和装置
CN107808407B (zh) 基于双目相机的无人机视觉slam方法、无人机及存储介质
CN113592989B (zh) 一种三维场景的重建***、方法、设备及存储介质
CN106403904B (zh) 一种基于无人机的景观尺度植被覆盖度的计算方法及***
CN110084785B (zh) 一种基于航拍图像的输电线垂弧测量方法及***
CN112634370A (zh) 一种无人机打点方法、装置、设备及存储介质
CN110428501B (zh) 全景影像生成方法、装置、电子设备及可读存储介质
CN111735439A (zh) 地图构建方法、装置和计算机可读存储介质
CN112419512B (zh) 一种基于语义信息的空中三维模型修复***及方法
CN110889873A (zh) 一种目标定位方法、装置、电子设备及存储介质
CN102980510A (zh) 一种激光光尺影像测树装置及其测树方法
Brocks et al. Toward an automated low-cost three-dimensional crop surface monitoring system using oblique stereo imagery from consumer-grade smart cameras
CN111143489B (zh) 基于图像的定位方法及装置、计算机设备和可读存储介质
CN115588144A (zh) 基于高斯动态阈值筛选的实时姿态捕捉方法及装置、设备
Barrile et al. 3D modeling with photogrammetry by UAVs and model quality verification
CN115886792A (zh) 一种牲畜智能体尺测定方法、***及装置
CN111580128A (zh) 一种机动车驾驶人考试场地自动检测建模的方法
CN110162812B (zh) 基于红外仿真的目标样本生成方法
CN112017057A (zh) 一种保险理赔处理方法及装置
CN117557931A (zh) 一种基于三维场景的表计最优巡检点的规划方法
CN114913246B (zh) 相机标定方法、装置、电子设备及存储介质
CN110580468A (zh) 一种基于影像匹配点云的单木结构参数提取的方法
CN115019216B (zh) 实时地物检测和定位计数方法、***及计算机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant