CN111512256B - 自动和自适应的三维机器人现场勘测 - Google Patents

自动和自适应的三维机器人现场勘测 Download PDF

Info

Publication number
CN111512256B
CN111512256B CN201880084279.2A CN201880084279A CN111512256B CN 111512256 B CN111512256 B CN 111512256B CN 201880084279 A CN201880084279 A CN 201880084279A CN 111512256 B CN111512256 B CN 111512256B
Authority
CN
China
Prior art keywords
asset
constraints
mission plan
unmanned vehicle
waypoints
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880084279.2A
Other languages
English (en)
Other versions
CN111512256A (zh
Inventor
希拉杰·森
史蒂文·罗伯特·格雷
阿皮特·贾殷
谭欢
道格拉斯·福曼
朱迪思·安·古佐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN111512256A publication Critical patent/CN111512256A/zh
Application granted granted Critical
Publication of CN111512256B publication Critical patent/CN111512256B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B15/00—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons
    • G01B15/04—Measuring arrangements characterised by the use of electromagnetic waves or particle radiation, e.g. by the use of microwaves, X-rays, gamma rays or electrons for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B17/00—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations
    • G01B17/06—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/20—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63G—OFFENSIVE OR DEFENSIVE ARRANGEMENTS ON VESSELS; MINE-LAYING; MINE-SWEEPING; SUBMARINES; AIRCRAFT CARRIERS
    • B63G8/00—Underwater vessels, e.g. submarines; Equipment specially adapted therefor
    • B63G8/001—Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations
    • B63G2008/002—Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations unmanned
    • B63G2008/005—Underwater vessels adapted for special purposes, e.g. unmanned underwater vessels; Equipment specially adapted therefor, e.g. docking stations unmanned remotely controlled
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种用于生成资产的三维模型的方法，包括：接收输入参数，该输入参数与使无人驾驶交通工具围绕资产运行的任务计划的约束相对应；基于包括代表性资产类型的信息的输入参数来生成任务计划，其中任务计划包括航路点，这些航路点标识无人驾驶交通工具的一个或多个图像传感器的位置和方向，为无人驾驶交通工具生成飞行路径，以连接满足一个或多个预定义标准的航路点，并在执行从一个航路点到下一航路点的飞行路径期间监控无人驾驶交通工具的交通工具状态，在每个航路点确定一个或多个图像传感器感测到的资产的局部几何形状，基于该局部几何形状即时改变任务计划，并沿改变的任务计划的航路点捕获资产的图像。

Description

自动和自适应的三维机器人现场勘测
技术领域
背景技术
本文公开的主题涉及现场勘测，并且更具体地，涉及围绕工业资产的多感知数据的自主收集，以建立资产及其环境的三维模型。对于机器人，特别是那些在工业环境中运行的机器人，希望具有自动感测和建模其环境的能力。然后，该环境的模型可用于指导其他任务，例如检查、避障、机器人定位和瞄准。
许多现有的3D重建***经受一些影响其性能的限制。通常，资产的三维(3D)重建所需的数据是由操作人员手动飞行的无人机或由人员携带的传感***收集的。请注意，由人员执行数据收集过程的各个方面，可能是一项困难且容易出错的任务。当计划的数据收集将花费大量时间、收集可能采取多种途径、有许多要检查的关注点、资产和/或周围环境复杂且动态变化、其他人和/或机器人在该区域同时操作等时，尤其如此。
手动数据收集不保证收集到正确的数据以生成满足某些关键绩效指标(KPI)的3D重建，例如确保图像聚焦、指向资产的正确区域、以及图像之间有足够的重叠以建立准确的模型。此外，手动数据收集通常会导致收集大量数据。如上所述，当前可用的***通常涉及操作人员操作无人机以手动捕获大量图像(例如，成千上万个)，然后将其用于构建资产的3D模型。将整个数据集馈送到重建引擎可能在计算上非常昂贵。此外，未聚焦或没有足够重叠的图像的存在可能导致重建劣化。
因此，期望提供以自动和自适应方式促进三维机器人现场勘测的***和方法。
发明内容
本文所描述的实施方式基于现有技术，通过提供使无人机器人/车辆基于新信息自主地计划(例如，给定资产类型)并实时(“即时”)更新/适应其任务的***和方法来进行改进。
在各个实施方式中，无人航空***可在最少的人工干预的情况下，自主地收集关于用于构建3D模型的资产的多感知数据。该***生成任务计划，该计划考虑了任务和资产的各种约束(例如，地理围栏、相机参数、资产尺寸和资产类型)。各种约束被组合以构建任务计划，该计划捕获适当数量的数据以最大化3D重建精度。此外，***可基于由二维(2D)和三维(3D)相机感测到的资产的局部几何形状，自动即时(on-the-fly)重新计划。
在一些常规方法中，资产的3D重建所需的数据通常由操作人员手动飞行的无人机或由人员携带的传感***收集。例如，无人机首先手动飞行(例如，由操作人员)或在限定的路径上飞行以捕获数据/初始图像，然后将其用于离线构建资产的3D模型。使用诸如机器学习的离线分析，可在将数据馈送到3D重建引擎之前对其进行清洗。例如，可将操作人员收集的大量图像修剪为使用感知模型和域模型进行精确3D重建所需的最佳数量的数据样本(例如，最小的相关集合)。然而，这需要来自操作者的恒定反馈，以确保图像具有期望的质量并且捕捉到期望的图像。
传统方法的局限性之一是构建资产的3D模型是一个计算上昂贵的过程，并且在很大程度上取决于资产的尺寸和类型以及所收集的图像数量。根据资产的尺寸和无人机的功率限制，模型构建操作可能需要很长时间才能完成，从几小时到几天不等(例如，对于典型的大型工业资产)。此外，这些3D重建引擎通常在可并行化的云服务器上运行得更好。但是，许多工业资产都位于难以通过网络上传大量信息的区域。结果，传统***通常花费几天的时间来建立资产的准确模型，然后可将其用于重新生成任务计划。
为了克服这些问题，本文的实例利用在线感测以最佳地捕获用于3D重建的局部几何形状的方式，即时更新任务计划。有利地，不需要访问先前构建的3D模型。这不同于传统的解决方案，在传统的解决方案中，计划是离线进行的，而无人机则以开环的方式执行任务。
根据各个实施方式，本***自动计算适当的位置和相机/视角，从该适当的位置和相机/视角来获取实现有效图像检索(例如，相对于图像重叠)的图像并且指出相对于资产的关注的正确区域。此外，来自成像传感器的数据可反馈回***，以评估图像质量并在必要时采取适当的措施。然后，无人机可自动执行任务，在此期间跟踪其位置和相机位置。仅在计划的位置处捕获图像，并保存适当的元数据，例如无人机的位置和取向。以这种方式，在满足所需的重建精度的同时，收集最少数量的图像。此外，本***允许机器人即时适应其计划，以基于其对局部几何形状的感测来最佳地捕获资产的一部分。
3D重建***提供的技术优势包括：能够自动确定对资产进行成像的最佳位置，从而以最少的图像实现资产的精确重建，并允许无人机基于感测到的信息(例如局部几何形状)，跟踪其任务并采取纠正措施。
3D重建***提供的商业优势包括：允许操作者(例如工程师)快速收集适当数量和保真度的数据(例如，所需的最少图像数量)以创建资产的高保真度3D模型。3D重建的传统方法是计算昂贵的过程，其高度依赖于所拍摄图像的数量。捕获图像的当前方法最佳地使得建立模型所需的时间量减少，继而又减少了可获得可操作信息的时间。此外，建立准确的3D模型不仅可用于测量资产上的部件，还允许创建目标检查计划，在该计划中，可将无人机引导到资产上的某些位置以收集图像。
根据结合附图和权利要求的以下详细描述，其他特征和方面将变得显而易见。
附图说明
参考结合附图进行的以下详细描述，实例实施方式的特征和优点以及实现它们的方式将变得更加显而易见，附图如下进行简单描述。
图1是示出根据一些实施方式的机器人***的示图。
图2是示出根据一些实施方式的现场勘测***的概况的示图。
图3是示出根据一些实施方式的示例性过程的框图。
图4是根据一些实施方式的用户界面的外观图。
图5是根据一些实施方式的用户界面的外观图。
图6是示出根据一些实施方式的局部计划如何基于资产的几何形状而变化的实例的示图。
图7是根据一些实施方式的计算***的框图。
在整个附图和详细描述中，除非另有说明，否则相同的附图标号将被理解为表示相同的元件、特征和结构。为了清楚、图示和/或方便起见，可夸大或调整这些元件的相对尺寸和描绘。
具体实施方式
在以下描述中，阐述了具体细节以便提供对各种实例实施方式的透彻理解。应当理解，对实施方式的各种修改对于本领域技术人员而言将是显而易见的，并且在不脱离本公开的精神和范围的情况下，本文中定义的一般原理可应用于其他实施方式和应用。此外，在以下描述中，出于解释的目的阐述了许多细节。然而，本领域的普通技术人员应该理解，可在不使用这些具体细节的情况下实践实施方式。在其他情况下，未示出或描述公知的结构和过程，以免不必要的细节使描述模糊。因此，本公开不旨在限于所示出的实施方式，而是应被赋予与本文公开的原理和特征一致的最宽范围。
本文描述的一些实施方式涉及为无人机器人提供智能和自动化的环境感测和建模。当用于指导诸如检查与各种实体相关联的工业资产的任务时，这样的实施方式可能是有用的，实体包括企业或公司实体、政府、个体、非营利组织等。如本文所讨论的，这样的资产通常可以是分立的或受其范围限制(例如，诸如飞机、直升机、轮船、潜水器、太空运载工具、卫星、机车等交通工具)或可在地理上分布(例如，道路或铁路轨道、港口或机场、管道或电气基础设施、发电设施或制造工厂等)。本文描述的一些实施方式可用于使用机器人中介以手动、自主或半自主的方式检查这些类型的资产(以及其他未列出的资产)。
图1示出了根据一些实施方式的机器人***100。参考图1，机器人***100包括无人机器人130，该无人机器人130收集资产140周围的多感知数据。例如，无人机器人130可包括诸如无人机的无人驾驶飞行器(UAV)、爬行机器人、滚动机器人、行走机器人、智能水下机器人(AUV)等。在图1的实例中，无人机器人130包括用于再充电和存储的插接站132。而且，无人机器人130可与控制器120和/或基站110通信。例如，控制器120和基站110可经由数据通信信道从无人机器人130接收数据以及将数据发送到无人机器人130。而且，在一些实例中，基站110可经由数据通信信道接收来自用户(例如，工程师)向无人机器人110发送命令的输入。该通信信道可以是无线的，例如卫星、蜂窝、局域等，和/或在某些情况下可以是有线的。例如，用户可输入有关资产的某些信息，例如资产尺寸、资产类型和所需的数据保真度，这些信息用于建立遵守各种任务约束的任务计划。然后将任务无线地馈送到执行该任务并收集所需图像(例如2D和3D两者)的无人驾驶飞行器130。这些图像与元数据一起被馈送到3D重建***，以建立资产的准确3D模型。
资产140可以是设置在无人机器人130可访问的地理位置处的结构。例如，资产140可以是设置在海里、油罐或地表下的油井的石油平台、沿着地表布置的管道、桥梁、大坝、废气燃烧器、涡轮机、电网、飞机、机车等。基于任务规划，无人机器人130可在自主地在资产140周围和周边移动同时从资产140检查(例如，收集数据)。在图1的实例中，无人机器人130是可在资产140周围飞行的无人机。该无人机可降落在资产140的表面上的位置处、在空中停留等。如本文所述，无人机130可基于包括在飞行计划中的虚拟行进路径的3D模型绕资产140周围的行进路径飞行。在某些情况下，无人机130还可接收指令，该指令提供从插接站132到飞行计划的起点的行进路径。
注意，无人机器人130可包括至少一个传感器以收集传感器数据。根据一些实施方式，传感器可与例如相机(例如，红-绿-蓝(“RGB”)相机)、摄像机、红外(“IR”)相机、麦克风、化学检测器、光检测和测距(“激光雷达”)传感器、辐射检测器等关联。尽管此处结合单个检查装置或机器人描述了一些实例，但请注意，检查(例如现场勘测)计划相反可能与同时收集信息的多个检查装置或机器人相关联。
根据各个实施方式，无人机器人130可基于从基站110、控制器120或通过无人机器人130本地输入接收的3D虚拟任务计划，来执行对资产140的多个关注区域的检查。可将关注区域定位在整个资产140的各个分布式位置，聚集在资产140的预定区域内等。每个关注区域可包括：要在资产上检查的位置，例如关注点、关注面积等；相机(或其他传感器)相对于关注区域处的资产表面应该定位的角度；无人机在捕获传感器数据时应绕资产行进的旋转角度等。
图2是示出根据一些实施方式的现场勘测***200的概况的示图。***使用由操作者(例如，用户、技术人员、工程师等)提供的资产特定约束210和现场勘测约束220，来在230生成现场勘测计划(例如，任务)。然后由UAV(例如，无人机)执行计划，并在240处针对局部几何形状即时更新以优化。一旦收集了所需的二维(2D)和三维(3D)图像，则在250将其传递到3D重建引擎，以生成资产的纹理化、度量、3D模型。
现在参考将一起讨论的图3至图6。图3是示出根据一些实施方式的示例性过程300的框图。例如，过程300可由本文描述的软件和/或***执行。过程300提供了建立资产的准确3D模型的结构。
图4是根据一些实施方式的用户界面400的外观图。图5是根据一些实施方式的用户界面500的外观图。
图6是示出了针对资产的一部分的局部/初始计划如何基于资产的几何形状而变化的概述的示图，其可由无人机上的2D和3D传感器确定。
转向图3，现场勘测计划和执行***包括现场勘测用户界面(UI)310、任务计划器320、飞行计划器330、任务执行器340和感知引擎350。
为了生成现场勘测计划，可提供用户界面(例如，应用程序或其他软件)，并且可经由诸如基站、平板电脑或其他计算机的用户装置与用户界面交互，从而允许诸如检查员或操作者的用户输入关于检查现场的资产特定和现场勘测约束。这里，现场勘测UI 310为***的用户提供了输入约束(例如，现场和任务特定约束)的方式。例如，如图4所示，用户可从下拉菜单402或类似的用户界面特征中选择参数值(例如，现场和任务特定约束)，以发送给任务计划器320。
在一些实施方式中，约束可包括资产约束(例如，资产类型、资产尺寸等)；三维重建约束(例如，地面采样距离(GSD)、图像重叠、诸如焦距和传感器尺寸的相机参数、所需分辨率(像素/英寸)和/或诸如特定尺寸的裂缝的最小可解决特征等)；以及任务约束(例如，机器人距资产的最小安全/退回距离、地理围栏约束等)。
作为输入操作402的结果，用户界面400可以呈现地理围栏约束404和406，地理围栏概述了指定一个或多个关注区域和/或一个或多个非关注区域的虚拟边界。例如，飞行计划不应包括在尺寸/立方体区域404内的任何区域，并且不应超出边界406。
任务计划器320使用***的约束来计算任务计划，该任务计划提供资产的最佳覆盖范围以确保所需图像质量和覆盖范围。由于任务计划是在任务计划器320没有访问资产的三维模型的情况下生成的，因此使用代表性资产类型的信息来生成计划。代表性资产502根据原始形状和参数(例如，圆柱资产、矩形资产、水平资产等)来表示。代表性资产的尺寸(dimension，体积)(例如，用于检查的区域)可通过经由用户界面400输入的信息或通过用户的观察和判断来确定。全局几何信息用于生成任务计划，该任务计划在给定约束下最佳地覆盖资产。
在图5中经由用户界面500的画面截图示出了行进路径环境的非限制性实例。图5示出了为代表性矩形资产生成的任务计划和飞行计划的实例。地理围栏边界404、406指示出无人机不能违反的禁区(exclusion zone)。所生成的任务计划包括相对于资产502的相机地点/位置和取向的列表。在该实例中，箭头505示出了由任务计划器320返回的航路点。箭头505的位置指示相机位置，并且箭头的取向表示相机取向(例如，无人机上一个或多个传感器的视点或视角)。线515示出了所生成的飞行计划/路线(例如，无人机飞行检查计划)。
每个行进路径(例如，飞行路线)可对应于真实空间中的行进路径和航路点的顺序。例如，行进路径的顺序(例如，飞行路径上的关注区域)可在行进路径515的虚拟选择的起点510和虚拟选择的终点520之间的虚拟空间中由实线515连接。行进路径515的线可连续地移动，同时在虚拟空间内的X、Y和Z坐标轴中的每一个中整体改变，从而模拟高度准确的机器人的连续三维运动。另外，行进路径515可围绕资产502一次或多次，同时沿着由本文描述的***生成的连续线沿X、Y和Z坐标轴中的每一个改变。
例如，通过飞行计划应用，虚拟空间中的行进路径515可与物理空间(例如，现实世界)中的物理行进路径对准。真实空间中的航路点与虚拟空间上的关注区域相对应，并且是机器人要捕获数据和照片的点。例如，除了视频和静止图像之外，要捕获的数据可包括各种资产部件、资产子区域等的热图像、紫外线图像、化学浓度的嗅探等。路线规划可通过多次进行，例如分别使用RGB相机和IR相机。此外，可在检查现场调整现场勘测计划，以集中于某些关注点。例如，IR相机方面可能会检测热点，该热点被设置为使用RGB相机进行进一步现场勘测。
界面400、500可被呈现在由任何类型的客户端(例如，台式机***、智能手机、平板电脑)提供的任何类型的显示设备(例如，台式监控器、智能手机显示器、平板显示器)上。被执行以提供界面400、500的应用可包括Web浏览器、独立应用或任何其他应用。实施方式不限于界面400、500，并且可包括具有任何特定类型、格式或功能的用户界面。
接下来，将任务计划信息提供给飞行计划器330。飞行计划器330计算一个可行的飞行计划，在给定一个或多个包括环境/现场、无人机和任务约束等的预定义标准的情况下，无人机可执行该可行的飞行计划。环境/现场约束包括出于安全原因不允许无人机飞越的禁区。无人机约束包括有关无人机位置和云台限制的信息。任务约束可从找到从一个航路点到下一个航路点的最短路径(例如，最小化的距离/时间)到消耗最少能量的路径等变化。在某些情况下，所消耗的最少能量可能包括无人机器人所需的最少上升量，因为与重力作用相抗会消耗最大功率。飞行计划器330找到满足所有上述约束的最优路径，以生成连接各个航路点的飞行轨迹/计划。
继而，将飞行计划信息提供给任务执行器340。任务执行器模块340接受来自飞行计划器330的飞行计划，并执行到每个航路点的子计划(例如，局部计划)。任务执行器还监控机器人的状态(例如，无人机状态、有效载荷状态等)并采取相应的措施。例如，如果无人机在有风的条件下飞行，并且无人机偏离其轨迹，则任务执行器会向无人机提供控制命令，以使其回到所需的轨迹或在必要时中止执行。无人机到达目标航路点后，任务执行器调整云台取向并捕获所需的图像。
参照图6，并且如上所述，生成的任务计划615基于资产类似于特定代表形状610的假设。然而，如图6所示，资产的实际形状620实际上可具有大量的局部变化。感知引擎350提供一种推断资产的局部几何形状625的方式并相应地调整任务计划。感知引擎使用来自2D相机和激光雷达***的信息，来计算资产620在航路点的局部几何形状625(例如，局部区域约束)。该信息用于修改任务计划。修改任务的一些方式包括修改捕获图像的相机取向、在最佳捕获局部几何形状的航路点附近添加更多航路点、以及基于附加信息修改在局部附近的已计划航路点。
图7是示出根据一些实施方式的用于生成用于建立资产的3D模型的现场勘测(例如，数据收集)计划的计算***700的示图。例如，计算***700可以是与机器人通信并经由有线或无线连接控制机器人的装置或装置组。参考图7，计算***700包括网络接口710、处理器720、显示器730、输出740和存储器750。尽管未在图7中示出，机器人***700可包括其他组件，例如输入单元、一个或多个存储装置等。网络接口710可以是通过诸如互联网、专用网络、公共网络等的网络，经由卫星网络、蜂窝网络、局域网络等发送和接收数据的数据通信接口。
处理器720可包括一个或多个处理装置，每个装置包括一个或多个处理内核。在一些实例中，处理器720是多核处理器或多个多核处理器。而且，处理器720可以是固定的或者可以是可重新配置的。根据各种实施方式，处理器720可执行现场勘测计划应用，该应用包括被配置为显示由无人机器人执行的现场勘测计划的用户界面。用户界面可接收用于收集图像的多个资产特定和现场勘测约束的选择，并且处理器720可检测用于收集图像的多个资产特定和现场勘测约束的选择。
存储器750可存储现场勘测计划，包括用于机器人的行进路径和要检查的资产的关注区域。存储器750还可存储在计算***700执行现场勘测过程时捕获的数据。在实例实施方式中，在计划的位置处捕获图像，并且诸如无人机位置和取向的元数据被保存在与***700相关联的存储器750中。存储器750不限于任何特定的存储装置，并且可包括任何已知的存储器装置，诸如RAM、ROM、硬盘等。输出740可将包括所生成的关于无人机器人的资产的行进路径的现场勘测计划，输出到显示器或诸如无人机器人本身和/或控制装置的另一装置或***。
显示器730可经由***700的嵌入式显示器或外部连接至***700的另一装置等显示用户界面和其他数据。输出740可将用户界面和其他数据输出到显示器730。
尽管本文中的实例大部分是针对陆上资产提供的，但是应当理解，实施方式可与潜水式无人机结合以检查水下资产。在这种情况下，虚拟创建的3D行进路径将以相同的方式创建，但行进路径不是穿过空气，而是通过水或某些其他基于液体的环境，例如，石油等。
如基于前述说明书将理解的，可使用包括计算机软件、固件、硬件或其任何组合或子集的计算机编程或工程技术，来实现本公开的上述实例。可在一个或多个非暂时性计算机可读介质中实现或提供具有计算机可读代码的任何此类所得程序，从而根据本公开内容的所讨论的实例来制造计算机程序产品，即制品。例如，非暂时性计算机可读介质可以是但不限于固定驱动器、软盘、光盘、磁带、闪存、诸如只读存储器(ROM)的半导体存储器，和/或任何传输/接收介质，诸如互联网、云存储、物联网或其他通信网络或链接。可通过直接从一种介质执行代码、将代码从一种介质复制到另一种介质、或通过网络传输代码，来制造和/或使用包含计算机代码的制品。
计算机程序(也称为程序、软件、软件应用程序、“应用程序”或代码)可包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或汇编/机器语言实现。如本文所用，术语“机器可读介质”和“计算机可读介质”是指任何计算机程序产品、设备、云存储、物联网和/或装置(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))，用于向可编程处理器提供机器指令和/或数据，包括接收机器指令作为机器可读信号的机器可读介质。但是，“机器可读介质”和“计算机可读介质”不包括暂时信号。术语“机器可读信号”是指可用于向可编程处理器提供机器指令和/或任何其他种类的数据的任何信号。
本文过程的以上描述和图示不应被认为暗示用于执行处理步骤的固定顺序。而是，可以以可行的任何顺序执行处理步骤，包括同时执行至少一些步骤。尽管已经结合具体实例描述了本公开，但是应当理解，在不脱离在所附权利要求书中陈述的本公开的精神和范围的情况下，可对所公开的实施方式做出本领域技术人员显而易见的各种改变、替换和变更。

Claims (18)

1.一种用于生成资产的三维模型的***，所述***包括：
存储器，存储指令；以及
处理器，被配置为执行所述指令，其中，当被所述处理器执行时所述指令使所述处理器：
接收输入参数，所述输入参数与使无人驾驶交通工具围绕资产运行的任务计划的约束相对应，其中所述约束包括与所述资产的代表形状对应的内部地理围栏和限定所述无人驾驶交通工具的禁区的外部地理围栏；
基于所述输入参数生成所述任务计划，其中所述任务计划限定多个航路点，所述航路点指示所述无人驾驶交通工具的一个或多个图像传感器相对于所述资产的位置和取向；
基于通过连接所述航路点而在所述内部地理围栏和所述外部地理围栏之间延伸的所述任务计划，为所述无人驾驶交通工具生成飞行路径；
在执行所述任务计划期间经由所述一个或多个图像传感器在每个航路点确定所述资产的局部几何形状；
基于所述局部几何形状不同于所述代表形状的确定，将所述任务计划更新为具有已更新航路点的已更新任务计划；并且
在对应于所述已更新任务计划的所述已更新航路点处，捕获所述资产的图像。
2.根据权利要求1所述的***，其中，所述处理器还被配置为监控在执行所述飞行路径期间所述无人驾驶交通工具的交通工具状态。
3.根据权利要求1所述的***，其中，所述输入参数还包括：资产约束、三维重建约束、任务约束或其组合。
4.根据权利要求1所述的***，其中，所述一个或多个图像传感器包括：RGB相机、摄像机、红外相机、麦克风、化学检测器、光检测和测距(“LIDAR”)传感器、辐射检测器或其组合。
5.根据权利要求1所述的***，其中，所述代表形状以没有访问所述资产的三维参考模型而获取的原始形状和参数来表达。
6.根据权利要求1所述的***，其中，更新所述任务计划包括：修改所述一个或多个图像传感器的取向、向所述飞行路径添加附加的航路点、修改所述航路点的相应位置以调整所述飞行路径或其组合。
7.根据权利要求1所述的***，其中，所述约束还包括：环境约束、交通工具约束、任务约束或其组合。
8.一种用于生成资产的三维模型的方法，所述方法包括：
接收输入参数，所述输入参数与使无人驾驶交通工具围绕资产运行的任务计划的约束相对应，其中所述约束包括与所述资产的代表形状对应的内部地理围栏和限定所述无人驾驶交通工具的禁区的外部地理围栏；
基于所述输入参数生成所述任务计划，其中所述任务计划限定多个航路点，所述航路店指示所述无人驾驶交通工具的一个或多个图像传感器相对于所述资产的位置和取向；
基于通过连接所述航路点而在所述内部地理围栏和所述外部地理围栏之间延伸的所述任务计划，为所述无人驾驶交通工具生成飞行路径；
在执行所述任务计划期间在每个航路点经由所述一个或多个图像传感器，确定所述资产的局部几何形状；
基于所述局部几何形状不同于所述代表形状的确定，将所述任务计划更新为具有已更新航路点的已更新任务计划；并且
在对应于所述已更新任务计划的已更新航路点处捕获所述资产的图像。
9.根据权利要求8所述的方法，还包括监控在执行所述飞行路径期间所述无人驾驶交通工具的交通工具状态。
10.根据权利要求8所述的方法，其中，所述输入参数还包括：资产约束、三维重建约束、任务约束或其组合。
11.根据权利要求8所述的方法，其中，所述一个或多个图像传感器包括：RGB相机、摄像机、红外相机、麦克风、化学检测器、光检测和测距(“LIDAR”)传感器、辐射检测器或其组合。
12.根据权利要求8所述的方法，其中，所述代表形状以没有访问所述资产的三维参考模型而获取的原始形状和参数来表达。
13.根据权利要求8所述的方法，其中，更新所述任务计划包括：修改所述一个或多个图像传感器的取向、向所述飞行路径添加附加的航路点、修改所述航路点的相应位置以调整所述飞行路径或其组合。
14.根据权利要求8所述的方法，其中，所述约束还包括：环境约束、交通工具约束、任务约束或其组合。
15.一种非暂时性计算机可读介质，具有存储在其中的指令，所述指令在被处理器执行时使所述处理器：
接收输入参数，所述输入参数与使无人驾驶交通工具围绕资产运行的任务计划的约束相对应，其中所述约束包括与所述资产的代表形状对应的内部地理围栏和限定所述无人驾驶交通工具的禁区的外部地理围栏；
基于所述输入参数生成所述任务计划，其中所述任务计划限定多个航路点，所述航路点指示所述无人驾驶交通工具的一个或多个图像传感器相对于所述资产的位置和取向；
基于通过连接所述航路点而在所述内部地理围栏和所述外部地理围栏之间延伸的所述任务计划，为所述无人驾驶交通工具生成飞行路径；
在执行所述任务计划期间在每个航路点经由所述一个或多个图像传感器，确定所述资产的局部几何形状；
基于所述局部几何形状不同于所述代表形状的确定，将所述任务计划更新为具有已更新航路点的已更新任务计划；并且
在对应于所述已更新任务计划的所述已更新航路点处捕获所述资产的图像。
16.根据权利要求15所述的非暂时性计算机可读介质，其中，所述指令在被所述处理器执行时，使所述处理器监控在执行所述飞行路径期间所述无人驾驶交通工具的交通工具状态。
17.根据权利要求15所述的非暂时性计算机可读介质，其中，所述输入参数还包括：资产约束、三维重建约束、任务约束或其组合。
18.根据权利要求15所述的非暂时性计算机可读介质，其中，所述约束还包括：环境约束、交通工具约束、任务约束或其组合。
CN201880084279.2A 2018-01-25 2018-12-27 自动和自适应的三维机器人现场勘测 Active CN111512256B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/879,743 US10607406B2 (en) 2018-01-25 2018-01-25 Automated and adaptive three-dimensional robotic site surveying
US15/879,743 2018-01-25
PCT/US2018/067621 WO2019147375A1 (en) 2018-01-25 2018-12-27 Automated and adaptive three-dimensional robotic site surveying

Publications (2)

Publication Number Publication Date
CN111512256A CN111512256A (zh) 2020-08-07
CN111512256B true CN111512256B (zh) 2021-11-05

Family

ID=67300081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880084279.2A Active CN111512256B (zh) 2018-01-25 2018-12-27 自动和自适应的三维机器人现场勘测

Country Status (5)

Country Link
US (1) US10607406B2 (zh)
EP (1) EP3743781B1 (zh)
JP (2) JP7301851B2 (zh)
CN (1) CN111512256B (zh)
WO (1) WO2019147375A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10739770B2 (en) * 2018-01-16 2020-08-11 General Electric Company Autonomously-controlled inspection platform with model-based active adaptive data collection
US11086325B2 (en) * 2018-01-29 2021-08-10 Aerovironment, Inc. Methods and systems for determining flight plans for vertical take-off and landing (VTOL) aerial vehicles
WO2020206020A1 (en) * 2019-04-05 2020-10-08 Seekops Inc. Route optimization for energy industry infrastructure inspection
WO2020206006A1 (en) 2019-04-05 2020-10-08 Seekops Inc. Analog signal processing for a lightweight and compact laser-based trace gas sensor
WO2021029065A1 (ja) * 2019-08-15 2021-02-18 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
CN112650156B (zh) * 2019-10-12 2022-09-30 北京京东乾石科技有限公司 展示无人设备运行情况的方法和装置
US11988598B2 (en) 2019-12-31 2024-05-21 Seekops Inc. Optical cell cleaner
WO2021162648A1 (en) * 2020-02-10 2021-08-19 Aurvis Bilisim Yazilim Dan. Ar. Ge. Tic. Ltd. Sti. System and method for 3d modeling using autonomous flying drones
CN111176122B (zh) * 2020-02-11 2022-05-13 哈尔滨工程大学 一种基于双bp神经网络q学习技术的水下机器人参数自适应反步控制方法
WO2021221758A2 (en) * 2020-02-13 2021-11-04 Skydio, Inc. Performing 3d reconstruction via an unmanned aerial vehicle
EP4127740A4 (en) 2020-03-25 2024-04-24 SeekOps Inc. LOGARITHMIC DEMODULATOR FOR LASER WAVELENGTH MODULATION SPECTROSCOPY
US20230247280A1 (en) * 2020-06-19 2023-08-03 Nec Corporation Image-capturing plan creating device, method, and recording medium
US11794342B2 (en) 2020-07-17 2023-10-24 Intrinsic Innovation Llc Robot planning using unmanned aerial vehicles
EP3968274A1 (en) * 2020-09-14 2022-03-16 Tata Consultancy Services Limited Method and system for asset inspection using unmanned aerial vehicles
WO2022064242A1 (en) * 2020-09-22 2022-03-31 Sarabi Soroush The method of automatic 3d designing of constructions and colonies in an smart system using a combination of machine scanning and imaging and machine learning and reconstruction of 3d model through deep learning and with the help of machine learning methods
CN113175872A (zh) * 2021-05-13 2021-07-27 中车长春轨道客车股份有限公司 基于视觉跟踪的车体自动化测量装置及其测量方法
US20220397917A1 (en) * 2021-06-11 2022-12-15 Netdrones, Inc. Systems and methods for 3d model based drone flight planning and control
CN113758438B (zh) * 2021-07-08 2023-07-25 重庆市勘测院 特殊建筑物倾斜航空摄影及三维重建方法
CN115562332B (zh) * 2022-09-01 2023-05-16 北京普利永华科技发展有限公司 一种无人机机载记录数据的高效处理方法及***
CN117973990B (zh) * 2024-04-02 2024-06-21 深圳大学 时序约束下多卡车多无人机包裹投递任务分配方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2558817A1 (en) * 2010-09-30 2013-02-20 Empire Technology Development LLC Automatic flight control for uav based solid modeling
CN103080897A (zh) * 2010-08-05 2013-05-01 波音公司 用于光学资产识别及位置跟踪的方法和***
CN105122245A (zh) * 2013-01-22 2015-12-02 通用电气公司 实时检查管理
CN106056069A (zh) * 2016-05-27 2016-10-26 刘文萍 基于无人机图像分析的林地资源资产评估方法及其评估***
EP3092625A1 (en) * 2014-01-10 2016-11-16 Pictometry International Corp. Unmanned aircraft structure evaluation system and method
WO2017040254A1 (en) * 2015-08-28 2017-03-09 Laufer Wind Group Llc Mitigation of small unmanned aircraft systems threats
CN206363317U (zh) * 2016-11-17 2017-07-28 成都慧途科技有限公司 一种地下管廊内固有资产无人巡检***
CN107092935A (zh) * 2017-04-26 2017-08-25 国家电网公司 一种资产变更检测方法
CN107207089A (zh) * 2014-12-17 2017-09-26 佩克波奇有限公司 用于捕获图像的基于无人机的***和方法
CN107426958A (zh) * 2015-01-11 2017-12-01 Aaa塔拉尼斯视觉有限公司 农业监控***和方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140336928A1 (en) * 2013-05-10 2014-11-13 Michael L. Scott System and Method of Automated Civil Infrastructure Metrology for Inspection, Analysis, and Information Modeling
US9824596B2 (en) 2013-08-30 2017-11-21 Insitu, Inc. Unmanned vehicle searches
WO2015175440A1 (en) 2014-05-12 2015-11-19 Unmanned Innovation, Inc. Unmanned aerial vehicle authorization and geofence envelope determination
US9618934B2 (en) 2014-09-12 2017-04-11 4D Tech Solutions, Inc. Unmanned aerial vehicle 3D mapping system
US10489407B2 (en) 2014-09-19 2019-11-26 Ebay Inc. Dynamic modifications of results for search interfaces
WO2016130994A1 (en) * 2015-02-13 2016-08-18 Unmanned Innovation, Inc. Unmanned aerial vehicle remote flight planning system
US10564649B2 (en) 2015-03-02 2020-02-18 Izak Jan van Cruyningen Flight planning for unmanned aerial tower inspection
US10187806B2 (en) 2015-04-14 2019-01-22 ETAK Systems, LLC Systems and methods for obtaining accurate 3D modeling data using multiple cameras
US10368249B2 (en) * 2015-04-14 2019-07-30 ETAK Systems, LLC Modeling fiber cabling associated with cell sites
US9881416B2 (en) 2015-04-14 2018-01-30 ETAK Systems, LLC Obtaining 3D modeling data using UAVs for cell sites
US9947230B2 (en) * 2015-08-03 2018-04-17 Amber Garage, Inc. Planning a flight path by identifying key frames
US10008123B2 (en) * 2015-10-20 2018-06-26 Skycatch, Inc. Generating a mission plan for capturing aerial images with an unmanned aerial vehicle
US10218893B2 (en) * 2015-10-27 2019-02-26 Mitsubishi Electric Corporation Image capturing system for shape measurement of structure, method of capturing image of structure for shape measurement of structure, on-board control device, remote control device, program, and storage medium
CA2952098A1 (en) 2015-12-18 2017-06-18 Wal-Mart Stores, Inc. Apparatus and method for surveying premises of a customer
US9740200B2 (en) 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
JP6478329B2 (ja) 2016-02-02 2019-03-06 Ｊｆｅ鋼板株式会社 構造物の点検システムおよび点検方法
US9738381B1 (en) 2016-02-23 2017-08-22 General Electric Company Industrial machine acoustic inspection using unmanned aerial vehicle
WO2017147792A1 (en) * 2016-03-01 2017-09-08 SZ DJI Technology Co., Ltd. Methods and systems for target tracking
US10228694B2 (en) 2016-03-04 2019-03-12 Animusoft Corporation Drone and robot control systems and methods
US20170345317A1 (en) * 2016-05-24 2017-11-30 Sharper Shape Oy Dynamic routing based on captured data quality
US11150654B2 (en) * 2016-06-30 2021-10-19 Skydio, Inc. Dynamically adjusting UAV flight operations based on radio frequency signal data
US11017679B2 (en) * 2017-01-13 2021-05-25 Skydio, Inc. Unmanned aerial vehicle visual point cloud navigation

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103080897A (zh) * 2010-08-05 2013-05-01 波音公司 用于光学资产识别及位置跟踪的方法和***
EP2558817A1 (en) * 2010-09-30 2013-02-20 Empire Technology Development LLC Automatic flight control for uav based solid modeling
CN105122245A (zh) * 2013-01-22 2015-12-02 通用电气公司 实时检查管理
EP3092625A1 (en) * 2014-01-10 2016-11-16 Pictometry International Corp. Unmanned aircraft structure evaluation system and method
CN107207089A (zh) * 2014-12-17 2017-09-26 佩克波奇有限公司 用于捕获图像的基于无人机的***和方法
CN107426958A (zh) * 2015-01-11 2017-12-01 Aaa塔拉尼斯视觉有限公司 农业监控***和方法
WO2017040254A1 (en) * 2015-08-28 2017-03-09 Laufer Wind Group Llc Mitigation of small unmanned aircraft systems threats
CN106056069A (zh) * 2016-05-27 2016-10-26 刘文萍 基于无人机图像分析的林地资源资产评估方法及其评估***
CN206363317U (zh) * 2016-11-17 2017-07-28 成都慧途科技有限公司 一种地下管廊内固有资产无人巡检***
CN107092935A (zh) * 2017-04-26 2017-08-25 国家电网公司 一种资产变更检测方法

Also Published As

Publication number Publication date
EP3743781B1 (en) 2024-01-24
JP2023126813A (ja) 2023-09-12
US20190228573A1 (en) 2019-07-25
CN111512256A (zh) 2020-08-07
EP3743781A1 (en) 2020-12-02
WO2019147375A1 (en) 2019-08-01
US10607406B2 (en) 2020-03-31
JP7301851B2 (ja) 2023-07-03
JP2021511580A (ja) 2021-05-06
EP3743781A4 (en) 2021-11-03

Similar Documents

Publication Publication Date Title
CN111512256B (zh) 自动和自适应的三维机器人现场勘测
US10521960B2 (en) System and method for generating three-dimensional robotic inspection plan
US10452078B2 (en) Self-localized mobile sensor network for autonomous robotic inspection
US10633093B2 (en) Three-dimensional robotic inspection system
Agnisarman et al. A survey of automation-enabled human-in-the-loop systems for infrastructure visual inspection
US10682677B2 (en) System and method providing situational awareness for autonomous asset inspection robot monitor
EP2879389B1 (en) Generating a three-dimensional model of an industrial plant using an unmanned aerial vehicle
WO2018195955A1 (zh) 一种基于飞行器的设施检测方法及控制设备
CN110637264B (zh) 确定沿着对象的路径的方法、用于自动检查对象的***及方法
US20200004272A1 (en) System and method for intelligent aerial inspection
Surmann et al. Integration of uavs in urban search and rescue missions
CA2977945A1 (en) Scanning environments and tracking unmanned aerial vehicles
Ibrahim et al. BIM-driven mission planning and navigation for automatic indoor construction progress detection using robotic ground platform
Emelianov et al. Aerial laser inspection of buildings facades using quadrotor
CN111373334A (zh) 机器人工业检查***的***和方法
JP6802599B1 (ja) 検査システム
Ibrahim et al. An interactive model-driven path planning and data capture system for camera-equipped aerial robots on construction sites
Teixeira et al. Autonomous aerial inspection using visual-inertial robust localization and mapping
Cledat et al. Mapping GNSS restricted environments with a drone tandem and indirect position control
CN118103669A (zh) 用于未知环境中未知对象的3d建模的自动化空中数据捕获
Mian et al. Autonomous spacecraft inspection with free-flying drones
Smaoui et al. Automated scanning of concrete structures for crack detection and assessment using a drone
Keyvanfar et al. Emerging dimensions of unmanned aerial vehicle’s (uav) 3d reconstruction modeling and photogrammetry in architecture and construction management
Caballero et al. An automated UAV-assisted 2D mapping system for First Responders
Filho et al. The edge architecture for semi-autonomous industrial robotic inspection systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant