CN113597587A - 自主移动飞行器检查*** - Google Patents
自主移动飞行器检查*** Download PDFInfo
- Publication number
- CN113597587A CN113597587A CN202080022842.0A CN202080022842A CN113597587A CN 113597587 A CN113597587 A CN 113597587A CN 202080022842 A CN202080022842 A CN 202080022842A CN 113597587 A CN113597587 A CN 113597587A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- mobile robot
- autonomous mobile
- lidar
- autonomous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000003491 array Methods 0.000 claims abstract description 5
- 230000007547 defect Effects 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 description 12
- 230000008901 benefit Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000001154 acute effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 206010002368 Anger Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
- B64F5/60—Testing or inspecting aircraft components or systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Transportation (AREA)
- Quality & Reliability (AREA)
- Optics & Photonics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
公开了一种自主检查***，该自主检查***包括至少一个自主移动机器人。该机器人具有多个二维LiDAR扫描仪，每个扫描仪具有二维扫描平面。多个扫描仪以非共面的扫描平面取向被安装在自主移动机器人上。处理器包括用于接收来自多个LiDAR阵列的点数据的输入以及用于提供检查数据的输出。处理器被配置成：将来自多个LiDAR扫描仪的点数据编译成自主移动机器人的周围的三维图，以及识别三维图内的物品的尺寸和轮廓。还公开了一种检查方法。
Description
技术领域
本发明涉及自主检查***和自主检查的方法。特别地，但不排他地，实施方式涉及飞行器结构检查。
背景技术
自动化在制造中具有越来越重要的作用，例如，用于提高制造效率或改善安全性。自动化***在许多行业例如汽车制造中是常见的。然而，在一些行业中，自动化***可能是昂贵的并且难以实现，例如，航空航天制造(并且特别是商用飞行器制造)，在航空航天制造中，由于产品的尺寸和规模以及各种不同的制造和组装过程的复杂度和数目，设施通常占据大的占用空间。对于这样的行业，自主***提供了与自动化***相比大得多的益处。自主***可以与自动化***形成对比，这是因为自主***能够以更大程度的独立性来执行任务，例如，自主***可以是适应性的、能够学习的并且具有做“决定”的能力。因此，自主***可以例如能够在其中先前没有使用过该***的位置中工作，或者在其中其他的***或项目(item)不在已知位置的动态环境中工作。相比之下，自动化***(例如，汽车制造中的制造机器人)通常将专用于在高度受控的环境中执行重复性任务。
其中使用自主交通工具或自主机器人可能有益的一个领域是航空结构(aerostructure)的检查。例如，在飞行器制造期间(例如，在最终组装线中)以及也在飞行器维护、修理和检修设施(其在本文中将通过标准首字母缩略词“MRO”指代)处，可能例行地需要这样的检查。用于自动化解决方案的已知解决方案通常需要使用昂贵的三维扫描仪或摄像装置，例如3D光定向与测距(LiDAR)扫描仪。这样的扫描仪可以例如在即时定位与地图构建(SLAM)设备中使用。为了降低复杂度和/或成本，已知一些***例如手持***用移动的2D扫描仪(例如，可以跨被扫描的项目进行扫描的柔性安装件上的扫描仪)来代替3D扫描仪。然而，这样的***可能无法提供良好的响应时间并且导致更长的检查时间。此外，在工业环境中，在这样的***的使用中可能出现健康和安全问题。
飞行器MRO应用中潜在的自动化的一个示例是“Air-Cobot”项目，该项目正在开发轮式协作移动机器人以用于在检查活动中协助人类(并且如例如在论文“Air-Cobot:Aircraft Enhanced Inspection by Smart and Collaborative Robot”中所描述的，该论文可在以下处获取：http://laris.univ-angers.fr/_resources/IFAC2017/IFAC_Paper_ 3176.pdf)。Air-Cobot机器人能够自主地执行导航任务以及例行地执行检查任务。Air-Cobot机器人设置有包括导航传感器和无损测试传感器的感测***的阵列，该导航传感器包括四个摄像装置、两个激光测距仪、全球定位***(GPS)接收器和初始测量单元(IMU)，该无损测试传感器包括平移-倾斜-变焦(PTZ)摄像装置和3D扫描仪。
本发明的至少一些实施方式旨在提供替选的检查机器人，例如，可以期望提供更有成本效益的机器人***或具有降低的复杂度的机器人***以使得能够在更广泛的应用范围中使用自主检查，或者提供具有更好范围、准确度和速度的***。
发明内容
本发明的一个方面提供了一种自主检查***，该自主检查***包括：至少一个自主移动机器人，该机器人具有多个二维LiDAR扫描仪，每个扫描仪具有二维扫描平面，多个扫描仪以非共面的扫描平面取向被安装在自主移动机器人上；以及处理器，该处理器包括：输入，用于接收来自多个LiDAR阵列的点数据；输出，用于提供检查数据；该处理器被配置成：将来自多个LiDAR扫描仪的点数据编译成自主移动机器人的周围的三维图，以及识别三维图内的物品的尺寸和轮廓。特别地，实施方式提供了一种自主移动飞行器检查***。
本发明的另一方面提供了一种扫描机身的方法，该方法包括：提供具有多个二维LiDAR扫描仪的自主移动机器人，多个阵列以处于非共面取向的扫描平面被安装在自主移动机器人上；围绕机身周围的空间对自主移动机器人进行导航，同时使用LiDAR扫描仪对自主移动机器人周围的空间扫描；根据LiDAR扫描仪的点数据，对机身的图像进行编译。
本发明的又一方面提供了一种机器可读存储介质，该机器可读存储介质包括能够由处理器执行以进行下述处理的指令：接收来自多个LiDAR扫描的二维点数据；拼接该二维点数据以形成三维图；将LiDAR扫描数据与存储的地图构建数据组合；以及识别三维图内的对象的特征，并且将所识别的特征的尺寸和/或轮廓进行比较，以标记所扫描的对象中的缺陷或不合格部分(non-conformities)。
本发明的又一方面提供了一种自主移动机器人，包括：多个二维LiDAR扫描仪，每个扫描仪具有从机器人向外延伸的固定的二维扫描平面，其中，对多个二维LiDAR扫描仪进行定位，使得三维扫描包络被限定成围绕自主移动机器人、沿水平方向和竖直方向向外延伸超出自主移动机器人的外周；以及处理，该处理被配置成接收来自多个LiDAR扫描仪的二维点数据，并且拼接该二维点数据，以形成自主移动机器人周围的空间的三维图。
以非共面的扫描平面取向被安装在自主移动机器人上的多个扫描仪还具有非平行的扫描平面取向。
本发明的实施方式有利地使得能够在不需要提供专用的3D扫描仪的情况下执行三维扫描检查活动。这在降低扫描***的成本方面提供了优势，这是因为二维LiDAR扫描仪能够容易地在市场上买到，而且成本显著低于市场上可买到的三维扫描***。应当理解，本发明的实施方式中扫描设备的成本与复杂度的降低可以因此使得自主扫描能够被更广泛地实现。
特别地，本发明与使用专用3D扫描仪的领域中的常规方法相悖，这是因为发明人惊奇地发现当前的二维LiDAR扫描仪提供了足够准确的扫描细节(例如，低至20μm至30μm的准确度)以使得可靠的三维图能够建立。实施方式可以提供产生的三维数据，该三维数据既对于一般检查足够准确，又甚至可以提供与常规检查或测量技术例如专用的大体积计量装备至少一样好的数据质量。
与现有的或手动或自动化测量***相比，使用自主移动机器人平台上固定的二维LiDAR扫描仪进行扫描还可以使得能够节省大量时间。例如，可以注意到，二维LiDAR扫描仪可以在距扫描仪高达20m至25m的区域的范围内提供准确的位置数据。因此，应当理解，实施方式可以快速扫描大的项目，同时也提供高质量数据。由于飞行器和机身结构的规模，这在飞行器制造或MRO设施中特别有用。因此，本发明的实施方式可以特别地被配置成用于在航空航天检查中使用。例如，对于MRO设施等，本发明的实施方式可以用于表面缺陷识别和检查。在飞行器制造应用中，实施方式可以例如用于确认飞行器结构的形状合格。
多个二维LiDAR扫描仪可以各自检测点数据，该点数据表示扫描仪对准的相应平面的横截面。
多个二维LiDAR扫描仪具有相对于自主移动机器人的固定取向。虽然该固定取向可以是可调整的(例如，在初始配置期间)，但是为了简单起见，实施方式不需要LiDAR扫描仪在使用期间相对于自主移动机器人的任何移动。这可以有助于减少扫描时间。例如，与使用移动的(例如，平移的、倾斜的或旋转的)二维扫描仪建立三维信息的***相比，固定扫描仪可以减少扫描时间。
在本发明的实施方式中，多个二维LiDAR扫描仪包括具有在机器人上方竖直延伸的扫描平面的至少一个扫描仪。这确保了***扫描不仅围绕自主移动机器人水平延伸而且在机器人上方延伸的包络，并有助于建立完整的三维图。这可以与其中二维LiDAR扫描仪仅用于导航和/或避免碰撞(使得在机器人上方竖直延伸扫描可能被视为不必要)的方法形成对比。
特别地，本发明的实施方式包括具有靠近竖直轴(或更具体地，垂直于延伸穿过自主移动机器人的参考平面的轴)的扫描平面的至少一个扫描仪。例如，至少一个扫描平面可以相对于竖直面以小于45度来对准(换句话说，扫描平面可以具有比水平分量大的竖直分量)。
二维LiDAR扫描仪对可以布置有竖直延伸的非共面扫描平面。例如，每个扫描平面可以在垂直于机器人的平面的轴的相对侧上倾斜。二维LiDAR扫描仪对可以具有绕垂直于机器人平面的轴相对于彼此成锐角的平面。具有竖直延伸的非共面扫描平面的二维LiDAR扫描仪对也可以各自相对于机器人的纵轴旋转。扫描平面的旋转可以增加机器人周围的包络的扫描覆盖范围。
多个二维LiDAR扫描仪还可以包括布置有总体水平延伸的扫描平面(或更具体地，平行于延伸穿过自主移动机器人的参考平面的轴)的至少一个扫描仪。在一些实施方式中，可以提供多个总体水平的扫描仪。例如，每个扫描仪可以具有扫描弧(每个扫描仪的扫描区域通常是位于扫描平面中并且绕扫描仪延伸约由扫描仪的配置限定的弧长的扇区)。可以对准多个总体水平的扫描仪以围绕机器人提供360度的扫描覆盖范围。
处理器还可以被配置成将点数据与存储的地图数据组合。自主移动机器人相对于存储的地图数据的已知位置可以与点数据相关联以用于将地图数据与点数据组合。例如，可以从自主移动机器人的导航***提供已知的位置数据。时间戳数据也可以记录在点数据和产生的三维图中。例如，时间数据可以用于使得能够测量项目的实时变形和/或移动(这在制造的情况下可能特别有用)。
处理器可以通过包括机器可读介质来配置，该机器可读介质包括能够由处理器执行以执行以下步骤的指令：将来自多个LiDAR扫描仪的点数据编译成自主移动机器人的周围的三维图，以及识别三维图内的物品的尺寸和轮廓(例如，通过将该图与存储的项目数据进行比较)。
处理器可以是自主移动机器人的处理器。替选地或附加地，处理器可以是与自主移动机器人通信的集中式处理器。集中式处理器可以例如是云计算***的一部分。中央处理器可以例如累积来自多个自主移动机器人的数据。例如，在一些实施方式中，检查***可以包括根据实施方式的多个自主移动机器人，并且处理器可以将来自每个移动机器人上的多个LiDAR扫描仪的点数据编译成组合的三维图。
虽然上面已经描述了本发明的各方面，但是本发明延伸至上文或者下文的描述中所述的特征的任何创造性组合。
附图说明
现在将参照附图仅通过示例的方式来描述本发明的实施方式，在附图中：
图1示出了用于在本发明的实施方式中使用的自主移动机器人的示意图；
图2示出了用于图1的自主移动机器人的示例导航图的示意图；
图3示出了接近对象的自主移动机器人以及产生的对应扫描数据的示例；
图4示出了表示根据实施方式的方法的流程图。
具体实施方式
为了清楚起见，在本文中使用术语“水平”和“竖直”，并且可以理解为是对于相对于使用中的自主移动机器人的总体方向的参考，并且不旨在被狭隘地解释。特别地，应当理解，水平方向总体平行于延伸穿过自主移动机器人的x-y参考平面，并且基本上平行于机器人在其上进行操作的基板(如果基板倾斜，则可能不是真正的水平)。类似地，竖直方向将总体平行于垂直于x-y参考平面延伸的z轴。为了准确的数据捕获的目的，扫描***可以具有用于识别自主移动机器人的取向的导航***，使得相对于使用中的自主移动机器人的轴捕获的数据可以被校正至通用轴。
图1中示出了根据本发明实施方式的自主移动飞行器检查***1。该***包括至少一个自主移动机器人10。自主移动机器人包括多个(在所示示例中为四个)二维LiDAR(光定向与测距)扫描仪50。每个扫描仪可以是市场上可买到的安全等级的LiDAR设备，每个扫描仪具有二维扫描平面22、24、32、34。扫描仪50共同限定了在机器人10周围的三个维度中延伸的扫描包络。特别地，可以注意到，扫描仪被布置成使得包络在水平轴上完全包围机器人10，并且在竖直轴上也完全围绕机器人10延伸(至少从地面向上延伸)。在所示的示例中，机器人10设置有：第一扫描仪对，其具有在总体水平的平面中的扫描平面22和扫描平面24；以及第二扫描仪对，其具有在总体竖直的平面中的扫描平面32和扫描平面34。使用市场上可买到的二维安全等级的LiDAR扫描仪，已经发现扫描平面22、24、32、34可以具有高达约20m至25m的范围，并且可以提供约20μm至30μm的扫描准确度。
两个总体水平的扫描平面22、24在竖直方向上间隔开。扫描平面22和扫描平面24可以是平行平面，并且可以平行于机器人10的x-y参考平面。通常，每个扫描仪具有覆盖扫描平面中小于360度的扇区的扫描弧。因此，为了最小化或者去除来自扫描的任何盲点，两个扫描平面22和24绕竖直(z)轴相对于彼此旋转。例如，每个扫描平面32、34的未被扫描的小扇区可以是径向相对的。
两个总体竖直的扫描平面32和扫描平面34被设置成相对于彼此成角度，以使包络的扫描区域最大化。扫描平面32和扫描平面34可以各自相对于竖直轴以及相对于彼此倾斜，例如可以绕y轴在两个扫描平面32与34之间提供锐角β，使得每个扫描平面具有相对于竖直方向的若干度(例如，小于10度)的倾斜。扫描平面32和扫描平面34也可以相对于z轴相对地旋转，使得它们相对于机器人10的纵轴成角度。
自主移动机器人10将包括用于控制其导航移动和扫描的处理器。通常，机器人10还将可通信地耦接至网络(例如，经由无线网络)，并且可以在该网络中提供集中式控制器。因此，可以理解，根据特定的***配置，针对来自扫描仪50的数据，可以优选地由机器人10的处理器处理，或者数据是否以基本格式传输并且被单独地处理。
如图2所示，本发明的实施方式可以以与现有***类似的方式利用水平扫描仪对进行定位，并且图2示出了x-y平面中的典型导航图。可以提供先前记录的环境的地图，其包括先前观察到的项目210，如图2中以黑色像素所示的。地图还可以限定机器人10将不会行进至的区域或边界250。深色像素220指示由协助导航的水平LiDAR扫描仪识别的障碍物。根据本发明的实施方式，机器人还通过具有识别出的对象的扫描包络获取附加的信息，该识别出的对象在图2中以浅灰色阴影230示出。
根据实施方式，来自每个扫描仪的点数据可以拼接在一起，并且可选地，与存储的地图数据组合。这使得能够以快速并且准确的方式来累积环境的详细3D图。
图3中示出了多扫描仪方法的示例。这在图3中示出。在图3A中，照片示出了根据本发明的实施方式的具有二维LiDAR扫描仪50的阵列的自主移动机器人10，其位于悬垂的障碍物(工作台的形式)的前方。二维LiDAR扫描仪可以记录如图3B所示的桌子的横截面，其可以例如表示警告区310和紧急停止区320以及盲点340。
通过拼接来自每个扫描平面22、24、32、34的横截面并且使用自主移动机器人在扫描空间内的已知位置，本发明的实施方式可以形成环境的三维点云。现有的二维地图可以用于形成复合图。所产生的图可以用于改善导航，例如通过使自动化移动机器人在规划路线时能够避开悬垂的对象。然而，申请人还确认：该图足够准确以还用于测量扫描区域内的对象。因此，实施方式的自主移动机器人可以在航空结构的物品周围进行导航并且形成三维地图，以用于测量结构的特征或者用于缺陷或形状不合格部分的检查和识别。该***可以例如具有机器可读存储***，其包含关于要检查的航空结构的数据。可以将三维图与存储的数据进行比较，以例如识别和分类对象和/或对象中的缺陷，以及/或者对象的尺寸和/或轮廓相对于设计规范的合格。
本发明的实施方式可以在使得能够在短时间内精确地检查诸如飞行器部件的较大零件并且无需附加的劳动力成本方面提供明显的优势。这可以例如使得能够进行与当前可行的检查相比更频繁的检查。还可以理解，因为实施方式的***和方法能够同时跟踪多个点，所以跟踪可以使得能够在组装阶段期间看到部件中的实时变形或移动。与诸如手动测量或者使用激光***或雷达的常规方法相比，本发明的***和方法例如可以节约高达80％的时间。
本发明的实施方式还可以包括：机器可读存储介质，其包括能够由处理器执行的指令。这样的指令可以用于使用合适的自主移动机器人来实现本发明的实施方式的方法。
虽然上面已经参照优选的实施方式描述了本发明，但是应当理解，在不脱离如所附权利要求中限定的本发明的范围的情况下，可以进行各种修改。例如，虽然所描述的实施方式涉及单个自主受控机器人，但是应当理解，可以在单个***中使用多个这样的机器人，其中网络控制被用于组合和映射所捕获的数据。
虽然本文描述的实施方式使用术语“自主移动机器人”，但是可以理解，这可以包括其他形式的自主引导交通工具。例如，在本发明的一些实施方式中，可以利用多用途自主交通工具以使用二维扫描仪阵列来执行扫描，同时也出于另一目的(例如，传送或移动零件或结构)对设施进行导航。
注意，除非另有明确说明，否则本文中使用的术语“或”将被解释为意指“和/或”。
Claims (15)
1.一种自主检查***，包括：
至少一个自主移动机器人，
所述机器人具有多个二维LiDAR扫描仪，每个扫描仪具有二维扫描平面，
所述多个扫描仪以非共面的扫描平面取向被安装在所述自主移动机器人上；以及
处理器，所述处理器包括：
输入，用于接收来自所述多个二维LiDAR阵列的点数据；
输出，用于提供检查数据；
所述处理器被配置成：
将来自所述多个LiDAR扫描仪的点数据编译成所述自主移动机器人的周围的三维图，以及
识别所述三维图内的物品的尺寸和轮廓。
2.根据权利要求1所述的自主检查***，其中，所述多个二维LiDAR扫描仪各自检测表示该扫描仪对准的相应平面的横截面的点数据。
3.根据权利要求1或2所述的自主检查***，其中，所述多个二维LiDAR扫描仪具有相对于所述自主移动机器人的固定取向。
4.根据任一前述权利要求所述的自主检查***，其中，所述多个二维LiDAR扫描仪包括具有在所述机器人上方竖直延伸的扫描平面的至少一个扫描仪。
5.根据权利要求3所述的自主检查***，其中，二维LiDAR扫描仪对被布置有竖直延伸的扫描平面，每个扫描平面在垂直于所述机器人的平面的轴的相对侧上倾斜。
6.根据权利要求5所述的自主检查***，其中，所述二维LiDAR扫描仪对各自相对于所述机器人的纵轴旋转。
7.根据任一前述权利要求所述的自主检查***，其中，所述多个二维LiDAR扫描仪包括被布置有总体水平延伸的扫描平面的至少一个扫描仪。
8.根据权利要求7所述的自主检查***，包括多个总体水平的扫描仪，每个扫描仪具有扫描弧，所述弧被对准以围绕所述机器人提供360度的扫描覆盖范围。
9.根据任一前述权利要求所述的自主检查***，其中，所述处理器还被配置成将所述点数据与存储的地图数据组合。
10.根据任一前述权利要求所述的自主检查***，其中，所述处理器是所述自主移动机器人的处理器。
11.一种扫描机身的方法，所述方法包括：
提供具有多个二维LiDAR扫描仪的自主移动机器人，所述多个阵列以处于非共面取向的扫描平面被安装在所述自主移动机器人；
围绕所述机身周围的空间对所述自主移动机器人进行导航，同时使用所述LiDAR扫描仪对所述自主移动机器人周围的空间进行扫描；
根据所述LiDAR扫描仪的点数据，对所述机身的图像进行编译。
12.根据权利要求11所述的扫描机身的方法，还包括：
提供所述自主移动机器人进行导航的空间的地图；以及
对所述机身的图像进行编译包括将所述地图与所述二维LiDAR扫描仪的点数据组合。
13.根据权利要求11或12所述的扫描机身的方法，还包括：
识别所述机身的图像内的特征并且将所扫描的特征的尺寸和/或轮廓与存储的数据进行比较，以标记所扫描的机身中的缺陷或不合格部分。
14.一种机器可读存储介质，包括能够由处理器执行以进行下述处理的指令：
接收来自多个LiDAR扫描的二维点数据；
拼接所述二维点数据以形成三维图；
将LiDAR扫描数据与存储的地图构建数据组合；以及
识别所述三维图内的对象的特征，并且将所识别的特征的尺寸和/或轮廓进行比较以标记所扫描的对象中的缺陷或不合格部分。
15.一种自主移动机器人，包括：
多个二维LiDAR扫描仪，每个扫描仪具有从所述机器人向外延伸的固定的二维扫描平面，其中，对所述多个二维LiDAR扫描仪进行定位，使得三维扫描包络被限定成围绕所述自主移动机器人、沿水平方向和竖直方向向外延伸超出所述自主移动机器人的外周；以及
处理部，所述处理部被配置成接收来自所述多个LiDAR扫描的二维点数据，并且拼接所述二维点数据，以形成所述自主移动机器人周围的空间的三维图。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB1909386.3 | 2019-06-28 | ||
| GB1909386.3A GB2584914A (en) | 2019-06-28 | 2019-06-28 | Autonomous mobile aircraft inspection system |
| PCT/EP2020/067483 WO2020260272A1 (en) | 2019-06-28 | 2020-06-23 | Autonomous mobile aircraft inspection system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113597587A true CN113597587A (zh) | 2021-11-02 |
Family
ID=67539945
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080022842.0A Pending CN113597587A (zh) | 2019-06-28 | 2020-06-23 | 自主移动飞行器检查*** |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220187428A1 (zh) |
| EP (1) | EP3924794B1 (zh) |
| CN (1) | CN113597587A (zh) |
| GB (1) | GB2584914A (zh) |
| WO (1) | WO2020260272A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024088016A1 (zh) * | 2022-10-28 | 2024-05-02 | 同方威视技术股份有限公司 | 检查设备的自主检查方法、装置和电子设备 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4037447A4 (en) * | 2019-09-23 | 2022-09-21 | Fuji Corporation | PERIPHERY MONITORING DEVICE |
| CN112905955B (zh) * | 2021-01-27 | 2022-08-02 | 天津航天中为数据***科技有限公司 | 一种风机正反面自主巡检规划方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201303076D0 (en) * | 2013-02-21 | 2013-04-10 | Isis Innovation | Generation of 3D models of an environment |
| US9187188B2 (en) * | 2013-07-02 | 2015-11-17 | Premium Aerotec Gmbh | Assembly inspection system and method |
| FR3012425B1 (fr) * | 2013-10-24 | 2017-03-24 | European Aeronautic Defence & Space Co Eads France | Robot collaboratif d'inspection visuelle d'un aeronef |
| ITUA20161534A1 (it) * | 2016-03-10 | 2017-09-10 | Wpweb Srl | Procedimento per analizzare un velivolo, relativo sistema di analisi di un velivolo e sistema di sghiacciamento e/o antigelo |
| US10175361B2 (en) * | 2016-07-28 | 2019-01-08 | Sharp Laboratories Of America, Inc. | System and method for three-dimensional mapping using two-dimensional LiDAR laser ranging |
| US10445873B2 (en) * | 2017-02-23 | 2019-10-15 | The Boeing Company | Automated validation of condition of assembly |
| US10921816B2 (en) * | 2017-04-21 | 2021-02-16 | Korea Advanced Institute Of Science And Technology | Method and apparatus for producing map based on hierarchical structure using 2D laser scanner |
| US10989795B2 (en) * | 2017-11-21 | 2021-04-27 | Faro Technologies, Inc. | System for surface analysis and method thereof |
-
2019
- 2019-06-28 GB GB1909386.3A patent/GB2584914A/en not_active Withdrawn
-
2020
- 2020-06-23 CN CN202080022842.0A patent/CN113597587A/zh active Pending
- 2020-06-23 US US17/593,344 patent/US20220187428A1/en active Pending
- 2020-06-23 EP EP20736589.1A patent/EP3924794B1/en active Active
- 2020-06-23 WO PCT/EP2020/067483 patent/WO2020260272A1/en unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024088016A1 (zh) * | 2022-10-28 | 2024-05-02 | 同方威视技术股份有限公司 | 检查设备的自主检查方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020260272A1 (en) | 2020-12-30 |
| EP3924794B1 (en) | 2024-07-31 |
| EP3924794A1 (en) | 2021-12-22 |
| US20220187428A1 (en) | 2022-06-16 |
| GB201909386D0 (en) | 2019-08-14 |
| GB2584914A (en) | 2020-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102669474B1 (ko) | 항공기를 위한 레이저 스페클 시스템 | |
| JP6843773B2 (ja) | 環境の走査及び無人航空機の追跡 | |
| WO2022007198A1 (en) | Method and system for generating bird's eye view bounding box associated with object | |
| CN110612234B (zh) | 用于校准交通工具传感器的***和方法 | |
| CN109669468B (zh) | 测量装置、无人机及其控制装置、控制方法及存储介质 | |
| US10222808B2 (en) | Inspection system and method for performing inspections in a storage facility | |
| CN113597587A (zh) | 自主移动飞行器检查*** | |
| CA3006155A1 (en) | Positioning system for aerial non-destructive inspection | |
| KR101642828B1 (ko) | 다중 영상 기반 장애물 회피 시스템 및 방법 | |
| KR20180052045A (ko) | 레이저 스캐너를 이용한 대상 물체의 실시간 동적 위치 추적이 가능한 3ｄ 레이저 스캐너 시스템 | |
| CN109375629A (zh) | 一种巡逻车及其导航避障方法 | |
| US20230419531A1 (en) | Apparatus and method for measuring, inspecting or machining objects | |
| Kanellakis et al. | Autonomous visual inspection of large-scale infrastructures using aerial robots | |
| Cheong et al. | Development of collision avoidance system for useful UAV applications using image sensors with laser transmitter | |
| US12002193B2 (en) | Inspection device for inspecting a building or structure | |
| Kang et al. | Development of a peripheral-central vision system for small UAS tracking | |
| Hao et al. | Assessment of an effective range of detecting intruder aerial drone using onboard EO-sensor | |
| Jiang et al. | Target object identification and localization in mobile manipulations | |
| KR102445846B1 (ko) | 장애물 추적 시스템 및 장애물 추적 방법 | |
| Dinesh et al. | Using GPS and LASER optic position determination system for detailed visual recognition in mobile robot guidance. | |
| Bécsi et al. | 2d lidar-based localization for highly automated parking in previously mapped environment | |
| Dion et al. | ROS Based Adjustable Resolution Compact 3D Scanner | |
| JP2018044769A (ja) | 自己位置推定装置、移動体及び自己位置推定方法 | |
| CN118050733A (zh) | 定位***和方法 | |
| To et al. | Automated and frequent calibration of a robot manipulator-mounted ir range camera for steel bridge maintenance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |