CN110114193A - 机器人感测装置和传感器规划方法 - Google Patents

机器人感测装置和传感器规划方法 Download PDF

Info

Publication number
CN110114193A
CN110114193A CN201780080502.1A CN201780080502A CN110114193A CN 110114193 A CN110114193 A CN 110114193A CN 201780080502 A CN201780080502 A CN 201780080502A CN 110114193 A CN110114193 A CN 110114193A
Authority
CN
China
Prior art keywords
sensors
sensor
implemented method
sampling
computer implemented
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780080502.1A
Other languages
English (en)
Inventor
谢尔·南·林
大卫·斯科特·迪温斯基
边霄
韦恩·雷·格雷迪
穆斯塔法·戈卡恩·乌尊巴斯
穆斯塔法·德夫里姆·卡巴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN110114193A publication Critical patent/CN110114193A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37441—Use nc machining program, cad data for measuring, inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37448—Inspection process planner
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37451—Plan sensor placement for optimal inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40499—Reinforcement learning algorithm
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45066—Inspection robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本公开指向一种用于经由包括一个或多个传感器的装置获取样本的传感器规划的计算机实施的方法。该计算机实施的方法包括：通过一个或多个计算设备限定感兴趣的区域；通过一个或多个计算设备识别一个或多个传感器的一个或多个感测参数；通过一个或多个计算设备至少部分地基于一个或多个感测参数确定用于由一个或多个传感器获取多个样本的采样组合；通过一个或多个计算设备向包括一个或多个传感器的装置提供一个或多个命令控制信号，以至少基于采样组合使用一个或多个传感器获取感兴趣的区域的多个样本。

Description

机器人感测装置和传感器规划方法
技术领域
本公开大体涉及机器人感测装置和传感器规划方法。
背景技术
传感器规划是检查，测量和机器人定位，导航或相对于感兴趣的区域的映射中的一般要求。感兴趣的区域可以包括部件，部分，细节，组件或空间区域，诸如地理区域或其他2D或3D空间。另外，检查和测量方法以及自主机器人的一般要求是采用传感器以足够的细节和期望的完整性水平捕获感兴趣的区域的样本(例如图像或测量值)。
用于传感器规划的已知解决方案是利用手动编程的传感器规划，例如坐标系，路线或路径来捕获期望的感兴趣的区域。然而，手动编程的传感器规划通常需要不变的和/或基本上确定的感兴趣的区域。因此，偏离预编程规划的感兴趣的区域经常导致采样错误，遗漏或其他失败。
用于传感器规划的另一种已知解决方案可以包括对机器人编程以捕获大量样本，以确保以足够的细节和期望的完整性水平捕获感兴趣的区域。然而，捕获大量样本同样昂贵，耗时，并且导致冗余样本的数量低效。另外，未知的标称的感兴趣的区域或相对于标称的感兴趣的区域的变化，可能类似地导致捕获期望的感兴趣的区域的错误，遗漏或失败。
因此，存在对机器人感测***和传感器规划方法的需求，该机器人感测***和传感器规划方法可以以足够的细节和完整性捕获期望的和/或可能未知的或改变的感兴趣的区域的样本，同时最小化冗余和时间。
发明内容
本发明的方面和优点将部分地在以下描述中阐述，或者可以从描述中显而易见，或者可以通过实践本发明来学习。
本公开指向一种用于经由包括一个或多个传感器的装置获取样本的传感器规划的计算机实施的方法。该计算机实施的方法包括：通过一个或多个计算设备限定感兴趣的区域；通过一个或多个计算设备识别一个或多个传感器的一个或多个感测参数；通过一个或多个计算设备至少部分地基于一个或多个感测参数确定用于由一个或多个传感器获取多个样本的采样组合；以及通过一个或多个计算设备向包括一个或多个传感器的装置提供一个或多个命令控制信号，以至少基于采样组合使用一个或多个传感器获取感兴趣的区域的多个样本。
本公开的另一方面指向一种用于传感器规划的机器人感测装置。该装置包括一个或多个传感器和计算设备，其中计算设备包括一个或多个处理器和一个或多个存储器设备。一个或多个存储器设备存储指令，当该指令由一个或多个处理器执行时使得一个或多个处理器执行操作。该操作包括：接收感兴趣的领域；接收一个或多个传感器的一个或多个传感参数；确定用于由一个或多个传感器获取多个样本的采样组合；和至少基于采样组合使用一个或多个传感器获取多个样本。
本公开的又一方面指向一种用于传感器规划的装置。该装置包括平移机器人装置，安装到平移机器人装置的一个或多个传感器，和构造成操作平移机器人装置和一个或多个传感器的一个或多个计算设备。
参考以下描述和所附权利要求，将更好地理解本发明的这些和其他特征，方面和优点。包含在本说明书中并构成其一部分的附图示出了本发明的实施例，并与说明书一起用于解释本发明的原理。
附图说明
在说明书中阐述了指向本领域普通技术人员的本发明的完整且可行的公开，包括其最佳模式，其参考附图，其中：
图1是机器人感测装置的示例性实施例；
图2是另一机器人感测装置的示例性实施例；
图3是概述示例性传感器规划方法的流程图；和
图4是又一机器人感测装置的示例性实施例。
在本说明书和附图中重复使用的参考标记旨在表示本发明的相同或类似的特征或元件。
具体实施方式
现在将详细参考本发明的实施例，其一个或多个示例在附图中示出。提供每个实施例是为了解释本发明，而不是限制本发明。事实上，对于本领域技术人员来说显而易见的是，在不脱离本发明的范围或精神的情况下，可以在本发明中进行各种修改和变化。例如，作为一个实施例的一部分示出或描述的特征可以与另一个实施例一起使用，以产生又一个实施例。因此，本发明旨在覆盖落入所附权利要求及其等同物的范围内的这些修改和变化。
如本文所使用的，术语“第一”，“第二”和“第三”可以互换使用以将一个部件与另一个部件区分开，并且不旨在表示各个部件的位置或重要性。
大体提供一种机器人感测装置和传感器规划方法，其可以捕获感兴趣的区域的样本，同时最小化冗余和时间。本文描述的方法和***可以包括步骤或操作，该步骤或操作可以以期望的分辨率和完整性水平捕获感兴趣的区域(例如部件，组件或地理区域)的样本，同时最小化用于捕获感兴趣的区域的样本(例如图像或测量值)数量。本文描述的机器人感测装置和方法的各种实施例可以利用深度学***上捕获感兴趣的区域。
现在参考图1和图2，用于传感器规划的机器人感测装置90(本文称为“装置90”)包括获取感兴趣的区域130的样本的一个或多个传感器110。一个或多个传感器110可包括成像设备，接近传感器或其组合。在一个实施例中，成像设备通常可包括相机。在另一实施例中，成像设备可具体地包括干涉仪，例如但不限于光学相干断层扫描(例如，白光扫描仪或蓝光扫描仪)。在其他实施例中，一个或多个传感器110包括接近传感器，其中接近传感器通常可以包括可以发射和/或检索电磁信号并处理所述电磁信号的变化的传感器。例如，接近传感器可以包括，但不限于电容式，红外线，感应式，磁性，声波或超声波接近传感器，雷达，LIDAR或激光测距仪。在各种实施例中，一个或多个传感器110可包括成像设备和/或接近传感器的组合。在各种实施例中，一个或多个传感器110以各种分辨率，角度，距离，取向，采样或测量速率，频率等获取样本，该样本包括图像或测量值。
在一个实施例中，装置90包括可平移机器人装置100(本文称为“机器人100”)。机器人100可包括可移动固定装置，例如图1和图2中所示的机械臂，或自主移动航行器，例如图4中所示的无人机。机器人100，一个或多个传感器110和/或感兴趣的区域130的平移可以包括，但不限于，以恒定或可变的运动速率的六轴运动(例如，上/下，左/右，前/后等)，枢转，转动，旋转和/或位移。在图1和图2所示的实施例中，传感器110可以安装到机器人100，其中机器人100以相对于感兴趣的区域130的各种角度或距离将传感器110平移到感兴趣的区域130的各个部分131。
在装置90的其他实施例中，机器人100可以相对于一个或多个传感器110平移感兴趣的区域130。例如，机器人100(例如机械臂)可以相对于一个或多个固定传感器110平移感兴趣的区域130。机器人100可以将感兴趣的区域130平移到相对于一个或多个传感器110的各种距离，角度和/或取向。
现在参考图3，大体提供概述传感器规划方法300(本文称为“方法300”)的示例性实施例的步骤的流程图。图3中示出的方法300可以由关于图1和图2示出和描述的装置90实施。方法300还可以由一个或多个计算设备(诸如关于图4描述的计算设备120)实施。图3描绘了出于说明和讨论的目的以特定顺序执行的步骤。使用本文提供的公开内容，本领域普通技术人员将理解，在不偏离本公开的范围的情况下，可以以各种方式修改，调整，扩展，重新布置和/或省略本文公开的任何方法的各个步骤。
方法300可以包括，在(310)处通过一个或多个计算设备限定感兴趣的区域，在(320)处通过一个或多个计算设备识别一个或多个传感器的一个或多个感测参数，在(330)处通过一个或多个计算设备至少部分地基于一个或多个感测参数确定用于由一个或多个传感器获取多个样本的采样组合，以及在(340)处通过一个或多个计算设备向包括一个或多个传感器的装置提供一个或多个命令控制信号，以至少基于采样组合使用一个或多个传感器获取感兴趣的区域的多个样本。
在(310)处，方法300可以包括限定感兴趣的区域。在一个实施例中，限定感兴趣的区域包括接收点云。接收点云可以包括接收感兴趣的区域的图像文件，例如计算机辅助设计(CAD)文件。图像文件可以包括感兴趣的区域的标称文件，来自传感器的样本可以相对于该标称文件测量。
在另一实施例中，限定感兴趣的区域可包括限定机器人和/或一个或多个传感器可在其中操作的有限空间，例如图1，2和4中所示的机器人100和/或一个或多个传感器110。例如，机器人100可以平移的程度可以在空间上受到限制。在一个示例中，作为机械臂的机器人100可以在其运动，伸展等范围内受到限制。在另一个示例中，作为无人机的机器人100可以在地理上受到坐标，操作范围或操作包络(例如高度，速度，可操纵性等)的限制。因此，限定感兴趣的区域可以包括限定样本可以在其中采集的2D或3D空间。
在其他实施例中，限定感兴趣的区域可以包括采集感兴趣的区域的样本。例如，采集感兴趣的区域的样本可以包括采集广泛地捕获感兴趣的区域的样本，包括感兴趣的区域的边缘。广泛地捕获感兴趣的区域可以包括以低分辨率，或在离感兴趣的区域很大距离处，或以最小的细节采样，以获得和限定感兴趣的区域的周边。在各种实施例中，广泛地捕获感兴趣的区域可以包括捕获由坐标，操作范围，操作包络等限制的限定的空间区域。在其他实施例中，广泛地捕获感兴趣的区域可以取决于一个或多个传感器的最大采样区域，使得感兴趣的区域可以由一个或多个感测参数限定。
在(320)处，方法300包括识别一个或多个传感器的一个或多个感测参数。在一个实施例中，识别一个或多个感测参数可以包括限定测量分辨率，视场和/或景深中的一个或多个。限定测量分辨率可以包括限定横向分辨率，透镜分辨率，图像分辨率和/或传感器分辨率。限定传感器分辨率可以包括限定空间和/或时间传感器分辨率。
在另一个实施例中，识别一个或多个感测参数可以包括限定由一个或多个传感器覆盖的总区域。例如，限定由一个或多个传感器覆盖的总区域可以是所限定的前述分辨率中的一个或多个的函数。作为另一个非限制性示例，例如关于图1，2和4所示出和描述的，限定覆盖的总区域可以近似等于或小于由一个或多个传感器110捕获的感兴趣的区域130的部分131。在一个实施例中，由一个或多个传感器覆盖的总区域可以是至少基于期望的样本质量的所限定的前述分辨率和附加的用户限定的限制中的一个或多个的函数。例如，限定覆盖的总区域可以包括至少基于用户限定的限制的限定的一个或多个传感器的硬件能力和所述硬件能力的子集。用户限定的限制通常可以基于用户限定的良好的可见性标准。良好的可见性标准可以至少基于一个或多个传感器的测量分辨率，视场和/或景深。
在(320)处的其他实施例中，识别一个或多个感测参数可以包括计算感兴趣的区域的至少一部分的曲率和/或法向矢量。计算曲率和/或法向矢量可以至少基于(310)中限定的点云或图像文件的表面。法向矢量可以限定一个或多个传感器中心。例如，参考图1和图2，法向矢量可以相对于感兴趣的区域130的部分131限定一个或多个传感器110的一个或多个中心线111。作为另一个非限制性示例，法向矢量可以限定相对于感兴趣的区域130或其部分131的传感器110的视角112。
在(330)处，方法300包括至少部分地基于一个或多个感测参数确定用于由一个或多个传感器获取多个样本的采样组合。采样组合可以是依据捕获感兴趣的区域的感兴趣的区域的样本的组合。感兴趣的区域的样本的组合可以包括传感器和/或感兴趣的区域相对于彼此的平移。采样组合还可以是相对于传感器和/或感兴趣的区域的平移的感测参数的组合。在各种实施例中，采样组合可以包括用于捕获感兴趣的区域的感兴趣的区域的各个部分的样本的组合。例如，参考图1，2或4，采样组合可以包括在感兴趣的区域130的各个部分131处的平移和/或感测参数的特定序列，直到捕获感兴趣的区域130。平移和/或感测参数的特定序列可以包括用于从感兴趣的区域130的部分131捕获的每个样本的一个或多个传感器110相对于感兴趣的区域130的距离，角度和/或分辨率。
确定要由一个或多个传感器获取的采样组合还可以包括确定要获取的最小的样本数量以捕获感兴趣的区域。在一个实施例中，确定要由一个或多个传感器获取的采样组合可以包括至少基于计分函数来选择采样组合，
用于一个或多个采样组合(c0,c1,…,cr)。覆盖的总区域至少基于一个或多个感测参数或感兴趣的区域的部分。重叠边缘是冗余于(例如重叠于)先前样本的样本量。拉姆达λ是重叠指数。重叠指数是支持样本与先前样本之间重叠的因子。例如，λ＝0可以不支持重叠并支持采样组合，包括具有大的覆盖的总区域的样本。然而，λ＝0可能导致其中感兴趣的区域的部分在样本之间未被捕获的采样组合。作为另一示例，λ>0可以支持重叠以确保捕获样本(例如，间隙)之间的感兴趣的区域的部分。然而，对于给定的采样组合，λ>0可能导致大量样本，或传感器或感兴趣的区域的平移，以捕获感兴趣的区域。
在另一实施例中，确定由一个或多个传感器获取的采样组合可以包括，在(332)处至少基于强化学习(RL)算法确定重叠指数的组合，在(334)处至少基于由一个或多个传感器覆盖的总区域，重叠边缘和一个或多个重叠指数计算一个或多个采样组合的计分函数，并且在(336)处选择对应于最大计分函数的采样组合。
在(332)处，方法300可以包括使用状态-动作-结果-状态-动作(SARSA)，Q-学***来最小化对感兴趣的区域获取的样本数量。在各种实施例中，Q-学***捕获感兴趣的区域的最小的样本数量。确定重叠指数的组合可以包括确定零和非零重叠指数的组合，其可以导致最大计分函数，同时将最小的样本数量中的感兴趣的区域捕获到期望的完整性水平。
在(340)处，方法300包括至少基于采样组合使用一个或多个传感器获取多个样本。在一个实施例中，获取多个样本可以包括相对于彼此平移一个或多个传感器和/或感兴趣的区域。例如，参考图1，2或4，一个或多个传感器110和/或感兴趣的区域130可以安装到机器人100，并且平移以捕获感兴趣的区域130的多个部分131处的样本，直到感兴趣的区域130以期望的细节和完整性被捕获。在另一个实施例中，方法300可以被实施为使用所确定的采样组合来确定相对于感兴趣的区域的一个或多个传感器的位置，放置，设置，取向，距离等。例如，在所限定的感兴趣的区域内，例如2D或3D空间，所确定的采样组合可以提供传感器的位置，放置和取向，使得利用最少的传感器数量将2D或3D空间内的感兴趣的区域捕获到期望的细节和完整性水平。
图4描绘了根据本公开的示例性实施例的示例装置90。装置90可包括一个或多个传感器110，机器人100和一个或多个计算设备120。在一个实施例中，机器人100限定机械臂，例如关于图1和2所示。在另一个实施例中，例如图4所示，机器人100限定了自主移动航行器，例如无人机。如本文所述，一个或多个传感器120，机器人100和/或计算设备120可以被构造为经由一个或更多网络410通信，该网络410可以包括用于传输通信和/或数据的任何合适的有线和/或无线通信链路。例如，网络410可以包括SATCOM网络，ACARS网络，ARINC网络，SITA网络，AVICOM网络，VHF网络，HF网络，Wi-Fi网络，WiMAX网络，gatelink网络等。
计算设备120可以包括一个或多个处理器121和一个或多个存储器设备122。一个或多个处理器121可以包括任何合适的处理设备，例如微处理器，微控制器，集成电路，逻辑设备和/或其他合适的处理设备。一个或多个存储器设备122可以包括一个或多个计算机可读介质，包括但不限于非暂时性计算机可读介质，RAM，ROM，硬盘驱动器，闪存驱动器和/或其他存储器设备。
一个或多个存储器设备122可以存储可由一个或多个处理器121访问的信息，包括可以由一个或多个处理器121执行的计算机可读指令123。指令123可以是任何指令集，当其由一个或多个处理器121执行时，使得一个或多个处理器121执行操作。在一些实施例中，指令123可以由一个或多个处理器121执行以使得一个或多个处理器121执行操作，诸如计算设备120被构造用于的任何操作和功能，如本文所述的用于传感器规划的操作(例如，方法300)，用于限定或接收感兴趣的区域的操作，用于识别或接收一个或多个传感器的一个或多个感测参数的操作，用于至少部分地基于一个或多个感测参数确定用于由一个或多个传感器获取多个样本的采样组合的操作，用于至少基于采样组合使用一个或多个传感器获取感兴趣的区域的多个样本的操作，和/或一个或多个计算设备120的任何其他操作或功能。指令123可以是以任何合适的编程语言编写的或者可以在硬件中实施的软件。另外，和/或替代地，指令123可以在处理器121上的逻辑和/或虚拟分离的线程中执行。存储器设备122还可以存储可以由处理器121访问的数据124。例如，数据124可以包括样本，采样组合，感测参数，限定的感兴趣的区域，计分函数，RL算法，重叠指数的组合，和/或任何其他数据和/或本文描述的信息中的一个或多个。
例如，计算设备120还可以包括用于与装置90的其他部件通信(例如，经由网络410)的网络接口125。网络接口125可以包括用于与一个或多个网络接口的任何合适的部件，包括例如发射器，接收器，端口，控制器，天线和/或其他合适的部件。
本文讨论的技术参考基于计算机的***，和由基于计算机的***采取的行动，以及发送给基于计算机的***的信息和来自基于计算机的***的信息。本领域普通技术人员将认识到，基于计算机的***的固有灵活性允许部件之间的各种可能的构造，组合以及任务和功能的划分。例如，这里讨论的处理可以使用单个计算设备或组合工作的多个计算设备来实施。数据库，存储器，指令和应用程序可以在单个***上实施，或者可以跨多个***分布。分布部件可以顺序或并行操作。
本书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域任何技术人员能够实践本发明，包括制造和使用任何设备或***以及执行任何结合的方法。本发明的可专利范围由权利要求限定，并且可包括本领域技术人员想到的其他示例。如果这些其他示例包括与权利要求的字面语言没有不同的结构元件，或者如果它们包括与权利要求的字面语言无实质差别的等效结构元件，则这些其他示例意图落入权利要求的范围内。

Claims (20)

1.一种用于经由包括一个或多个传感器的装置获取样本的传感器规划的计算机实施方法，其特征在于，所述计算机实施方法包括：
通过一个或多个计算设备，限定感兴趣区域；
通过所述一个或多个计算设备，识别所述一个或多个传感器的一个或多个感测参数；
通过所述一个或多个计算设备，至少部分地基于所述一个或多个感测参数，确定用于由所述一个或多个传感器获取多个样本的采样组合；和
通过所述一个或多个计算设备，向包括所述一个或多个传感器的所述装置提供一个或多个命令控制信号，以至少基于所述采样组合，使用所述一个或多个传感器获取所述感兴趣区域的所述多个样本。
2.根据权利要求1所述的计算机实施方法，其特征在于，其中确定由所述一个或多个传感器获取的采样组合包括：
通过一个或多个计算设备，至少基于强化学习算法确定重叠指数的组合；
通过一个或多个计算设备，至少基于由所述一个或多个传感器覆盖的总区域、重叠边缘和所述一个或多个重叠指数，计算一个或多个采样组合的计分函数；和
通过一个或多个计算设备，选择对应于最大计分函数的所述采样组合。
3.根据权利要求2所述的计算机实施方法，其特征在于，其中所述强化学习算法包括使用SARSA、Q-学习和策略梯度强化学习算法中的至少一个。
4.根据权利要求2所述的计算机实施方法，其特征在于，其中至少基于强化学习算法确定重叠指数的组合包括确定零和非零重叠指数的组合。
5.根据权利要求1所述的计算机实施方法，其特征在于，其中确定用于由所述一个或多个传感器获取多个样本的采样组合至少基于计分函数，其中所述计分函数是覆盖的总区域、重叠边缘和重叠指数中的至少一个的函数。
6.根据权利要求1所述的计算机实施方法，其特征在于，其中识别一个或多个感测参数包括计算所述感兴趣区域的至少一部分的曲率和/或法向矢量。
7.根据权利要求1所述的计算机实施方法，其特征在于，其中识别一个或多个感测参数包括限定由所述一个或多个传感器覆盖的总区域。
8.根据权利要求1所述的计算机实施方法，其特征在于，其中识别一个或多个感测参数包括限定测量分辨率、视场和/或景深中的一个或多个。
9.根据权利要求1所述的计算机实施方法，其特征在于，其中限定感兴趣区域包括接收点云。
10.根据权利要求1所述的计算机实施方法，其特征在于，其中限定感兴趣区域包括限定所述一个或多个传感器在其中操作的有限空间。
11.根据权利要求1所述的计算机实施方法，其特征在于，其中获取所述多个样本包括平移一个或多个传感器和/或平移所述感兴趣区域。
12.根据权利要求1所述的计算机实施方法，其特征在于，其中识别一个或多个感测参数包括限定所述一个或多个传感器的一个或多个平移。
13.根据权利要求1所述的计算机实施方法，其特征在于，其中所述一个或多个传感器是成像设备、接近传感器或其组合。
14.一种用于传感器规划的机器人感测装置，其特征在于，所述装置包括一个或多个传感器和计算设备，所述计算设备包括一个或多个处理器和一个或多个存储器设备，所述一个或多个存储器设备存储指令，当所述指令由所述一个或多个处理器执行时，使得所述一个或多个处理器执行操作，所述操作包括：
接收感兴趣区域；
接收所述一个或多个传感器的一个或多个感测参数；
确定用于由所述一个或多个传感器获取多个样本的采样组合；和
至少基于所述采样组合，使用所述一个或多个传感器获取所述多个样本。
15.根据权利要求14所述的装置，其特征在于，其中确定由所述一个或多个传感器获取的所述感兴趣区域的采样组合进一步包括：
至少基于强化学习算法确定重叠指数的组合；
至少基于由所述一个或多个传感器覆盖的总区域、重叠边缘和所述一个或多个重叠指数，计算一个或多个采样组合的计分函数；和
选择对应于最大计分函数的所述采样组合。
16.根据权利要求15所述的装置，其特征在于，其中至少基于强化学习算法确定重叠指数的组合包括使用SARSA、Q-学习或策略梯度强化学习算法。
17.根据权利要求15所述的装置，其特征在于，其中至少基于强化学习算法确定重叠指数的组合包括确定零和非零重叠指数的组合。
18.根据权利要求14所述的装置，其特征在于，其中获取所述多个样本包括平移一个或多个传感器和/或平移所述感兴趣区域。
19.根据权利要求14所述的装置，其特征在于，其中所述一个或多个传感器是成像设备、接近传感器或其组合。
20.一种用于传感器规划的装置，其特征在于，所述装置包括：
平移机器人装置；
一个或多个传感器，所述一个或多个传感器安装在所述平移机器人装置上；和
一个或多个计算设备，所述一个或多个计算设备被构造成操作所述平移机器人装置和所述一个或多个传感器。
CN201780080502.1A 2016-11-03 2017-10-11 机器人感测装置和传感器规划方法 Pending CN110114193A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/342,500 2016-11-03
US15/342,500 US10265850B2 (en) 2016-11-03 2016-11-03 Robotic sensing apparatus and methods of sensor planning
PCT/US2017/056072 WO2018085013A1 (en) 2016-11-03 2017-10-11 Robotic sensing apparatus and methods of sensor planning

Publications (1)

Publication Number Publication Date
CN110114193A true CN110114193A (zh) 2019-08-09

Family

ID=60268449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780080502.1A Pending CN110114193A (zh) 2016-11-03 2017-10-11 机器人感测装置和传感器规划方法

Country Status (7)

Country Link
US (1) US10265850B2 (zh)
EP (1) EP3535096B1 (zh)
JP (1) JP2019536143A (zh)
CN (1) CN110114193A (zh)
BR (1) BR112019008633A2 (zh)
CA (1) CA3041787A1 (zh)
WO (1) WO2018085013A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111823258A (zh) * 2020-07-16 2020-10-27 吉林大学 一种剪切波弹性成像检测机械臂
CN114986488A (zh) * 2022-07-18 2022-09-02 佛山市科华智缝设备有限公司 一种面料插针抓取机械手

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3841440B1 (en) * 2018-10-25 2023-05-24 Siemens Aktiengesellschaft A method for computer-implemented determination of sensor positions in a simulated process of an automation system
CN109665114B (zh) * 2018-12-03 2022-04-12 中理检验有限公司 一种对海水取样的无人机云台
CN110630596B (zh) * 2019-10-17 2020-04-17 山东大学 一种水下冗余液压机械臂及其工作方法
US11216005B1 (en) * 2020-10-06 2022-01-04 Accenture Global Solutions Limited Generating a point cloud capture plan

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240434A (ja) * 2006-03-10 2007-09-20 Omron Corp 表面状態の検査方法および表面状態検査装置
US20110033254A1 (en) * 2009-08-06 2011-02-10 Kmt Robotic Solutions, Inc. System And Method Of Locating Relative Positions Of Objects
JP2015230729A (ja) * 2014-06-03 2015-12-21 三菱電機株式会社 環境内の１組のセンサーの経路を計画する方法
CN105473182A (zh) * 2013-07-31 2016-04-06 皇家飞利浦有限公司 治疗规划的自动化

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4531192A (en) * 1982-09-23 1985-07-23 Crc Welding Systems, Inc. Apparatus and method for sensing a workpiece with an electrical arc
US5831621A (en) * 1996-10-21 1998-11-03 The Trustees Of The University Of Pennyslvania Positional space solution to the next best view problem
US20020169586A1 (en) 2001-03-20 2002-11-14 Rankin James Stewart Automated CAD guided sensor planning process
US7111783B2 (en) 2004-06-25 2006-09-26 Board Of Trustees Operating Michigan State University Automated dimensional inspection
BRPI0808506A2 (pt) * 2007-03-07 2014-11-04 Kmt Robotic Solutions Inc Métodos para executar uma operação de fabricação em uma peça de trabalho usando uma montagem robótica, e usando uma montagem de braço robótico.
US20100030382A1 (en) * 2008-07-31 2010-02-04 University Of Medicine And Dentistry Of New Jersey Inhalable particulate environmental robotic sampler
DE102008045387B4 (de) * 2008-09-02 2017-02-09 Carl Zeiss Ag Vorrichtung und Verfahren zum Vermessen einer Oberfläche
KR101750340B1 (ko) * 2010-11-03 2017-06-26 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
KR20140116551A (ko) * 2012-01-31 2014-10-02 쓰리엠 이노베이티브 프로퍼티즈 캄파니 표면의 삼차원 구조를 측정하는 방법 및 장치
CN102721746A (zh) * 2012-07-04 2012-10-10 北京理工大学 一种双机械手超声透射检测装置
US9075415B2 (en) 2013-03-11 2015-07-07 Airphrame, Inc. Unmanned aerial vehicle and methods for controlling same
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
JP6306903B2 (ja) 2014-03-06 2018-04-04 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
US10618174B2 (en) * 2014-12-09 2020-04-14 Aeolus Robotics, Inc. Robotic Touch Perception
US9946259B2 (en) * 2015-12-18 2018-04-17 Raytheon Company Negative obstacle detector
US10245724B2 (en) * 2016-06-09 2019-04-02 Shmuel Ur Innovation Ltd. System, method and product for utilizing prediction models of an environment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007240434A (ja) * 2006-03-10 2007-09-20 Omron Corp 表面状態の検査方法および表面状態検査装置
US20110033254A1 (en) * 2009-08-06 2011-02-10 Kmt Robotic Solutions, Inc. System And Method Of Locating Relative Positions Of Objects
CN105473182A (zh) * 2013-07-31 2016-04-06 皇家飞利浦有限公司 治疗规划的自动化
JP2015230729A (ja) * 2014-06-03 2015-12-21 三菱電機株式会社 環境内の１組のセンサーの経路を計画する方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111823258A (zh) * 2020-07-16 2020-10-27 吉林大学 一种剪切波弹性成像检测机械臂
CN114986488A (zh) * 2022-07-18 2022-09-02 佛山市科华智缝设备有限公司 一种面料插针抓取机械手
CN114986488B (zh) * 2022-07-18 2023-05-05 佛山市科华智缝设备有限公司 一种面料插针抓取机械手

Also Published As

Publication number Publication date
CA3041787A1 (en) 2018-05-11
BR112019008633A2 (pt) 2019-07-09
EP3535096A1 (en) 2019-09-11
EP3535096B1 (en) 2020-09-02
US20180117760A1 (en) 2018-05-03
US10265850B2 (en) 2019-04-23
WO2018085013A1 (en) 2018-05-11
JP2019536143A (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
CN110114193A (zh) 机器人感测装置和传感器规划方法
CN110411441B (zh) 用于多模态映射和定位的***和方法
KR102347239B1 (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
CN108801268B (zh) 目标对象的定位方法、装置及机器人
CN109425348B (zh) 一种同时定位与建图的方法和装置
CN104732514B (zh) 用于处理高度图的设备、***和方法
US20200233061A1 (en) Method and system for creating an inverse sensor model and method for detecting obstacles
CN111380510B (zh) 重定位方法及装置、机器人
KR102396929B1 (ko) 지오아크를 이용한 2차원 운송수단 국소화
CN110411435B (zh) 机器人定位方法、装置以及机器人
US11029399B2 (en) System and method for calibrating light intensity
KR102075844B1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
KR102387679B1 (ko) 지오아크를 이용한 3차원 운송수단 국소화
WO2021056516A1 (zh) 目标检测方法、设备及可移动平台
US20210033706A1 (en) Methods and systems for automatically labeling point cloud data
CN111798507A (zh) 一种输电线安全距离测量方法、计算机设备和存储介质
JP2017524932A (ja) ビデオ支援着艦誘導システム及び方法
CN105043341B (zh) 无人机对地高度的测量方法及装置
KR102130687B1 (ko) 다중 센서 플랫폼 간 정보 융합을 위한 시스템
CN108564626A (zh) 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置
US20180274918A1 (en) Three-dimensional measurement apparatus, non-transitory computer readable medium, and three-dimensional measurement system
CN113777615B (zh) 室内机器人的定位方法、***及清洁机器人
KR102339472B1 (ko) 3차원 공간 모델 생성 방법 및 장치
CN117148315B (zh) 一种无人驾驶汽车运行检测方法及***
Albrecht An analysis of visual mono-slam

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination