CN112969557A - 用于将机器学习应用于应用的方法和*** - Google Patents

用于将机器学习应用于应用的方法和*** Download PDF

Info

Publication number
CN112969557A
CN112969557A CN201880099492.0A CN201880099492A CN112969557A CN 112969557 A CN112969557 A CN 112969557A CN 201880099492 A CN201880099492 A CN 201880099492A CN 112969557 A CN112969557 A CN 112969557A
Authority
CN
China
Prior art keywords
application
program
candidate parameters
candidate
simulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880099492.0A
Other languages
English (en)
Inventor
D·克莱韦尔
F·戴
M·迪克斯
B·克莱佩尔
A·M·科特里瓦拉
P·罗德里格斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Schweiz AG
Original Assignee
ABB Schweiz AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB Schweiz AG filed Critical ABB Schweiz AG
Publication of CN112969557A publication Critical patent/CN112969557A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40311—Real time simulation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40499—Reinforcement learning algorithm

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

一种将机器学习、特别是将基于参数的机器学习应用于应用的方法，包括下列步骤：a)由学习器(20)生成候选参数集合（PC）；b)基于候选参数集合（PC）在至少一个仿真应用(51，52)中执行程序(80)，并且基于程序(80)的执行的测量性能信息来提供候选参数的被测集合(PC1，PC2)的中间结果(R1，R2)；c)通过训练器(30)收集预定数量的中间结果(R1，R2)，并且基于候选参数(PC)与测量性能信息的组合来提供最终结果(R)；以及d）由所述学习器(20)基于最终结果(R)来生成新候选策略(P)，以用于通过未改变的程序（80）来执行。

Description

用于将机器学习应用于应用的方法和***
本公开涉及用于将机器学习应用于应用的方法、用于将机器学习应用于应用的***、参数集合以及程序元件。
应用程序(特别是工业应用程序，例如机器人应用程序)的参数的调谐是繁琐和费时任务，以及通常在调试期间进行并且通常延迟生产的开始。
机器学习能够提供改进。然而，机器学习要求较大量的数据，特别是因为数据的一些部分仅用于训练，而其他部分用于学习。在许多工业应用中，很难得到用于机器学习的充分数量的数据。学习方法需要能够应对这个必要条件。
常见方式是所谓的探索性学习。在这种学习方法中，学习搜索新的可能性和备选方案，以通过连续实验活动来适合环境变化。但是，探索性学习在真实硬件上是相对高费用、危险并且很经常甚至不是可能的。
例如，用于机器人应用的机器学习通常使用机器学习来开始学习机器人的基本运动。由此，机器学习算法特别修改机器人应用中执行的程序，以便改进待解决任务。
不是对真实工业应用来应用机器学***(例如控制器、运动、任务)必须精心选择成防止现实差距(所述现实差距是仿真应用与真实应用之间的差距)具有严重后果。另外，在大多数情况下，对于学习过程所要求的时间对于实际应用通常过长。另外，用于具有约束的完整定义的参数的优化过程的定义极为困难。
因此，存在对于用于将机器学习应用于应用的改进方法的需要。
按照本公开的方面，提供一种用于将机器学习(特别是基于参数的机器学习)应用于应用的方法，包括下列步骤：
a) 由学习器生成候选参数集合；
b) 基于候选参数集合在至少一个仿真应用中执行程序，并且基于程序的执行的测量性能信息来提供候选参数的被测集合的中间结果；
c) 通过训练器收集预定数量的中间结果，并且基于候选参数与测量性能信息的组合来提供最终结果；以及
d) 由学习器基于最终结果来生成候选参数的新集合，以用于通过未改变的程序来执行。
仿真应用优选地是真实应用的仿真。进一步优选地，仿真应用是在机器(特别是机器人)上执行的真实工业应用(特别是真实机器人应用)的仿真。
所描述的用于应用机器学习的方法也可以被描述为“黑盒”学习。通常，仅应用（特别是应用程序）的参数及其值能够通过机器学习来识别和改进。在该方法期间，实际应用程序保持不变。换言之，黑盒指的是这样一个事实，即，学习框架的任何组成部分都不会利用有关应用的状态和条件的信息，或者在真实应用的情况下都不会利用机器的关于状态和条件的信息
仿真应用优选地在仿真模型上执行。仿真应用优选地进一步包括应用程序和应用控制。
例如，当真实应用是真实机器人应用时，仿真应用优选地包括机器人应用程序和机器人控制，包括机器人与机器人环境对象之间的交互。
通过使用仿真应用(特别是分布式仿真集合)基于真实应用来补充机器学习，能够得到对于正确机器学习所必需的增加数量的学习数据。因此，学习过程的速度能够增加。
学习器优选地配置成除了基于应用的性能信息生成候选参数的新集合以外还生成候选参数的初始集合。学习器优选地包括机器学习后端。在有利实施例中，学习器将适当学习算法用于生成候选参数。优选地，学习算法是用于优化的任何种类的元启发，例如遗传算法、禁忌搜索或仿真退火。
性能信息优选地包括不同元素，例如失败、成功、成功概率、循环时间等。
不要求候选参数集合的可行性预先被定义。优选地，通过候选参数的不可行集合所引起的执行中的差错将通过性能信息来标记。在仿真应用中的程序基于候选参数的不可行集合的情况下，仿真被重置，以及学习过程继续进行候选参数的下一个集合。
优选地，候选参数集合包括用于与执行程序的机器的移动和/或任务(例如比如与机器人拾取对象相关)、用于对象的搜索半径和/或搜索模式和/或描述搜索的粒度的增量相关的程序的功能的参数。
优选地，在一个或多个仿真应用中执行的程序总是相同的。
对于特征在于其与预定标准有关的性能的最大改进的真实应用，最终结果优选地是参数集合。例如，用于搜索和拾取对象的真实机器人应用中的预定标准将包括搜索时间和成功概率。
在优选实施例中，在至少一个仿真应用中并且在优选地在机器上(特别在机器人上)执行的至少一个真实应用(特别是真实机器人应用)中执行程序。优选地，在一个或多个仿真应用中并且在至少一个真实应用中同时执行程序。
优选地在机器上执行真实应用，进一步优选地在机器人上执行真实机器人应用。
真实机器人应用优选地包括具有机械操纵器、机器人控制和机器人应用程序以及非机器人元件(例如可编程逻辑控制器(PLC)、材料运输、机器加工中心等)的机器人应用。
在仿真应用和真实应用中同时执行程序减少所谓的现实差距。仿真应用几乎从来不是真实应用的精确镜像。因此，当采用候选参数的相同集合来执行对应程序时，仿真应用的最终结果通常与真实应用的最终结果有所不同。在将机器学习仅应用于仿真应用时，存在关于机器学习算法在某个方向上发展的增加可能性，这改进仿真应用的最终结果，但是没有按照相同方式改进真实应用的最终结果。在这个意义上，存在仿真与现实之间的差距，称作现实差距。这个现象能够导致经过仅基于仿真应用的机器学习所提出的最终结果，该最终结果实际上似乎是最佳最终结果，但是考虑到真实应用未必是最佳最终结果。
同时地在这种情况下考虑到由候选参数的一个或多个完整集合的执行必须被理解为同时地。例如，不需要以与在机器人应用中执行程序完全相同的时间来执行仿真应用中的程序。
因此，在整个学习方法的运行时期间，能够存在仅在仿真应用中或者仅在真实应用中执行程序的时间。优选地，当探索性学习被应用于仿真应用时，仅在仿真应用中执行程序。当探索性学习完成时，也再次在真实应用中执行程序。进一步优选地，在仿真应用中并且在真实应用中互补和/或冗余地并行执行程序。
在一个或多个仿真应用以及真实应用中执行相同程序。
优选地，真实应用还基于候选参数集合来执行，并且开始附加机器学习过程，进一步优选地采用机载算法、与所述方法分离并且由此无需***应用所述方法地进行。
在优选实施例中，在协作真实应用（优先地为协作机器）中执行程序，其中候选参数集合定义对协作真实应用的每个的任务指配。
学习的特例在学习对单元中的若干机器(特别是机器人)的任务指配。候选参数集合定义单独机器执行哪一个子任务，例如当与若干机器人臂相关时，它按照候选参数“对象类型”或“拾取位置”组装哪些部件。
在优选实施例中，在没有改变程序的情况下重复进行步骤a)至d)，直到满足停止标准为止。其中优选地，停止标准包括程序的执行量和/或目标测量性能信息。
在优选实施例中，候选参数集合具有参数范围，其中在仿真应用上执行的候选参数集合具有比在真实应用上执行的候选参数集合要宽的参数范围。
候选参数的更宽参数范围增加不安全参数化的风险。例如，当采用不安全参数运行的程序指示真实应用损坏自身或环境时，不安全参数化可能导致对真实应用的损坏。在机器人应用的情况下，机器人在其采用不安全参数运行时可与周围对象碰撞。因此，优选地在仿真应用中测试那些情形。基于具有宽参数范围的候选参数集合，能够确定具有更窄范围的候选参数的子集，其中在仿真应用中，具有更窄范围的候选参数的子集已经被确定是安全的。优选地，如果候选参数的某个范围被确定为安全，则信息基于测量性能信息。
在优选实施例中，在真实应用中执行程序的同时，获取机器的现实数据，其中基于现实数据来修改仿真应用。
优选地，使用来自真实世界的测量和另外的估计(特别是物理参数，例如重量、摩擦、系数等)来获取现实数据。基于现实信息，能够修改仿真应用，以便减少现实差距，所述现实差距描述当采用相同候选参数来执行对应程序时的仿真应用的结果与真实应用的结果之间的差异。
在优选实施例中，候选参数集合由至少一个管理器指配给仿真应用和/或真实应用。优选地，由管理器基于程序的执行的测量性能来接收候选参数的被测集合的中间结果。
管理器优选地触发应用程序的执行。进一步优选地，管理器收集或接收应用的性能信息，并且优选地向训练器提供性能信息。
在有利实施例中，单独管理器被关联到每个应用，即，仿真应用或真实应用。
在优选实施例中，由训练器接收中间结果，其中训练器触发由学习器对新候选参数的生成。
训练器优选地从学习器请求和接收候选参数的初始集合和/或候选参数的新集合。此外，训练器优选地将参数集合指配给管理器。如果存在若干管理器，则训练器将参数集合指配给单独管理器。另外，训练器优选地从一个或多个管理器接收性能信息，并且触发由学习器对候选参数的新集合的生成。训练器优选地从学习器接收候选参数的新集合。
按照本公开的方面，提供了用于将机器学习(特别是基于参数的机器学习)应用于应用的***，该***包括：学习器，所述学习器配置成生成候选参数集合；至少一个仿真应用；程序，所述程序配置成基于根据候选参数集合在仿真应用中执行，其中程序配置成基于程序的执行的测量性能信息来提供候选参数的被测集合的中间结果；训练器，该训练器配置成收集预定数量的中间结果，其中训练器配置成基于候选参数与测量性能信息的组合来提供最终结果。学习器配置成基于最终结果来生成候选参数的新集合，以用于通过未改变的程序来执行。
在优选实施例中，该***包括至少一个真实应用，其中程序配置成基于候选参数集合在仿真应用中并且在真实应用中执行。优选地，程序配置成在多个仿真应用中并且在至少一个真实应用中同时执行。
在优选实施例中，候选参数集合具有参数范围，其中在仿真应用上执行的候选参数集合具有比在真实应用上执行的候选参数集合要宽的参数范围。
在优选实施例中，该***包括传感器，该传感器配置成当在真实应用中执行程序的同时获取现实数据，其中仿真应用配置成基于现实数据来修改。
在优选实施例中，该***包括管理器，该管理器配置成将候选参数集合指配给仿真应用和/或真实应用。优选地，管理器配置成基于程序的执行的测量性能来接收候选参数的被测集合的中间结果。进一步优选地，学习器配置成通过训练器接收中间结果，以及训练器配置成触发学习器对新候选参数的生成。
优选地，真实应用、仿真应用、学习器、管理器和训练器的一个或多个被组合在单个软件或硬件组件中。特别是，学习器和管理器(特别是多个管理器)被组合在单个软件或硬件组件中。
按照本公开的方面，提供了通过所述方法来得到的参数集合。
按照本公开的方面，提供一种程序元件，该程序元件当其在用于将机器学习(特别是基于参数的机器学习)应用于应用的***上被执行时指示***执行下列步骤：
a) 由学习器生成候选参数集合；
b) 基于候选参数集合在至少一个仿真应用中执行程序，并且基于程序的执行的测量性能信息来提供候选参数的被测集合的中间结果；
c) 通过训练器收集预定数量的中间结果，并且基于候选参数与测量性能信息的组合来提供最终结果；以及
d）由学习器基于最终结果来生成候选参数的新集合，以用于通过未改变的程序来执行。
按照本公开的方面，提供一种计算机可读介质，在该计算机可读介质上存储所述程序元件。
参照附图和以下描述，本发明的这些及其他特征、方面和优点将变得更好理解。
图1示出用于将机器学习应用于应用的***。
图2示出真实机器人应用。
图3示出图2的搜索模式的放大视图。
图4将机器学习应用于应用的方法。
具体实施方式
图1中所示的***10涉及***10，所述***10用于将机器学习应用于机器(特别是机器人)的真实应用(特别是真实机器人应用71)。***10包括学习器20、训练器30、第一管理器41、第二管理器42、第三管理器43、第一仿真应用51、第二仿真应用52、仿真模型60、真实机器人应用71和一个或多个机器人程序80。
第一仿真应用51在第一虚拟机或计算机装置上运行，以及第二仿真应用52在第二虚拟机或计算机装置上运行。第一仿真应用51和第二仿真应用52还能够在相同虚拟机和/或相同计算机装置上运行。第一仿真应用51在第一仿真53上运行，以及第二仿真应用52在第二仿真54上运行。第一仿真53和第二仿真54基于仿真模型60，该仿真模型60提供用于在第一仿真应用51和第二仿真应用52中执行机器人程序80的平台。
真实机器人应用71在机器人70上运行。机器人70是真实物理机器。仿真模型60是机器人70的数字反映。在理想情况下，在第一仿真53或第二仿真54上执行的机器人程序80引起与在机器人70上执行的机器人程序80相同的结果。但是，几乎始终存在仿真与物理机器之间的差异。
在这个示例中，机器人程序80能够通过下列伪代码来表达：
float r // 搜索半径
float I // 搜索增量
int p // 搜索模式
Pick (Pos_0)
Move (Pos_1)
Insert_object (r, i, p)。
机器人程序80包含指令，所述指令用于在位置Pos_0处拾取对象90，将它移动到位置Pos_1，并且将它***穴（pocket）91或者Pos_1附近的类似处。在这个示例中，***方法具有三个参数。第一参数r是围绕Pos_1的半径，其中机器人将搜索穴，其中半径是机器人70的搜索半径。第二参数p是搜索模式。参数p例如确定搜索模式是具有旋转的径向还是没有旋转的径向。第三参数i是增量，所述增量定义搜索的粒度。
为了将机器学习应用于第一仿真应用51、第二仿真应用52和真实机器人应用71，学习器20配置成生成候选参数的初始集合PC。另外，学习器20配置成生成候选参数的新集合PC。候选参数集合PC包括第一参数r、第二参数p和第二参数i。
学习器20被连接到训练器30，所述训练器30本身被连接到第一管理器41、第二管理器42和第三管理器43。虽然有可能仅具有单个管理器，但是在这个示例中，一个管理器41、42、43分别与一个应用51、52、71关联。第一管理器41与第一仿真应用51关联，第二管理器42与第二仿真应用52关联，以及第三管理器与真实机器人应用71关联。
一般来说，学习器20为训练器30提供多个候选参数集合PC。训练器30将候选参数的第一集合PC1提供给第一仿真应用51，将候选参数的第二集合PC2提供给第二仿真应用52，并且将候选参数的第三集合PC3提供给真实机器人应用71。经由相应的第一管理器41、第二管理器42和第三管理器43，第一仿真应用51向训练器30提供第一中间结果R1，第二仿真应用52向训练器30提供第二中间结果R2，以及真实机器人应用71向训练器30提供第三中间结果R3。训练器30然后为学习器20提供结果R，以其为基础生成候选参数的新集合PC，直到机器学习完成，并且找到最终参数集合PF，其然后被提供给真实机器人应用71。
图2示出真实机器人应用71。机器人70由计算机装置81来控制。在计算机装置81上，执行程序80。机器人程序80例如被提供有候选参数的第三集合PC3，其包括第一参数r、第二参数p和第三参数i。如图3中所图示，第一参数r确定用于机器人70的搜索运动的区域的半径。设置搜索模式的第二参数p在本例中被设置成螺旋搜索模式。第三参数i确定用于搜索运动(在本例中是螺旋搜索运动)的增量。
程序仿真具有用于候选参数的每个集合的100个随机起始位置的不确定性。
作为学习算法，用于优化的任何种类的元启发(例如遗传算法、禁忌搜索或仿真退火)能够用来优化参数。
在这个示例中，初始化参数，其中第一参数r的大致范围处于3.0 mm和20.0 mm的范围中，以及第三参数i处于0.1 mm和5.0 mm的范围中。在这个示例中，第二参数p处于螺旋模式的稳定值。
由于机器人程序80本身未改变，所以真实机器人应用70充当黑盒。候选参数的不同集合提供用于真实机器人应用71，并且因此进入黑盒中。真实机器人应用71返回第三中间结果R3，在本例中是完成搜索所要求的时间。
在图4中图示用于将机器学习应用于应用的方法，其中在示范实施例中，真实应用是真实机器人应用71，以及执行真实机器人应用71的机器是机器人70。
在步骤S0中，配置为机器学习后端的学习器20形成对于第一参数r、第二参数p和第三参数i的候选参数的初始集合。这能够完全随机进行或者基于类似应用中的先前学习来进行
在步骤S1中，训练器30从学习器20接收候选参数集合PC。
在步骤S2中，候选参数集合PC发送到给管理器，在本例中是第一管理器41、第二管理器42和第三管理器43。学习器20能够将候选参数的相同集合PC发送给每个管理器41、42、43，然而，学习器20将候选参数的第一集合PC1发送给第一管理器41，将候选参数的第二集合PC2发送给第二管理器42，并且将候选参数的第三集合PC3发送给第三管理器43.
在步骤S3中，每个管理器41、42、43将机器人程序80的相应的候选参数的相应集合PC1、PC2、PC3设置在相应的仿真应用51、52和真实机器人应用71中。
在步骤S4中，第一仿真器53基于候选参数的第一集合PC1运行第一仿真应用51。第二仿真器54基于候选参数的第二集合PC2运行第二仿真应用52。机器人70基于候选参数的第三集合PC3、特别地通过采用候选参数的第三集合PC3运行机器人程序的计算机装置81来运行真实机器人应用71。
在步骤5中，相应的管理器41、42、43接收相应的中间结果R1、R2、R3，并且测量机器人程序80的执行的性能。这涉及在实验失败的情况下可能重新启动或重置第一仿真53和/或第二仿真54和/或机器人70中的一个，因为候选参数的所使用结合PC1、PC2、PC3是不可行的解决方案。
在步骤S6中，相应的管理器41、42、43向训练器30提供相应的中间结果R1、R2、R3，并且测量性能信息。
在步骤S7中，训练器30收集充分量的示例，并且向学习器20提供最终结果R，特别是候选参数的被测集合PC和测量性能信息的组合。备选地，数据库可用来存储结果R，并且学习器20从其中进行读取。
在步骤S8中，学习器生成候选参数的新集合PC，以用于评估。
在步骤8之后，该过程从步骤1重复继续进行到满足停止标准，例如被测配置的数量或者稳定解的收敛。在满足这个停止标准之后，通过在步骤9中为机器人程序80提供最终参数集合PF，最佳学习解在机器人程序80中被设置为最终解。
在这个步骤9之后，对于机器人操作不再要求学习基础设施。
参考符号列表
10 ***
20 学习器
30 训练器
41 第一管理器
42 第二管理器
43 第三管理器
51 第一仿真应用
52 第二仿真应用
53 第一仿真
54 第二仿真
60 仿真模型
70 机器人
71 真实应用(真实机器人应用)
80 程序(机器人程序)
81 计算机装置
90 对象
91 穴
PC 候选参数集合
PC1 候选参数的第一集合
PC2 候选参数的第二集合
PC3 候选参数的第三集合
R 最终结果
R1 第一中间结果
R2 第二中间结果
R3 第三中间结果
PF 最终参数。

Claims (15)

1.一种用于将机器学习应用于应用的方法，包括下列步骤：
a)由学习器(20)生成候选参数集合(PC)；
b)基于所述候选参数集合(PC)在至少一个仿真应用(51，52)中执行程序(80)，并且基于所述程序(80)的所述执行的测量性能信息来提供候选参数的被测集合(PC1，PC2)的中间结果(R1，R2)；
c) 通过训练器(30)收集预定数量的中间结果(R1，R2)，并且基于所述候选参数(PC)与所述测量性能信息的组合来提供最终结果(R)；以及
d）由所述学习器(20)基于所述最终结果(R)来生成候选参数的新集合(PC)，以用于通过未改变的程序（80）来执行。
2.如权利要求1所述的方法，其中
在至少一个仿真应用(51，52)中并且在优选地在机器(70)上、特别在机器人上执行的至少一个真实应用(71)、特别在真实机器人应用中执行所述程序(80)；
其中优选地，在多个仿真应用(51，52)中并且在至少一个真实应用(71)中同时执行所述程序(80)。
3.如前述权利要求中的任一项所述的方法，其中
在协作真实应用(71)中执行所述程序(80)，
其中优选地，所述候选参数集合(PC)定义对所述协作真实应用(71)中的每个的任务指配。
4.如前述权利要求中的任一项所述的方法，其中
在没有改变所述程序（80）的情况下重复进行步骤a)至d)，直到满足停止标准为止，
其中优选地，所述停止标准包括所述程序(80)的执行量和/或目标测量性能。
5.如前述权利要求中的任一项所述的方法，其中
所述候选参数集合(PC)具有参数范围；
其中在所述仿真应用(51，52)上执行的所述候选参数集合(PC1，PC2)具有比在所述真实应用(71)上执行的所述候选参数集合(PC3)要宽的参数范围。
6.如前述权利要求中的任一项所述的方法，其中
在所述真实应用(71)中执行所述程序(80)的同时获取所述机器(70)的现实数据；
其中所述仿真应用(51，52)基于所述现实数据来修改。
7.如前述权利要求中的任一项所述的方法，包括下列步骤：
由至少一个管理器(41，42，43)将所述候选参数集合(PC)指配给所述仿真应用(51，52)和/或所述真实应用(71)；以及
优选地，由所述管理器(41，42，43)基于所述程序(80)的所述执行的测量性能来接收候选参数的被测集合(PC)的所述中间结果(R1，R2，R3)。
8.如前述权利要求中的任一项所述的方法，包括下列步骤：
由训练器(30)接收所述中间结果(R1，R2，R3)；
其中所述训练器(30)触发由所述学习器(20)对新候选参数(PC)的所述生成。
9.一种用于将机器学习应用于应用的***(10)，包括：
学习器(20)，所述学习器(20)配置成生成候选参数集合(PC)；
至少一个仿真应用(51，52)；
程序(80)，所述程序(80)配置成基于所述候选参数集合(PC)在所述仿真应用(51，52)中执行，其中所述程序(80)配置成基于所述程序(80)的所述执行的测量性能信息来提供候选参数的被测集合(PC1，PC2)的中间结果(R1，R2)；
训练器(30)，所述训练器(30)配置成收集预定数量的中间结果(R1，R2)，其中所述训练器(30)配置成基于所述候选参数(PC)与所述测量性能信息的组合来提供最终结果(R)；
其中所述学习器(20)配置成基于所述最终结果(R)来生成候选参数的新集合(PC)，以用于通过未改变的程序（80）来执行。
10.如权利要求9所述的***，包括
至少一个真实应用(71)；
其中所述程序(80)配置成基于所述候选参数集合(PC)在所述仿真应用(51，52)并且在所述真实应用(71)中执行，
其中优选地，所述程序(80)配置成在多个仿真应用(51，52)中并且在至少一个真实应用(71)中同时被执行。
11.如权利要求9至10中的任一项所述的***，其中
所述候选参数集合(PC)具有参数范围；其中
在所述仿真应用(51，52)上执行的所述候选参数集合(PC1，PC2)具有比所述真实应用(71)上执行的所述候选参数集合(PC3)要宽的参数范围。
12.如权利要求9至11中的任一项所述的***，包括：
传感器，所述传感器配置成在所述真实应用(71)中执行所述程序(80)的同时获取现实数据；
其中所述仿真应用(51，52)配置成基于所述现实数据来修改。
13.如权利要求9至12中的任一项所述的***，包括：
管理器(41，42，43)，所述管理器(41，42，43)配置成将所述候选参数集合(PC1，PC2，PC3)指配给所述仿真应用(51，52)和/或所述真实应用(71)；以及
优选地配置成基于所述程序(80)的所述执行的测量性能来接收候选参数的被测集合(PC1，PC2，PC3)的所述中间结果，其中进一步优选地，所述学习器(20)配置成通过训练器(30)接收中间结果(R1，R2，R3)，以及所述训练器(30)配置成触发所述学习器(20)对新候选参数（PC）的所述生成。
14.最终参数集合(PF)，其通过如权利要求1至9中的任一项所述的方法得到。
15.一种程序元件，所述程序元件在用于将机器学习应用于应用的***(10)上被执行时指示所述***(10)执行下列步骤：
a)由学习器(20)生成候选参数集合(PC)；
b)基于所述候选参数集合(PC)在至少一个仿真应用(51，52)中执行程序(80)，并且基于所述程序(80)的所述执行的测量性能信息来提供候选参数的被测集合(PC1，PC2、PC3)的中间结果(R1，R2，R3)；
c)通过训练器(30)收集预定数量的中间结果(R1，R2，R3)，并且基于所述候选参数(PC)与所述测量性能信息的组合来提供最终结果(R)；以及
d) 由所述学习器(20)基于所述最终结果(R)来生成候选参数的新集合(PC)，以用于通过未改变的程序（80）来执行。
CN201880099492.0A 2018-11-13 2018-11-13 用于将机器学习应用于应用的方法和*** Pending CN112969557A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2018/081048 WO2020098918A1 (en) 2018-11-13 2018-11-13 A method and a system for applying machine learning to an application

Publications (1)

Publication Number Publication Date
CN112969557A true CN112969557A (zh) 2021-06-15

Family

ID=64564817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880099492.0A Pending CN112969557A (zh) 2018-11-13 2018-11-13 用于将机器学习应用于应用的方法和***

Country Status (4)

Country Link
US (1) US20210260754A1 (zh)
EP (1) EP3880411A1 (zh)
CN (1) CN112969557A (zh)
WO (1) WO2020098918A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200306960A1 (en) * 2019-04-01 2020-10-01 Nvidia Corporation Simulation of tasks using neural networks
EP3816800A1 (en) * 2019-10-31 2021-05-05 ABB Schweiz AG Assignment of tasks between a plurality of devices

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016057001A1 (en) * 2014-10-09 2016-04-14 Cloudradigm Pte. Ltd. A computer implemented method and system for automatically modelling a problem and orchestrating candidate algorithms to solve the problem
US9671777B1 (en) * 2016-06-21 2017-06-06 TruPhysics GmbH Training robots to execute actions in physics-based virtual environment
US20170285584A1 (en) * 2016-04-04 2017-10-05 Fanuc Corporation Machine learning device that performs learning using simulation result, machine system, manufacturing system, and machine learning method
US9811074B1 (en) * 2016-06-21 2017-11-07 TruPhysics GmbH Optimization of robot control programs in physics-based simulated environment
CN107704871A (zh) * 2017-09-08 2018-02-16 第四范式（北京）技术有限公司 生成机器学习样本的组合特征的方法及***
US10058995B1 (en) * 2016-07-08 2018-08-28 X Development Llc Operating multiple testing robots based on robot instructions and/or environmental parameters received in a request
CN113039494A (zh) * 2018-11-13 2021-06-25 Abb瑞士股份有限公司 用于将机器学习应用于应用的方法和***

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140310208A1 (en) * 2013-04-10 2014-10-16 Machine Perception Technologies Inc. Facilitating Operation of a Machine Learning Environment
EP3294127A1 (en) * 2015-05-12 2018-03-21 Navix International Limited Systems and methods for tracking an intrabody catheter
US10354201B1 (en) * 2016-01-07 2019-07-16 Amazon Technologies, Inc. Scalable clustering for mixed machine learning data
US11003992B2 (en) * 2017-10-16 2021-05-11 Facebook, Inc. Distributed training and prediction using elastic resources

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016057001A1 (en) * 2014-10-09 2016-04-14 Cloudradigm Pte. Ltd. A computer implemented method and system for automatically modelling a problem and orchestrating candidate algorithms to solve the problem
US20170285584A1 (en) * 2016-04-04 2017-10-05 Fanuc Corporation Machine learning device that performs learning using simulation result, machine system, manufacturing system, and machine learning method
US9671777B1 (en) * 2016-06-21 2017-06-06 TruPhysics GmbH Training robots to execute actions in physics-based virtual environment
US9811074B1 (en) * 2016-06-21 2017-11-07 TruPhysics GmbH Optimization of robot control programs in physics-based simulated environment
US10058995B1 (en) * 2016-07-08 2018-08-28 X Development Llc Operating multiple testing robots based on robot instructions and/or environmental parameters received in a request
CN107704871A (zh) * 2017-09-08 2018-02-16 第四范式（北京）技术有限公司 生成机器学习样本的组合特征的方法及***
CN113039494A (zh) * 2018-11-13 2021-06-25 Abb瑞士股份有限公司 用于将机器学习应用于应用的方法和***

Also Published As

Publication number Publication date
US20210260754A1 (en) 2021-08-26
EP3880411A1 (en) 2021-09-22
WO2020098918A1 (en) 2020-05-22

Similar Documents

Publication Publication Date Title
Xia et al. A digital twin to train deep reinforcement learning agent for smart manufacturing plants: Environment, interfaces and intelligence
US9811074B1 (en) Optimization of robot control programs in physics-based simulated environment
US9671777B1 (en) Training robots to execute actions in physics-based virtual environment
US9108316B2 (en) Method and system for in-production optimization of the parameters of a robot used for assembly
CN112783018A (zh) 工业环境模拟下的机器人数字孪生控制
Krueger et al. A vertical and cyber–physical integration of cognitive robots in manufacturing
US20210260754A1 (en) Method and a system for applying machine learning to an application
US20220339787A1 (en) Carrying out an application using at least one robot
CN112784328A (zh) 用于开发自动化***模型的***和方法
US11886174B2 (en) Virtualized cable modeling for manufacturing resource simulation
US20210264317A1 (en) Method and a system for applying machine learning to an application
US20220016763A1 (en) Self-learning industrial robotic system
Pedersen et al. Gesture-based extraction of robot skill parameters for intuitive robot programming
Xia et al. Virtual comissioning of manufacturing system intelligent control
Mossige et al. Using CP in automatic test generation for ABB robotics’ paint control system
US20220066401A1 (en) Machine control system
US20210046648A1 (en) Method and apparatus for determining an optimized movement sequence for a robot device
CN113874844A (zh) 情景感知装置的仿真方法、装置和***
Losch et al. Visual programming and development of manufacturing processes based on hierarchical Petri nets
Zou et al. Development of robot programming system through the use of augmented reality for assembly tasks
Gotlieb et al. Testing Industrial Robotic Systems: A New Battlefield!
Sauer et al. Towards intuitive robot programming using finite state automata
US20230065800A1 (en) Method and test assembly for testing an autonomous behavior controller for a technical system
Neher et al. Using game physics engines for hardware-in-the-loop material flow simulations: benefits, requirements and experiences
Kiefer et al. Attribute-based identification processes for autonomous manufacturing systems–an approach for the integration in factory planning methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination