CN113614743A - 用于操控机器人的方法和设备 - Google Patents
用于操控机器人的方法和设备 Download PDFInfo
- Publication number
- CN113614743A CN113614743A CN202080022191.5A CN202080022191A CN113614743A CN 113614743 A CN113614743 A CN 113614743A CN 202080022191 A CN202080022191 A CN 202080022191A CN 113614743 A CN113614743 A CN 113614743A
- Authority
- CN
- China
- Prior art keywords
- model
- state
- expert
- reward
- trajectory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000003750 conditioning effect Effects 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 230000009471 action Effects 0.000 claims description 29
- 230000007613 environmental effect Effects 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 230000002787 reinforcement Effects 0.000 claims description 6
- 102100040653 Tryptophan 2,3-dioxygenase Human genes 0.000 claims description 4
- 101710136122 Tryptophan 2,3-dioxygenase Proteins 0.000 claims description 4
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000001514 detection method Methods 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims 3
- 230000006399 behavior Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000001667 episodic effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Robotics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Computational Mathematics (AREA)
- Mathematical Optimization (AREA)
- Feedback Control In General (AREA)
- Manipulator (AREA)
Abstract
一种用于操控机器人的计算机实现的方法以及用于此的设备,其中按照用于对环境(102)的参数模型(202)进行训练的方法来对环境(102)的参数模型(202)、尤其是深度神经网络进行训练,尤其是其中根据调节对象对模型(202)进行训练,并且其中按照用于以基于模型的方式学习策略(π)的方法来学习策略(π),以及其中根据参数模型(202)和所述策略(π)来操控所述机器人。
Description
背景技术
J. Ho和S. Ermon 的“Generative adversarial imitation learning”(在 D.D. Lee, M. Sugiyama, U. V. Luxburg, I. Guyon, 和 R. Garnett(编者)的Advancesin Neural Information Processing Systems 29, 第 4565-4573页. CurranAssociates, Inc., 2016中)公开了生成对抗式模仿学习GAIL的方案。GAIL是一种用于训练策略的方法,所述策略应该模仿专家行为。
A. Doerr, C. Daniel, D. Nguyen-Tuong, A. Marco, S. Schaal, T. Marc和S. Trimpe的“Optimizing long-term predictions for model-based policy search”(在 S. Levine, V. Vanhoucke, 和 K. Goldbergt(编者)的Proceedings of the 1stAnnual Conference on Robot Learning, volume 78 of Proceedings of MachineLearning Research, 第 227-238页. PMLR,13-15 Nov 2017中)公开了用于基于模型地学习这种策略的长期预测的方案。
值得期望的是,进一步改善这些操作方法的方案。
发明内容
这通过根据独立权利要求的方法和设备实现。
一种用于对环境的参数模型、尤其是深度神经网络进行训练的计算机实现的方法规定,该模型根据模型状态、行动和奖励确定新的模型状态,其中根据专家轨迹以及尤其是按照策略根据模型状态所确定的模型轨迹来确定奖励,并且其中根据奖励确定模型的至少一个参数。由此,模型的长时间行为被学习,所述长时间行为特别好地匹配于经建模的***的真实***行为。
优选地规定,鉴别器根据专家轨迹和模型轨迹确定奖励,其中利用梯度下降方法根据专家轨迹和模型轨迹确定鉴别器的至少一个参数。在roll out(推进)中,专家轨迹被用作参考,发生器、即预给定装置按照某种策略根据模型状态确定模型轨迹来用于与参考进行比较。通过梯度下降方法对鉴别器进行参数化。这使得能够在第一步骤中与模型的训练无关地对鉴别器进行参数化。
优选地,利用基于情节的策略搜索(episode-based policy search)或策略梯度(Policy Gradient)方法、尤其是REINFORCE或TRPO根据奖励来学习模型的至少一个参数。这使得能够在第二步骤中与鉴别器的训练无关地训练模型。优选地首先训练鉴别器,并且使用然后由鉴别器确定的奖励来训练模型。优选地交替地重复这些步骤。
优选地根据针对环境的***动力学的真实期望值并且根据模型的所建模的期望值来确定奖励。期望值代表基于训练数据点的对实际***动力学的近似,这使能够更高效地计算出所述训练。
优选地尤其是根据演示确定专家轨迹,其中检测专家在环境状态中尤其是按照专家策略预给定的专家行动,其中环境通过该专家行动以一概率被转变成新的环境状态,并且其中环境状态、专家行动和新的环境状态被确定为专家轨迹的数据点。因此可以特别高效地表示监督式学习。
优选地在模型状态中检测根据策略而被预给定的行动,其中模型通过所述行动以一概率被转变成新的模型状态,其中根据模型状态、行动以及新的模型状态确定奖励。这使得能够利用由发生器根据模型所确定的模型轨迹而对鉴别器进行训练。模型在训练中发生变化。因此即使发生器使用的策略不改变,发生器的模型轨迹也发生变化。这使得能够使鉴别器适配于经改变的模型。因此,所述训练总体上变得更有效。
包括调节对象的环境的参数模型优选地根据所述调节对象被训练,其中根据模型并且根据调节对象的至少一个所检测的实际参量或所观察的状态参量确定至少一个状态参量或调节参量用于操控调节对象。根据调节对象,可以以未经训练或部分训练的方式使用模型。由此,尤其是鉴于模型的学习方面而对用于进行控制或调节的常规方法进行显著改进。
优选地尤其是借助于代理根据模型的模型状态按照策略确定行动,其中根据所述策略、行动或新的模型状态确定奖励,其中在强化学习方法中根据所述奖励而学习策略。因此同样可以高效地学习策略。代理的目标是在强化学习方法中最大化奖励。例如,根据策略与预给定参考策略的一致性的度量、模型行为与环境实际行为的一致性或与参考模型行为的一致性的度量来确定奖励。
一种用于操控机器人的计算机实现的方法规定,按照上面陈述的方法对环境的参数模型进行训练,学习策略,并且根据参数模型和策略来操控机器人。这意味着,机器人被这样操控,使得所述机器人模仿人类行为。为此而学习策略。为了学习策略而使用同样被学习的模型、即环境模型。
一种用于操控机器人的设备被构造用于执行用于操控机器人的计算机实现的方法。该设备被构造用于学习环境模型和策略,利用所述策略可以模仿人类行为。
附图说明
其他有利扩展方案从以下描述和附图中得出。在附图中:
图1示出用于操控机器人的设备的一部分的示意图,
图2示出该设备的另一部分的示意图,
图3示出调节***的部分的示意图,
图4示出学习***的部分的示意图,
图5示出用于训练模型的方法中的步骤,
图6调节方法中的步骤,
图7示出针对策略的学习方法中的步骤。
具体实施方式
图1示出用于操控机器人的设备的一部分。用于操控机器人的设备被构造用于根据在下面描述的方法对环境的参数模型进行训练。如在下面描述的那样,该设备被构造用于学习策略。在一方面中,该设备此外被构造用于如在下面描述的那样根据调节对象对模型进行训练。该设备此外被构造用于根据参数模型和策略操控机器人。该设备被构造用于学习环境模型和策略,其中利用所述策略能够模仿人类行为。
用于操控机器人的设备包括至少一个用于指令的存储器和至少一个用于执行所述指令的处理器。所述指令的执行导致:根据用于操控机器人的策略确定针对机器人的行动。该设备例如包括至少一个用于根据所述行动操控机器人的操控装置。
机器人可以是执行所述行动的至少部分自主的车辆。
该设备被构造用于检测针对环境102的专家轨迹。专家轨迹包括多个三元组,这些三元组共同地得出专家轨迹。该设备包括第一预给定装置104,所述第一预给定装置被构造用于根据专家策略确定针对环境102的环境状态的专家行动。环境102通过所述专家行动以概率而被转变成新的环境状态。预给定装置104可以具有人机接口,所述人机接口被构造用于将环境102的状态输出给专家并且根据专家输入检测专家行动。
在该示例中,该设备被构造用于根据演示确定专家轨迹。在所述演示期间,检测如下专家行动,其中专家在环境状态中预给定所述专家行动。所述环境状态、专家行动和新环境状态被确定为专家轨迹的数据点。例如,该设备被构造用于重复这些步骤,以便检测针对所述专家轨迹的数据点,直至所述演示结束为止。在该示例中,设置用于专家轨迹的第一存储器106。
图2示意性地示出该设备的另一部分。该设备被构造用于对环境102的参数模型202进行训练。模型202例如是深度神经网络。该设备包括用于行动的第二预给定装置204。模型202被构造用于根据模型状态sM、行动和奖励r来确定新的模型状态sM'。在该示例中,第二预给定装置204是发生器,所述发生器被构造用于根据模型状态sM按照策略来确定行动。预给定装置204被构造用于在模型202的训练中作为多个三元组的序列检测模型轨迹τ,其中这些三元组共同地得出模型轨迹。例如,该设备被构造用于重复这些步骤,以便检测针对模型轨迹τ的数据点,直至模型的训练结束。在该示例中,设置用于模型轨迹τ的第二存储器206。
训练装置210被构造用于利用基于情节的策略搜索或利用策略梯度方法、尤其是REINFORCE或TRPO根据奖励r来学习模型202的至少一个参数θ。
训练装置210被构造用于根据针对环境102的***动力学的真实期望值并且根据针对模型202的所建模的期望值来确定奖励r。训练装置210例如被构造用于检测在模型状态sM中预给定的行动,其中模型202通过行动以概率被转变成新的模型状态,并且其中根据模型状态sM、行动和新的模型状态确定奖励r。训练装置210被构造用于根据奖励r确定模型202的至少一个参数θ。
在一方面中,同样设置一种用于以基于模型的方式进行控制或调节的装置。在图3中示出用于调节的装置,所述装置包括环境102的参数模型202,其中环境102包括调节对象302。该装置被构造用于根据所述调节对象302来训练模型202。该装置被构造用于根据模型202和根据调节对象302的所观察的状态参量或至少一个所检测的实际参量sR来确定至少一个状态参量或调节参量y用于操控调节对象302。对于控制,则与实际参量无关地相应地进行处理。
在图4中示意性地示出了用于以基于模型的方式学习策略的装置。该装置包括环境102的参数模型202。该装置包括代理402,所述代理被构造用于按照策略π根据模型202的模型状态sM来确定行动。强化学习装置404被构造用于根据策略π、行动或新的模型状态确定奖励,并且在强化学习方法中根据奖励来学习策略π。
图5示出用于对环境102的参数模型202进行训练的计算机实现的方法的步骤。
随后执行步骤504。在步骤504中,例如利用相应参数的随机值,对鉴别器208和模型202进行初始化。
随后执行步骤510。在步骤510中,借助于奖励r或利用所累积的奖励R来训练模型202。在此,例如利用基于情节的策略搜索或利用策略梯度方法、尤其是REINFORCE或TRPO来学习模型202的至少一个参数θ。
在该示例中重复这些步骤。根据针对不同模型轨迹已确定的奖励r而确定所累积的奖励R。
为此使用具有未知奖励r的以下马尔可夫决策过程:
其中
动态过渡概率
例如,针对梯度下降方法,设置以任意策略π的多个roll out,其中
其中Dw是具有至少一个参数w的鉴别器
例如,作为奖励r使用log(D),以便利用
其中
for i = 1 to ... do
end for
通过使
end for。
在算法中使用R、r、H、γ和λ的以下定义:
R 由多个(s,a,s')三元组组成的模型轨迹的总累积奖励,
r 单个(s,a,s')三元组的奖励,其经由鉴别器确定,
H 模型q的因果熵,
γ 无限时间折扣MDP的折扣因子
λ 可自由选择的正则化因子
在图6中示出用于以基于模型的方式调节的方法中的步骤。包括调节对象302的环境102的参数模型202在步骤602中根据调节对象302如所描述的那样被训练。随后在步骤604中,根据模型202并且根据调节对象302的至少一个所检测的实际参量sR或所观察的状态参量确定至少一个状态参量或调节参量y用于操控调节对象302。这些步骤可以例如在初始化模型202之后针对自学习调节器而递归地被重复。也可以规定,先训练模型并且仅重复用于调节的步骤604。
在图7中示出了用于以基于模型的方式学习策略的方法中的步骤。环境102的参数模型202在步骤702中如描述的那样被训练。
如果例如任务是导航到由模型202建模的2D环境中的目的地。则奖励可以例如是距目的地的距离。相应地可以针对车辆学习用于导航的策略。
步骤702至708优选地递归地被重复。可以规定在执行步骤708之前递归地重复步骤704和706。
在下面描述一种用于操控机器人的计算机实现的方法。该方法规定,按照根据图5描述的方法对环境102的参数模型202进行训练。该方法此外规定,按照根据图7描述的方法学习策略π,并且根据参数模型202和策略π来操控机器人。这意味着:这样操控机器人,以使得所述机器人模仿人类行为。
在一个方案中,模型202按照根据图6描述的方法取决于调节对象地被训练。
Claims (12)
3.根据权利要求1或2所述的方法,其特征在于,利用基于情节的策略搜索或策略梯度方法、尤其是REINFORCE或TRPO根据所述奖励(r)学习(510)所述模型(202)的所述至少一个参数(θ)。
7.根据前述权利要求中任一项所述的方法,其特征在于,包括调节对象(302)的环境(102)的参数模型(202)根据所述调节对象(302)被训练(602),其中根据所述模型(202)并且根据所述调节对象(302)的至少一个所检测的实际参量(sR)或所观察的状态参量确定(604)至少一个状态参量或调节参量(y),用于操控所述调节对象(302)。
9.一种用于操控机器人的计算机实现的方法,其特征在于,按照根据权利要求8所述的方法对环境(102)的参数模型(202)、尤其是深度神经网络进行训练,并且学习用于操控所述机器人的策略(π),并且其中根据所述参数模型(202)和所述策略(π)来操控所述机器人。
10.一种计算机程序,其特征在于,所述计算机程序包括计算机可读指令,在通过计算机执行所述计算机可读指令时运行根据权利要求1至9中任一项所述的方法。
11.一种计算机程序产品,其特征在于,所述计算机程序产品包括存储器,在所述存储器上存储有权利要求10所述的计算机程序。
12.一种用于操控机器人的设备,其特征在于,所述设备被构造用于执行根据权利要求9所述的方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019203634.1 | 2019-03-18 | ||
DE102019203634.1A DE102019203634A1 (de) | 2019-03-18 | 2019-03-18 | Verfahren und Vorrichtung zum Ansteuern eines Roboters |
PCT/EP2020/055900 WO2020187591A1 (de) | 2019-03-18 | 2020-03-05 | Verfahren und vorrichtung zum ansteuern eines roboters |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113614743A true CN113614743A (zh) | 2021-11-05 |
Family
ID=69804862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080022191.5A Pending CN113614743A (zh) | 2019-03-18 | 2020-03-05 | 用于操控机器人的方法和设备 |
Country Status (4)
Country | Link |
---|---|
US (1) | US12005580B2 (zh) |
CN (1) | CN113614743A (zh) |
DE (1) | DE102019203634A1 (zh) |
WO (1) | WO2020187591A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113093538A (zh) * | 2021-03-18 | 2021-07-09 | 长春工业大学 | 一种模块化机器人***的非零和博弈神经-最优控制方法 |
CN113156959B (zh) * | 2021-04-27 | 2024-06-04 | 东莞理工学院 | 复杂场景自主移动机器人自监督学习及导航方法 |
CN113885330B (zh) * | 2021-10-26 | 2022-06-17 | 哈尔滨工业大学 | 一种基于深度强化学习的信息物理***安全控制方法 |
DE102022201116B4 (de) | 2022-02-02 | 2024-05-16 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Steuern einer Robotervorrichtung |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106096729A (zh) * | 2016-06-06 | 2016-11-09 | 天津科技大学 | 一种面向大规模环境中复杂任务的深度策略学习方法 |
CN107450593A (zh) * | 2017-08-30 | 2017-12-08 | 清华大学 | 一种无人机自主导航方法和*** |
WO2018156891A1 (en) * | 2017-02-24 | 2018-08-30 | Google Llc | Training policy neural networks using path consistency learning |
US20180330200A1 (en) * | 2017-05-09 | 2018-11-15 | Omron Corporation | Task execution system, task execution method, training apparatus, and training method |
WO2018211139A1 (en) * | 2017-05-19 | 2018-11-22 | Deepmind Technologies Limited | Training action selection neural networks using a differentiable credit function |
US20190072959A1 (en) * | 2017-09-06 | 2019-03-07 | GM Global Technology Operations LLC | Unsupervised learning agents for autonomous driving applications |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102156303B1 (ko) * | 2015-11-12 | 2020-09-15 | 딥마인드 테크놀로지스 리미티드 | 비동기 심층 강화 학습 |
US20210271968A1 (en) * | 2018-02-09 | 2021-09-02 | Deepmind Technologies Limited | Generative neural network systems for generating instruction sequences to control an agent performing a task |
GB201803599D0 (en) * | 2018-03-06 | 2018-04-18 | Morpheus Labs Ltd | Behaviour models for autonomous vehicle simulators |
US10703370B2 (en) * | 2018-08-24 | 2020-07-07 | Ford Global Technologies, Llc | Vehicle action control |
US11231717B2 (en) * | 2018-11-08 | 2022-01-25 | Baidu Usa Llc | Auto-tuning motion planning system for autonomous vehicles |
-
2019
- 2019-03-18 DE DE102019203634.1A patent/DE102019203634A1/de active Pending
-
2020
- 2020-03-05 WO PCT/EP2020/055900 patent/WO2020187591A1/de active Application Filing
- 2020-03-05 US US17/436,020 patent/US12005580B2/en active Active
- 2020-03-05 CN CN202080022191.5A patent/CN113614743A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106096729A (zh) * | 2016-06-06 | 2016-11-09 | 天津科技大学 | 一种面向大规模环境中复杂任务的深度策略学习方法 |
WO2018156891A1 (en) * | 2017-02-24 | 2018-08-30 | Google Llc | Training policy neural networks using path consistency learning |
US20180330200A1 (en) * | 2017-05-09 | 2018-11-15 | Omron Corporation | Task execution system, task execution method, training apparatus, and training method |
WO2018211139A1 (en) * | 2017-05-19 | 2018-11-22 | Deepmind Technologies Limited | Training action selection neural networks using a differentiable credit function |
CN107450593A (zh) * | 2017-08-30 | 2017-12-08 | 清华大学 | 一种无人机自主导航方法和*** |
US20190072959A1 (en) * | 2017-09-06 | 2019-03-07 | GM Global Technology Operations LLC | Unsupervised learning agents for autonomous driving applications |
CN109460015A (zh) * | 2017-09-06 | 2019-03-12 | 通用汽车环球科技运作有限责任公司 | 用于自主驾驶应用的无监督学习代理 |
Non-Patent Citations (2)
Title |
---|
KAMYAR AZIZZADENESHELI ET AL.: ""Sample-Efficient Deep RL with Generative Adversarial Tree Search"", ARXIV.ORG,CORNELL UNIVERSITY LIBRARY, 15 June 2018 (2018-06-15), pages 1 - 15 * |
李晨溪等: ""基于知识的深度强化学习研究综述"", 《***工程与电子技术》, vol. 39, no. 11, 30 November 2017 (2017-11-30), pages 2603 - 2613 * |
Also Published As
Publication number | Publication date |
---|---|
DE102019203634A1 (de) | 2020-09-24 |
WO2020187591A1 (de) | 2020-09-24 |
US20220176554A1 (en) | 2022-06-09 |
US12005580B2 (en) | 2024-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113614743A (zh) | 用于操控机器人的方法和设备 | |
JP5300739B2 (ja) | コンピュータ支援によって技術システムを制御および/または調整する方法 | |
US10949740B2 (en) | Machine learning device, numerical controller, machine tool system, manufacturing system, and machine learning method for learning display of operation menu | |
JP5448841B2 (ja) | 技術システムの、とりわけガスタービンの、計算機支援による閉ループ制御および/または開ループ制御のための方法 | |
Shi et al. | An adaptive decision-making method with fuzzy Bayesian reinforcement learning for robot soccer | |
CN106552974B (zh) | 具有移动轴异常负载警告功能的线放电加工机 | |
CN110119844A (zh) | 引入情绪调控机制的机器人运动决策方法、***、装置 | |
US10353351B2 (en) | Machine learning system and motor control system having function of automatically adjusting parameter | |
CN111144580B (zh) | 一种基于模仿学习的层级强化学习训练方法和装置 | |
Ribeiro | Reinforcement learning agents | |
CN106558959B (zh) | 机械学习装置和线圈制造装置 | |
US11762679B2 (en) | Information processing device, information processing method, and non-transitory computer-readable storage medium | |
EP3899797A1 (en) | Multi-agent reinforcement learning with matchmaking policies | |
US11897066B2 (en) | Simulation apparatus | |
US20170091675A1 (en) | Production equipment including machine learning system and assembly and test unit | |
CN111433689B (zh) | 用于目标***的控制***的生成 | |
CN109725597A (zh) | 测试装置以及机器学习装置 | |
Baert et al. | Maximum causal entropy inverse constrained reinforcement learning | |
US20230120256A1 (en) | Training an artificial neural network, artificial neural network, use, computer program, storage medium and device | |
US11628562B2 (en) | Method, device and computer program for producing a strategy for a robot | |
JPH06332506A (ja) | 非線形制御装置 | |
Zhang et al. | A deep reinforcement learning based human behavior prediction approach in smart home environments | |
JP2000339005A (ja) | 制御対象の最適化制御方法及び制御装置 | |
JP6829271B2 (ja) | 測定動作パラメータ調整装置、機械学習装置及びシステム | |
CN111077769A (zh) | 用于控制或调节技术***的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |