CN115446867A - 一种基于数字孪生技术的工业机械臂控制方法及*** - Google Patents
一种基于数字孪生技术的工业机械臂控制方法及*** Download PDFInfo
- Publication number
- CN115446867A CN115446867A CN202211217890.2A CN202211217890A CN115446867A CN 115446867 A CN115446867 A CN 115446867A CN 202211217890 A CN202211217890 A CN 202211217890A CN 115446867 A CN115446867 A CN 115446867A
- Authority
- CN
- China
- Prior art keywords
- mechanical arm
- digital twin
- industrial mechanical
- digital
- industrial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000005516 engineering process Methods 0.000 title claims abstract description 34
- 230000033001 locomotion Effects 0.000 claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000002787 reinforcement Effects 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 210000003857 wrist joint Anatomy 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 210000001503 joint Anatomy 0.000 claims description 14
- 238000004088 simulation Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 210000000323 shoulder joint Anatomy 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 7
- 210000002310 elbow joint Anatomy 0.000 claims description 7
- 230000006854 communication Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000009471 action Effects 0.000 description 15
- 102100040653 Tryptophan 2,3-dioxygenase Human genes 0.000 description 4
- 101710136122 Tryptophan 2,3-dioxygenase Proteins 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000007488 abnormal function Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J17/00—Joints
- B25J17/02—Wrist joints
- B25J17/0258—Two-dimensional joints
- B25J17/0266—Two-dimensional joints comprising more than two actuating or connecting rods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J18/00—Arms
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Numerical Control (AREA)
Abstract
本发明公开了一种基于数字孪生技术的工业机械臂控制方法及***，该方法包括：利用数字孪生技术构建六自由度的工业机械臂的数字孪生体模型；基于数据驱动的深度强化学习算法对数字孪生体模型进行学习训练，学习获得累计回报奖赏最大化的最优策略，确定数字孪生体模型的运动轨迹；基于数字孪生体模型的运动轨迹，驱动工业机械臂自适应转动，实现对工业机械臂的智能控制。本发明通过数字孪生技术对工业机械臂建立数字孪生体，利用近端策略优化算法，通过强化学习训练使工业机械臂实现自学习自适应转动，以此实现对机械臂的智能控制，提高机械臂控制的自动化程度和灵活性能。
Description
技术领域
本发明涉及机器人智能控制技术领域，尤其涉及一种基于数字孪生技术的工业机械臂控制方法及***。
背景技术
机械臂是高精度、多输入多输出、高度非线性、强耦合的复杂***，因其独特的操作灵活性，已在工业装配、安全防爆等领域得到广泛应用。现阶段，在工业生产中，一般使用示教法对机械臂进行控制，即事先通过手动拖拽或是使用示教器调整的方式，移动机械臂到达每一个目标位置，并保存各个目标的位置信息，然后在使用时机械臂按照目标点的顺序移动，而且在新的应用中，由于目标位置产生变化，则需要重新示教。这一方法不仅耗费人力，灵活性和适应性较差，不能根据需求进行动态调整，而且机械臂作为一个复杂***，存在着参数摄动、外界干扰及未建模动态等不确定性，因此经常需要重新示教。
为此，现有技术中常用的传统控制方法是对机械臂***进行建模，通过运动规划理论对机械臂进行控制，减少人力物力的浪费，提高灵活性和适应性。目前的运动规划理论包括了正运动学和逆运动学，正运动学是指根据机械臂的各轴转动角度计算得到机械臂末端的位置，而逆运动学则是根据机械臂末端的目标位置计算得到各轴所需的转动角度。然而，现有方法仍存在多种问题，包括：
1.传统建模困难。针对复杂的实体机械臂，传统物理建模过程复杂难度大，无法准确地描述机械臂的运动状态；
2.机械臂运动不连续。利用传统的正运动学和逆运动学驱动机械臂进行转动，会遇到奇点导致机械臂卡死无法转动的情况；
3.无法进行实时信息交互，机械臂控制者无法在第一时间掌握工业机械臂的运转情况，难以保证其实时性。
发明内容
为解决上述现有技术的不足，本发明提供了一种基于数字孪生技术的工业机械臂控制方法及***，通过数字孪生技术对工业机械臂建立数字孪生体，用数据驱动的深度强化学习算法来驱动数字孪生体运动，最终实现对机械臂的智能控制，提高机械臂控制的自动化程度和灵活性能。
第一方面，本公开提供了一种基于数字孪生技术的工业机械臂控制方法，包括：
利用数字孪生技术构建六自由度的工业机械臂的数字孪生体模型；所述数字孪生体模型包括6个旋转关节和5个从动部件，设置旋转关节和从动部件之间的父子逻辑关系；
基于数据驱动的深度强化学习算法对数字孪生体模型进行学习训练，学习获得累计回报奖赏最大化的最优策略，确定数字孪生体模型的运动轨迹；
基于数字孪生体模型的运动轨迹，驱动工业机械臂自适应转动，实现对工业机械臂的智能控制。
进一步的技术方案，所述数字孪生体模型的6个旋转关节和5个从动部件分别两两构成父子逻辑关系；基座关节、第一从动部件、肩部关节、第二从动部件、肘部关节、第三从动部件、第一腕部关节、第四从动部件、第二腕部关节、第五从动部件和第三腕部关节按顺序依次两两构成父子逻辑关系。
进一步的技术方案，所述父子逻辑关系是指，当设置一个物体为另一个物体的子对象时，该物体为子物体，另一个物体为父物体，子物体随着父物体的转动变化而变化，相对点位置不发生改变，而子物体转动变化时父物体并不主动跟随发生改变。
进一步的技术方案，在建模过程中，还包括：基于工业机械臂的实际参数，设置数字孪生体模型的基本参数；所述基本参数包括关节灵敏度、关节活动范围、各关节的线性速度和加速度的上限。
进一步的技术方案，在建模过程中，建立数字孪生体模型与工业机械臂之间的通信连接，工业机械臂向数字孪生体模型发送工业机械臂同步参数，数字孪生体模型接收目标数据进行模拟并通过训练后再向工业机械臂返回执行数据；
所述执行数据包括工业机械臂位姿调整数据，即各个旋转关节的转角、转角速度及转角加速度。
进一步的技术方案，基于近端策略优化算法PPO，规划数字孪生体模型运动的最优轨迹，实现自学习功能。
进一步的技术方案，根据六自由度机械臂，设定数字孪生体模型的初始坐标位置与初始关节角度；
基于目标位置，数字孪生体模型从预设的策略集中选择策略进行模拟运行，获取每一策略运行的观测结果，基于观测结果赋予回报奖赏，选择回报奖赏最大的策略进行迭代运行，直至获得累计回报奖赏最大化的最优策略；
基于获得的最优策略，确定数字孪生体模型的运动轨迹。
第二方面，本公开提供了一种基于数字孪生技术的工业机械臂控制***，包括六自由度的工业机械臂和数字孪生模拟平台；
所述数字孪生模拟平台用于执行第一方面所提供的基于数字孪生技术的工业机械臂控制方法，驱动六自由度的工业机械臂自适应转动，实现对工业机械臂的智能控制。
第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。
以上一个或多个技术方案存在以下有益效果：
1、本发明提供了一种基于数字孪生技术的工业机械臂控制方法及***，利用数字孪生技术构建机械臂的数字孪生体模型，连接数字世界和物理世界，使得物理对象与虚拟对象之间实现上下行的物理信息数据交互，解决传统机理模型无法解决的非线性、不确定性问题，大大提高了机械臂的实时性和泛化能力。
2、本发明对机械臂的数字孪生体模型进行学习训练，利用马尔科夫奖励过程使得数字孪生体在不同的环境状态下，学习选择使得奖赏最大的动作，实现工业机械臂的自我学习，大大提高了自动化程度。
3、本发明利用近端策略优化算法，通过强化学习训练使机械臂实现自学习自适应转动，解决传统机械臂运动过程不连续问题，实现对机械臂的智能控制，提高自动化程度和工业生产效率。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例一所述基于数字孪生技术的工业机械臂控制方法的整体流程图；
图2为本发明实施例一中五个层次所实现的功能示意图；
图3为本发明实施例一中六自由度的工业机械臂的结构示意图。
其中，1、基座关节，2、肩部关节，3、肘部关节，4、第一腕部关节，5、第二腕部关节，6、第三腕部关节，7、基座，8、工具端。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种基于数字孪生技术的工业机械臂控制方法，如图1所示，包括以下步骤：
S1、利用数字孪生技术构建六自由度的工业机械臂的数字孪生体模型；所述数字孪生体模型包括6个旋转关节和5个从动部件，设置旋转关节和从动部件之间的父子逻辑关系；
S2、基于数据驱动的深度强化学习算法对数字孪生体模型进行学习训练，学习获得累计回报奖赏最大化的最优策略，确定数字孪生体模型的运动轨迹；
S3、基于数字孪生体模型的运动轨迹，驱动工业机械臂自适应转动，实现对工业机械臂的智能控制。
本实施例以工业抓取机械臂为例，从物理层、数据层、传输层、虚拟层和服务层这五个层次中进行分析及设置，实现对工业机械臂的智能控制。如图2所示，在物理层方面，以六自由度工业机械臂作为虚拟实体、服务、孪生数据交互的基础；在数据层方面，将数据分为固有信息层和位姿调整层；在传输层方面，基于Socket的Modbus通信协议，实现六自由度工业机械臂和Unity3D平台之间的数据传输；在虚拟层方面，在Unity3D平台建立工业抓取机械臂的数字孪生体模型，通过对数字孪生体的强化学习训练，获取并输出各个关节的转角和速度数据，进而实现对物理空间中的工业机械臂的精准控制；在服务层方面，将工业机械臂的运动轨迹相关数据进行可视化展示。
步骤S1中，利用数字孪生技术构建六自由度的工业机械臂的数字孪生体模型。
在本实施例中，工业机械臂的结构如图3所示，该机械臂包括6个旋转关节、5个从动部件、基座和工具端。其中，每个旋转关节表示一个自由度，包括基座关节1、肩部关节2、肘部关节3、第一腕部关节4、第二腕部关节5和第三腕部关节6；每两个关节之间设有一个由转动带动的部件即从动部件，共5个从动部件，基座关节1和肩部关节2之间设置第一从动部件，肩部关节2和肘部关节3之间设置第二从动部件，肘部关节3和第一腕部关节4之间设置第三从动部件，第一腕部关节4和第二腕部关节5之间设置第四从动部件，第二腕部关节5和第三腕部关节6之间设置第五从动部件；除此以外，该工业机械臂还包括基座7和工具端8，基座与基座关节1连接，用于机械臂本体和机器人底座连接，工具端与第三腕部关节6连接，用于机械臂本体与工具连接。
以上述六自由度工业机械臂为基础，在虚拟层，利用数字孪生技术构建工业机械臂的数字孪生体模型，该数字孪生体模型包括6个旋转关节和5个从动部件，以及固定的基座和机械臂末端的工具端，设置旋转关节和从动部件之间的父子逻辑关系。
上述父子逻辑关系是指，当设置一个物体为另一个物体的子对象时，该物体即为子物体，另一个物体为父物体，子物体随着父物体的转动变化而变化，相对点位置不发生改变，而子物体转动变化时父物体并不主动跟随发生改变。一个父物体可以有多个子物体，但一个子物体只能有一个父物体，子物体可以再成为其他物体的父物体。
在本实施例中，数字孪生体模型上述11个部件(6个旋转关节和5个从动部件)分别两两构成父子逻辑关系，具体的，基座关节1和第一从动部件为父子逻辑关系、第一从动部件和肩部关节2为父子逻辑关系，以此类推，最终，基座关节1、第一从动部件、肩部关节2、第二从动部件、肘部关节3、第三从动部件、第一腕部关节4、第四从动部件、第二腕部关节5、第五从动部件和第三腕部关节6按顺序依次两两构成父子逻辑关系。
此外，该工业机械臂还包括基座和工具端，基座和基座关节1构成父子逻辑关系，第三腕部关节6和工具端构成父子逻辑关系。
在上述建模过程中，还包括：基于工业机械臂的实际参数，设置该模型的基本参数，包括关节灵敏度、关节活动范围(在本实施例中未-175°～175°)、各关节的线性速度和加速度的上限等，保证该数字孪生体模型的运动轨迹更贴近实际工业机械臂的运动。
具体的，本实施例在虚拟层采用Unity3D平台来构建工业机械臂的数字孪生体模型。Unity3D是由Unity Technologies公司开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具。在本实施例中，利用Blender软件对六自由度机械臂Aubo-i10进行物理克隆，把模型导入Unity3D空间中并设置关节之间的父子逻辑关系，即在unity中，将一个物体拖动到另一个物体的列表下，那么这两个物体之间就构成了父子关系，这两个物体分别为父物体与子物体；将六自由度机械臂Aubo-i10的物理属性映射到虚拟空间中，之后在Unity3D空间中进行模型重构，进而完成六自由度机械臂Aubo-i10的数字孪生体模型的构建。
在上述建立数字孪生体模型的过程中，建立数字孪生体模型与工业机械臂之间的通信连接，工业机械臂向数字孪生体模型发送机械臂同步参数，即数据层的固有信息层，包括机械臂自身的参数，如上述各部件及其相应的参数、***分辨率、承载能力、最大速度以及上述工业机械臂的实际参数等；数字孪生体模型接收数据进行模拟并通过智能框架训练后再向工业机械臂返回数据，该数据即数据层的位姿调整层，包括工业机械臂位姿调整数据，即各个旋转关节的转角、转角速度及转角加速度等。
在本实施例综，基于Socket的Modbus通信协议，在六自由度机械臂Aubo-i10和Unity3D平台之间建立双端连接，保证数据传输的稳定性和可靠性。以Aubo-i10作为主动端，Unity3D平台作为被动端，首先在两个端口设置Socket套接字并确认建立连接；在正式通信过程中由主动端Aubo-i10向被动端Unity3D平台发送机械臂同步参数，Unity3D平台接收数据模拟并通过智能框架训练后再向主动端返回数据，按此循环往复。当被动端Unity3D平台处理请求出现异常时，则向主动端反馈异常功能码。
本实施例利用数字孪生技术构建机械臂的数字孪生体模型，连接数字世界和物理世界，使得物理对象与虚拟对象之间实现上下行的物理信息数据交互，解决传统机理模型无法解决的非线性、不确定性问题，大大提高机械臂的实时性和泛化能力。
作为另一种实施方式，在进行数字孪生体模型的强化学习训练之前，还包括：检测数字孪生建模得到的数字孪生体模型是否具有六自由度机械臂Aubo-i10的物理特征，以及是否具有六自由度机械臂Aubo-i10没有的物理特征；若存在问题，则重新进行工业机械臂数字孪生体模型的构建，以此保证后续学习训练及控制的准确完成。
步骤S2中，基于数据驱动的深度强化学习算法对数字孪生体模型进行学习训练，学习获得累计回报奖赏最大化的最优策略，确定数字孪生体模型的运动轨迹。
在本实施例中，基于近端策略优化算法PPO，规划数字孪生体模型运动的最优轨迹，实现自学习功能。
具体的，首先，根据六自由度机械臂，设定数字孪生体模型的初始坐标位置与初始关节角度；
基于目标位置，数字孪生体模型从预设的策略集中选择策略进行模拟运行，获取每一策略运行的观测结果，基于观测结果赋予回报奖赏，选择回报奖赏最大的策略进行迭代运行，直至获得累计回报奖赏最大化的最优策略；
基于获得的最优策略，确定数字孪生体模型的运动轨迹。
PPO算法是现有算法，其是在TRPO算法(PG系算法)基础上进行的改进。TRPO算法的每次迭代都尝试从当前的策略中选择一个合适的步长，使新策略得到的累计回报单调递增，其目标函数如式(1)所示：
上述目标函数的约束条件为：
其中，
是优势函数，
是重要性采样权重，
表示新策略的概率分布，πθ(at|st)表示旧策略的概率分布，st表示当前状态，at表示当前所采取的动作，π表示策略，为关于状态s的函数，且在深度强化学习中，策略π由神经网络构成，神经网络的参数为θ，表示为πθ，KL表示KL散度。
在强化学习中，用π表示策略，表示在当前状态下机械臂(agent)从动作(action)集合中选择一个动作的概率分布，进而期望存在函数f，当输入目前的状态(state)时，输出策略π，获取机械臂(agent)的下一步动作(action)，即π＝f(state)。若agent的action能够促进agent尽快到达目标值的动作，则需要增加这个action获得更多被选择的几率，即增大奖励(reward)；反之，则这个action被选择的几率将会减少，即减少奖励(reward)。在以此构建的神经网络模型的基础上，估算出动作(action)的期望收益，通过上述目标函数求解更新模型的参数θ，使得期望收益更高，输出机械臂动作。
TRPO算法对模型的每一轮优化都划定了置信区域，为了保证优化的稳定性，每次优化都不超过这个范围，而这个范围的限制是由KL散度控制的，要求新策略与旧策略的概率分布不能相差太大，以保持稳定的增长。
为了控制策略的更新幅度，PPO算法采用了截断的代理目标函数，实现重复性采样，加快训练速度。该算法将新旧策略的比值
限制在一个区域中，通过控制区域的大小来限制更新的步幅。相比TRPO中使用KL散度进行限制，PPO中
的限制更加简单，也更容易实现。PPO算法的目标函数如式(2)所示：
其中，
将重要性采样权重
约束在(1-∈,1+∈)范围内，∈为超参数；min函数的作用是对原始项和截断项取最小，因此，当策略更新的偏移超出预定区间时，截断项就会起到限制的作用。
PPO算法还运用了优势函数估计方法和增加额外熵奖励的优化方法来进一步提升其性能。使用泛化优势估计构造优势函数能够降低方差，使算法不会产生较大的波动。泛化优势估计GAE的计算式如式(3)所示：
其中，δt＝rt+γV(dt+1)-V(st)。
将PPO算法应用在策略和值函数共享参数的网络结构上时，除了截断回报之外，目标函数还加上了关于值函数估计的误差项以及策略模型的熵正则项，用于鼓励探索。因此，优化后的目标函数如式(4)所示：
其中，c1和c2为两个常数超参数；c1(Vθ(s)-Vtarget)2是状态值函数的均方误差，误差越小越好；H(s,πθ)表示策略πθ的熵值，熵越大越好。
利用上述近端策略优化算法PPO，基于上述优化后的目标函数不断进行迭代，最终能够快速完成训练并输出机械臂当前状态下最优的策略，根据该策略执行相应的动作，通过自学习规划出数字孪生体模型运动的最优轨迹。
本实施例利用强化学习算法使得机械臂实现自学习自适应转动实现运动的连续过程，避免利用传统的正运动学和逆运动学驱动机械臂进行转动而遇到奇点导致机械臂卡死无法转动的情况；采用近端策略优化算法，使数字孪生体模型和环境交互获得反馈，并为动作选择提供经验，从而学习到使数字孪生体模型获得的累积回报奖赏最大化的最优策略，通过近端策略优化算法使机械臂实现自学习自适应运动，解决传统机械臂运动过程不连续、难以对若干个随时产生或者消失的接触点用传统的优化/梯度下降办法解决的问题，进而实现对机械臂的智能控制，提高自动化程度和工业生产效率。
步骤S3中，基于数字孪生体模型的运动轨迹，驱动工业机械臂自适应转动，实现对工业机械臂的智能控制。具体的，在获取数字孪生体模型的运行轨迹后，数字孪生体模型向工业机械臂返回位姿调整数据，即各个旋转关节的转角、转角速度及转角加速度等，驱动工业机械臂自适应转动，进而实现对工业机械臂的智能控制。
作为另一种实施方式，数字孪生体模型的转动驱动工业机械臂自适应转动，同时，根据该数字孪生体模型机械臂的转动，对该转动过程中的各个数据进行可视化显示，使得控制人员可以第一时间掌握工业机械臂的运转情况，实时性得到保障。
实施例二
本实施例提供了一种基于数字孪生技术的工业机械臂控制***，包括六自由度的工业机械臂和数字孪生模拟平台；
所述数字孪生模拟平台用于执行上述实施例一所提供的基于数字孪生技术的工业机械臂控制方法，驱动六自由度的工业机械臂自适应转动，实现对工业机械臂的智能控制。
具体的，上述数字孪生模拟平台利用数字孪生技术构建六自由度的工业机械臂的数字孪生体模型；基于数据驱动的深度强化学习算法对数字孪生体模型进行学习训练，学习获得累计回报奖赏最大化的最优策略，确定数字孪生体模型的运动轨迹；基于数字孪生体模型的运动轨迹，驱动工业机械臂自适应转动，实现对工业机械臂的智能控制。
实施例三
本实施例提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如上所述的基于数字孪生技术的工业机械臂控制方法中的步骤。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成如上所述的基于数字孪生技术的工业机械臂控制方法中的步骤。
以上实施例二至四中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种基于数字孪生技术的工业机械臂控制方法，其特征是，包括：
利用数字孪生技术构建六自由度的工业机械臂的数字孪生体模型；所述数字孪生体模型包括6个旋转关节和5个从动部件，设置旋转关节和从动部件之间的父子逻辑关系；
基于数据驱动的深度强化学习算法对数字孪生体模型进行学习训练，学习获得累计回报奖赏最大化的最优策略，确定数字孪生体模型的运动轨迹；
基于数字孪生体模型的运动轨迹，驱动工业机械臂自适应转动，实现对工业机械臂的智能控制。
2.如权利要求1所述的基于数字孪生技术的工业机械臂控制方法，其特征是，所述数字孪生体模型的6个旋转关节和5个从动部件分别两两构成父子逻辑关系；具体的，基座关节、第一从动部件、肩部关节、第二从动部件、肘部关节、第三从动部件、第一腕部关节、第四从动部件、第二腕部关节、第五从动部件和第三腕部关节按顺序依次两两构成父子逻辑关系。
3.如权利要求1所述的基于数字孪生技术的工业机械臂控制方法，其特征是，所述父子逻辑关系是指，当设置一个物体为另一个物体的子对象时，该物体为子物体，另一个物体为父物体，子物体随着父物体的转动变化而变化，相对点位置不发生改变，而子物体转动变化时父物体并不主动跟随发生改变。
4.如权利要求1所述的基于数字孪生技术的工业机械臂控制方法，其特征是，在建模过程中，还包括：基于工业机械臂的实际参数，设置数字孪生体模型的基本参数；所述基本参数包括关节灵敏度、关节活动范围、各关节的线性速度和加速度的上限。
5.如权利要求1所述的基于数字孪生技术的工业机械臂控制方法，其特征是，在建模过程中，建立数字孪生体模型与工业机械臂之间的通信连接，工业机械臂向数字孪生体模型发送工业机械臂同步参数，数字孪生体模型接收目标数据进行模拟并通过训练后再向工业机械臂返回执行数据；
所述执行数据包括工业机械臂位姿调整数据，即各个旋转关节的转角、转角速度及转角加速度。
6.如权利要求1所述的基于数字孪生技术的工业机械臂控制方法，其特征是，基于近端策略优化算法PPO，规划数字孪生体模型运动的最优轨迹，实现自学习功能。
7.如权利要求6所述的基于数字孪生技术的工业机械臂控制方法，其特征是，根据六自由度机械臂，设定数字孪生体模型的初始坐标位置与初始关节角度；
基于目标位置，数字孪生体模型从预设的策略集中选择策略进行模拟运行，获取每一策略运行的观测结果，基于观测结果赋予回报奖赏，选择回报奖赏最大的策略进行迭代运行，直至获得累计回报奖赏最大化的最优策略；
基于获得的最优策略，确定数字孪生体模型的运动轨迹。
8.一种基于数字孪生技术的工业机械臂控制***，其特征是，包括六自由度的工业机械臂和数字孪生模拟平台；
所述数字孪生模拟平台用于执行权利要求1-7任一项所述的基于数字孪生技术的工业机械臂控制方法，驱动六自由度的工业机械臂自适应转动，实现对工业机械臂的智能控制。
9.一种电子设备，其特征是：包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-7中任一项所述的一种基于数字孪生技术的工业机械臂控制方法的步骤。
10.一种计算机可读存储介质，其特征是：用于存储计算机指令，所述计算机指令被处理器执行时，完成如权利要求1-7中任一项所述的一种基于数字孪生技术的工业机械臂控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211217890.2A CN115446867A (zh) | 2022-09-30 | 2022-09-30 | 一种基于数字孪生技术的工业机械臂控制方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211217890.2A CN115446867A (zh) | 2022-09-30 | 2022-09-30 | 一种基于数字孪生技术的工业机械臂控制方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115446867A true CN115446867A (zh) | 2022-12-09 |
Family
ID=84308747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211217890.2A Pending CN115446867A (zh) | 2022-09-30 | 2022-09-30 | 一种基于数字孪生技术的工业机械臂控制方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115446867A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115781685A (zh) * | 2022-12-26 | 2023-03-14 | 广东工业大学 | 一种基于强化学习的高精度机械臂控制方法及*** |
| CN117798928A (zh) * | 2024-01-25 | 2024-04-02 | 华中科技大学 | 一种基于Unity的数字孪生机械臂强化学习训练方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020241037A1 (ja) * | 2019-05-24 | 2020-12-03 | 株式会社エクサウィザーズ | 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム |
| CN112192614A (zh) * | 2020-10-09 | 2021-01-08 | 西南科技大学 | 一种基于人机合作的核运维机器人轴孔装配方法 |
| US20210394359A1 (en) * | 2020-06-18 | 2021-12-23 | John David MATHIEU | Robotic Intervention Systems |
| CN114407015A (zh) * | 2022-01-28 | 2022-04-29 | 青岛理工大学 | 一种基于数字孪生的遥操作机器人在线示教***及方法 |
| CN114942633A (zh) * | 2022-04-28 | 2022-08-26 | 华南农业大学 | 基于数字孪生和强化学习的多智能体协同避碰采摘方法 |
-
2022
- 2022-09-30 CN CN202211217890.2A patent/CN115446867A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020241037A1 (ja) * | 2019-05-24 | 2020-12-03 | 株式会社エクサウィザーズ | 学習装置、学習方法、学習プログラム、自動制御装置、自動制御方法および自動制御プログラム |
| US20210394359A1 (en) * | 2020-06-18 | 2021-12-23 | John David MATHIEU | Robotic Intervention Systems |
| CN112192614A (zh) * | 2020-10-09 | 2021-01-08 | 西南科技大学 | 一种基于人机合作的核运维机器人轴孔装配方法 |
| CN114407015A (zh) * | 2022-01-28 | 2022-04-29 | 青岛理工大学 | 一种基于数字孪生的遥操作机器人在线示教***及方法 |
| CN114942633A (zh) * | 2022-04-28 | 2022-08-26 | 华南农业大学 | 基于数字孪生和强化学习的多智能体协同避碰采摘方法 |
Non-Patent Citations (1)
| Title |
|---|
| 熊俊涛: "基于深度强化学习的虚拟机器人采摘路径壁障规划", 农业机械学报, vol. 51, no. 2, 31 December 2020 (2020-12-31) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115781685A (zh) * | 2022-12-26 | 2023-03-14 | 广东工业大学 | 一种基于强化学习的高精度机械臂控制方法及*** |
| CN117798928A (zh) * | 2024-01-25 | 2024-04-02 | 华中科技大学 | 一种基于Unity的数字孪生机械臂强化学习训练方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109960880B (zh) | 一种基于机器学习的工业机器人避障路径规划方法 | |
| CN112904728B (zh) | 一种基于改进型趋近律的机械臂滑模控制轨迹跟踪方法 | |
| CN115446867A (zh) | 一种基于数字孪生技术的工业机械臂控制方法及*** | |
| US11529733B2 (en) | Method and system for robot action imitation learning in three-dimensional space | |
| CN114083539B (zh) | 一种基于多智能体强化学习的机械臂抗干扰运动规划方法 | |
| CN116533249A (zh) | 基于深度强化学习的机械臂控制方法 | |
| JP2022061022A (ja) | 力及びトルク誘導ロボット組立のための技術 | |
| CN117103282B (zh) | 一种基于matd3算法的双臂机器人协同运动控制方法 | |
| Vladareanu et al. | The navigation of mobile robots in non-stationary and non-structured environments | |
| CN115781685A (zh) | 一种基于强化学习的高精度机械臂控制方法及*** | |
| Kim et al. | Learning and generalization of dynamic movement primitives by hierarchical deep reinforcement learning from demonstration | |
| KR20240052808A (ko) | 그래프 신경망을 이용한 다중 로봇 조정 | |
| Dong et al. | A novel human-robot skill transfer method for contact-rich manipulation task | |
| CN116079747A (zh) | 机器人跨具身控制方法、***、计算机设备和存储介质 | |
| Peng et al. | Moving object grasping method of mechanical arm based on deep deterministic policy gradient and hindsight experience replay | |
| CN110434854A (zh) | 一种基于数据驱动的冗余度机械臂视觉伺服控制方法与装置 | |
| CN116009542A (zh) | 动态多智能体覆盖路径规划方法、装置、设备及存储介质 | |
| CN114967472A (zh) | 一种无人机轨迹跟踪状态补偿深度确定性策略梯度控制方法 | |
| Kallmann et al. | A skill-based motion planning framework for humanoids | |
| US20240054393A1 (en) | Learning Device, Learning Method, Recording Medium Storing Learning Program, Control Program, Control Device, Control Method, and Recording Medium Storing Control Program | |
| KR20230010746A (ko) | 상대 엔트로피 q-러닝을 사용한 액션 선택 시스템 트레이닝 | |
| Zhou et al. | Intelligent Control of Manipulator Based on Deep Reinforcement Learning | |
| CN112264995A (zh) | 一种基于层级强化学习的机器人双轴孔装配方法 | |
| CN117140527B (zh) | 一种基于深度强化学习算法的机械臂控制方法及*** | |
| CN116079730B (zh) | 一种提升机器人手臂操作精度的控制方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |