CN110039537B - 一种基于神经网络的在线自学习多关节运动规划方法 - Google Patents

一种基于神经网络的在线自学习多关节运动规划方法 Download PDF

Info

Publication number
CN110039537B
CN110039537B CN201910198188.8A CN201910198188A CN110039537B CN 110039537 B CN110039537 B CN 110039537B CN 201910198188 A CN201910198188 A CN 201910198188A CN 110039537 B CN110039537 B CN 110039537B
Authority
CN
China
Prior art keywords
neural network
input
output
layer
phi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910198188.8A
Other languages
English (en)
Other versions
CN110039537A (zh
Inventor
郭雅静
朱晓荣
赵青
陈靓
郭喜彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Institute of Precise Mechatronic Controls
Original Assignee
Beijing Research Institute of Precise Mechatronic Controls
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Institute of Precise Mechatronic Controls filed Critical Beijing Research Institute of Precise Mechatronic Controls
Priority to CN201910198188.8A priority Critical patent/CN110039537B/zh
Publication of CN110039537A publication Critical patent/CN110039537A/zh
Application granted granted Critical
Publication of CN110039537B publication Critical patent/CN110039537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种基于神经网络的在线自学习多关节运动规划方法，利用神经网络的全局最佳逼近性能，实现非线性复杂路径的实时自学习和控制。由于多关节同步进行轨迹规划控制，其与时间呈复杂的非线性关系，本发明通过建立各个关节位置的时间相关序列的神经网络模型，实现多关节的在线自学习，用于智能机械臂的实时控制，大大降低了数值求解的难度，提高运算效率，且具有实时性自学习能力。

Description

一种基于神经网络的在线自学习多关节运动规划方法
技术领域
本发明涉及一种基于神经网络的在线自学习多关节运动规划方法，用于在线自学习实现多关节机械臂的运动规划与控制，属于智能机器人轨迹规划与控制领域，特别适用于实现机械臂对新轨迹路径的发现、实时自学习与控制。
背景技术
随着技术的发展，智能机器人得到了广泛的关注与应用，其包含了机械结构、驱动、控制等多学科的高度集成设备，智能机器人的机械臂一般包含多个驱动关节，其轨迹控制决定了机械臂的精度、服务与应用。机械臂运动轨迹控制多用于三维立体空间，目前常用状态空间解析与软件运动仿真实现机械臂多关节的轨迹规划。但是三维立体空间的机械臂工作空间求解涉及多种抽样求解数值法，多关节同步进行轨迹规划控制，并且其与时间呈复杂的非线性关系，求解过程繁琐、难度大并且效率较低，具有延迟特性，很难实现机械臂的自学习实时运动规划。
发明内容
本发明的目的在于克服现有技术的上述不足，提供一种基于神经网络的在线自学习多关节运动规划方法，大大降低了数值求解的难度，提高运算效率，且具有实时性自学习能力。
本发明的上述目的是通过如下技术方案予以实现的：
一种基于神经网络的在线自学习多关节运动规划方法，包括如下步骤：
(1)通过机械臂上的传感器采集轨迹相关信息，并记录，前N时刻采集的数据记为φ(t-1)、φ(t-2)……φ(t-N)，t为当前时刻，N为大于1的自然数，每一时刻采集的数据用矢量表示，其中包含机械臂各个关节的轨迹相关信息；
(2)判定是否是自学习阶段，如果在自学习阶段，进入步骤(3)，若不在自学习阶段，进入步骤(4)；
(3)利用前N时刻的轨迹相关信息φ(t-1)、φ(t-2)、……φ(t-N)作为输入，以当前时刻轨迹相关信息φ(t)作为输出，建立神经网络模型，根据采集的数据进行神经网络训练，更新神经网络模型；当采集完整个需要学习的运行轨迹数据后，完成神经网络的训练，跳出自学习阶段；
(4)将φ(t)、φ(t-1)、φ(t-2)、……φ(t-N-1)作为神经网络模型输入，利用步骤(3)中更新完的神经网络模型，计算神经网络模型的输出φ(t+1)，实现预测控制。
所述步骤(1)中，轨迹相关信息为关节位置角度信息、力矩信息或姿态信息。
所述步骤(3)中，神经网络模型包括输入层、隐含层和输出层；输入层的输出量为隐含层的输入量；隐含层的输出量为输出层的输入量。
隐含层节点为3-5个节点。
所述步骤(3)中，建立神经网络模型时，需要确定输入层与输出层之间的激发函数关系。
确定输入层与输出层之间的激发函数关系的具体步骤如下：
S1：计算隐含层的输入量I1i与输入层的输入量φ(t-1)、φ(t-2)、……φ(t-N)的关系；
S2：计算隐含层的输入量I1i与隐含层的输出量O1i的关系；
S3：计算输出层的输出量
Figure BDA0001996510820000021
与隐含层的输出量O1i的关系；
S4：上述隐含层的输入量与输入层的输入量的关系、隐含层的输入量与隐含层的输出量的关系以及输出层的输出量与隐含层的输出量的关系即为输入层与输出层之间的激发函数关系。
所述步骤S1中，利用如下公式计算隐含层的输入量I1i与输入层的输入量φ(t-1)、φ(t-2)、……φ(t-N)的关系：
Figure BDA0001996510820000031
式中，m1为隐含层节点的个数；i为第i个隐含层节点；j为第j个输入层节点；θ1j为第j个输入层节点的阈值；w1i,j为第i个隐含层节点与第j个输入层节点的连接权值参数。
所述步骤S2中，利用如下公式计算隐含层的输入量I1i与隐含层的输出量O1i的关系；
Figure BDA0001996510820000032
式中，a为倾斜参数。
所述步骤S3中，利用如下公式计算输出层的输出量
Figure BDA0001996510820000033
与隐含层的输出量O1i的关系：
令输入层节点的阈值θ1j为0，则：
Figure BDA0001996510820000034
式中，vi为输出层节点与隐含层节点的连接权值参数；
m2为输出层节点个数。
m2取1。
本发明与现有技术相比具有如下优点：
(1)本发明利用神经网络的全局最佳逼近性能，实现非线性复杂路径的实时自学习和控制，多关节同步进行轨迹规划控制，计算难度小，计算效率高。
(2)本发明利用各个关节位置的时间相关序列的物理关系建立的神经网络模型，实现关节角度的预测，从而实现控制过程中时间延迟的补偿。
附图说明
图1为本发明流程图；
图2为神经网络模型示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细的描述：
神经网络方法可以忽略过程或***的具体物理参数，通过对训练样本的学习，实现输入输出间的复杂非线性映射，且具有较好的泛化能力，其具有全局最佳逼近性能，训练方法快速易行，不存在局部最优问题。利用神经网络建立关节位置角度等轨迹相关信息与前N时刻的轨迹相关信息之间的泛函关系，即可对轨迹相关信息进行预测。
具体地，如图1所示，本发明在线自学习多关节运动规划方法通过以下步骤实现：
(1)通过机械臂上的传感器采集轨迹相关信息(关节位置角度信息、力矩信息或姿态信息)，并记录。前N时刻采集的数据记为φ(t-1)、φ(t-2)……φ(t-N)，t为当前时刻，N为大于1的自然数，每一时刻采集的数据用矢量表示，其中包含机械臂各个关节的轨迹相关信息。
(2)判定是否是自学习阶段，如果在自学习阶段，进入步骤(3)神经网络建模过程，若不在自学习阶段，进入步骤(4)预测控制过程。
(3)利用φ(t-1)、φ(t-2)……φ(t-N)作为神经网络输入φ(t)作为神经网络输出，建立神经网络模型，根据采集的数据进行神经网络训练，更新神经网络模型；当采集完整个运行轨迹的数据后，完成神经网络的训练，跳出自学习阶段。神经网络模型如图2所示。
(4)将φ(t)、φ(t-1)、φ(t-2)……φ(t-N-1)作为神经网络输入，利用步骤(3)中更新完的神经网络模型，计算神经网络输出φ(t+1)，实现预测控制。
进一步地，步骤(3)中，神经网络模型包括输入层、隐含层和输出层；输入层的输出量为隐含层的输入量；隐含层的输出量为输出层的输入量；隐含层节点为3-5个节点。
建立神经网络模型时，需要确定输入层与输出层之间的激发函数关系，即隐含层的激发函数，具体步骤如下：
S1：利用公式(1)计算隐含层的输入量I1i与输入层的输入量φ(t-1)、φ(t-2)……φ(t-N)的关系；
Figure BDA0001996510820000051
式中，
m1为隐含层节点的个数；
i为第i个隐含层节点；
j为第j个输入层节点；
θ1j为第j个输入层节点的阈值；
w1i,j为第i个隐含层节点与第j个输入层节点的连接权值参数。
S2：利用公式(2)计算隐含层的输入量I1i与隐含层的输出量O1i的关系；
Figure BDA0001996510820000052
式中，a为倾斜参数。
S3：计算输出层的输出量
Figure BDA0001996510820000053
与隐含层的输出量O1i的关系；
计算方法如下：
令输入层节点的阈值θ1j为0，则：
Figure BDA0001996510820000054
式中，vi为输出层节点与隐含层节点的连接权值参数；
m2为输出层节点个数，取1。
S4：上述隐含层的输入量与输入层的输入量的关系、隐含层的输入量与隐含层的输出量的关系以及输出层的输出量与隐含层的输出量的关系即为输入层与输出层之间的激发函数关系。
本发明利用神经网络的全局最佳逼近性能，实现非线性复杂路径的实时自学习和控制。由于多关节同步进行轨迹规划控制，其与时间呈复杂的非线性关系，本发明通过建立各个关节位置的时间相关序列的神经网络模型，实现多关节的在线自学习，用于智能机械臂的实时控制，大大降低了数值求解的难度，提高运算效率，且具有实时性自学习能力。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

Claims (10)

1.一种基于神经网络的在线自学习多关节运动规划方法，其特征在于：包括如下步骤：
(1)通过机械臂上的传感器采集轨迹相关信息，并记录，前N时刻采集的数据记为φ(t-1)、φ(t-2)……φ(t-N)，t为当前时刻，N为大于1的自然数，每一时刻采集的数据用矢量表示，其中包含机械臂各个关节的轨迹相关信息；
(2)判定是否是自学习阶段，如果在自学习阶段，进入步骤(3)，若不在自学习阶段，进入步骤(4)；
(3)利用前N时刻的轨迹相关信息φ(t-1)、φ(t-2)、……φ(t-N)作为输入，以当前时刻轨迹相关信息φ(t)作为输出，建立神经网络模型，根据采集的数据进行神经网络训练，更新神经网络模型；当采集完整个需要学习的运行轨迹数据后，完成神经网络的训练，跳出自学习阶段；
(4)将φ(t)、φ(t-1)、φ(t-2)、……φ(t-N-1)作为神经网络模型输入，利用步骤(3)中更新完的神经网络模型，计算神经网络模型的输出φ(t+1)，实现预测控制。
2.根据权利要求1所述的一种基于神经网络的在线自学习多关节运动规划方法，其特征在于：所述步骤(1)中，轨迹相关信息为关节位置角度信息、力矩信息或姿态信息。
3.根据权利要求1所述的一种基于神经网络的在线自学习多关节运动规划方法，其特征在于：所述步骤(3)中，神经网络模型包括输入层、隐含层和输出层；输入层的输出量为隐含层的输入量；隐含层的输出量为输出层的输入量。
4.根据权利要求3所述的一种基于神经网络的在线自学习多关节运动规划方法，其特征在于：隐含层节点为3-5个节点。
5.根据权利要求3所述的一种基于神经网络的在线自学习多关节运动规划方法，其特征在于：所述步骤(3)中，建立神经网络模型时，需要确定输入层与输出层之间的激发函数关系。
6.根据权利要求5所述的一种基于神经网络的在线自学习多关节运动规划方法，其特征在于：确定输入层与输出层之间的激发函数关系的具体步骤如下：
S1：计算隐含层的输入量I1i与输入层的输入量φ(t-1)、φ(t-2)、……φ(t-N)的关系；
S2：计算隐含层的输入量I1i与隐含层的输出量O1i的关系；
S3：计算输出层的输出量
Figure FDA0001996510810000021
与隐含层的输出量O1i的关系；
S4：上述隐含层的输入量与输入层的输入量的关系、隐含层的输入量与隐含层的输出量的关系以及输出层的输出量与隐含层的输出量的关系即为输入层与输出层之间的激发函数关系。
7.根据权利要求6所述的一种基于神经网络的在线自学习多关节运动规划方法，其特征在于：所述步骤S1中，利用如下公式计算隐含层的输入量I1i与输入层的输入量φ(t-1)、φ(t-2)、……φ(t-N)的关系：
Figure FDA0001996510810000022
式中，m1为隐含层节点的个数；i为第i个隐含层节点；j为第j个输入层节点；θ1j为第j个输入层节点的阈值；w1i,j为第i个隐含层节点与第j个输入层节点的连接权值参数。
8.根据权利要求7所述的一种基于神经网络的在线自学习多关节运动规划方法，其特征在于：所述步骤S2中，利用如下公式计算隐含层的输入量I1i与隐含层的输出量O1i的关系；
Figure FDA0001996510810000023
式中，a为倾斜参数。
9.根据权利要求8所述的一种基于神经网络的在线自学习多关节运动规划方法，其特征在于：所述步骤S3中，利用如下公式计算输出层的输出量
Figure FDA0001996510810000024
与隐含层的输出量O1i的关系：
令输入层节点的阈值θ1j为0，则：
Figure FDA0001996510810000031
式中，vi为输出层节点与隐含层节点的连接权值参数；
m2为输出层节点个数。
10.根据权利要求9所述的一种基于神经网络的在线自学习多关节运动规划方法，其特征在于：m2取1。
CN201910198188.8A 2019-03-15 2019-03-15 一种基于神经网络的在线自学习多关节运动规划方法 Active CN110039537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910198188.8A CN110039537B (zh) 2019-03-15 2019-03-15 一种基于神经网络的在线自学习多关节运动规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910198188.8A CN110039537B (zh) 2019-03-15 2019-03-15 一种基于神经网络的在线自学习多关节运动规划方法

Publications (2)

Publication Number Publication Date
CN110039537A CN110039537A (zh) 2019-07-23
CN110039537B true CN110039537B (zh) 2021-07-13

Family

ID=67273732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910198188.8A Active CN110039537B (zh) 2019-03-15 2019-03-15 一种基于神经网络的在线自学习多关节运动规划方法

Country Status (1)

Country Link
CN (1) CN110039537B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826701A (zh) * 2019-11-15 2020-02-21 北京邮电大学 一种基于bp神经网络算法对二自由度柔性腿进行***辨识的方法
CN111590581B (zh) * 2020-05-26 2021-10-22 珠海格力智能装备有限公司 机器人的定位补偿方法及装置
CN113515123B (zh) * 2021-06-25 2024-04-12 北京精密机电控制设备研究所 一种基于改进rrt算法的机器人实时路径规划方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101825870B (zh) * 2010-05-18 2013-01-02 浙江浙大中控信息技术有限公司 一种控制水处理絮凝剂投放量的方法及***
US10807233B2 (en) * 2016-07-26 2020-10-20 The University Of Connecticut Skill transfer from a person to a robot
CN106874914B (zh) * 2017-01-12 2019-05-14 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN106914897A (zh) * 2017-03-31 2017-07-04 长安大学 基于rbf神经网络的机械手运动学逆解方法
CN108038541B (zh) * 2017-12-07 2021-02-19 百度在线网络技术（北京）有限公司 Ctr预估的方法、装置、设备及计算机可读介质
CN108478222B (zh) * 2017-12-21 2021-04-13 北京精密机电控制设备研究所 一种基于神经网络的关节角误差补偿实验装置及方法
CN108453737B (zh) * 2018-03-23 2021-07-06 南京工业大学 一种基于神经网络的机器人动作轨迹获取***及方法
CN109291052B (zh) * 2018-10-26 2021-11-09 山东师范大学 一种基于深度强化学习的按摩机械手训练方法

Also Published As

Publication number Publication date
CN110039537A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
JP6869562B2 (ja) トラッキングネットワークを含むｃｎｎを使用して物体をトラッキングする方法、及びそれを利用した装置｛ｍｅｔｈｏｄ ｆｏｒ ｔｒａｃｋｉｎｇ ｏｂｊｅｃｔ ｂｙ ｕｓｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｉｎｃｌｕｄｉｎｇ ｔｒａｃｋｉｎｇ ｎｅｔｗｏｒｋ ａｎｄ ｃｏｍｐｕｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
CN110039537B (zh) 一种基于神经网络的在线自学习多关节运动规划方法
Han et al. Adaptive computation algorithm for RBF neural network
Yeow et al. Energy efficient multiple target tracking in wireless sensor networks
CN111872934B (zh) 一种基于隐半马尔可夫模型的机械臂控制方法及***
CN112605973B (zh) 一种机器人运动技能学习方法及***
CN110524544A (zh) 一种机械臂运动的控制方法、终端和可读存储介质
CN111428317B (zh) 一种基于5g和循环神经网络的关节摩擦力矩补偿方法
CN110189362B (zh) 基于多分支自编码对抗网络的高效目标跟踪方法
CN115438856A (zh) 基于时空交互特征和终点信息的行人轨迹预测方法
CN113910218B (zh) 一种基于运动学与深度神经网络融合的机器人标定方法和装置
CN115860107B (zh) 一种基于多智能体深度强化学习的多机探寻方法及***
CN112857370A (zh) 一种基于时序信息建模的机器人无地图导航方法
KR20240052808A (ko) 그래프 신경망을 이용한 다중 로봇 조정
Zhou et al. Robot Manipulator Visual Servoing via Kalman Filter-Optimized Extreme Learning Machine and Fuzzy Logic.
CN112800690B (zh) 一种基于群智能优化算法下的水下折展机构参数优化方法
Chen et al. Deep reinforcement learning-based robot exploration for constructing map of unknown environment
CN114943182B (zh) 基于图神经网络的机器人线缆形状控制方法及设备
Afzali et al. A Modified Convergence DDPG Algorithm for Robotic Manipulation
CN114012733B (zh) 一种用于pc构件模具划线的机械臂控制方法
Tang et al. Actively learning Gaussian process dynamical systems through global and local explorations
CN114609969A (zh) 一种基于云计算的数控机床轨迹误差补偿方法
CN118378553B (zh) 一种数字孪生模型构建方法及***
Guo et al. Research on Multi-joints Motion Planning Method by Online Auto-Learning Mode Based on Neural Network
CN117001655A (zh) 机器人运动控制方法、装置、机器人和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant