CN109213147A - 一种基于深度学习的机器人避障轨迹规划方法及*** - Google Patents
一种基于深度学习的机器人避障轨迹规划方法及*** Download PDFInfo
- Publication number
- CN109213147A CN109213147A CN201810863999.0A CN201810863999A CN109213147A CN 109213147 A CN109213147 A CN 109213147A CN 201810863999 A CN201810863999 A CN 201810863999A CN 109213147 A CN109213147 A CN 109213147A
- Authority
- CN
- China
- Prior art keywords
- reward
- input
- deep learning
- movement
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 26
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 230000004888 barrier function Effects 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 19
- 238000004064 recycling Methods 0.000 claims description 7
- 238000004519 manufacturing process Methods 0.000 abstract description 8
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Remote Sensing (AREA)
- Artificial Intelligence (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Hardware Design (AREA)
- Electromagnetism (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种基于深度学习的机器人避障轨迹规划方法及***,包括:在仿真环境中加入照相机,从多个角度拍摄图像并同时输入到卷积神经网络中;根据输入信息得到机械臂更新角度的信息,通过接口调用仿真软件进行更新,获取姿态;用深度学习进行卷积神经网络训练,输入的图像经过卷积运算后,将得到的特征图变成一个一维向量,将一维向量输入到后续的全连接层中,得到每个动作对应的q值,选择q值最大的动作并更新姿态,将更新姿态传入仿真环境得到新的图像输入,循环执行,直至达到目标点。本发明可实现工业机器人的自主避障,提高工业自动化生产能力。
Description
技术领域
本发明涉及工业自动化领域,具体地,涉及一种基于深度学习的机器人避障轨迹规划方法及***。
背景技术
在现代化工业生产环境中,越来越多的机器人被引入流水线参与生产制造工作,较为常见的应用场景有机械加工制造、焊接、装配、喷涂、包装等。通过机器人代替人工劳作,可以有效地提高工作效率、提高生产良品率、减少人工成本。
但常见的机器人对工作环境的要求比较高,需要确保在机器人工作范围内没有障碍物阻隔机器人的运动。现有的常见处理方法是在机器人工作区域设置保护围栏,但该方法一定程度上降低了工厂生产的空间利用率,且对于复杂的生产环境中临时突发的障碍物不具有适用意义。如何实现机器人的自主避障,是提高工业自动化生产能力的关键问题。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于深度学习的机器人避障轨迹规划方法及***。
根据本发明提供的一种基于深度学习的机器人避障轨迹规划方法,包括:
图像输入步骤:在仿真环境中加入照相机,从多个角度拍摄图像并同时输入到卷积神经网络中;
新姿态获取步骤:根据输入信息得到机械臂更新角度的信息,通过接口调用仿真软件进行更新,获取姿态;
网络训练步骤:用深度学习进行卷积神经网络训练,输入的图像经过卷积运算后,将得到的特征图变成一个一维向量,将一维向量输入到后续的全连接层中,得到每个动作对应的q值,选择q值最大的动作并更新姿态,将更新姿态传入仿真环境得到新的图像输入,循环执行网络训练步骤,直至达到目标点。
较佳的,所述网络训练步骤中,每个动作都会得到一个奖励,奖励分为三部分:
第一部分:每次动作之后都会得到一个负的奖励;
第二部分:每次动作之后都会得到一个负的奖励,在没有触碰到障碍物之前,距离障碍物越近则得到的负的奖励越大,碰到障碍物后则停止循环,并给予一个更大的负的奖励;
第三部分:每次动作之后都会得到一个正的奖励,在没有到达目标点之前,距离目标点越近,则得到的正的奖励越大,在到达目标点之后,得到一个更大的正的奖励并结束此次循环,进行下一次探索。
较佳的,在所述网络训练步骤之后还包括:
经验池采样步骤:所有探索得到的结果都放入经验池中,后续每选择完一个动作都要在经验池中进行采样并使用采样的数据对卷积神经网络进行训练。
较佳的,在所述经验池采样步骤之后还包括:
输出步骤:根据训练好的卷积神经网络输出的最优的路径规划轨迹。
较佳的,在所述图像输入步骤之前还包括:
算法初始化步骤:确定算法的初始条件,并进行算法初始化;
机械臂建模步骤:对算法中使用的机械臂进行建模,将得到的模型导入仿真软件,对各个关节进行约束设置。
根据本发明提供的一种基于深度学习的机器人避障轨迹规划***,包括:
图像输入模块:在仿真环境中加入照相机,从多个角度拍摄图像并同时输入到卷积神经网络中;
新姿态获取模块:根据输入信息得到机械臂更新角度的信息,通过接口调用仿真软件进行更新,获取姿态;
网络训练模块:用深度学习进行卷积神经网络训练,输入的图像经过卷积运算后,将得到的特征图变成一个一维向量,将一维向量输入到后续的全连接层中,得到每个动作对应的q值,选择q值最大的动作并更新姿态,将更新姿态传入仿真环境得到新的图像输入,循环执行,直至达到目标点。
较佳的,所述网络训练模块中,每个动作都会得到一个奖励,奖励分为三部分:
第一部分:每次动作之后都会得到一个负的奖励;
第二部分:每次动作之后都会得到一个负的奖励,在没有触碰到障碍物之前,距离障碍物越近则得到的负的奖励越大,碰到障碍物后则停止循环,并给予一个更大的负的奖励;
第三部分:每次动作之后都会得到一个正的奖励,在没有到达目标点之前,距离目标点越近,则得到的正的奖励越大,在到达目标点之后,得到一个更大的正的奖励并结束此次循环,进行下一次探索。
较佳的,还包括:
经验池采样模块:所有探索得到的结果都放入经验池中,后续每选择完一个动作都要在经验池中进行采样并使用采样的数据对卷积神经网络进行训练。
较佳的,还包括:
输出模块:根据训练好的卷积神经网络输出的最优的路径规划轨迹。
较佳的,还包括:
算法初始化模块:确定算法的初始条件,并进行算法初始化;
机械臂建模模块:对算法中使用的机械臂进行建模,将得到的模型导入仿真软件,对各个关节进行约束设置。
与现有技术相比,本发明具有如下的有益效果:
本发明可实现工业机器人的自主避障,提高工业自动化生产能力。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明的网络训练流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
如图1所示,本发明提供的一种基于深度学习的机器人避障轨迹规划方法,包括:
1.对于算法的初始情况进行确定,例如物体的位置,障碍物的位置,机械臂的各个关节参数。之后在算法的初始条件上进行初始化。
2.对于算法中使用的机械臂用SolidWorks进行建模,之后将建好的模型导入到仿真软件VREP当中,对于各个关节进行约束的设置,使得机械臂可以在VREP下进行正常的模拟。在模型设置完整后需要根据步骤1中所得的条件对于障碍物和目标物体进行建模,此处要将各个不同的部分进行不同颜色的渲染使得后期的卷积神经网络识别过程更方便。
3.本方法在模拟的环境下进行训练,因而需要从模拟的环境中获得图片。此处本方法采用了在VREP环境中加入照相机来模拟拍照的实现。由于机械臂在三维空间中进行运动,此处本方法的输入需要是包含三维信息的图像类型输入。由于三维图像的输入对于计算资源要求较高,同时三维图像较难获取,因而本方法中采用了从多个角度的拍摄并同时作为输入信息输入到卷积神经网络当中。
4.使用VREP的python接口对于机械臂的模拟进行调用。在本方法中,算法根据输入的信息得到一个机械臂更新角度的信息,并通过接口调用VREP进行更新,得到新的姿态,并进行后续的操作。
5.本方法的主要框架使用了深度增强学习进行网络的训练。主网络的输入为步骤3中获取的不同角度的图片输入。主网络的框架为常见的卷积神经网络,对于图片的输入首先经过一系列的卷积运算,之后将得到的特征图变成一个一维的向量,将向量输入到后续的全连接层当中,最后可以得到每个动作对应的q值,本方法需要在每个输入中选出最大的q值的动作,并进行执行。对于主网络一共用两倍于机械臂关节数的动作可以供选择,分别对应了每个关节的正转和反转。对于本方法,每次的动作更新大小都被设置为一度。
主循环建立在主网络之上。首先回到设定的初始位置,使用VREP得到图片的输入,把图片输入进主网络当中,得到每个动作的q值,选择q值最大的动作,并对于姿态进行更新。更新姿态传入到VREP中得到新的图片输入,此时判断是否到达目标点。如果到达目标点则停止此次循环,进行下一次探索。
每一个动作都可以得到一个奖励,奖励越大,认为路径更优。其中路径最优的判定原则为机械臂在满足最终能碰到目标点和避开障碍的前提下,机械臂运动步数最少,本方法中的奖励分为三个部分。第一个部分是希望算法可以找到尽可能快的路径,因而每次动作之后都会得到一个负的奖励。第二部分是与障碍物有关的奖励,此部分分为两块。在机械臂没有触碰到障碍物之前机械臂距离障碍物越近则得到的负的奖励越大。如果机械臂碰到了障碍物,则停止主循环,并给予一个很大的负的奖励。第三部分与是否到达目标点有关,这部分的奖励也分为两个部分,第一个部分是在没有到达目标点之前,距离目标点越近,则得到的正的奖励越大,在到达目标点之后会得到一个较大的正的奖励并结束循环。
对于每一次循环都设置了一个最大的循环次数,以防止陷入死循环当中。
6.对于本方法由于没有样本因而需要对于空间进行探索,因而不是所有的更新都是根据主网络得到的,部分的动作是随机产生的。在算法的初期有较大的概率可以进行随机的探索,及根据随机数决定移动的方向,在后期算法的训练开始收敛之后,根据随机生成移动方向的概率被降到较低。
7.网络的训练根据的是前几步中探索得到的结果,所有探索得到的结果都会被放入经验池当中,在后续的步骤中,每选择完一个动作都要在经验池中进行采样并使用采样的数据对主网络进行训练。
8.在实际工况中目标点的位置可能会略有偏移,对于该情况。本方法采用下述步骤解决。首先固定目标点的位置,对于主网络进行训练。之后在训练好的主网络的基础上对于目标点的位置进行改变并再次训练主网络,以使得主网络可以完成上述的任务。如果直接进行训练则有可能结果较差。
9.根据训练好的网络输出的最优的路径规划轨迹。给出工业机器人各关节参数Q与时间t的关系。
在上述一种基于深度学习的机器人避障轨迹规划方法的基础上,本发明还提供一种基于深度学习的机器人避障轨迹规划***,包括:
算法初始化模块:确定算法的初始条件,并进行算法初始化。
机械臂建模模块:对算法中使用的机械臂进行建模,将得到的模型导入仿真软件,对各个关节进行约束设置。
图像输入模块:在仿真环境中加入照相机,从多个角度拍摄图像并同时输入到卷积神经网络中。
新姿态获取模块:根据输入信息得到机械臂更新角度的信息,通过接口调用仿真软件进行更新,获取姿态。
网络训练模块:用深度学习进行卷积神经网络训练,输入的图像经过卷积运算后,将得到的特征图变成一个一维向量,将一维向量输入到后续的全连接层中,得到每个动作对应的q值,选择q值最大的动作并更新姿态,将更新姿态传入仿真环境得到新的图像输入,循环执行直至达到目标点。
经验池采样模块:所有探索得到的结果都放入经验池中,后续每选择完一个动作都要在经验池中进行采样并使用采样的数据对卷积神经网络进行训练。
输出模块:根据训练好的卷积神经网络输出的最优的路径规划轨迹,给出机器人各关节参数与时间的关系。
其中,网络训练模块中的每个动作都会得到一个奖励,奖励分为三部分:
第一部分:每次动作之后都会得到一个负的奖励;
第二部分:每次动作之后都会得到一个负的奖励,在没有触碰到障碍物之前,距离障碍物越近则得到的负的奖励越大,碰到障碍物后则停止循环,并给予一个更大的负的奖励;
第三部分:每次动作之后都会得到一个正的奖励,在没有到达目标点之前,距离目标点越近,则得到的正的奖励越大,在到达目标点之后,得到一个更大的正的奖励并结束此次循环,进行下一次探索。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的***及其各个装置、模块、单元以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的***及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的***及其各项装置、模块、单元可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于深度学习的机器人避障轨迹规划方法,其特征在于,包括:
图像输入步骤:在仿真环境中加入照相机,从多个角度拍摄图像并同时输入到卷积神经网络中;
新姿态获取步骤:根据输入信息得到机械臂更新角度的信息,通过接口调用仿真软件进行更新,获取姿态;
网络训练步骤:用深度学习进行卷积神经网络训练,输入的图像经过卷积运算后,将得到的特征图变成一个一维向量,将一维向量输入到后续的全连接层中,得到每个动作对应的q值,选择q值最大的动作并更新姿态,将更新姿态传入仿真环境得到新的图像输入;
循环执行网络训练步骤,直至达到目标点。
2.根据权利要求1所述的基于深度学习的机器人避障轨迹规划方法,其特征在于,所述网络训练步骤中,每个动作都会得到一个奖励,奖励分为三部分:
第一部分:每次动作之后都会得到一个负的奖励;
第二部分:每次动作之后都会得到一个负的奖励,在没有触碰到障碍物之前,距离障碍物越近则得到的负的奖励越大,碰到障碍物后则停止循环,并给予一个更大的负的奖励;
第三部分:每次动作之后都会得到一个正的奖励,在没有到达目标点之前,距离目标点越近,则得到的正的奖励越大,在到达目标点之后,得到一个更大的正的奖励并结束此次循环,进行下一次探索。
3.根据权利要求2所述的基于深度学习的机器人避障轨迹规划方法,其特征在于,在所述网络训练步骤之后还包括:
经验池采样步骤:所有探索得到的结果都放入经验池中,后续每选择完一个动作都要在经验池中进行采样并使用采样的数据对卷积神经网络进行训练。
4.根据权利要求3所述的基于深度学习的机器人避障轨迹规划方法,其特征在于,在所述经验池采样步骤之后还包括:
输出步骤:根据训练好的卷积神经网络输出的最优的路径规划轨迹。
5.根据权利要求1所述的基于深度学习的机器人避障轨迹规划方法,其特征在于,在所述图像输入步骤之前还包括:
算法初始化步骤:确定算法的初始条件,并进行算法初始化;
机械臂建模步骤:对算法中使用的机械臂进行建模,将得到的模型导入仿真软件,对各个关节进行约束设置。
6.一种基于深度学习的机器人避障轨迹规划***,其特征在于,包括:
图像输入模块:在仿真环境中加入照相机,从多个角度拍摄图像并同时输入到卷积神经网络中;
新姿态获取模块:根据输入信息得到机械臂更新角度的信息,通过接口调用仿真软件进行更新,获取姿态;
网络训练模块:用深度学习进行卷积神经网络训练,输入的图像经过卷积运算后,将得到的特征图变成一个一维向量,将一维向量输入到后续的全连接层中,得到每个动作对应的q值,选择q值最大的动作并更新姿态,将更新姿态传入仿真环境得到新的图像输入,循环执行直至达到目标点。
7.根据权利要求6所述的基于深度学习的机器人避障轨迹规划***,其特征在于,所述网络训练模块中,每个动作都会得到一个奖励,奖励分为三部分:
第一部分:每次动作之后都会得到一个负的奖励;
第二部分:每次动作之后都会得到一个负的奖励,在没有触碰到障碍物之前,距离障碍物越近则得到的负的奖励越大,碰到障碍物后则停止循环,并给予一个更大的负的奖励;
第三部分:每次动作之后都会得到一个正的奖励,在没有到达目标点之前,距离目标点越近,则得到的正的奖励越大,在到达目标点之后,得到一个更大的正的奖励并结束此次循环,进行下一次探索。
8.根据权利要求7所述的基于深度学习的机器人避障轨迹规划***,其特征在于,还包括:
经验池采样模块:所有探索得到的结果都放入经验池中,后续每选择完一个动作都要在经验池中进行采样并使用采样的数据对卷积神经网络进行训练。
9.根据权利要求8所述的基于深度学习的机器人避障轨迹规划***,其特征在于,还包括:
输出模块:根据训练好的卷积神经网络输出的最优的路径规划轨迹。
10.根据权利要求6所述的基于深度学习的机器人避障轨迹规划***,其特征在于,还包括:
算法初始化模块:确定算法的初始条件,并进行算法初始化;
机械臂建模模块:对算法中使用的机械臂进行建模,将得到的模型导入仿真软件,对各个关节进行约束设置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810863999.0A CN109213147A (zh) | 2018-08-01 | 2018-08-01 | 一种基于深度学习的机器人避障轨迹规划方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810863999.0A CN109213147A (zh) | 2018-08-01 | 2018-08-01 | 一种基于深度学习的机器人避障轨迹规划方法及*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109213147A true CN109213147A (zh) | 2019-01-15 |
Family
ID=64987851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810863999.0A Pending CN109213147A (zh) | 2018-08-01 | 2018-08-01 | 一种基于深度学习的机器人避障轨迹规划方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109213147A (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109857460A (zh) * | 2019-02-20 | 2019-06-07 | 南京华捷艾米软件科技有限公司 | 基于risc-v架构的矩阵卷积计算方法、接口、协处理器及*** |
CN109910018A (zh) * | 2019-04-26 | 2019-06-21 | 清华大学 | 具有视觉语义感知的机器人虚实交互操作执行***及方法 |
CN110083160A (zh) * | 2019-05-16 | 2019-08-02 | 哈尔滨工业大学(深圳) | 一种基于深度学习的机器人轨迹规划方法 |
CN110111443A (zh) * | 2019-06-21 | 2019-08-09 | 合肥小步智能科技有限公司 | 一种基于嵌入式ai计算平台的巡检机器人避障方法 |
CN110362085A (zh) * | 2019-07-22 | 2019-10-22 | 合肥小步智能科技有限公司 | 一种用于特种巡检机器人的类脑平台 |
CN110400345A (zh) * | 2019-07-24 | 2019-11-01 | 西南科技大学 | 基于深度强化学习的放射性废物推抓协同分拣方法 |
CN110471444A (zh) * | 2019-08-19 | 2019-11-19 | 西安微电子技术研究所 | 基于自主学习的无人机智能避障方法 |
CN110554707A (zh) * | 2019-10-17 | 2019-12-10 | 陕西师范大学 | 一种飞行器姿态控制回路的q学习自动调参方法 |
CN110672101A (zh) * | 2019-09-20 | 2020-01-10 | 北京百度网讯科技有限公司 | 导航模型训练方法、装置、电子设备及存储介质 |
CN110956662A (zh) * | 2019-11-29 | 2020-04-03 | 北京邮电大学 | 载体避障方法、装置及电子设备 |
CN111142557A (zh) * | 2019-12-23 | 2020-05-12 | 清华大学 | 无人机路径规划方法、***、计算机设备及可读存储介质 |
CN111975769A (zh) * | 2020-07-16 | 2020-11-24 | 华南理工大学 | 基于元学习的移动机器人避障方法 |
CN112698653A (zh) * | 2020-12-23 | 2021-04-23 | 南京中朗智能技术有限公司 | 基于深度学习的机器人自主导航控制方法及*** |
CN112975951A (zh) * | 2019-12-13 | 2021-06-18 | 医达科技公司 | 用于具有障碍物规避的机器人路径规划的快速方法 |
CN114488810A (zh) * | 2022-01-25 | 2022-05-13 | 上海交通大学 | 机器人末端姿态跟踪预测控制方法及***和机器人 |
CN114851184A (zh) * | 2021-01-20 | 2022-08-05 | 广东技术师范大学 | 一种面向工业机器人的强化学习奖励值计算方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201615470D0 (en) * | 2016-09-12 | 2016-10-26 | Ucl Business Plc | Predicting depth from image data using a statistical model |
CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
CN106970615A (zh) * | 2017-03-21 | 2017-07-21 | 西北工业大学 | 一种深度强化学习的实时在线路径规划方法 |
CN107065881A (zh) * | 2017-05-17 | 2017-08-18 | 清华大学 | 一种基于深度强化学习的机器人全局路径规划方法 |
CN107553490A (zh) * | 2017-09-08 | 2018-01-09 | 深圳市唯特视科技有限公司 | 一种基于深度学习的单目视觉避障方法 |
-
2018
- 2018-08-01 CN CN201810863999.0A patent/CN109213147A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201615470D0 (en) * | 2016-09-12 | 2016-10-26 | Ucl Business Plc | Predicting depth from image data using a statistical model |
CN106874914A (zh) * | 2017-01-12 | 2017-06-20 | 华南理工大学 | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 |
CN106970615A (zh) * | 2017-03-21 | 2017-07-21 | 西北工业大学 | 一种深度强化学习的实时在线路径规划方法 |
CN107065881A (zh) * | 2017-05-17 | 2017-08-18 | 清华大学 | 一种基于深度强化学习的机器人全局路径规划方法 |
CN107553490A (zh) * | 2017-09-08 | 2018-01-09 | 深圳市唯特视科技有限公司 | 一种基于深度学习的单目视觉避障方法 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109857460A (zh) * | 2019-02-20 | 2019-06-07 | 南京华捷艾米软件科技有限公司 | 基于risc-v架构的矩阵卷积计算方法、接口、协处理器及*** |
CN109910018A (zh) * | 2019-04-26 | 2019-06-21 | 清华大学 | 具有视觉语义感知的机器人虚实交互操作执行***及方法 |
CN109910018B (zh) * | 2019-04-26 | 2024-01-30 | 清华大学 | 具有视觉语义感知的机器人虚实交互操作执行***及方法 |
CN110083160A (zh) * | 2019-05-16 | 2019-08-02 | 哈尔滨工业大学(深圳) | 一种基于深度学习的机器人轨迹规划方法 |
CN110111443A (zh) * | 2019-06-21 | 2019-08-09 | 合肥小步智能科技有限公司 | 一种基于嵌入式ai计算平台的巡检机器人避障方法 |
CN110362085A (zh) * | 2019-07-22 | 2019-10-22 | 合肥小步智能科技有限公司 | 一种用于特种巡检机器人的类脑平台 |
CN110400345B (zh) * | 2019-07-24 | 2021-06-15 | 西南科技大学 | 基于深度强化学习的放射性废物推抓协同分拣方法 |
CN110400345A (zh) * | 2019-07-24 | 2019-11-01 | 西南科技大学 | 基于深度强化学习的放射性废物推抓协同分拣方法 |
CN110471444A (zh) * | 2019-08-19 | 2019-11-19 | 西安微电子技术研究所 | 基于自主学习的无人机智能避障方法 |
CN110471444B (zh) * | 2019-08-19 | 2022-07-12 | 西安微电子技术研究所 | 基于自主学习的无人机智能避障方法 |
CN110672101B (zh) * | 2019-09-20 | 2021-09-28 | 北京百度网讯科技有限公司 | 导航模型训练方法、装置、电子设备及存储介质 |
CN110672101A (zh) * | 2019-09-20 | 2020-01-10 | 北京百度网讯科技有限公司 | 导航模型训练方法、装置、电子设备及存储介质 |
CN110554707A (zh) * | 2019-10-17 | 2019-12-10 | 陕西师范大学 | 一种飞行器姿态控制回路的q学习自动调参方法 |
CN110956662A (zh) * | 2019-11-29 | 2020-04-03 | 北京邮电大学 | 载体避障方法、装置及电子设备 |
CN112975951A (zh) * | 2019-12-13 | 2021-06-18 | 医达科技公司 | 用于具有障碍物规避的机器人路径规划的快速方法 |
US11919170B2 (en) | 2019-12-13 | 2024-03-05 | Edda Technology, Inc. | Fast method for robot path planning with obstacle avoidance |
CN111142557A (zh) * | 2019-12-23 | 2020-05-12 | 清华大学 | 无人机路径规划方法、***、计算机设备及可读存储介质 |
CN111975769A (zh) * | 2020-07-16 | 2020-11-24 | 华南理工大学 | 基于元学习的移动机器人避障方法 |
CN112698653A (zh) * | 2020-12-23 | 2021-04-23 | 南京中朗智能技术有限公司 | 基于深度学习的机器人自主导航控制方法及*** |
CN114851184A (zh) * | 2021-01-20 | 2022-08-05 | 广东技术师范大学 | 一种面向工业机器人的强化学习奖励值计算方法 |
CN114851184B (zh) * | 2021-01-20 | 2023-05-09 | 广东技术师范大学 | 一种面向工业机器人的强化学习奖励值计算方法 |
CN114488810A (zh) * | 2022-01-25 | 2022-05-13 | 上海交通大学 | 机器人末端姿态跟踪预测控制方法及***和机器人 |
CN114488810B (zh) * | 2022-01-25 | 2023-12-12 | 上海交通大学 | 机器人末端姿态跟踪预测控制方法及***和机器人 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109213147A (zh) | 一种基于深度学习的机器人避障轨迹规划方法及*** | |
CN109960880B (zh) | 一种基于机器学习的工业机器人避障路径规划方法 | |
CN109483573A (zh) | 机器学习装置、机器人***以及机器学习方法 | |
CN107092254B (zh) | 一种基于深度增强学习的家用扫地机器人的设计方法 | |
CN107214701B (zh) | 一种基于运动基元库的带电作业机械臂自主避障路径规划方法 | |
CN112440281A (zh) | 一种基于数字孪生的机器人轨迹规划方法 | |
Correa | Cyber-physical systems for construction industry | |
CN108876815A (zh) | 骨骼姿态计算方法、人物虚拟模型驱动方法及存储介质 | |
CN105676642B (zh) | 一种六自由度机器人工位布局与运动时间协同优化方法 | |
CN106874914A (zh) | 一种基于深度卷积神经网络的工业机械臂视觉控制方法 | |
JP6671694B1 (ja) | 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 | |
CN106600583A (zh) | 基于端到端神经网络的视差图获取方法 | |
CN101356550A (zh) | 用于生成3d仿真的***和方法 | |
CN108582068A (zh) | 一种对断路器装配机器人进行虚拟仿真的方法 | |
CN104942808A (zh) | 机器人运动路径离线编程方法及*** | |
CN104457566A (zh) | 一种无须示教机器人***的空间定位方法 | |
CN103413487B (zh) | 一种变压器装配工艺仿真*** | |
Braumann et al. | Real-time robot simulation and control for architectural design | |
Tsai et al. | Utilization of a reinforcement learning algorithm for the accurate alignment of a robotic arm in a complete soft fabric shoe tongues automation process | |
Hyun et al. | Tiling motion patches | |
GB2546815B (en) | Animating a virtual object in a virtual world | |
Rubio et al. | Trajectory planning and collisions detector for robotic arms | |
Kumra et al. | Learning robotic manipulation tasks via task progress based Gaussian reward and loss adjusted exploration | |
Menezes et al. | From rocks to walls: a model-free reinforcement learning approach to dry stacking with irregular rocks | |
Novak-Marcincin et al. | Precision assembly process with augmented reality technology support |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190115 |
|
RJ01 | Rejection of invention patent application after publication |