CN114296440A - 一种融合在线学习的agv实时调度方法 - Google Patents
一种融合在线学习的agv实时调度方法 Download PDFInfo
- Publication number
- CN114296440A CN114296440A CN202111158873.1A CN202111158873A CN114296440A CN 114296440 A CN114296440 A CN 114296440A CN 202111158873 A CN202111158873 A CN 202111158873A CN 114296440 A CN114296440 A CN 114296440A
- Authority
- CN
- China
- Prior art keywords
- agv
- trolley
- real
- scheduling method
- transportation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000009826 distribution Methods 0.000 claims abstract description 16
- 230000002068 genetic effect Effects 0.000 claims abstract description 14
- 230000002787 reinforcement Effects 0.000 claims abstract description 14
- 230000008901 benefit Effects 0.000 claims abstract description 6
- 238000012384 transportation and delivery Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 14
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 230000004888 barrier function Effects 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 230000002349 favourable effect Effects 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明属于航空智能制造技术领域,公开了一种融合在线学习的AGV实时调度方法。包括:S1,获取现场AGV小车的位置信息、环境信息和路径规划信息;S2,依据S1中获取的信息,采用遗传算法匹配最合适的小车去完成配送任务;S3,采用S2中匹配的最合适的小车执行运输任务;在执行运输任务的过程中,采用强化学习算法为小车规划最短路径;S4,小车按照S3中规划的最短路径完成运输任务。通过将遗传算法和强化学习***相结合,使用遗传算法解决AGV小车的调度问题,在调度过程中使用强化学习***解决AGV避让及路径规划问题,并且合理地为AGV分配任务。该发明降低了算法的复杂度,提高了AGV小车的工作效率,可以带来更大的经济效益。
Description
技术领域
本发明属于航空智能制造技术领域,尤其涉及一种融合在线学习的AGV 实时调度方法。
背景技术
目前国内智能物流成为实现智能制造的关键环节,AGV在物流***中承担 零件的搬运工作,根据***的要求,及时的将对应的零件送到合适的地方。因 此提高AGV小车的工作效率对公司的发展意义重大。与国外相比,国内物流 需求量更大,实时调控的研究工作至关重要。
目前国内多AGV在实时调度方面受算法的影响较大,复杂的空间环境影 响多AGV的调度效率。若通过提高AGV小车的硬件设施来提高运算速度需要 巨大的成本,不容易实现,但对目前的算法进行优化,可以大大提高AGV的 工作效率,并在配送过程中实现最优配送安排,是适合推广的方法。
发明内容
针对上述问题,本发明的目的在于提供一种融合在线学习的AGV实时调 度方法,通过将遗传算法和强化学习***相结合,使用遗传算法解决AGV 小车的调度问题,在调度过程中使用强化学习***解决AGV避让及路径规 划问题,并且合理地为AGV分配任务。该发明降低了算法的复杂度,提高 了AGV小车的工作效率,可以带来更大的经济效益。
为解决上述技术问题,本发明所采用的技术方案是:
一种融合在线学习的AGV实时调度方法,所述方法包括:
S1,获取现场AGV小车的位置信息、环境信息和路径规划信息;
S2,依据S1中获取的信息,采用遗传算法匹配最合适的小车去完成配送任 务;
S3,采用S2中匹配的最合适的小车执行运输任务;在执行运输任务的过程 中,采用强化学习算法为小车规划最短路径;
S4,小车按照S3中规划的最短路径完成运输任务。
本发明技术方案的特点和进一步的改进为:
(1)S4中,小车在完成运输任务的过程中,使用改进的人工势场法实现 自主避障。
(2)S1中现场AGV小车的位置信息、环境信息和路径规划信息,具体为: AGV小车的位置信息指为AGV小车设定的随机初始位置;
环境信息指AGV小车可到达的区域内的多个障碍物的随机初始位置,以及 所需运输的多个工件的随机初始位置;
路径规划信息指AGV小车的当前位置,需要运输的工件的位置,以及工件 要运输到的目的位置所组成的三点初始路径。
(3)S2中,采用遗传算法匹配最合适的小车的过程中,设计目标函数为: f=min1≤k≤M{max1≤i≤N{Lik}};
其中,f为目标函数,表示选择每种运输方案中完成某个工件运输所用 的最长时间,并在多种运输方案中,选择最长时间的最小值对应的运输方 案为最优运输方案;;
L为工件配送时间,Lik表示工件i在AGV小车k上的完成配送的时间;i 为配送目标点,i=1,2,…,N;N为代配送的工件总数量;k为第k个AGV小 车,k=1,2,…,M;M为AGV小车的总数量。
(4)S3中,在执行运输任务的过程中,采用强化学习算法为小车规划最 短路径的过程,具体为:
S31,搭建预设大小的栅格地图作为二维仿真环境;
S32,设置AGV小车在二维栅格图中所建的环境中所采取的运动;
S33,采用非线性的分段函数表示即时奖励函数,用一个标量R表示,通过 奖励函数的设计使AGV小车碰到不同物体时反馈当前状态和奖励值,以此来改 变AGV小车行为;
S34,初始化环境状态以及开始探索环境,小车从起始点出发,获取当前状 态对应的Q值,通过贪婪决策找出该Q值对应的动作,并记录当前状态的坐标; 再通过优势函数判断当前选取的动作是否有利,若该动作得到正的奖励值,执 行该动作并转移到下一个状态,得到奖励值,并存储到样本回放缓存区;
S35,以情景数的平均奖励值来评估当前策略是否为最优策略或最优路径。
(5)S32中,设置AGV小车在二维栅格图中所建的环境中所采取的运动, 具体为:
定义AGV小车的动作空间模型为上、下、左、右四个离散动作,即 A=[0,1;0.-1;-1,0;1,0],将AGV小车作为为一个质点,用圆圈表示,目标点用 方框表示。
(6)S34中,
在小车探索状态时,若当前状态坐标上有障碍物,则奖励值为-1;如果当 前状态坐标上没有障碍物,则返回奖励值为1,进入下一个状态;如果当前状 态是目标点,则返回奖励值为2,规划出最终路径;
(7)S4中,使用人工势场法实现自主避障的过程中,人工势场法具体为:
在AGV小车之间以及AGV小车和周围障碍物中引入虚拟的势场;
当AGV小车之间的距离或是AGV小车和障碍之间的距离小于期望的距离时 表现为斥力,使AGV小车远离;
当AGV小车之间的距离大于期望的距离时为表现为引力,使AGV小车相互 靠近。
(8)使用人工势场法实现自主避障具体为:
对于每个AGV小车,将其视为质点,通信半径为r,AGV小车之间的期望 距离为dα,AGV小车和障碍物之间的期望距离为dβ;则AGV小车所受到的力 为通信半径内来自其他AGV小车的力和障碍物的斥力的合力,当合力为0时, AGV小车达到平衡状态;
当所有AGV小车都能处于平衡状态时,就实现了自主避障。
本发明与现有算法相比的优点在于:本发明中采用强化学习作为一种从环 境状态到行为映射的学习方法,可以用于不确定性环境,并且可以自动适应环 境的变化;本发明中强化学习运用Q-learning算法,能实时更新状态,使智能 体能实时根据当前状态进行模型优化;本发明中多AGV调度用的是遗传算法, 可以求解复杂结构的优化问题,并且算法的搜索性能不受函数的性能限制;本 发明中使用了云边协同技术实现AGV小车得到现场运行的数据及物流运输的最 短路径与时间的定量评估。
附图说明
图1为本发明实施例提供的一种融合在线学习的AGV实时调度方法的流程 示意图;
图2为本发明中的环境二维地图;
图3为本发明中AGV小车运行轨迹图;
图4为本发明中Q-learning算法流程框图;
图5为车间小车路径规划时间与工件配送次序表。
具体实施方式
下面结合附图和具体实施方式来对本发明的技术方案作进一步的阐述。
本发明实施例提供一种融合在线学习的AGV实时调度方法,如图1所示, 所述方法包括:
S1,获取现场AGV小车的位置信息、环境信息和路径规划信息;
S2,依据S1中获取的信息,采用遗传算法匹配最合适的小车去完成配送任 务;
S3,采用S2中匹配的最合适的小车执行运输任务;在执行运输任务的过程 中,采用强化学习算法为小车规划最短路径;
S4,小车按照S3中规划的最短路径完成运输任务。
S4中,小车在完成运输任务的过程中,使用改进的人工势场法实现自主避 障。
S1中现场AGV小车的位置信息、环境信息和路径规划信息,具体为:AGV 小车的位置信息指为AGV小车设定的随机初始位置;
环境信息指AGV小车可到达的区域内的多个障碍物的随机初始位置,以及 所需运输的多个工件的随机初始位置;
路径规划信息指AGV小车的当前位置,需要运输的工件的位置,以及工件 要运输到的目的位置所组成的三点初始路径。
具体的,使用Python语言和TKinter库来搭建二维仿真环境。路径规划算 法实验环境是30*30的栅格地图,设置的障碍与调研的某加工车间基本相同, 起始点和目标点也是随机设置。搭建的环境二维地图如图2。图中黑色部分为 障碍,白色部分为非障碍区域。MATLAB仿真算法的目标是初始化环境状态以及 开始探索环境。
动作空间设置:该设置是设置AGV小车在二维栅格图中所建的环境中所采 取的运动,本实验是定义机器人的真实动作空间模型为上、下、左、右四个离 散动作,即A=[0,1;0.-1;-1,0;1,0]。将AGV小车近似为一个质点,用圆圈表 示,目标点用方框表示。
奖励函数是通过反馈来评价AGV小车从当前状态转移到另一状态所执行的 动作的优劣,通常用一个标量R表示。针对本课题验环境的AGV小车采用非线 性的分段函数表示即时奖励函数,小车在探索环境时通过可行区域,则获得1 的立即奖赏;小车在碰到障碍物时,则获得-1的奖赏值,小车到达目标位置时, 会得到2的奖赏值。最后通过总的奖赏值来判断该策略是否为最优策略。
图3为其中一次的路径仿真结果,通过多次运算获得最优的Q函数后,便 能获取最优路径。Q学习算法具体流程如图4所示。
对于多AGV的调度问题则需要使用遗传算法来解决,为了把问题表达的更 清楚,下面用数学符号表示小车调度问题:设待配送工工件集Ji={j1,j2,…, jN},配送的AGV小车机器集Mk={m1,m2,mi,…,mM},每个配送的工件Ji有不 同的被配送次数,每个工件的配送次数是Vi={V1 i,V2 i,…,VJi i},每个配送的 工件VJi i必须在配送在指定目标点m(VJi i)∈Mk,即每个工序VJi i配送的目标点 m(VJi i)固定,其中m(VJi i)表示工件Ji的第VJi i道工序在由小车机器人mi上进行 配送。其中k=1,2,…,M。实际的车间调度***较为复杂,作为其研究在建 模过程中为了满足调度目标使问题简化。
作如下假设:
1)在配送过程中,对加工设备损坏、小车出现故障的情况不予考虑。
2)每台AGV小车每次只能完成一个配送任务。
3)各工件的配送路径及配送时间是实时规划的,其它辅助加工时间不予考 虑。
4)所有AGV小车机器在t=0时刻都可用。
5)所有工件在t=0时刻都可被配送。
6)除有紧急情况外,各工件的配送一旦开始配送就不能中断。
7)工件各被配送次序之间一定要满足先后约束条件。
由于研究的小车调度问题是以所有工件的配送最终完工时间最短为调度最 优目标,故目标函数可以设计为:
f=min1≤k≤M{max1≤i≤N{Lik}}
式中:f为目标函数,表示选择每种运输方案中完成某个工件运输所 用的最长时间,并在多种运输方案中,选择最长时间的最小值对应的运输 方案为最优运输方案;L为工件配送时间,Lik表示工件i在AGV小车k上 的完成配送的时间;i为配送目标点,i=1,2,…,N;N为代配送的工件 总数量;k为第k个AGV小车,k=1,2,…,M;M为AGV小车的总数量。
每种运输方案为当前环境下,采用不同的多个小车将待运输的工件运 输到目的地的方案。
该目标函数的约束条件为:
Lik-Tik≥Lih (5)
Ljk-Lik≥Tjk (6)
公式(5)可以描述为工件配送的优先约束条件:假设AGV小车h先于小车 k对工件i进行配送,Lik表示工件i在AGV小车k上的完成配送的时间(到达 目标点的时刻),Lih表示工件i在小车h上进行配送后的送达时间(到达目标 点的时刻),Tik表示工件i在AGV小车k上的配送时间(配送花费的时间)。
公式(6)可以描述为AGV小车选择优先约束条件:假设工件i和工件j 在某一时刻都要需要小车k进行配送,如果工件i任务先于工件j任务下发, 先配送工件i。其中,Lik表示工件i在小车k上的完工时间,Tik表示工件i在 小车k上的配送时间,Lih表示工件i在小车h上的完工时间,Ljk表示工件j在 小车k上的完工时间,Tjk表示工件j在小车k上的配送时间,M为小车数量,N 为工件数。
进行仿真实验,以6×10调度问题为例,算例相关参数为:工件配送任务 Ji={1,2,3,4,5,6},其中i=1,2,3,4,5,6;AGV小车数量Mj={1,2, 3,4,5,6,7,8,9,10},其中j=1,2,3,4,5,6,7,8,9,10;每个 工件优对应的最终目标点及目标点过程中设置的配送次序点。从图5可以看出, 每个工件的配送次序和各配送中所花费的时间。
经多次仿真,当取种群数目是100、选择概率0.8、交叉概率是0.8、变异 概率是0.6、迭代次数50时,适应度最优且最优解为42。
云边协作中,中心云对所处不同位置的机器人下达指令,将其取得目标物, 同时送回到指定地点,为了在配送过程中完成自主避障,使用改进的人工势场 法,考虑行进过程中的拓扑切换,改进控制协议使AGV小车集群在完成编队任 务时能够实现避障算法的优化。
人工势场法是在智能AGV小车之间以及智能AGV小车和周围环境中引入虚 拟的势场,当智能AGV小车之间的距离或是智能AGV小车和障碍之间的距离小 于期望的距离时表现为斥力,使智能AGV小车远离;当智能AGV小车之间的距 离大于期望的距离时为表现为引力,使智能AGV小车相互靠近。对于每个智能 AGV小车,不考虑其复杂的机械模型和气动原理,将其视为质点,通信半径为r, 智能AGV小车之间的期望距离为dα,智能AGV小车和障碍物之间的期望距离 为dβ。那么,智能AGV小车所受到的力为通信半径内来自其他智能AGV小车 的力和障碍物的斥力的合力,当合力为0时,智能AGV小车达到平衡状态。当 所有智能AGV小车都能处于平衡状态时,就能实现安全的编队避障行走。
使用云边协同计算后,实现AGV小车物流配送,智能AGV小车配送货物、 运动状态情况及环境情况说明如下:
(1)以一架智能AGV小车为中心,它周围的区域是指包括障碍物和其邻域 内的智能AGV小车的范围。
(2)环境中的动态障碍物是可以被智能AGV小车检测到的。
(3)所有智能AGV小车都能接收到领域内的智能AGV小车,以及障碍物的 信息。包括位置,速度,障碍物半径等。
(4)领队的一台小车带领一队小车在行驶过程中实现自主动态避障,并实 时记录小车当前的运动状态,以及周围环境障碍物状态等。
(5)小车完成一次配送货物的任务后,在当前位置继续开始第二次的配送 任务。小车在任意起始地,可以完成到目标点的配送任务。
本发明实施例提供了一种融合在线学习的AGV实时调度模型的构建方法, 优化了AGV调度的实时性,实现了为多AGV小车合理分配任务的功能。通过将 遗传算法和强化学习***相结合,使用遗传算法解决AGV小车的调度问题,在 调度过程中使用强化学习***解决AGV避让及路径规划问题,并且合理地为AGV 分配任务。引入了云边协同计算技术,完成航空加工车间的小车调度及路径规 划任务,且在调度过程中实现资源与需求的合理匹配,小车的路径规划距离最 短的目标。该发明降低了算法的复杂度,提高了AGV小车的工作效率,可以为 公司带来更大的经济效益。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领 域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则 之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之 内。
Claims (9)
1.一种融合在线学习的AGV实时调度方法,其特征在于,所述方法包括:
S1,获取现场AGV小车的位置信息、环境信息和路径规划信息;
S2,依据S1中获取的信息,采用遗传算法匹配最合适的小车去完成配送任务;
S3,采用S2中匹配的最合适的小车执行运输任务;在执行运输任务的过程中,采用强化学习算法为小车规划最短路径;
S4,小车按照S3中规划的最短路径完成运输任务。
2.根据权利要求1所述的一种融合在线学习的AGV实时调度方法,其特征在于,S4中,小车在完成运输任务的过程中,使用改进的人工势场法实现自主避障。
3.根据权利要求1所述的一种融合在线学习的AGV实时调度方法,其特征在于,S1中现场AGV小车的位置信息、环境信息和路径规划信息,具体为:AGV小车的位置信息指为AGV小车设定的随机初始位置;
环境信息指AGV小车可到达的区域内的多个障碍物的随机初始位置,以及所需运输的多个工件的随机初始位置;
路径规划信息指AGV小车的当前位置,需要运输的工件的位置,以及工件要运输到的目的位置所组成的三点初始路径。
4.根据权利要求1所述的一种融合在线学习的AGV实时调度方法,其特征在于,S2中,采用遗传算法匹配最合适的小车的过程中,设计目标函数为:f=min1≤k≤M{max1≤i≤N{Lik}};
其中,f为目标函数,表示选择每种运输方案中完成某个工件运输所用的最长时间,并在多种运输方案中,选择最长时间的最小值对应的运输方案为最优运输方案;
L为工件配送时间,Lik表示工件i在AGV小车k上的完成配送的时间;i为配送目标点,i=1,2,…,N;N为代配送的工件总数量;k为第k个AGV小车,k=1,2,…,M;M为AGV小车的总数量。
5.根据权利要求1所述的一种融合在线学习的AGV实时调度方法,其特征在于,S3中,在执行运输任务的过程中,采用强化学习算法为小车规划最短路径的过程,具体为:
S31,搭建预设大小的栅格地图作为二维仿真环境;
S32,设置AGV小车在二维栅格图中所建的环境中所采取的运动;
S33,采用非线性的分段函数表示即时奖励函数,用一个标量R表示,通过奖励函数的设计使AGV小车碰到不同物体时反馈当前状态和奖励值,以此来改变AGV小车行为;
S34,初始化环境状态以及开始探索环境,小车从起始点出发,获取当前状态对应的Q值,通过贪婪决策找出该Q值对应的动作,并记录当前状态的坐标;再通过优势函数判断当前选取的动作是否有利,若该动作得到正的奖励值,执行该动作并转移到下一个状态,得到奖励值,并存储到样本回放缓存区;
S35,以情景数的平均奖励值来评估当前策略是否为最优策略或最优路径。
6.根据权利要求5所述的一种融合在线学习的AGV实时调度方法,其特征在于,S32中,设置AGV小车在二维栅格图中所建的环境中所采取的运动,具体为:
定义AGV小车的动作空间模型为上、下、左、右四个离散动作,即A=[0,1;0.-1;-1,0;1,0],将AGV小车作为为一个质点,用圆圈表示,目标点用方框表示。
7.根据权利要求5所述的一种融合在线学习的AGV实时调度方法,其特征在于,S34中,
在小车探索状态时,若当前状态坐标上有障碍物,则奖励值为-1;如果当前状态坐标上没有障碍物,则返回奖励值为1,进入下一个状态;如果当前状态是目标点,则返回奖励值为2,规划出最终路径。
8.根据权利要求2所述的一种融合在线学习的AGV实时调度方法,其特征在于,S4中,使用人工势场法实现自主避障的过程中,人工势场法具体为:
在AGV小车之间以及AGV小车和周围障碍物中引入虚拟的势场;
当AGV小车之间的距离或是AGV小车和障碍之间的距离小于期望的距离时表现为斥力,使AGV小车远离;
当AGV小车之间的距离大于期望的距离时为表现为引力,使AGV小车相互靠近。
9.根据权利要求8所述的一种融合在线学习的AGV实时调度方法,其特征在于,使用人工势场法实现自主避障具体为:
对于每个AGV小车,将其视为质点,通信半径为r,AGV小车之间的期望距离为dα,AGV小车和障碍物之间的期望距离为dβ;则AGV小车所受到的力为通信半径内来自其他AGV小车的力和障碍物的斥力的合力,当合力为0时,AGV小车达到平衡状态;
当所有AGV小车都能处于平衡状态时,就实现了自主避障。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111158873.1A CN114296440B (zh) | 2021-09-30 | 2021-09-30 | 一种融合在线学习的agv实时调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111158873.1A CN114296440B (zh) | 2021-09-30 | 2021-09-30 | 一种融合在线学习的agv实时调度方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114296440A true CN114296440A (zh) | 2022-04-08 |
CN114296440B CN114296440B (zh) | 2024-04-09 |
Family
ID=80964371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111158873.1A Active CN114296440B (zh) | 2021-09-30 | 2021-09-30 | 一种融合在线学习的agv实时调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114296440B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114952839A (zh) * | 2022-05-27 | 2022-08-30 | 西南交通大学 | 一种基于云边协同的两阶段机器人运动决策技术框架 |
CN115145285A (zh) * | 2022-07-29 | 2022-10-04 | 陕西科技大学 | 一种仓储agv多点取送货最优路径规划方法及*** |
CN115640986A (zh) * | 2022-12-13 | 2023-01-24 | 北京云迹科技股份有限公司 | 基于奖励的机器人调度方法、装置、设备及介质 |
CN115660386A (zh) * | 2022-12-13 | 2023-01-31 | 北京云迹科技股份有限公司 | 机器人调度奖励方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090327011A1 (en) * | 2008-06-30 | 2009-12-31 | Autonomous Solutions, Inc. | Vehicle dispatching method and system |
CN108776483A (zh) * | 2018-08-16 | 2018-11-09 | 圆通速递有限公司 | 基于蚁群算法和多智能体q学习的agv路径规划方法和*** |
CN110443412A (zh) * | 2019-07-18 | 2019-11-12 | 华中科技大学 | 动态优化加工过程中物流调度及路径规划的强化学习方法 |
CN112232548A (zh) * | 2020-09-14 | 2021-01-15 | 中国船舶重工集团公司第七一六研究所 | 基于遗传算法的机械加工车间智能排产优化方法及*** |
CN112344944A (zh) * | 2020-11-24 | 2021-02-09 | 湖北汽车工业学院 | 一种引入人工势场的强化学习路径规划方法 |
JP2021034050A (ja) * | 2019-08-21 | 2021-03-01 | 哈爾浜工程大学 | 強化学習に基づくauv行動計画及び動作制御方法 |
-
2021
- 2021-09-30 CN CN202111158873.1A patent/CN114296440B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090327011A1 (en) * | 2008-06-30 | 2009-12-31 | Autonomous Solutions, Inc. | Vehicle dispatching method and system |
CN108776483A (zh) * | 2018-08-16 | 2018-11-09 | 圆通速递有限公司 | 基于蚁群算法和多智能体q学习的agv路径规划方法和*** |
CN110443412A (zh) * | 2019-07-18 | 2019-11-12 | 华中科技大学 | 动态优化加工过程中物流调度及路径规划的强化学习方法 |
JP2021034050A (ja) * | 2019-08-21 | 2021-03-01 | 哈爾浜工程大学 | 強化学習に基づくauv行動計画及び動作制御方法 |
CN112232548A (zh) * | 2020-09-14 | 2021-01-15 | 中国船舶重工集团公司第七一六研究所 | 基于遗传算法的机械加工车间智能排产优化方法及*** |
CN112344944A (zh) * | 2020-11-24 | 2021-02-09 | 湖北汽车工业学院 | 一种引入人工势场的强化学习路径规划方法 |
Non-Patent Citations (1)
Title |
---|
王本年 等: "RLGA:一种基于强化学习机制的遗传算法", 《电子学报》, vol. 34, no. 5, pages 856 - 866 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114952839A (zh) * | 2022-05-27 | 2022-08-30 | 西南交通大学 | 一种基于云边协同的两阶段机器人运动决策技术框架 |
CN114952839B (zh) * | 2022-05-27 | 2024-02-06 | 西南交通大学 | 一种基于云边协同的两阶段机器人运动决策*** |
CN115145285A (zh) * | 2022-07-29 | 2022-10-04 | 陕西科技大学 | 一种仓储agv多点取送货最优路径规划方法及*** |
CN115640986A (zh) * | 2022-12-13 | 2023-01-24 | 北京云迹科技股份有限公司 | 基于奖励的机器人调度方法、装置、设备及介质 |
CN115660386A (zh) * | 2022-12-13 | 2023-01-31 | 北京云迹科技股份有限公司 | 机器人调度奖励方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114296440B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114296440A (zh) | 一种融合在线学习的agv实时调度方法 | |
Yang et al. | Multi‐robot path planning based on a deep reinforcement learning DQN algorithm | |
Fu et al. | An improved A* algorithm for the industrial robot path planning with high success rate and short length | |
Xinwei et al. | A review on carrier aircraft dispatch path planning and control on deck | |
CN110989576B (zh) | 速差滑移转向车辆的目标跟随及动态障碍物避障控制方法 | |
Liu et al. | Coordinated motion planning for multiple mobile robots along designed paths with formation requirement | |
Cai et al. | Mobile robot path planning in dynamic environments: A survey | |
CN109978272B (zh) | 一种基于多个全向移动机器人的路径规划***及方法 | |
CN113687659B (zh) | 一种基于数字孪生的最优轨迹生成方法及*** | |
CN109581987B (zh) | 一种基于粒子群算法的agv调度路径规划方法及*** | |
Liao et al. | AGV path planning model based on reinforcement learning | |
CN112147960A (zh) | 一种柔性制造***优化调度方法及装置 | |
CN108897316A (zh) | 一种基于信息素导航的集群仓储机器人***控制方法 | |
Chen et al. | Path planning for vehicle-borne system consisting of multi air–ground robots | |
Ju et al. | A hybrid systems-based hierarchical control architecture for heterogeneous field robot teams | |
CN117093009A (zh) | 一种基于机器视觉的物流agv小车导航控制方法及*** | |
Hani et al. | Simulation based optimization of a train maintenance facility | |
Zhang et al. | Application of Automated Guided Vehicles in Smart Automated Warehouse Systems: A Survey. | |
Hong et al. | Logistics in the sky: A two-phase optimization approach for the drone package pickup and delivery system | |
Jie et al. | A homogenization-planning-tracking method to solve cooperative autonomous motion control for heterogeneous carrier dispatch systems | |
Tubaileh | Layout of flexible manufacturing systems based on kinematic constraints of the autonomous material handling system | |
Suemitsu et al. | Fast simulation-based order sequence optimization assisted by pre-trained bayesian recurrent neural network | |
CN113485418B (zh) | 一种柔性绳系约束多机器人的轨迹生成方法 | |
Jungbluth et al. | Reinforcement Learning-based Scheduling of a Job-Shop Process with Distributedly Controlled Robotic Manipulators for Transport Operations | |
CN114537435A (zh) | 一种自动驾驶中的实时整车轨迹规划方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |