CN111815032A - 自动导引车调度方法及其相关装置 - Google Patents

自动导引车调度方法及其相关装置 Download PDF

Info

Publication number
CN111815032A
CN111815032A CN202010561452.2A CN202010561452A CN111815032A CN 111815032 A CN111815032 A CN 111815032A CN 202010561452 A CN202010561452 A CN 202010561452A CN 111815032 A CN111815032 A CN 111815032A
Authority
CN
China
Prior art keywords
guided vehicle
path
automated guided
automatic guided
next stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010561452.2A
Other languages
English (en)
Other versions
CN111815032B (zh
Inventor
周宏宾
任宇鹏
金亦东
卢维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Huaray Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010561452.2A priority Critical patent/CN111815032B/zh
Publication of CN111815032A publication Critical patent/CN111815032A/zh
Application granted granted Critical
Publication of CN111815032B publication Critical patent/CN111815032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本申请提供自动导引车调度方法及其相关装置。该自动导引车调度方法包括：将多个自动导引车当前的路径和下一阶段的路径输入到强化学习网络，以得到多个自动导引车的优先级；依据多个自动导引车优先级的高低顺序，依次确定是否将自动导引车下一阶段的路径发送给自动导引车。本申请可以依靠强化学习网络在运行中学习最佳的规则，省去了人工设计通行规则的复杂工作，提高了调度效率。

Description

自动导引车调度方法及其相关装置
技术领域
本申请涉及自动导引车技术领域，特别是涉及自动导引车调度方法及其相关装置。
背景技术
自动导引车(自动导引车,Automated Guided Vehicle)***是数字化生产车间、智慧仓储物流的重要组成部分，随着相关行业的不断发展，自动导引车在产业上的应用越来越广泛，且在同一个自动导引车***中，自动导引车的数量和种类也越来越多。然而，车间、仓库中可供自动导引车行驶的空间往往是有限的，造成自动导引车之间对可行驶路面资源存在竞争关系，这就要求自动导引车***对所有自动导引车的运行进行管制和调度，以保证***安全、高效地运行。
自动导引车***一般会采用人工设计的通行规则对所有自动导引车进行管制和调度，如直行优先规则(转弯让直行)、就近优先规则(先到先得)、负载优先规则(空车让负载车辆)等。这些人工设计的规则存在问题，例如，随着自动导引车***越来越复杂，通行规则需要考虑的情况越来越多，规则设计就变得越来越困难。
发明内容
本申请提供自动导引车调度方法及其相关装置，可以依靠强化学习网络在运行中学习最佳的规则，省去了人工设计通行规则的复杂工作，提高了调度效率。
为达到上述目的，本申请提供一种自动导引车调度方法，该方法包括：
将多个自动导引车当前的路径和下一阶段的路径输入到强化学习网络，以得到多个自动导引车的优先级；
依据多个自动导引车优先级的高低顺序，依次确定是否将自动导引车下一阶段的路径发送给自动导引车。
其中，将多个自动导引车当前的路径和下一阶段的路径输入到强化学习网络，之前包括：基于每个自动导引车的任务确定每个自动导引车的全局路径；将每个自动导引车的全局路径分割为至少一个局部路径；
将多个自动导引车当前的路径和下一阶段的路径输入到强化学习网络，包括：将多个自动导引车当前的局部路径和下一阶段的局部路径输入到强化学习网络；
依次确定是否将自动导引车下一阶段的路径发送给自动导引车，包括：依次确认是否将自动导引车下一阶段的局部路径发送给自动导引车。
其中，以多个自动导引车当前的局部路径为强化学习网络的输入，包括：
以多个自动导引车当前的局部路径和未走完的全局路径为强化学习网络的输入，其中，自动导引车的未走完的全局路径包括自动导引车的下一阶段的局部路径。
其中，以多个自动导引车当前的局部路径为强化学习网络的输入，包括：
基于每个自动导引车的尺寸、当前的局部路径和未走完的全局路径以及每个自动导引车的载荷的尺寸得到每个自动导引车的栅格图，其中，自动导引车的栅格图的第一像素值的像素点为自动导引车当前的局部路径对应的区域，栅格图的第二像素值的像素点为自动导引车的未走完的全局路径对应的区域；以多个自动导引车的栅格图作为强化学习网络的输入；或，
基于多个自动导引车的尺寸、当前的局部路径和未走完的全局路径以及多个自动导引车的载荷的尺寸构成特征矩阵，以特征矩阵作为强化学习网络的输入。
其中，方法还包括：
统计调度自动导引车的效率；
以效率优化强化学习网络。
其中，强化学习网络包括优先级计算网络和值函数网络，其中，优先级计算网络的输入为多个自动导引车的栅格图，优先级计算网络的输出为多个自动导引车的优先级，值函数网络的输入为多个自动导引车的栅格图和优先级，值函数网络的输出为单位时间内完成任务量的预测值；
统计调度自动导引车的效率，包括：统计单位时间内完成的任务量的真实值；
以效率优化强化学***方误差作为损失，优化值函数网络的参数；
将值函数网络中自动导引车优先级对单位时间完成任务量的梯度，作为优先级计算网络的自动导引车优先级的梯度，以优化优先级计算网络的参数。
其中，依次确定是否将自动导引车下一阶段的局部路径发送给自动导引车，包括：
确定自动导引车下一阶段的局部路径中的节点是否被其他自动导引车锁定；
若被锁定，则确定不将下一阶段的局部路径发送给自动导引车；
若未被锁定，则将下一阶段的局部路径发送给自动导引车，并让发送的下一阶段的局部路径的节点被锁定。
其中，让发送的下一阶段的局部路径的节点被锁定，包括：
让自动导引车接收到下一阶段的局部路径时，对下一阶段的局部路径的节点加以锁定；或，
在将下一阶段的局部路径发送给自动导引车时，将下一阶段的局部路径的节点锁定。
其中，方法还包括：
从多辆自动导引车获取自动导引车锁定节点、解锁节点的信息。
其中，将每个自动导引车的全局路径分割为至少一个局部路径，包括：
依据全局路径的长度和/或转弯点位置将每个自动导引车的全局路径分割为至少一个局部路径。
其中，基于每个自动导引车的任务确定每个自动导引车的全局路径，包括：基于每个自动导引车的任务的起点和终点，利用A*算法确定每个自动导引车的代价最优的全局路径。
为达到上述目的，本申请提供一种自动导引车调度装置，该自动导引车调度装置包括存储器和处理器；存储器中存储有计算机程序，处理器用于执行计算机程序以实现上述方法中的步骤。
为达到上述目的，本申请提供一种可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法中的步骤。
本申请的方法是：通过强化学习网络处理多个自动导引车当前的路径和下一阶段的路径以得到多个自动导引车的优先级，然后依据多个自动导引车优先级的高低顺序，依次确定是否将自动导引车下一阶段的路径发送给自动导引车，这样本申请基于强化学习网络确认向多个自动导引车发送任务的顺序问题，不需要人工设计通行规则，而是依靠强化学习网络在运行中学习规则，省去了人工设计通行规则的复杂工作，提高了调度效率。
附图说明
为了更清楚地说明本申请实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请自动导引车调度方法第一实施方式的流程示意图；
图2是本申请自动导引车调度方法第二实施方式的流程示意图；
图3是本申请自动导引车调度方法中全局路径分割的示意图；
图4是本申请自动导引车调度方法中栅格图像的示意图；
图5是本申请自动导引车调度方法中自动导引车确认可否通过节点的示意图；
图6是本申请自动导引车调度方法中全局路径的示意图；
图7是本申请自动导引车调度方法中优先级计算网络的示意图；
图8是本申请自动导引车调度方法中值函数网络的示意图；
图9是本申请自动导引车调度装置的结构示意图；
图10是本申请自动导引车调度***的示意图；
图11是本申请可读存储介质一实施方式的结构示意图。
具体实施方式
为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请所提供的自动导引车调度方法及其相关装置做进一步详细描述。
具体请参阅图1，图1是本申请自动导引车调度方法第一实施方式的流程示意图。本实施方式自动导引车调度方法包括以下步骤。
S101：将多个自动导引车当前的路径和下一阶段的路径输入到强化学习网络，以得到多个自动导引车的优先级。
将多个自动导引车当前的路径和下一阶段的路径输入到强化学习网络，强化学习网络对多个自动导引车当前的路径和下一阶段的路径进行运算，得到多个自动导引车的优先级。
其中，自动导引车当前的路径可以包括已发送给自动导引车，且自动导引车正在行驶的路径。可以理解的是，自动导引车当前的路径还可以包括已发送给自动导引车，且自动导引车还未行驶的路径。自动导引车下一阶段的路径是指按顺序下一时刻待发送给自动导引车的路径。
进一步地，在自动导引车当前的路径只包括已发送给自动导引车且自动导引车正在行驶的路径时，自动导引车下一阶段的路径为待发送给自动导引车，且按顺序下一时刻自动导引车待行驶的路径。
S102：依据自动导引车优先级的高低顺序，依次确定是否将各个自动导引车下一阶段的路径发送给相应的自动导引车。
例如，设A、B、C、D和E这5辆自动导引车的优先级分别为次低、中、最高、最低和次高，则先判断能否将C自动导引车下一阶段的路径发送给相应的自动导引车，其次判断能否将E自动导引车下一阶段的路径发送给相应的自动导引车，再次判断能否将B自动导引车下一阶段的路径发送给相应的自动导引车，然后判断能否将A自动导引车下一阶段的路径发送给相应的自动导引车，最终判断能否将D自动导引车下一阶段的路径发送给相应的自动导引车。
在本实施方式中，通过强化学习网络处理多个自动导引车当前的路径和下一阶段的路径以得到多个自动导引车的优先级，然后依据多个自动导引车优先级的高低顺序，依次确定是否将自动导引车下一阶段的路径发送给自动导引车，这样本申请基于强化学习网络确认向多个自动导引车发送任务的顺序问题，不需要人工设计通行规则，而是依靠强化学习网络在运行中学习规则，省去了人工设计通行规则的复杂工作，提高了调度效率。
进一步地，如图2所示，本实施方式将基于每个自动导引车的每一任务规划到的全局路径分隔为至少一个局部路径，以提高路面利用效率。本实施方式自动导引车调度方法包括以下步骤。
S201：基于每个自动导引车的任务确定每个自动导引车的全局路径。
可以基于每个自动导引车的任务的相关信息进行路径规划，确定每个自动导引车的全局路径。
其中，任务的相关信息包括任务的起点和任务的终点。另外，任务的相关信息还可以包括任务的优先级等信息。可以理解的是，任务的起点可以指按时间顺序相应自动导引车收到的上一个任务的终点。例如，A车先收到任务A，然后再收到任务B，那即可以将任务A的终点作为任务B的起点。在其他实施方式中，由于路径规划算法的原因，可能存在委派到自动导引车的任务被取消，将新收到的任务作为按顺序下一时刻待执行的任务的情况，因此新收到的任务的起点可以是自动导引车正在执行的任务的终点。
在一实现方式中，可以选取任一能从任务起点到达任务终点的路径作为每个自动导引车的全局路径。
在另一实现方式中，可以利用路径规划算法，基于每个自动导引车的任务的相关信息，得到代价最优的全局路径。其中，路径规划算法包括A*算法和D算法等。
在又一实现方式中，可以利用最短路径规划算法，基于每个自动导引车的任务的相关信息，得到距离最短的全局路径。
可以理解的是，全局路径是针对于每一自动导引车的每一任务而言的，即每一自动导引车的每一任务都具有各自的全局路径。
S202：将每个自动导引车的全局路径分割为至少一个局部路径。
在一实现方式中，可以将全局路径分割成预先确定的数量的局部路径。例如，设预先确定的数量为5，将每个全局路径均分割为5个局部路径。当然不限于此，预先确定的数量可以为4、7等其他数值。进一步地，同一个全局路径的多个局部路径的长度可以大致相等，或者同一个全局路径的多个局部路径上的节点数量可以相等。
在另一实现方式中，可以按照设定的路径分割长度对全局路径进行分割，得到至少一个局部路径。
在又一实现方式中，可以按照设定的路径分割节点数对全局路径进行分割，得到至少一个局部路径。例如，如图3所示，全局路径包括A、B、C、D……M这13个节点，若设定的路径分割节点数为6，则可以将全局路径分割为A→F局部路径、F→K局部路径和K→M局部路径，其中，A→F局部路径和F→K局部路径包括6个节点，K→M局部路径包括3个节点。
在再一实现方式中，基于全局路径的转弯点位置将全局路径分割为至少一个局部路径。具体地，以转弯点为分割点，对全局路径进行划分，例如，如图3所示，全局路径包括1、2、3、4这4个转弯点，以转弯点为分割点对全局路径进行划分，可以将全局路径分割为A→1局部路径、1→2局部路径、2→3局部路径和3→4局部路径。
在另又一实现方式中，还可以基于设定的局部路径的最大长度对全局路径进行分割，得到至少一个局部路径。
可以理解的是，全局路径可以被分割为至少两个局部路径。
当然，全局路径也可被分割为一个局部路径，即未对全局路径进行分割，可以将全局路径作为局部路径。
S203：将多个自动导引车当前的局部路径和下一阶段的局部路径输入到强化学习网络，以得到多个自动导引车的优先级。
在一实现场景中，当前的局部路径和下一阶段的局部路径可以同属于一个全局路径。
在另一实现场景中，当前的局部路径和下一阶段的局部路径也可以分别隶属于两个不同的全局路径。例如，自动导引车当前的局部路径是自动导引车正在执行的任务A的局部路径，而自动导引车下一阶段的局部路径为自动导引车按顺序下一时刻待执行的任务B的局部路径。
进一步地，还可以将下一阶段的局部路径所属全局路径中所有未发送给自动导引车的局部路径，组合为未走完的全局路径。可以理解的是，未走完的全局路径包括下一阶段的局部路径。然后将当前的局部路径和未走完的全局路径输入强化学习网络，以让强化学习网络从全局出发来优化自动导引车的通行效率。
因为自动导引车在沿着当前的局部路径行驶时，其影响范围不限于当前的局部路径上的节点，也有可能会影响到与当前的局部路径上的节点相邻的节点，这个影响范围与自动导引车自身的尺寸、载荷的尺寸、以及地图节点的间隔都有关系。因此，为了进一步提高调度方法的调度效率和调度准确率，还可以将多个自动导引车的尺寸和多个自动导引车的载荷的尺寸，与当前的局部路径和未走完的全局路径一同输入到强化学习网络，以让强化学习网络基于多个自动导引车的尺寸、多个自动导引车的载荷的尺寸、当前的局部路径和未走完的全局路径确定多个自动导引车的优先级。
可以理解的是，可以将每个自动导引车的当前的路径和下一阶段的路径等信息整合成每个自动导引车的栅格图像或特征矩阵，然后将多个自动导引车的栅格图像或特征矩阵输入到强化学习网络，采用了栅格图像或特征矩阵来表达多个自动导引车的工作情况，一方面保证了信息的完整性，另一方面可以使用卷积神经网络这样比较成熟的技术来处理复杂的多个自动导引车的工作情况的输入，可以提高运算效率。
例如，基于多个自动导引车的尺寸、当前的路径和下一阶段的路径以及多个自动导引车的载荷的尺寸构成特征矩阵，以特征矩阵作为强化学习网络的输入。
进一步地，本申请的每个自动导引车的栅格图像用不同的像素值表示出该自动导引车行驶的扫略面，如图4所示的栅格图像。具体地，栅格图像的第一像素值的像素点(图4所示的颜色最深的像素点)为自动导引车当前的局部路径对应的扫略面，栅格图像的第二像素值的像素点(图4所示的颜色中间色调的像素点)为自动导引车的未走完的全局路径对应的扫略面。进一步地，可将栅格图像中不会被自动导引车影响到的区域中的像素点(图4所示的颜色最浅的像素点)的像素值均统一为第三像素值。
可以理解的是，可以用一张单通道的灰度栅格图像表示一辆自动导引车的相关信息，并且可以将多辆自动导引车的栅格图像组合得到多通道的栅格图像，将组合后的多通道栅格图像输入到强化学习网络。另外，可以按照通道方向将多辆自动导引车的栅格图像组合，以得到多通道的栅格图像。
进一步地，强化学习网络中对栅格图像或特征矩阵进行处理以得到多个自动导引车的优先级的算法可以是卷积神经网络，栅格图像或特征矩阵经过卷积神经网络的处理，输出车辆优先级向量，向量的长度与自动导引车的数量相同；按照自动导引车的优先级，依次调度车辆通行。卷积神经网络的前向运算是快速的，不存在遗传算法实时性方面的问题。
S204：依据自动导引车优先级的高低顺序，依次确定能否将各个自动导引车下一阶段的局部路径发送给相应的自动导引车。
如图5所示，每一个道路资源节点都被分配了一把互斥锁，自动导引车要通过某个道路节点时，需要先查询这个节点互斥锁的状态，若互斥锁处于锁定状态，则自动导引车无法获得该节点，需要等待；若互斥锁处于开放状态，则自动导引车获取该节点，并将互斥锁锁定，以防止其他自动导引车进入该节点；当自动导引车驶离该节点，释放互斥锁，使其可以被其他自动导引车使用。在节点被分配有互斥锁的情况下，可通过确认自动导引车下一阶段的局部路径中的节点是否被其他自动导引车锁定，来确定能否将自动导引车下一阶段的局部路径发送给相应的自动导引车。具体地，在自动导引车下一阶段的局部路径中的节点被其他自动导引车锁定，则确定不将下一阶段的局部路径发送给自动导引车；在自动导引车下一阶段的局部路径中的节点未被其他自动导引车锁定，则将下一阶段的局部路径发送给自动导引车，并让发送的下一阶段的局部路径被锁定。
因为全局的最优路径往往是很长的，如果统一加锁保护，会极大限制***整体的效率，但在全局路径被分割为至少两个局部路径的情况下，因为调度装置是将下一阶段的局部路径发送给自动导引车，而不是将全局路径发送给自动导引车，以让自动导引车只能将接收到的局部路径加以锁定，不会将全局路径上的所有节点锁定，减少每一自动导引车占用的节点，优化了路面的使用，提高自动导引车的运行效率。
在一实现方式中，调度装置在将下一阶段的局部路径发送给自动导引车时，对下一阶段的局部路径的节点加以锁定，以让下一阶段的局部路径被锁定。
在另一实现方式中，调度装置将下一阶段的局部路径发送给自动导引车，自动导引车接收到下一阶段的局部路径时，对下一阶段的局部路径的节点加以锁定，以让下一阶段的局部路径被锁定。这样通过互斥锁和基于优先级确定发送路径的顺序的方法，可以确保发送给多个自动导引车的路径不会相冲，保证了调度***的安全，并且可以提高自动导引车运行的效率。
为了进一步提高路面利用率，对路径上的节点可以实行逐步释放的策略。进一步地，在自动导引车行驶过部分局部路径后，调度装置或自动导引车还可逐步将自动导引车已通过且不再影响的节点解锁，这样就可以将已经驶过且不再受影响的节点释放出来，供其他自动导引车使用，以有效利用路面资源。当然，在自动导引车对节点进行锁定和解锁时，需要将自身的锁定、解锁、行驶等状态反馈给调度装置，以让调度装置能够及时知晓路面节点的状态，可以基于路面节点的被锁定或未被锁定等状态确认是否需要将下一阶段的局部路径发送给相应的自动导引车，从而让调度装置能够对自动导引车进行有效调度。
例如，图6中的局部动态路径A-B，自动导引车在获得该段路径时，将节点A、a、b、B同时锁定；当自动导引车行驶到a点，且不再影响A点时，需要立刻将A点的互斥锁解除，并将这个解锁信息上报给上位机。
可以理解的是，局部路径和全局路径都可称为路径，即第一实施方式的自动导引车调度方法可以包括：将多个自动导引车当前的全局路径和下一阶段的全局路径输入到强化学习网络，以得到多个自动导引车的优先级，进而依据优先级顺序确定向多个自动导引车发送下一阶段的全局路径的顺序的情况；或，将多个自动导引车当前的局部路径和下一阶段的局部路径输入到强化学习网络，以得到多个自动导引车的优先级，进而依据优先级顺序确定向多个自动导引车发送下一阶段的局部路径的顺序的情况；或，将多个自动导引车当前的全局路径和下一阶段的局部路径输入到强化学习网络，以得到多个自动导引车的优先级，进而依据优先级顺序确定向多个自动导引车发送下一阶段的局部路径的顺序的情况；或，将多个自动导引车当前的局部路径和下一阶段的全局路径输入到强化学习网络，以得到多个自动导引车的优先级，进而依据优先级顺序确定向多个自动导引车发送下一阶段的全局路径的顺序的情况。
可以理解的是，本申请的自动导引车调度方法还可以统计调度自动导引车的效率，基于统计出的效率优化强化学习网络，即以通行效率提高为目标函数，优化卷积神经网络中的参数。
例如，统计单位时间内完成任务量，以单位时间内完成任务量优化强化学习网络。可以理解的是，单位时间内完成任务量是指单位时间内所有调度车完成任务的总量。
可选地，强化学习网络包括优先级计算网络和值函数网络。
其中，优先级计算网络的输入为多个自动导引车的栅格图像，优先级计算网络的输出为多个自动导引车的优先级。具体地，如图7所示，优先级计算网络以多个自动导引车的栅格图像为输入，经过多个卷积层，输出一个与输入通道数相同的一维向量，该向量经过sigmoid函数，将向量内部的值归一化到[0,1]之间，数值的大小代表了该通道对应的自动导引车的通行优先级。
值函数网络的输入为多个自动导引车的栅格图像和优先级，值函数网络的输出为单位时间内完成任务量的预测值。如图8所示，值函数网络以多通道灰度栅格图像和车辆优先级向量为输入，在多个卷积层的中间将两个输入合并，最终输出一个标量，代表当前状态和策略下，单位时间完成任务数的预测值，用来评价当前策略的好坏。
以单位时间内完成任务量优化强化学***方误差作为损失，优化值函数网络的参数；将值函数网络中自动导引车优先级对单位时间完成任务量的梯度，作为优先级计算网络的自动导引车优先级的梯度，以优化优先级计算网络的参数。
可以理解的是，在利用强化学习网络计算多个自动导引车的优先级的过程中，不启用值函数网络，只使用优先级计算网络计算多个自动导引车的优先级。需要对强化学习网络进行优化时，会启用值函数网络，以优化优先级计算网络。
上述自动导引车调度方法一般由自动导引车调度装置实现，因而本申请还提出一种自动导引车调度装置。请参阅图9，图9是本申请自动导引车调度装置一实施方式的结构示意图。本自动导引车调度装置10包括处理器12和存储器11；存储器11用于存储实现如上述自动导引车调度方法，处理器12用于执行存储器11存储的程序指令。
进一步地，如图10所示，本申请还公开一种自动导引车调度***20，该调度***20包括调度装置21和AGV车群22。AGV车群22包括至少一个自动导引车。
调度装置21用于接收到新增的任务需求后，根据当前工作集状态将每一新增的任务指派给一自动导引车，然后基于每一新增的任务进行路径规划，得到每一新增的任务的全局路径，将全局路径分割为局部路径，并可以将新任务的局部路径加入到工作集内，然后可以确认是否需要将全局路径或局部路径发送给相应的自动导引车。
自动导引车从调度装置21获取全局路径或局部路径，并在运动控制器的控制下，沿自身当前的全局路径或局部路径行驶。
进一步地，在路径节点配置有互斥锁的情况下，自动导引车还可对接收到的全局路径或局部路径上的节点进行统一加锁，以避免与其他自动导引车相撞，保证了安全性。并且自动导引车还可以将锁定节点的相关信息发送给调度装置21，以便调度装置21在决定是否需要将每一自动导引车下一阶段的全局路径或局部路径发送给相应的自动导引车时可以知晓存在哪些节点已被锁定，进而可以不将具有已被锁定的节点的全局路径或局部路径发送给相应的自动导引车，可以避免将同一节点分配给多辆自动导引车，保证了自动导引车的安全。另外，自动导引车在驶过一些节点时，可以将已通过且不再受自身影响的节点解锁，让这些节点可以供其他自动导引车使用，提高了路面资源的利用效率。同样地，自动导引车还可以将解锁节点的相关信息发送给调度装置21。调度装置21可将获取的自动导引车解锁节点、锁定节点和行驶状态的相关信息均存储到工作集内。
当然，在另一实现方式中，还可以由调度装置21对节点进行锁定和解锁操作。当然，调度装置21需要知晓自动导引车的位置，这样调度装置21可以知晓自动导引车已经驶过哪些节点，从而可以对相应的节点进行解锁操作。
上述自动导引车调度方法的逻辑过程以计算机程序呈现，在计算机程序方面，若其作为独立的软件产品销售或使用时，其可存储在计算机存储介质中，因而本申请提出一种可读存储介质。请参阅图11，图11是本申请可读存储介质一实施方式的结构示意图，本实施方式可读存储介质30中存储有计算机程序31，计算机程序31被处理器执行时实现上述自动导引车调度方法中的步骤。
该可读存储介质30具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory，)、磁碟或者光盘等可以存储计算机程序的介质，或者也可以为存储有该计算机程序的服务器，该服务器可将存储的计算机程序发送给其他设备运行，或者也可以自运行该存储的计算机程序。该可读存储介质30从物理实体上来看，可以为多个实体的组合，例如多个服务器、服务器加存储器、或存储器加移动硬盘等多种组合方式。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (13)

1.一种自动导引车调度方法，其特征在于，所述方法包括：
将多个自动导引车当前的路径和下一阶段的路径输入到强化学习网络，以得到多个自动导引车的优先级；
依据多个自动导引车优先级的高低顺序，依次确定是否将自动导引车下一阶段的路径发送给自动导引车。
2.根据权利要求1所述的自动导引车调度方法，其特征在于，所述将多个自动导引车当前的路径和下一阶段的路径输入到强化学习网络，之前包括：基于每个自动导引车的任务确定每个自动导引车的全局路径；将每个自动导引车的全局路径分割为至少一个局部路径；
所述将多个自动导引车当前的路径和下一阶段的路径输入到强化学习网络，包括：将多个自动导引车当前的局部路径和下一阶段的局部路径输入到强化学习网络；
所述依次确定是否将自动导引车下一阶段的路径发送给自动导引车，包括：依次确认是否将自动导引车下一阶段的局部路径发送给自动导引车。
3.根据权利要求2所述的自动导引车调度方法，其特征在于，所述以多个自动导引车当前的局部路径为强化学习网络的输入，包括：
以多个自动导引车当前的局部路径和未走完的全局路径为强化学习网络的输入，其中，自动导引车的未走完的全局路径包括自动导引车的下一阶段的局部路径。
4.根据权利要求3所述的自动导引车调度方法，其特征在于，所述以多个自动导引车当前的局部路径为强化学习网络的输入，包括：
基于每个自动导引车的尺寸、当前的局部路径和未走完的全局路径以及每个自动导引车的载荷的尺寸得到每个自动导引车的栅格图，其中，所述自动导引车的栅格图的第一像素值的像素点为自动导引车当前的局部路径对应的区域，所述栅格图的第二像素值的像素点为自动导引车的未走完的全局路径对应的区域；以多个自动导引车的栅格图作为强化学习网络的输入；或，
基于多个自动导引车的尺寸、当前的局部路径和未走完的全局路径以及多个自动导引车的载荷的尺寸构成特征矩阵，以所述特征矩阵作为强化学习网络的输入。
5.根据权利要求4所述的自动导引车调度方法，其特征在于，所述方法还包括：
统计调度自动导引车的效率；
以所述效率优化所述强化学习网络。
6.根据权利要求5所述的自动导引车调度方法，其特征在于，所述强化学习网络包括优先级计算网络和值函数网络，其中，优先级计算网络的输入为多个自动导引车的栅格图，优先级计算网络的输出为多个自动导引车的优先级，值函数网络的输入为多个自动导引车的栅格图和优先级，值函数网络的输出为单位时间内完成任务量的预测值；
所述统计调度自动导引车的效率，包括：统计单位时间内完成的任务量的真实值；
所述以所述效率优化所述强化学***方误差作为损失，优化值函数网络的参数；
将值函数网络中自动导引车优先级对单位时间完成任务量的梯度，作为优先级计算网络的自动导引车优先级的梯度，以优化优先级计算网络的参数。
7.根据权利要求1所述的自动导引车调度方法，其特征在于，所述依次确定是否将自动导引车下一阶段的局部路径发送给自动导引车，包括：
确定自动导引车下一阶段的局部路径中的节点是否被其他自动导引车锁定；
若被锁定，则确定不将下一阶段的局部路径发送给自动导引车；
若未被锁定，则将下一阶段的局部路径发送给自动导引车，并让发送的下一阶段的局部路径的节点被锁定。
8.根据权利要求7所述的自动导引车调度方法，其特征在于，所述让发送的下一阶段的局部路径的节点被锁定，包括：
让自动导引车接收到下一阶段的局部路径时，对下一阶段的局部路径的节点加以锁定；或，
在将下一阶段的局部路径发送给自动导引车时，将下一阶段的局部路径的节点锁定。
9.根据权利要求7所述的自动导引车调度方法，其特征在于，所述方法还包括：
从多辆自动导引车获取自动导引车锁定节点、解锁节点的信息。
10.根据权利要求1所述的自动导引车调度方法，其特征在于，所述将每个自动导引车的全局路径分割为至少一个局部路径，包括：
依据全局路径的长度和/或转弯点位置将每个自动导引车的全局路径分割为至少一个局部路径。
11.根据权利要求1所述的自动导引车调度方法，其特征在于，所述基于每个自动导引车的任务确定每个自动导引车的全局路径，包括：基于每个自动导引车的任务的起点和终点，利用A*算法确定每个自动导引车的代价最优的全局路径。
12.一种自动导引车调度装置，其特征在于，所述自动导引车调度装置包括存储器和处理器；所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-11中任一项所述方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1-11中任一项所述方法的步骤。
CN202010561452.2A 2020-06-18 2020-06-18 自动导引车调度方法及其相关装置 Active CN111815032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010561452.2A CN111815032B (zh) 2020-06-18 2020-06-18 自动导引车调度方法及其相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010561452.2A CN111815032B (zh) 2020-06-18 2020-06-18 自动导引车调度方法及其相关装置

Publications (2)

Publication Number Publication Date
CN111815032A true CN111815032A (zh) 2020-10-23
CN111815032B CN111815032B (zh) 2024-07-16

Family

ID=72846369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010561452.2A Active CN111815032B (zh) 2020-06-18 2020-06-18 自动导引车调度方法及其相关装置

Country Status (1)

Country Link
CN (1) CN111815032B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835333A (zh) * 2020-12-31 2021-05-25 北京工商大学 一种基于深度强化学习多agv避障与路径规划方法及***
CN113253693A (zh) * 2021-06-29 2021-08-13 浙江华睿科技有限公司 Agv调度安全的锁格方法及装置、电子设备、存储介质
CN113762687A (zh) * 2021-01-04 2021-12-07 北京京东振世信息技术有限公司 一种仓库内的人员排班调度方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170017236A1 (en) * 2015-07-17 2017-01-19 Korea University Research And Business Foundation Automated guided vehicle system based on autonomous mobile technique and a method for controlling the same
CN106647734A (zh) * 2016-10-12 2017-05-10 北京京东尚科信息技术有限公司 自动导引车、路径规划方法与装置
CN108021135A (zh) * 2017-12-05 2018-05-11 合肥泰禾光电科技股份有限公司 一种自动导引车的控制方法和装置
CN109669452A (zh) * 2018-11-02 2019-04-23 北京物资学院 一种基于并行强化学习的云机器人任务调度方法和***
CN109725641A (zh) * 2018-12-28 2019-05-07 凌鸟(苏州)智能***有限公司 一种管理多辆agv的交通避让方法
CN109814580A (zh) * 2019-04-03 2019-05-28 深圳市佳顺智能机器人股份有限公司 自动导引运输车的避障方法、***、主机及存储介质
CN109947098A (zh) * 2019-03-06 2019-06-28 天津理工大学 一种基于机器学习策略的距离优先最佳路径选择方法
CN110174111A (zh) * 2019-05-31 2019-08-27 山东华锐智能技术有限公司 基于时间窗的任务分段式的多agv路径规划算法
CN110389591A (zh) * 2019-08-29 2019-10-29 哈尔滨工程大学 一种基于dbq算法的路径规划方法
CN110715662A (zh) * 2019-10-09 2020-01-21 浙江大华技术股份有限公司 段路径的下发方法及装置、存储介质、电子装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170017236A1 (en) * 2015-07-17 2017-01-19 Korea University Research And Business Foundation Automated guided vehicle system based on autonomous mobile technique and a method for controlling the same
CN106647734A (zh) * 2016-10-12 2017-05-10 北京京东尚科信息技术有限公司 自动导引车、路径规划方法与装置
CN108021135A (zh) * 2017-12-05 2018-05-11 合肥泰禾光电科技股份有限公司 一种自动导引车的控制方法和装置
CN109669452A (zh) * 2018-11-02 2019-04-23 北京物资学院 一种基于并行强化学习的云机器人任务调度方法和***
CN109725641A (zh) * 2018-12-28 2019-05-07 凌鸟(苏州)智能***有限公司 一种管理多辆agv的交通避让方法
CN109947098A (zh) * 2019-03-06 2019-06-28 天津理工大学 一种基于机器学习策略的距离优先最佳路径选择方法
CN109814580A (zh) * 2019-04-03 2019-05-28 深圳市佳顺智能机器人股份有限公司 自动导引运输车的避障方法、***、主机及存储介质
CN110174111A (zh) * 2019-05-31 2019-08-27 山东华锐智能技术有限公司 基于时间窗的任务分段式的多agv路径规划算法
CN110389591A (zh) * 2019-08-29 2019-10-29 哈尔滨工程大学 一种基于dbq算法的路径规划方法
CN110715662A (zh) * 2019-10-09 2020-01-21 浙江大华技术股份有限公司 段路径的下发方法及装置、存储介质、电子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李军军;许波桅;杨勇生;吴华锋;: "多自动导引车路径规划的诱导蚁群粒子群算法", 计算机集成制造***, no. 12, 15 December 2017 (2017-12-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835333A (zh) * 2020-12-31 2021-05-25 北京工商大学 一种基于深度强化学习多agv避障与路径规划方法及***
CN113762687A (zh) * 2021-01-04 2021-12-07 北京京东振世信息技术有限公司 一种仓库内的人员排班调度方法和装置
CN113762687B (zh) * 2021-01-04 2024-03-01 北京京东振世信息技术有限公司 一种仓库内的人员排班调度方法和装置
CN113253693A (zh) * 2021-06-29 2021-08-13 浙江华睿科技有限公司 Agv调度安全的锁格方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN111815032B (zh) 2024-07-16

Similar Documents

Publication Publication Date Title
CN111815032A (zh) 自动导引车调度方法及其相关装置
CN114023094B (zh) 一种码头车辆调度***、方法、设备和介质
Yin et al. A distributed agent system for port planning and scheduling
CN108897317B (zh) 一种自动导引小车agv的路径寻优方法、相关装置及存储介质
CN109472362B (zh) 一种基于可变任务窗的agv动态调度方法及装置
CN113359702B (zh) 一种基于水波优化-禁忌搜索的智能仓库agv作业优化调度方法
CN113075927A (zh) 基于预约表的仓储潜伏式多agv路径规划方法
CN107993025A (zh) 一种多agv的实时动态解锁调度方法
CN112434875B (zh) 一种用于智能仓储的设备路径管理方法、***和服务器
CN115140657A (zh) 一种多天车调度与防撞方法及***
Wang et al. Minimizing tardiness and makespan for distributed heterogeneous unrelated parallel machine scheduling by knowledge and Pareto-based memetic algorithm
Hu et al. A dynamic integrated scheduling method based on hierarchical planning for heterogeneous AGV fleets in warehouses
Pal et al. A multi-agent system for integrated scheduling and maintenance planning of the flexible job shop
Tai et al. A time-efficient approach to solve conflicts and deadlocks for scheduling AGVs in warehousing applications
Takahashi et al. Online optimization of AGV transport systems using deep reinforcement learning
CN112214013A (zh) 直线往复式多rgv死锁避免和冲突实时控制方法、***、介质、终端
CN117149378A (zh) 智能汽车操作***的任务调度方法、装置、设备及介质
CN116974283A (zh) 物料运输控制方法、装置、电子设备及存储介质
CN113408045B (zh) 船舶建造计划优化方法、***、储存介质及计算机设备
CN114358680A (zh) 任务分配方法、电子设备及计算机程序产品
CN115018373B (zh) 一种基于解空间转化的双行车调度方法、***及应用
CN110852662A (zh) 流量控制方法和装置
CN117742260B (zh) 一种考虑组合缓冲和无人运输的流水车间调度方法和装置
CN114347032B (zh) 一种复合agv机器人的控制方法及***
CN112731947B (zh) 桥吊与自动导引运输车交互点分配方法、***及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201224

Address after: C10, 1199 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Applicant after: ZHEJIANG HUARAY TECHNOLOGY Co.,Ltd.

Address before: No.1187 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant before: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
CB02 Change of applicant information

Address after: 310051 8 / F, building a, 1181 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Zhejiang Huarui Technology Co.,Ltd.

Address before: C10, 1199 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province, 310051

Applicant before: ZHEJIANG HUARAY TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant