CN115660386A - 机器人调度奖励方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种机器人调度奖励方法、装置、电子设备及存储介质。该方法包括：获取预设时间间隔内的业务请求，根据业务请求生成调度任务，并确定地图信息；根据调度任务，对地图信息执行节点化操作，得到调度任务对应的主节点，对主节点进行划分得到子节点；依据预定的调度奖励计算方式，计算相邻子节点以及相邻主节点之间的调度收益奖励值；根据机器人的位置信息、状态信息以及主节点，生成机器人对应的调度行驶路径；依据相邻子节点以及相邻主节点之间的调度收益奖励值，确定每个调度行驶路径对应的总调度收益奖励值。本申请提升机器人调度***的调度能力，提升机器人的调度效率，提升机器人的智能化服务水平。

Description

机器人调度奖励方法、装置、电子设备及存储介质

技术领域

本申请涉及机器人技术领域，尤其涉及一种机器人调度奖励方法、装置、电子设备及存储介质。

背景技术

随着数字化和智能化技术在各个领域的深入发展，更多的智能化设备在酒店、商场、写字楼等场景下得到广泛应用。智能机器人作为智能化设备中使用频率较高的一种设备，能够实现酒店客户提供诸如送物、迎宾、巡游等服务。利用酒店机器人提供送物服务，不仅降低酒店工作人员的劳动量，而且提升酒店的智能化服务水平。

在商用机器人的调度场景中，例如酒店、楼宇等场景下提供服务的机器人，机器人在执行调度任务时，在机器人的行驶过程中，通常需要借助垂直运力，比如电梯等的帮助，并且还可能经过场地内的一些闸机。因此，商用机器人的调度并非简单的在两点之间做平移运动，随着调度需求以及机器人数量的增加，需要在一定的空间区域内为机器人找到最优的调度方案。目前，现有的机器人调度***无法通过奖励的方式实现机器人的调度，因此，无法得到全局最优的调度方案，降低机器人调度***的调度能力。

发明内容

有鉴于此，本申请实施例提供了一种机器人调度奖励方法、装置、电子设备及存储介质，以解决现有技术存在的现有的机器人调度***无法通过奖励的方式实现机器人的调度，因此，无法得到全局最优的调度方案，降低机器人调度***的调度能力的问题。

本申请实施例的第一方面，提供了一种机器人调度奖励方法，包括：获取预设时间间隔内的业务请求，根据业务请求生成调度任务，并确定调度任务对应场景的地图信息；根据调度任务，对地图信息执行节点化操作，得到调度任务对应的主节点，并对主节点进行划分得到子节点；依据预定的调度奖励计算方式，计算相邻子节点以及相邻主节点之间的调度收益奖励值；响应于调度触发请求，获取当前时刻机器人的位置信息和状态信息，根据机器人的位置信息、状态信息以及主节点，生成机器人对应的调度行驶路径；依据相邻子节点以及相邻主节点之间的调度收益奖励值，确定每个调度行驶路径对应的总调度收益奖励值。

本申请实施例的第二方面，提供了一种机器人调度奖励装置，包括：获取模块，被配置为获取预设时间间隔内的业务请求，根据业务请求生成调度任务，并确定调度任务对应场景的地图信息；划分模块，被配置为根据调度任务，对地图信息执行节点化操作，得到调度任务对应的主节点，并对主节点进行划分得到子节点；计算模块，被配置为依据预定的调度奖励计算方式，计算相邻子节点以及相邻主节点之间的调度收益奖励值；生成模块，被配置为响应于调度触发请求，获取当前时刻机器人的位置信息和状态信息，根据机器人的位置信息、状态信息以及主节点，生成机器人对应的调度行驶路径；确定模块，被配置为依据相邻子节点以及相邻主节点之间的调度收益奖励值，确定每个调度行驶路径对应的总调度收益奖励值。

本申请实施例的第三方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述方法的步骤。

本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

通过获取预设时间间隔内的业务请求，根据业务请求生成调度任务，并确定调度任务对应场景的地图信息；根据调度任务，对地图信息执行节点化操作，得到调度任务对应的主节点，并对主节点进行划分得到子节点；依据预定的调度奖励计算方式，计算相邻子节点以及相邻主节点之间的调度收益奖励值；响应于调度触发请求，获取当前时刻机器人的位置信息和状态信息，根据机器人的位置信息、状态信息以及主节点，生成机器人对应的调度行驶路径；依据相邻子节点以及相邻主节点之间的调度收益奖励值，确定每个调度行驶路径对应的总调度收益奖励值。本申请能够通过调度收益奖励计算的方式，为执行调度任务的机器人确定最优的调度行驶路径，提升机器人调度***的调度能力，提升机器人的调度效率，提升机器人的智能化服务水平。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本申请实施例提供的机器人调度奖励方法的流程示意图；

图2是本申请实施例提供的机器人调度奖励装置的结构示意图；

图3是本申请实施例提供的电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

本申请实施例是以酒店应用场景为例，并以酒店中的机器人的任务调度为例进行详细描述，但是应当理解的是，本申请实施例不限于酒店应用场景，也不限于对酒店机器人的远程任务调度，其他任何对机器人进行远程调度的场景均适用于本方案，例如物流场景下的机器人调度，楼宇场景下的机器人调度等。

下面结合具体实施例对本申请技术方案进行详细说明。

图1是本申请实施例提供的机器人调度奖励方法的流程示意图。图1的机器人调度奖励方法可以由机器人调度***来执行。如图1所示，该机器人调度奖励方法具体可以包括：

S101，获取预设时间间隔内的业务请求，根据业务请求生成调度任务，并确定调度任务对应场景的地图信息；

S102，根据调度任务，对地图信息执行节点化操作，得到调度任务对应的主节点，并对主节点进行划分得到子节点；

S103，依据预定的调度奖励计算方式，计算相邻子节点以及相邻主节点之间的调度收益奖励值；

S104，响应于调度触发请求，获取当前时刻机器人的位置信息和状态信息，根据机器人的位置信息、状态信息以及主节点，生成机器人对应的调度行驶路径；

S105，依据相邻子节点以及相邻主节点之间的调度收益奖励值，确定每个调度行驶路径对应的总调度收益奖励值。

具体地，本申请实施例的调度收益奖励值是指机器人调度***根据调度任务，在虚拟的场景地图中模拟机器人在主节点以及中间节点之间的行走路径，根据机器人在相同的历史时间段内在该路径上的相邻节点之间的通行速度来计算得到的奖励值，其中，调度收益奖励值越高说明机器人沿该行走路径执行调度任务可以达到更优的结果。本申请通过调度收益奖励值来衡量机器人行走路径的优劣，当执行调度任务的所有机器人的行走路径的调度收益奖励值总和最大时，便得到了最优的调度方案。

在一些实施例中，获取预设时间间隔内的业务请求，根据业务请求生成调度任务，并确定调度任务对应场景的地图信息，包括：在每个时间间隔内，接收用户端发送的业务请求，根据业务请求生成调度任务，依据调度任务，从预先存储的地图中获取调度任务对应场景的地图信息；其中，业务请求包括送物请求，送物请求中包含物品信息、支付信息、时间信息和目的位置信息。

具体地，为了提升机器人调度的效率，降低机器人无效的行驶路径，本申请在执行调度任务之前，会按照预设的时间间隔来获取业务请求，从而生成一段时间内的调度任务。在实际应用中，该时间间隔可以设置成5分钟、10分钟、15分钟等，例如，每间隔5分钟获取该时间段内的全部业务请求，再根据全部的业务请求生成该时间段对应的调度任务，因此本申请的调度任务是具有时间序列的任务。

进一步地，根据调度任务从数据库中获取该调度任务对应场景的地图信息，获取地图信息的目的在于，调度***将根据地图信息以及调度任务的任务信息，对地图进行节点化，即在地图中生成多个节点，并根据节点来确定机器人的行走路径。

在一些实施例中，根据调度任务，对地图信息执行节点化操作，得到调度任务对应的主节点，并对主节点进行划分得到子节点，包括：根据调度任务中的起始位置信息和目的位置信息，对地图信息执行节点化操作，以便将地图节点化成若干个主节点，按照预设的距离或时间，对相邻主节点之间进行节点划分，得到相邻主节点之间的子节点；其中，主节点包括起始节点、目的节点和中间节点，中间节点包括电梯节点和闸机节点。

具体地，调度任务中包含每个任务对应的起始位置信息和目的位置信息，当然在实际应用中，不同的调度任务可以共用一个起始位置，即只包含一个起始位置信息；根据起始位置信息在地图中生成起始节点，根据各个调度任务的目的位置信息在地图中生成不同的目的节点，例如：假设在一个送物场景下，机器人1需要执行向A点、B点和C点的调度任务，那么A点、B点和C点就是目的节点，目的节点可以包括房间门口、大堂等需要机器人到达的位置。

进一步地，起始节点和目的节点之间还包括了很多个中间节点，中间节点可以是地图中的一些固定节点，比如将位于起始节点和目的节点之间闸机、电梯等作为中间节点，这样地图中就生成了至少一个起始节点、多个目的节点和多个中间节点。

进一步地，为了更加准确的计算机器人的通行奖励，本申请还将主节点之间的区域划分成若干个子节点，在实际应用中，子节点的划分可以采取距离或者时间的方式，例如每隔1米设置一个子节点，或者每隔1秒钟设置一个子节点，因此，子节点是本申请机器人获取通行奖励的基本周期，即机器人每隔一个子节点获得一次通行奖励。

在一些实施例中，依据预定的调度奖励计算方式，计算相邻子节点以及相邻主节点之间的调度收益奖励值，包括：获取历史相同时间段内的机器人在相邻主节点及相邻子节点之间的历史环境平均速度和历史通行时间，基于历史环境平均速度以及历史通行时间计算相邻主节点及相邻子节点对应的调度收益奖励值；其中，历史环境平均速度用于表征历史相同时间段内机器人在相邻主节点及相邻子节点的区域的拥堵程度。

具体地，本申请的调度奖励（即通行奖励）计算过程可以模拟化为机器人沿行走路径吃糖果的过程，即在机器人的行走路径的每个子节点上放置一个糖果，当机器人经过该子节点时，将该子节点的糖果加入到调度奖励中，需要说明的是，吃糖果仅仅是本申请将调度奖励计算过程模拟化的一种方式，也可以采用其他的模拟化方式来计算调度奖励。

进一步地，本申请在计算调度奖励值时，是根据机器人在当前调度任务对应时间段的历史时间段内的环境平均速度和通行时间来计算的，因此，历史时间段内该节点区域对应的环境平均速度和通行时间将影像机器人的通行奖励，换言之，本申请的糖果的大小（调度奖励值的大小）与机器人行走过程中路径的拥堵程度成正比，即节点区域对应的环境平均速度越低，糖果越小（调度奖励值越小）。在实际应用中，本申请实际计算的是机器人在目的地抵达过程中的冲突资源的通行奖励（糖果的大小），糖果的大小和拥堵程度成正比，拥堵会来源于场景内的小区域切换的接驳处以及来源于场景内的运行统计速度低于平均速度的节点，例如：将电梯对应的中加节点设置为大糖果，将闸机对应的中间节点设置为中糖果。

在一些实施例中，利用以下公式计算相邻主节点及相邻子节点对应的调度收益奖励值：

其中，

表示调度收益奖励值，

表示历史环境平均速度，

表示历史通行时间。

进一步地，本申请调度奖励值的最小单位可以是迹（J），1迹表示环境平均速度为1m/s可通行的区域，正常通行行驶1s后的调度***奖励：

。低于1m/s平均速度的通行，说明此区域拥堵，区域的通行速度高于1m/s平均速度，说明此区域通畅，J和v成反比例关系，本申请的环境平均速度是包括行人在内的区域通行速度。

在一个具体示例中，例如：一段平均速度为0.5m/s的10m通行区域，机器人用0.4m/s通行了12.5s ，此时，调度***的调度收益奖励是(0.5)^-1*10 = 20J，单机***实际运行的效率是0.4/0.5=80%。

需要说明的是，当调度***在短期无法准确捕捉环境平均速度的条件下，可用历史单机的平均速度作为其调度收益的奖励标准。本申请在计算调度收益奖励值时，所用到的环境平均速度是历史相同时间段内，机器人在该节点对应的区域内进行通行时的历史平均速度，在计算历史平均速度时，可以根据节点之间的距离和机器人通行时间来计算历史平均速度，例如：获取机器人1从A点通行至D点的用时，A点至D点的距离是已知的，根据距离和通行时间就能计算出机器人在各个节点之间的历史环境平均速度。

在一些实施例中，响应于调度触发请求，获取当前时刻机器人的位置信息和状态信息，根据机器人的位置信息、状态信息以及主节点，生成机器人对应的调度行驶路径，包括：在每个时间间隔结束时，生成调度触发请求，响应于调度触发请求，获取当前时刻机器人在地图中的位置信息以及机器人的状态信息；根据机器人的位置信息和状态信息，生成使机器人从起始节点到达各个不同的目标节点的调度行驶路径；其中，状态信息中包含工作状态和物品载荷状态。

具体地，每个时间间隔结束时，调度***将根据机器人的位置信息和状态信息，以及时间间隔内获取的调度任务的任务信息，在地图中模拟出机器人的全部调度行驶路径，即机器人从起始节点到目的节点之间的全部行驶路径。由于前述实施例已经计算出机器人在相同历史时间段内各个节点之间的调度收益奖励值，因此，可以根据各个节点之间的调度收益奖励值，计算每条调度行驶路径对应的总调度收益奖励值，总调度收益奖励值用于衡量机器人调度行驶路径的优劣程度，总调度收益奖励值越高说明该调度方案（即所有机器人对应的各调度行驶路径的组合）为最优方案。

在一些实施例中，依据相邻子节点以及相邻主节点之间的调度收益奖励值，确定每个调度行驶路径对应的总调度收益奖励值，包括：依据调度行驶路径所经过的区域，按照先后顺序依次将经过区域内的相邻子节点的调度收益奖励值相加，得到按照先后顺序依次经过的主节点之间的调度收益奖励值，将全部主节点之间的调度收益奖励值相加，得到每个调度行驶路径对应的总调度收益奖励值。

具体地，在模拟出全部可能的调度行驶路径之后，已知各个节点之间的调度收益奖励值，便可以计算出每条调度行驶路径（即每个调度方案）对应的总调度收益奖励值，按照总调度收益奖励值的大小对调度行驶路径进行排序，选择总调度收益奖励值最大的调度行驶路径的组合作为最终的调度方案，所谓调度行驶路径的组合是指，当执行调度任务的机器人不止一个时，那么生成的调度方案中就包括每个机器人对应的各自行驶路径。

在一些实施例中，“迹”的量化本身和运力的经济收益是独立的，“迹”的量化是运力的一部分成本（所谓一部分，是因为它并不考虑硬件折旧、不考虑场地租金、也不考虑机器人的运维，而是只考虑时间的机会成本）；如同样的一单运力需求，在高峰和平峰时段成本不同，是因为其通行各区域的平均速度在不同时段是不一样的；“迹”的量化既然是一种成本，所以其也指导收益部分的定价，例如：需要换乘2趟电梯的运力时间机会成本会比换乘1趟电梯的运力单要大，是否定价可以依据量化程度做调整；如高峰期间的运力时间机会成本会比平峰时期要大。

“迹”的量化本身和单次任务的运行效率也是独立的只要运力需求的起始和目的地确认、运力需求的时间点确认，“迹”便可以确认。对于运力***而言，“迹”的实现是收集沿路迹J的过程，类似于沿途吃豆豆。在单位时间或者指定时间内，获取的“迹”数，是***运力调度能力的体现，例如：中午高峰2小时，实现的“迹”数的多少是***在高峰期调度能力的体现。

根据本申请实施例提供的技术方案，本申请通过获取预设时间间隔内的业务请求，根据业务请求生成调度任务，并确定调度任务对应场景的地图信息；根据调度任务，对地图信息执行节点化操作，得到调度任务对应的主节点，并对主节点进行划分得到子节点；依据预定的调度奖励计算方式，计算相邻子节点以及相邻主节点之间的调度收益奖励值；响应于调度触发请求，获取当前时刻机器人的位置信息和状态信息，根据机器人的位置信息、状态信息以及主节点，生成机器人对应的调度行驶路径；依据相邻子节点以及相邻主节点之间的调度收益奖励值，确定每个调度行驶路径对应的总调度收益奖励值。本申请能够通过调度收益奖励计算的方式，为执行调度任务的机器人确定最优的调度行驶路径，提升机器人调度***的调度能力，提升机器人的调度效率，提升机器人的智能化服务水平。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图2是本申请实施例提供的机器人调度奖励装置的结构示意图。如图2所示，该机器人调度奖励装置包括：

获取模块201，被配置为获取预设时间间隔内的业务请求，根据业务请求生成调度任务，并确定调度任务对应场景的地图信息；

划分模块202，被配置为根据调度任务，对地图信息执行节点化操作，得到调度任务对应的主节点，并对主节点进行划分得到子节点；

计算模块203，被配置为依据预定的调度奖励计算方式，计算相邻子节点以及相邻主节点之间的调度收益奖励值；

生成模块204，被配置为响应于调度触发请求，获取当前时刻机器人的位置信息和状态信息，根据机器人的位置信息、状态信息以及主节点，生成机器人对应的调度行驶路径；

确定模块205，被配置为依据相邻子节点以及相邻主节点之间的调度收益奖励值，确定每个调度行驶路径对应的总调度收益奖励值。

在一些实施例中，图2的获取模块201在每个时间间隔内，接收用户端发送的业务请求，根据业务请求生成调度任务，依据调度任务，从预先存储的地图中获取调度任务对应场景的地图信息；其中，业务请求包括送物请求，送物请求中包含物品信息、支付信息、时间信息和目的位置信息。

在一些实施例中，图2的划分模块202根据调度任务中的起始位置信息和目的位置信息，对地图信息执行节点化操作，以便将地图节点化成若干个主节点，按照预设的距离或时间，对相邻主节点之间进行节点划分，得到相邻主节点之间的子节点；其中，主节点包括起始节点、目的节点和中间节点，中间节点包括电梯节点和闸机节点。

在一些实施例中，图2的计算模块203获取历史相同时间段内的机器人在相邻主节点及相邻子节点之间的历史环境平均速度和历史通行时间，基于历史环境平均速度以及历史通行时间计算相邻主节点及相邻子节点对应的调度收益奖励值；其中，历史环境平均速度用于表征历史相同时间段内机器人在相邻主节点及相邻子节点的区域的拥堵程度。

在一些实施例中，图2的计算模块203利用以下公式计算相邻主节点及相邻子节点对应的调度收益奖励值：

其中，

表示调度收益奖励值，

表示历史环境平均速度，

表示历史通行时间。

在一些实施例中，图2的生成模块204在每个时间间隔结束时，生成调度触发请求，响应于调度触发请求，获取当前时刻机器人在地图中的位置信息以及机器人的状态信息；根据机器人的位置信息和状态信息，生成使机器人从起始节点到达各个不同的目标节点的调度行驶路径；其中，状态信息中包含工作状态和物品载荷状态。

在一些实施例中，图2的确定模块205依据调度行驶路径所经过的区域，按照先后顺序依次将经过区域内的相邻子节点的调度收益奖励值相加，得到按照先后顺序依次经过的主节点之间的调度收益奖励值，将全部主节点之间的调度收益奖励值相加，得到每个调度行驶路径对应的总调度收益奖励值。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图3是本申请实施例提供的电子设备3的结构示意图。如图3所示，该实施例的电子设备3包括：处理器301、存储器302以及存储在该存储器302中并且可以在处理器301上运行的计算机程序303。处理器301执行计算机程序303时实现上述各个方法实施例中的步骤。或者，处理器301执行计算机程序303时实现上述各装置实施例中各模块/单元的功能。

示例性地，计算机程序303可以被分割成一个或多个模块/单元，一个或多个模块/单元被存储在存储器302中，并由处理器301执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序303在电子设备3中的执行过程。

电子设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备3可以包括但不仅限于处理器301和存储器302。本领域技术人员可以理解，图3仅仅是电子设备3的示例，并不构成对电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如，电子设备还可以包括输入输出设备、网络接入设备、总线等。

处理器301可以是中央处理单元（Central Processing Unit，CPU），也可以是其它通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器302可以是电子设备3的内部存储单元，例如，电子设备3的硬盘或内存。存储器302也可以是电子设备3的外部存储设备，例如，电子设备3上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器302还可以既包括电子设备3的内部存储单元也包括外部存储设备。存储器302用于存储计算机程序以及电子设备所需的其它程序和数据。存储器302还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种机器人调度奖励方法，其特征在于，包括：

获取预设时间间隔内的业务请求，根据所述业务请求生成调度任务，并确定所述调度任务对应场景的地图信息；

根据所述调度任务，对所述地图信息执行节点化操作，得到所述调度任务对应的主节点，并对所述主节点进行划分得到子节点；

依据预定的调度奖励计算方式，计算相邻子节点以及相邻主节点之间的调度收益奖励值；

响应于调度触发请求，获取当前时刻机器人的位置信息和状态信息，根据所述机器人的位置信息、状态信息以及所述主节点，生成所述机器人对应的调度行驶路径；

依据所述相邻子节点以及相邻主节点之间的调度收益奖励值，确定每个所述调度行驶路径对应的总调度收益奖励值。

2.根据权利要求1所述的方法，其特征在于，所述获取预设时间间隔内的业务请求，根据所述业务请求生成调度任务，并确定所述调度任务对应场景的地图信息，包括：

在每个所述时间间隔内，接收用户端发送的业务请求，根据所述业务请求生成调度任务，依据所述调度任务，从预先存储的地图中获取所述调度任务对应场景的地图信息；

其中，所述业务请求包括送物请求，所述送物请求中包含物品信息、支付信息、时间信息和目的位置信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述调度任务，对所述地图信息执行节点化操作，得到所述调度任务对应的主节点，并对所述主节点进行划分得到子节点，包括：

根据所述调度任务中的起始位置信息和目的位置信息，对所述地图信息执行节点化操作，以便将地图节点化成若干个主节点，按照预设的距离或时间，对相邻主节点之间进行节点划分，得到相邻主节点之间的子节点；

其中，所述主节点包括起始节点、目的节点和中间节点，所述中间节点包括电梯节点和闸机节点。

4.根据权利要求1所述的方法，其特征在于，所述依据预定的调度奖励计算方式，计算相邻子节点以及相邻主节点之间的调度收益奖励值，包括：

获取历史相同时间段内的机器人在所述相邻主节点及所述相邻子节点之间的历史环境平均速度和历史通行时间，基于所述历史环境平均速度以及所述历史通行时间计算所述相邻主节点及所述相邻子节点对应的调度收益奖励值；

其中，所述历史环境平均速度用于表征历史相同时间段内机器人在所述相邻主节点及所述相邻子节点的区域的拥堵程度。

5.根据权利要求4所述的方法，其特征在于，利用以下公式计算所述相邻主节点及所述相邻子节点对应的调度收益奖励值：

其中，

表示调度收益奖励值，

表示历史环境平均速度，

表示历史通行时间。

6.根据权利要求1所述的方法，其特征在于，所述响应于调度触发请求，获取当前时刻机器人的位置信息和状态信息，根据所述机器人的位置信息、状态信息以及所述主节点，生成所述机器人对应的调度行驶路径，包括：

在每个所述时间间隔结束时，生成调度触发请求，响应于所述调度触发请求，获取当前时刻机器人在地图中的位置信息以及机器人的状态信息；

根据机器人的位置信息和状态信息，生成使所述机器人从起始节点到达各个不同的目标节点的调度行驶路径；

其中，所述状态信息中包含工作状态和物品载荷状态。

7.根据权利要求1所述的方法，其特征在于，所述依据所述相邻子节点以及相邻主节点之间的调度收益奖励值，确定每个所述调度行驶路径对应的总调度收益奖励值，包括：

依据所述调度行驶路径所经过的区域，按照先后顺序依次将经过区域内的相邻子节点的调度收益奖励值相加，得到按照先后顺序依次经过的主节点之间的调度收益奖励值，将全部主节点之间的调度收益奖励值相加，得到每个所述调度行驶路径对应的总调度收益奖励值。

8.一种机器人调度奖励装置，其特征在于，包括：

获取模块，被配置为获取预设时间间隔内的业务请求，根据所述业务请求生成调度任务，并确定所述调度任务对应场景的地图信息；

划分模块，被配置为根据所述调度任务，对所述地图信息执行节点化操作，得到所述调度任务对应的主节点，并对所述主节点进行划分得到子节点；

计算模块，被配置为依据预定的调度奖励计算方式，计算相邻子节点以及相邻主节点之间的调度收益奖励值；

生成模块，被配置为响应于调度触发请求，获取当前时刻机器人的位置信息和状态信息，根据所述机器人的位置信息、状态信息以及所述主节点，生成所述机器人对应的调度行驶路径；

确定模块，被配置为依据所述相邻子节点以及相邻主节点之间的调度收益奖励值，确定每个所述调度行驶路径对应的总调度收益奖励值。

9.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

Images