CN111652558A - 物体装载实现方法、装置、***及计算机设备 - Google Patents

Abstract

本申请提供了一种物体装载实现方法、装置、***及计算机设备，针对当前装载现场的多个待装载物体和用于装载该待装载物体的目标容器，本申请将获取这多个待装载物体各自的物体属性信息，以及目标容器的储物空间信息，并将其输入预先训练得到的装载策略模型，从而利用人工智能技术，得到各待装载物体按照什么顺序、姿态放置到目标容器的什么位置，能够提高仓储空间利用率、降低物体装载及运输成本的目标装载策略，这样，装载现场按照输出的目标装载策略，实现将这多个待装载物体放置到目标容器的装载作业过程，能够有效解决现有技术因凭借装配员经验装载物体，容易造成的存储空间利用率较低，物体装载及运输成本、人力成本均较高的技术问题。

Description

物体装载实现方法、装置、***及计算机设备

技术领域

本申请主要涉及仓储配送应用领域，更具体地说是涉及一种物体装载实现方法、装置、***及计算机设备。

背景技术

目前，仓储配送中心通常由配载员依据多年的物体装载经验进行装箱，如选择什么类型、尺寸等属性的待装载物体，放置到哪个装载容器的什么位置，以什么姿态放置等，以满足货物装载要求的同时，尽量提高装载容器的空间利用率，降低物流成本。

然而，现有的这种人工装载物体的实现方法，由于物体的装载策略因人而异，不能保证较高且稳定的仓储空间利用率，很容易造成空间以及运输成本的浪费，装载效率也非常低。

发明内容

有鉴于此，为了提高装载效率以及存储空间利用率，降低运输成本，本申请提供了一种物体装载实现方法，所述方法包括：

获取多个待装载物体各自的物体属性信息，以及用于装载所述待装载物体的目标容器的储物空间信息；

将所述多个待装载物体各自的物体属性信息，及所述目标容器的储物空间信息输入装载策略模型，得到针对所述多个待装载物体及所述目标容器的目标装载策略；

输出所述目标装载策略，以辅助实现将所述待装载物体放置到所述目标容器的装载作业过程。

可选的，所述输出所述目标装载策略，包括：

将所述目标装载策略发送至显示设备进行展示，以指导装配员将所述待装载物体放置到所述目标容器；或者，

将所述目标装载策略发送至装载设备，由所述装载设备执行所述目标装载策略，将所述待装载物体放置到所述目标容器。

可选的，所述将所述多个待装载物体各自的物体属性信息，及所述目标容器的储物空间信息输入装载策略模型，得到针对所述多个待装载物体及所述目标容器的目标装载策略，包括：

将所述多个待装载物体各自的物体属性信息，及所述目标容器的储物空间信息输入深度强化学习网络，得到多个候选装载策略，其中，不同候选装载策略中，所述多个待装载物体在所述目标容器中的装载位置和/或装载姿态不同；

基于针对所述多个待装载物体和/或所述目标容器的装载要求，从所述多个候选装载策略中，确定针对所述多个待装载物体及所述目标容器的目标装载策略；

其中，所述装载要求基于所述多个待装载物体各自的物体属性信息，和/或所述目标容器的储物空间信息确定。

可选的，所述将所述多个待装载物体各自的物体属性信息，及所述目标容器的储物空间信息输入装载策略模型，得到针对所述多个待装载物体及所述目标容器的目标装载策略，包括：

获取与当前装载要求相匹配的装载策略模型；

将所述多个待装载物体各自的物体属性信息，及所述目标容器的储物空间信息输入所述装载策略模型，得到满足所述当前装载要求的目标装载策略。

可选的，所述方法还包括：

对所述多个待装载物体的位置，和/或所述目标容器的存储空间进行追踪检测；

依据追踪检测结果，更新所述目标装载策略，并输出更新后的目标装载策略。

可选的，所述对所述多个待装载物体的位置和所述目标容器的存储空间进行追踪检测，包括：

获取所述多个待装载物体的图像信息，所述图像信息包括所述多个待装载物体各自的物体标识；

对所述物体标识进行追踪，获取所述多个待装载物体各自的位置信息；

依据所述多个待装载物体各自的位置信息及所述物体属性信息，更新所述目标容器的存储空间信息。

可选的，所述将所述目标装载策略发送至显示设备进行展示，包括：

依据所述目标装载策略，生成将所述多个待装载物体放置到所述目标容器的多个装载指导图，所述多个装载指导图包含在所述目标容器中，每次放置的所述待装载物体的物体标识、装载位置及装载姿态；

将所述多个装载指导图发送至显示设备进行展示。

本申请还提出了一种物体装载实现装置，所述装置包括：

信息获取模块，用于获取多个待装载物体各自的物体属性信息，以及用于装载所述待装载物体的目标容器的储物空间信息；

目标装载策略得到模块，用于将所述多个待装载物体各自的物体属性信息，及所述目标容器的储物空间信息输入装载策略模型，得到针对所述多个待装载物体及所述目标容器的目标装载策略；

目标装载策略输出模块，用于输出所述目标装载策略，以辅助实现将所述待装载物体放置到所述目标容器的装载作业过程。

本申请还提出了一种计算机设备，所述计算机设备包括：至少一个存储器和至少一个处理器；

所述存储器，用于存储实现如上述的物体装载实现方法的程序；

所述处理器，用于调用并执行所述存储器存储的程序，以实现如上述的物体装载实现方法的各步骤。

本申请还提出了一种物体装载实现***，所述***包括：

如上所述的计算机设备；

以及，至少一个图像采集设备和至少一个显示设备，其中：

所述图像采集设备，用于部署在物体装载现场，采集待装载物体的图像信息；

所述显示设备，用于部署在所述物体装载现场，对所述计算机设备得到的目标装载策略进行展示，以指导装配员将所述待装载物体放置到所述目标容器；

或者，至少一个装载设备，所述装载设备用于执行所述计算机设备得到的目标装载策略，将所述待装载物体放置到所述目标容器。。

由此可见，本申请提供了一种物体装载实现方法、装置、***及计算机设备，针对当前装载现场的多个待装载物体和用于装载该待装载物体的目标容器，本申请将获取这多个待装载物体各自的物体属性信息，以及目标容器的储物空间信息，并将其输入预先训练得到的装载策略模型，从而利用人工智能技术，得到各待装载物体按照什么顺序、姿态放置到目标容器的什么位置，能够提高仓储空间利用率、降低物体装载及运输成本，并保证物体运输安全的目标装载策略并输出，这样，装载现场按照该目标装载策略，实现将这多个待装载物体放置到目标容器的装载作业过程，能够有效解决现有技术中，因凭借装配员经验装载物体，容易造成的存储空间利用率较低，物体装载及运输成本、人力成本均较高的技术问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了适用于本申请提出的物体装载实现方法的一可选***的结构示意图；

图2示出了实现本申请提出的物体装载实现方法的计算机设备的一可选示例的硬件结构示意图；

图3示出了适用于本申请提出的物体装载实现方法的又一可选***的结构示意图；

图4示出了本申请提出的物体装载实现方法的一可选示例的流程示意图；

图5示出了本申请提出的物体装载实现方法的又一可选示例的流程示意图；

图6示出了本申请提出的物体装载实现方法的一可选应用场景的流程示意图；

图7示出了本申请提出的物体装载实现方法的又一可选应用场景的流程示意图；

图8示出了本申请提出的物体装载实现方法的又一可选示例的流程示意图；

图9示出了本申请提出的物体装载实现装置的一可选示例的结构示意图；

图10示出了本申请提出的物体装载实现装置的又一可选示例的结构示意图。

具体实施方式

针对背景技术部分描述的人工装载物体实现方法中，由装配人员依据经验将待装载物体依次装载至目标容器，容易造成空间以及运输成本的浪费，装载效率低的技术问题，本申请提出一种能够针对多个待装载物体各自的物体属性，以及用于装载这些待装载物体的目标容器的储物空间，自动生成并输出将这多个待装载物体，如何放置到目标容器中的目标装载策略，以辅助实现将待装载物体放置到目标容器的装载作业过程，最大化地提高仓储空间利用率以及物体装载效率，避免因待装载物体的放置位置和/或姿态等不合适，而造成的仓储空间以及运输成本的浪费。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

应当理解，本申请中使用的“***”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、产品或者设备中还存在另外的相同要素。

其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。以下术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

另外，本申请中使用了流程图用来说明根据本申请的实施例的***所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

参照图1，为适用于本申请提出的物体装载实现方法的一可选***的结构示意图，该***可以包括计算机设备100、至少一个图像采集设备200和至少一个显示设备300，其中：

计算机设备100可以执行本申请提出的物体装载实现方法，具体可以是服务器或具有一定数据处理能力的电子设备。该服务器可以是独立的物理服务器，或者是多个物理服务器构成的服务器集群或分布式***，或者是提供云计算服务器的云服务器。电子设备可以包括但并不局限于智能手机、平板电脑、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digitalassistant，PDA)、电子书阅读器、台式计算机等。本申请对该计算机设备的设备类型及其组成结构不做限定。

在一些实施例中，如图2所示的实现本申请提出的物体装载实现方法的计算机设备的一可选示例的硬件结构示意图，该计算机设备100可以包括：至少一个存储器111以及至少一个处理器112，其中：

存储器111可以用于存储实现本申请实施例提出的物体装载实现方法的程序；处理器112可以用于调用并执行存储器111存储的程序，以实现本申请实施例提出的物体装载实现方法的各步骤，具体实现过程可以参照但并不局限于下文方法实施例的步骤描述。

在本申请实施例中，存储器111可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。处理器112，可以为中央处理器(Central Processing Unit，CPU)、特定应用集成电路(application-specificintegrated circuit，ASIC)、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件等。

应该理解的是，图2所示的计算机设备的结构并不构成对本申请实施例中计算机设备的限定，在实际应用中，计算机设备可以包括比图2所示的更多或更少的部件，或者组合某些部件，如各种类型的通信接口等，本申请在此不做一一列举。

图像采集设备200可以是具有图像采集功能的独立摄像头，或集成在某些电子设备上的摄像头等，本申请对其产品类型不做限定。

在本实施例实际应用中，上述图像采集设备200可以部署在物体装载现场，用来采集待装载物体的图像信息，并发送至计算机设备，以使得计算机设备通过对不同时刻采集到的图像信息进行分析，实现对待装载图像的追踪检测，实时了解各待装载物体所在的位置，还可以据此监控待装载物体是否是按照确定的目标装载策略进行装载等等，具体实现过程可以参照下文实施例相应部分的描述。

显示设备300可以是具有信息显示功能的输出设备，如独立的显示器，或带有显示屏的电子设备等等，本申请对该显示设备300的类似不做限定。

本实施例实际应用中，该显示设备300也可以部署在物体装载现场，用以对计算机设备得到的目标装载策略进行展示，以指导装配员将待装载物体放置到目标容器，也就是说，装配员可以按照显示设备300所显示的物体装载图像中，当前所选装载是哪个待装载物体，将其以什么样的姿态放置到目标容器的什么位置等，将该待装载物体放置到目标容器中，这样，就不需要装配人员具有丰富的装载经验，降低了人员限制，且避免了因人为凭经验装载而产生的各种问题，保证尽可能地实现仓储空间利用率以及物体装载效率的最大化，从而降低运输成本。

需要说明，本申请对上述图像采集设备200以及显示设备300的数量及其部署方式、位置等不做限定，可以根据具体应用场景的需求确定，本实施例在此不做一一详述。

另外，对于本实施例提出的物体装载实现***，并不局限于上文列举的计算机设备100、图像采集设备200和显示设备300，在实际应用中，该***还可以包括比图1所示的更多或更少的设备，如物体运输设备、报警设备等等，可以依据具体装载现场确定，本申请不做一一详述。

在又一些实施例中，对于物体装载过程，本申请可以不采用上文实施例描述的人工装载方式，而采用自动化的装载方式，即直接控制装载设备，将待装载物体运输到目标容器中，进一步降低了人工装载成本，提高了装载效率及可靠性。

基于此，如图3所示，为适用于本申请提出的物体装载实现方法的又一可选***的结构示意图，该***可以包括计算机设备100以及至少一个装载设备400，其中：

关于计算机设备100的组成结构及其功能，可以参照上文实施例相应部分的描述，不再赘述。

装载设备400可以是能够运输待装载物体的运输设备，如各种类型的运输车，该运输车可以是需要驾驶员的车辆，也可以是基于自动驾驶技术进行控制的无人驾驶车辆等，本申请对装载设备400的设备类型及结构组成不做详述。

在本实施例实际应用中，计算机设备确定针对多个待装载物体和目标容器的目标装载策略后，可以发送至相应的装载设备，以使该装载设备执行该目标装载策略，将待装载物体放置到目标容器，从而提高仓储空间利用率以及物体装载效率，解决了装配员凭借经验装载物体，容易导致待装载物体的放置位置和/或姿态等不合适，从而造成的仓储空间以及运输成本的浪费的技术问题。

应该理解的是，对于本实施例提出的物体装载实现***，并不局限于上文列举的计算机设备100、装载设备400，在实际应用中，该***还可以包括比图3所示的更多或更少的设备，如报警设备等，根据具体物体装场景的环境、对待装载物体以及目标容器等装载要求需要，适应性调整物体装载实现***的组成结构，如可以与上述***实施例中的图像采集设备200、显示设备300结合等，本申请对适用于本申请提出的物体装载实现方法的、物体装载实现***的组成结构不做一一详述。

另外，对于本申请提出的物体装载实现***的组成，可以适用于多种装载现场，如工厂、码头、物流中心等需要大量装载货物的场地，或者是各种车站、机场等运输场地等，在各装载场地，执行本申请提出的物体装载实现方法，实现物体装载的过程类似，本申请不做一一详述。

参照图4，为本申请提出的物体装载实现方法的一可选示例的流程示意图，该实现方法可以应用于计算机设备，关于该计算机设备类型及其组成结构，可以参照但并不局限于上文实施例的描述。如图4所示，本实施例提出的物体装载实现方法可以包括：

步骤S11，获取多个待装载物体各自的物体属性信息，以及用于装载待装载物体的目标容器的储物空间信息；

其中，待装载物体的物体属性信息可以包括尺寸信息、重量、轮廓形状、物体是否易碎、易变形等，可以依据物体拥有者、运输或存储物体方对待装载物体的装载要求、运输成本、运输方式等多方面因素确定，本申请对该物体属性信息包含的内容不做限定。

举例说明，在如塑料、玻璃等产品在运输前，通常将每一个产品做防碰撞包装，再放到一个小的包装盒内作为待装载物体进行运输，对于这类待装载物体，在向集装箱装载过程中，不仅考虑到包装盒尺寸、轮廓形状，还需要考虑包装盒在集装箱中的放置位置，以避免挤压变形、破损等。

应该理解的是，在不同应用场景下，待装载物体的类别可以不同，且该待装载物体可以是产品本身，或者是容纳有产品的包装盒等，具体可以依据该类产品的装载要求等因素确定，本申请对各应用场景下的待装载物体的类别不做限定。

对于用于装载待装载物体的目标容器，可以是集装箱、仓库、大尺寸的包装箱、车箱等具有一定存储空间，用以容纳多个待装载物体的装置，本申请对该目标容器的类别不做限定，通常可以依据具体装载场景的限定或需求确定。

其中，目标容器的储物空间信息可以包括：该目标容器当前可用的存储空间尺寸、形状等。应该理解的是，将待装载物体放置到目标容器过程中，该目标容器的存储空间信息是动态变化的，每增加一个待装载物体，目标容器可用的存储空间尺寸将变小，且该可用的存储空间的形状也可能会发生变化，本申请可以动态检测目标容器的储物空间信息的变化，从而依据该变化以及剩余的待装载物体，动态调整装载策略，或者依据变化以及剩余的待装载物体，验证已装载的物体是否按照目标装载策略执行等，具体实现过程可以参照下文实施例相应部分的描述。

在一些实施例中，对于上述多个待装载物体各自的物体属性信息，以及目标容器的储物空间信息，可以由装载现场的工作人员获取这些信息后，通过电子设备发送至计算机设备，若该计算机设备为电子设备，可以直接录入该计算机设备，以使得该计算机设备得到当前装载现场的多个待装载物体各自的物体属性信息，以及目标容器的储物空间信息，但并不局限于这种信息获取方式。

步骤S12，将多个待装载物体各自的物体属性信息，及目标容器的储物空间信息输入装载策略模型，得到针对多个待装载物体及目标容器的目标装载策略；

本实施例中，该装载策略模型可以是一种深度强化学习网络结构，也就是说，装载策略模型可以是基于深度强化学习算法，对多个样本数据进行训练得到的，该样本数据可以包括不同样本物体的样本物体属性信息，及不同样本容器的各种样本储物空间信息，具体内容可以参照上文对待装载物体的物体属性信息以及目标容器的储物空间信息的描述。

其中，深度强化学习算法是运用了神经网络作为参数结构进行优化的强化学习(Reinforcement learning,RL)算法，强化学习算法是机器学习技术中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益，即有机体如何在环境给定的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。本申请实施例中，使用强化学习强调如何基于装载场景中，多个待装载物体各自的物体属性信息，以及目标容器的可用的存储空间信息等环境变量，来确定各待装载物体在目标容器中的位置、放置姿态等行动变量，以使得目标容器存储空间利用率最大化，并在保证各物体安全基础上，有效降低物体装载和运输成本。

可见，本申请上述多个待装载物体各自的物体属性信息，以及目标容器的可用的存储空间信息等状态数据，构成了强化学习组成成分中的环境(Environment)变量，将各待装载物体在目标容器中的位置、放置姿态等，作为该强化学习组成成分中的动作(Action)变量，并将目标容器存储空间利用率最大化，保证各物体运输安全性，有效降低物体装载和运输成本等，作为该强化学习组成成分中奖励(Reward)，其在模型训练过程中，可以一种正/负反馈信号的表达方式反馈至模型，以实现模型优化。

对于上述不同环境变量到各动作变量之间映射关系，可以是强化学习算法中的策略，也就是智能体如何选择动作的思考过程，且通常情况下，智能体执行某个动作后，环境会转换到一个新的状态，对该新的状态环境会给出奖励信号，以使智能体根据新的状态和环境反馈的奖励，按照一定的策略执行新的动作，以达到目标。在本实施例中，通过强化学习可以确定在什么环境状态下，采取什么样的动作，使得自身获得最大奖励，由此学习到将多个待装载物体，按照什么位置顺序、以什么姿态放置到目标容器中，即目标装载策略，能够使得上述奖励最大。

为了优化上述强化学习算法，本申请实施例可以采用神经网络作为参数结构，按照上文描述的方式，对本实施例中的多个样本数据进行迭代更新，直至满足约束条件，得到上述装载策略模型，具体迭代更新过程本实施例不做详述，且该约束条件可以是上文描述的奖励最大化，具体内容可以依据该奖励包含的内容确定，本申请对模型训练的约束条件内容不做限定。

本实施例中，预先训练好装载策略模型后，针对当前装载场景，可以将获取的多个待装载物体各自的物体属性信息，及目标容器的储物空间信息作为模型输入数据，直接输入该装载策略模型，或者经过预处理后再输入该装载策略模型进行处理，从而得到针对这多个待装载物体及目标容器的目标装载策略，即指示将多个待装载物体，按照什么顺序、姿态放置到目标容器中的什么位置，以使上述奖励最大化的一个或多个装载策略，本申请对该目标装载策略的内容不做详述。

结合上述分析，在待装载物体的数量、目标容器的存储空间发生变化后，仍可以按照上述方式重新确定目标装载策略，也就是说，该目标装载策略的内容是可以动态调整的，具体调整实现过程可以依据装载场景的需求确定，本实施例在此不做详述。

步骤S13，输出目标装载策略，以辅助实现将待装载物体放置到目标容器的装载作业过程。

需要说明，本申请对目标装载策略的输出方式不做限定，可以依据具体装载现场的环境条件及其需求确定，如计算机设备可以将目标装载策略发送至显示设备输出，或者直接或间接发送至装载设备执行等，保证按照该目标装载策略的内容，将多个待装载物体放置到目标容器中，具体实现过程可以参照但并不局限于下文实施例相应部分的描述。

综上，针对当前装载现场的多个待装载物体和用于装载该待装载物体的目标容器，本实施例将获取这多个待装载物体各自的物体属性信息，以及目标容器的储物空间信息，并将其输入预先训练得到的装载策略模型，从而利用人工智能技术，得到各待装载物体按照什么顺序、姿态放置到目标容器的什么位置，能够提高仓储空间利用率、降低物体装载及运输成本，并保证物体运输安全的目标装载策略，这样，装载现场按照计算机设备输出的目标装载策略，实现将这多个待装载物体放置到目标容器的装载作业过程，能够有效解决现有技术中，因凭借装配员经验装载物体，容易造成的存储空间利用率较低，物体装载及运输成本、人力成本均较高的技术问题。

参照图5，为本申请提出的物体装载实现方法的又一可选示例的流程示意图，本实施例可以是对上述实施例描述的物体装载实现方法的一可选细化实现方法，但并不局限于这种细化实现方法，如图5所示，该方法可以包括：

步骤S21，获取多个待装载物体各自的物体属性信息，以及用于装载待装载物体的目标容器的储物空间信息；

关于步骤S21的实现过程，可以参照上述实施例相应部分的描述，本实施例不再赘述。

步骤S22，将多个待装载物体各自的物体属性信息，及目标容器的储物空间信息输入深度强化学习网络，得到多个候选装载策略；

其中，不同候选装载策略中，这多个待装载物体在目标容器中的装载位置和/或装载姿态不同，也就是说，不同候选装载策略中，深度强化学习网络中环境变量与动作变量之间的映射关系往往不同，具体内容本实施例不做详述。

结合上述对装载策略模型的相关描述，步骤S22中的深度强化学习网络可以是训练后的网络，关于该深度强化学习网络的训练过程，可以结合深度强化学习算法的运算原理以及装载应用场景实现，本实施例对该训练过程以及候选装载策略的生成过程均不做详述。

其中，利用大量样本数据完成对深度强化学习网络的训练，使其具有能够满足约束条件的网络参数后，将当前装载现场的多个待装载物体各自的物体属性信息，及目标容器的储物空间信息输入训练后的深度强化学习网络进行处理，可以得到一个或多个候选装载策略，应该理解，若得到一个候选装载策略，可以直接将该候选装载策略确定为目标装载策略输出，本实施例对这种情况不做详述，主要对深度强化学习网络输出多个候选装载策略的情况进行分析。

步骤S23，基于针对多个待装载物体和/或目标容器的装载要求，从多个候选装载策略中，确定针对多个待装载物体及目标容器的目标装载策略；

本实施例中，该装载要求可以包括对多个待装载物体的装载位置、姿态等要求，和/或对目标容器剩余存储空间的要求等，也就是说，该装载要求的具体内容可以基于当前装载现场的多个待装载物体的物体属性信息，和/或目标容器的属性信息，和/或装载现场的环境要求等条件确定，本申请对该装载要求包含的内容不做限定。

在实际应用中，上述得到的多个候选装载策略所能够达到的效果，如仓储空间利用率，装载及运输成本、安全性等可能不同，所能够满足的装载要求也就不同，因此，本申请在从多个候选装载策略中选择目标装载策略时，可以直接依据当前的装载要求，来确定出目标装载策略。当然，这种情况下，符合该装载要求的候选装载策略可能是一个或多个，若是一个，可以直接将其确定为目标装载策略，若是多个候选装载策略符合该装载要求，可以将这多个符合装载要求的候选装载策略均确定为目标装载策略输出，也可以从中任意选择一个符合装载要求的候选装载策略确定为目标装载策略，本申请对步骤S23的具体实现过程，以及该目标装载策略所包含的候选装载策略数量不做限定。

而且，结合上述实施例中对目标装载策略的相关描述可知，在实际装载过程中，随着装载进度的推进，可以动态调整所确定的目标装载策略，关于该动态调整的具体实现过程本实施例不做详述。

步骤S24，将目标装载策略发送至显示设备进行展示，以指导装配员将待装载物体放置到目标容器。

本实施例中，以上述图1所示的***结构为例，来说明对确定的目标装载策略的一种输出方式，但并不局限于这种输出方式。参照图6所示的应用场景示意图，计算机设备按照上述方式得到目标装载策略后，可以直接将目标装载策略发送至装载现场的显示设备，以动画或图文等方式进行展示，以指导装配员按照展示内容，将待装载物体放置到目标容器中，不需要装配员凭借自己经验决定各待装载物体按照什么顺序、姿态放置到目标容器的什么位置，也就解决了由此造成的存储空间利用率较低，物体装载及运输成本较大，因对装配员要求较高而导致人力成本高等技术问题。

而且，由于上述目标装载策略是利用人工智能技术中的深度强化学习网络得到的，能够保证按照该目标装载策略进行物体装载，能够尽量使得存储空间利用率最大化，物体装载及运输成本最小化，即使得该深度强化学习网络的奖励最大化。相对于传统的运筹学方法，如遗传算法、搜索算法等，这种深度强度学习算法，能够得到全局最优解，从而节省17.3％(并不局限于该数值)的存储空间，且能够预先训练得到装载策略模型，使其应用于多种装载场景，快速得到目标装载策略，不需要针对每一个装载场景花费大量时间运算，提高了工作效率。

需要说明的是，对于图1所示***结构中的计算机设备，并不局限于图6所示应用场景中的服务器，还可以是具有一定数据处理能够的电子设备，这种情况下，可以直接由电子设备按照上述方式得到目标装载策略，并发送至显示设备进行展示，实现过程类似，本申请并未举例详述。

而且，在如图6所示的应用场景中，对于当前装载场景下的多个待装载物体各自的物体属性信息，以及用于装载待装载物体的目标容器的储物空间信息等，可以由相关工作人员录入电子设备，再由该电子设备上传至服务器，以使服务器按照本实施例提出的物体装载实现方法，确定相应的目标装载策略并发送至显示设备进行展示，但并不局限于这种实现方式，可以根据实际场景的需求进行调整，本申请不做一一列举。

在一些实施例中，对于显示设备展示目标装载策略的方式本申请不做限定，以上文所述的动画方式为例进行说明，这种情况下，计算机设备可以依据该目标装载策略，生成将多个待装载物体放置到目标容器的多个装载指导图，此时该多个装载指导图可以包含在目标容器中，每次放置的待装载物体的物体标识(如连续编号、字符等唯一标识，本申请对物体标识的内容不做限定)、装载位置及装载姿态，之后，再将这多个装载指导图发送至显示设备进行展示，从而使得装配员能够更加直观得知各待装载物体向目标容器的装载方式。对于目标装载策略的其他展示方式，实现过程类似，本申请不做一一详述。

在一些实施例中，为了了解待装载物体的装载进度，和/或动态调整目标装载策略，如图6所示的应用场景下，本申请还可以利用图像采集设备获取多个待装载物体的图像信息，以使计算机设备通过对该图像信息包含的各待装载物体的物体标识，对相应待装载物体进行追踪检测，更新当前装载场景下剩余的待装载物体，以及目标容器可用的存储空间等，进而按照上述方式重新确定目标装载策略，以提高仓储空间利用率、降低装载及运输成本等。

需要说明，本申请对多个待装载物体的位置和目标容器的存储空间进行追踪检测的实现过程不做限定，并不局限于上文描述的实现方法。

在实际应用中，结合上述分析，计算机设备得到目标装载策略后，也可以直接发送至装载设备，如图3所示的***结构，由该装置设备执行该目标装载策略，将待装载物体放置到目标容器中，即实现物体的自动装载，相对于上述实施例描述的人工装载方式，在同样达到提高仓储空间利用率、降低装载及运输成本的技术效果的同时，还极大降低了人工成本，提高了装载效率。

具体的，参照图7所示的应用场景示意图，电子设备(其并不局限于图7所示的笔记本电脑，可以根据实际需求确定)将当前装载现场的个待装载物体各自的物体属性信息，及目标容器的储物空间信息发送至计算机设备(图7中以服务器为例进行说明，但并不局限于此)后，计算机设备可以按照上述实施例描述的方式，得到目标装载策略，发送至装载现场的装载设备，以控制该装载设备(本实施例以无人驾驶装载设备为例进行说明，但并不局限于此)按照目标装载策略，将多个待装载物体放置到目标容器，无需装配员手动装载。

需要说明的是，装载现场的装载设备的数量可以是一个或多个，可以根据实际需求确定，图7仅以一个装载设备为例对该应用场景做示意性说明。而另外，如上述分析，电子设备自身也可以作为计算机设备，按照上述方式直接确定目标装载策略发送至装载设备，以使该装置设备的车载控制器执行该目标装载策略，实现待装载物体的自动装载，具体控制过程本实施例不做详述。

在实际应用中，对于上述步骤S12的具体实现方法，并不局限于上文图5所示实现方式，在一些实施例中，尤其是在不同的装载要求无法同时兼顾的情况下，可以预先针对不同的装载要求，训练得到不同的装载策略模型，这样，计算机设备获取多个待装载物体各自的物体属性信息，以及用于装载待装载物体的目标容器的储物空间信息之后，还可以获取与当前装载要求相匹配的装载策略模型，再将该多个待装载物体各自的物体属性信息，及目标容器的储物空间信息输入该装载策略模型，得到满足当前装载要求的目标装载策略。

其中，不同装载策略模型对应的装载要求，可以与相应装载策略模型训练过程中的约束条件内容一致，从而保证所得装载策略模型的输出能够满足相应的装载要求，关于该装载要求的内容可以参照上文实施例相应部分的描述，不再赘述。

可见，若装载场景要求物体装载要实现仓储空间利用率最大化，不关心装载成本、重量平衡等问题，那么，本申请可以将仓储空间利用率最大化作为模型训练的约束条件(即装载要求)，实现对装载策略模型的训练，并将训练得到的装载策略模型与该装载要求关联存储，具体存储方式不做限定。之后，在遇到这类装载场景的情况下，可以直接调用该装载策略模型，确定目标装载策略，具体过程可以参照上述实施例相应部分的描述。

当然，对于基于其他装载要求确定模型训练的约束条件，实现与该装载要求对应的装载策略模型的训练并存储的过程类似，本申请不做一一列举。需要说明，对于不同装载策略模型对应的装载要求，具体可以包含但并不局限于如上文列举的任一项内容，或者是包含如上文列举的多项内容，本申请也可以针对每一种装载要求，预先训练得到相应的装载策略模型，这样，在实际应用中，选择与当前装载场景的装载要求对应的装载策略模型，相对于综合考虑各项装载要求内容训练得到的装载策略模型，所得到的目标装载策略更加准确可靠，按照该目标装载策略进行物体装载，能够更好地实现奖励最大化。

参照图8，为本申请提出的物体装载实现方法的又一可选示例的流程示意图，本实施例可以是对上述实施例描述的物体装载实现方法的又一可选细化实现方法，如图8所示，该方法可以包括：

步骤S31，获取多个待装载物体各自的物体属性信息，以及用于装载待装载物体的目标容器的储物空间信息；

步骤S32，将多个待装载物体各自的物体属性信息，及目标容器的储物空间信息输入装载策略模型，得到针对多个待装载物体及目标容器的目标装载策略；

步骤S33，输出该目标装载策略，以辅助实现将待装载物体放置到目标容器的装载作业过程；

关于步骤S31～步骤S33的实现过程，可以参照上述实施例相应部分的描述，本实施例不再赘述。

步骤S34，对多个待装载物体的位置和/或目标容器的存储空间进行追踪检测；

需要说明，本申请对步骤S34的具体实现方法不做限定，可以利用信息采集设备对装载现场进行追踪检测，或者是由装载现场的工作人员实时上报装载进度等方式，实现步骤S34，本申请不做一一详述。

而且，在实际应用中，可以依据具体场景要求，仅对多个待装载物体的位置进行追踪检测，来实时了解这多个待装载物体的装载进度，确定哪些待装载物体已经装载到目标容器中，哪些待装载物体还没有装载到目标容器中；或者，计算机设备也可以仅对目标容器的存储空间(其是指当前可用的存储空间，即剩余存储空间)进行追踪检测，以预估该目标容器还能够装载多少待装载物体，若无法装载下所有的待装载物体，及时提示工作人员准备新的目标容器等等，具体实现过程本申请不做详述。

在一些实施例中，本申请还可以同时对个待装载物体的位置和目标容器的存储空间进行追踪检测，具体可以依据上文对这两种信息各自的追踪检测方式实现，本申请对此不做限定，在此仅以依据图像分析结果实现追踪检测的方式为例进行说明，但并不局限于本实施例描述的这种实现方法。

具体的，在一种可能的实现方式中，如图6所示的应用场景，可以由部署在装载现场的图像采集设备，实时采集装配员的装载作业过程，得到装配员的装载动作及其所搬运的待装载物体，以便据此及时更新显示设备所呈现的内容，如输出目标装载策略中，装载好该待装载物体后的下一个待装载物体的物体标识，及其放置位置、姿态等图像，从而指引装配员继续下一个待装载物体的搬运，依次循环，完成所有待装载物体的搬运装载。

因此，图像采集设备可以采集到的多个待装载物体的图像信息发送至计算机设备，由于该图像信息包含多个待装载物体各自的物体标识，计算机设备通过对该图像信息进行分析，确定其呈现的待装载物体的物体标识后，可以对该物体标识进行追踪，获取多个待装载物体各自的位置信息，从而依据多个待装载物体各自的位置信息及物体属性信息，更新目标容器的存储空间信息，即更新目标容器剩余的可用存储空间。

之后，计算机设备可以利用更新后的存储空间信息，以及当前处于未装载状态的待装载物体的物体属性信息，重新确定相应的目标装载策略，并发送至显示设备进行展示，或者由显示设备基于更新后的存储空间信息，以及当前处于未装载状态的待装载物体的物体属性信息，确定之前得到的目标装载策略中，未被展示的装载策略内容进行展示，如上述展示下一个待装载物体的装载指导图，但并不局限于这种更新方式。

在又一些实施例中，对于上述目标容器的存储空间信息的追踪检测，也可以采用如上文描述的图像分析的方式实现，即获取目标容器的存储空间图像，对该存储空间图像进行分析，得到该存储空间图像呈现的目标容器的存储空间信息，即当前目标容器可用的存储空间大小。需要说明，对于目标容器的存储空间信息的追踪检测实现方式，并不局限于这种图像分析方式。

步骤S35，依据追踪检测结果，更新目标装载策略，并输出更新后的目标装载策略。

关于步骤S35的具体实现，可以参照上文相应部分的描述，但并不局限于上文描述的目标装载策略更新方式。

需要说明，对于上述输出的目标装载策略，无论是发送至显示设备还是装载设备，或者是其他设备，均可以允许装配员或其他工作人员调整，即可以响应装载策略调整请求，对该目标装载策略进行调整，之后按照调整后的目标装载策略，将待装载物体放置到目标容器中，关于目标装载策略的具体调整方式，可以依据执行设备类型确定，本申请在此不做详述。

综上，本实施例中，计算机设备获取装载场景下的多个待装载物体各自的物体属性信息，及目标容器的储物空间信息后，可以输入预先训练得到的装载策略模型进行处理，得到适用于具有相应物体属性的多个待装载物体，以及具有该储物空间信息的目标容器的目标装载策略，以使得装载现场按照该目标装载策略进行物体装载，能够提高仓储空间利用率、降低物体装载及运输成本，并保证物体运输安全性，最大化地满足该装载场景下的装载要求。

而且，本实施例还可以对整个装载过程进行实时追踪检测，实现对所执行的目标装载策略的动态调整，能够消除装载过程中因突发情况，或者装载出错等带来的存储空间利用率、装载及运输成本或安全性上面的损失，更好地满足当前装载场景的装载要求。

参照图9，为本申请提出的物体装载实现装置的一可选示例的结构示意图，该实现装置可以应用于计算机设备，关于该计算机设备类型及其组成结构，可以参照但并不局限于上文实施例的描述。如图9所示，本实施例提出的物体装载实现装置可以包括：

信息获取模块121，用于获取多个待装载物体各自的物体属性信息，以及用于装载所述待装载物体的目标容器的储物空间信息；

目标装载策略得到模块122，用于将所述多个待装载物体各自的物体属性信息，及所述目标容器的储物空间信息输入装载策略模型，得到针对所述多个待装载物体及所述目标容器的目标装载策略；

在一些实施例中，该目标装载策略得到模块122可以包括：

候选装载策略得到单元，用于将所述多个待装载物体各自的物体属性信息，及所述目标容器的储物空间信息输入深度强化学习网络，得到多个候选装载策略；

其中，不同候选装载策略中，所述多个待装载物体在所述目标容器中的装载位置和/或装载姿态不同；

目标装载策略确定单元，用于基于针对所述多个待装载物体和/或所述目标容器的装载要求，从所述多个候选装载策略中，确定针对所述多个待装载物体及所述目标容器的目标装载策略；

其中，所述装载要求基于所述多个待装载物体各自的物体属性信息，和/或所述目标容器的储物空间信息确定。

在又一些实施例中，该目标装载策略得到模块122也可以包括：

装载策略模型获取单元，用于获取与当前装载要求相匹配的装载策略模型；

目标装载策略得到单元，用于将所述多个待装载物体各自的物体属性信息，及所述目标容器的储物空间信息输入所述装载策略模型，得到满足所述当前装载要求的目标装载策略。

目标装载策略输出模块123，用于输出所述目标装载策略，以辅助实现将所述待装载物体放置到所述目标容器的装载作业过程。

在一种可能的实现方式中，该目标装载策略输出模块123可以包括：

第一发送单元，用于将所述目标装载策略发送至显示设备进行展示，以指导装配员将所述待装载物体放置到所述目标容器；

在本实施例实际应用中，该第一发送单元可以包括：

装载指导图生成单元，用于依据所述目标装载策略，生成将所述多个待装载物体放置到所述目标容器的多个装载指导图；

其中，该多个装载指导图包含在所述目标容器中，每次放置的所述待装载物体的物体标识、装载位置及装载姿态；

装载指导图发送单元，用于将所述多个装载指导图发送至显示设备进行展示。

在又一种可能的实现方式中，该目标装载策略输出模块123可以包括：

第二发送单元，用于将所述目标装载策略发送至装载设备，由所述装载设备执行所述目标装载策略，将所述待装载物体放置到所述目标容器。

在一些实施例中，如图10所示，本申请提出的物体装载实现装置还可以包括：

追踪检测模块124，用于对所述多个待装载物体的位置，和/或所述目标容器的存储空间进行追踪检测；

在一种可能的实现方式中，该追踪检测模块124可以包括：

图像信息获取单元，用于获取所述多个待装载物体的图像信息，所述图像信息包括所述多个待装载物体各自的物体标识；

位置信息获取单元，用于对所述物体标识进行追踪，获取所述多个待装载物体各自的位置信息；

存储空间信息更新单元，用于依据所述多个待装载物体各自的位置信息及所述物体属性信息，更新所述目标容器的存储空间信息。

目标装载策略更新模块125，用于依据追踪检测结果，更新所述目标装载策略，以使目标装载策略输出模块123输出更新后的目标装载策略。

需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在存储器中，由处理器执行存储在存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述方法实施例相应部分的描述，本实施例不再赘述。

本申请还提供了一种计算机可读存储介质，其上可以存储计算机程序，该计算机程序可以被处理器调用并加载，以实现上述实施例描述的物体装载实现方法的各个步骤。

本申请还提出了一种计算机设备，关于该计算机设备的组成结构，可以照但并不局限于上图2所示的硬件结构示意图，本实施例不再赘述。

本申请还提出了一种物体装载实现***，关于该***的组成结构及其功能，可以参照但并不局限于上图1或图3所示的***结构示意图，以及相应实施例的描述，本实施例在此不再赘述。

最后，需要说明，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、***、计算机设备而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种物体装载实现方法，所述方法包括：

获取多个待装载物体各自的物体属性信息，以及用于装载所述待装载物体的目标容器的储物空间信息；

将所述多个待装载物体各自的物体属性信息，及所述目标容器的储物空间信息输入装载策略模型，得到针对所述多个待装载物体及所述目标容器的目标装载策略；

输出所述目标装载策略，以辅助实现将所述待装载物体放置到所述目标容器的装载作业过程。

2.根据权利要求1所述的方法，所述输出所述目标装载策略，包括：

将所述目标装载策略发送至显示设备进行展示，以指导装配员将所述待装载物体放置到所述目标容器；或者，

将所述目标装载策略发送至装载设备，由所述装载设备执行所述目标装载策略，将所述待装载物体放置到所述目标容器。

3.根据权利要求1所述的方法，所述将所述多个待装载物体各自的物体属性信息，及所述目标容器的储物空间信息输入装载策略模型，得到针对所述多个待装载物体及所述目标容器的目标装载策略，包括：

将所述多个待装载物体各自的物体属性信息，及所述目标容器的储物空间信息输入深度强化学习网络，得到多个候选装载策略，其中，不同候选装载策略中，所述多个待装载物体在所述目标容器中的装载位置和/或装载姿态不同；

基于针对所述多个待装载物体和/或所述目标容器的装载要求，从所述多个候选装载策略中，确定针对所述多个待装载物体及所述目标容器的目标装载策略；

其中，所述装载要求基于所述多个待装载物体各自的物体属性信息，和/或所述目标容器的储物空间信息确定。

4.根据权利要求1所述的方法，所述将所述多个待装载物体各自的物体属性信息，及所述目标容器的储物空间信息输入装载策略模型，得到针对所述多个待装载物体及所述目标容器的目标装载策略，包括：

获取与当前装载要求相匹配的装载策略模型；

将所述多个待装载物体各自的物体属性信息，及所述目标容器的储物空间信息输入所述装载策略模型，得到满足所述当前装载要求的目标装载策略。

5.根据权利要求1～4任一项所述的方法，所述方法还包括：

对所述多个待装载物体的位置，和/或所述目标容器的存储空间进行追踪检测；

依据追踪检测结果，更新所述目标装载策略，并输出更新后的目标装载策略。

6.根据权利要求5所述的方法，所述对所述多个待装载物体的位置和所述目标容器的存储空间进行追踪检测，包括：

获取所述多个待装载物体的图像信息，所述图像信息包括所述多个待装载物体各自的物体标识；

对所述物体标识进行追踪，获取所述多个待装载物体各自的位置信息；

依据所述多个待装载物体各自的位置信息及所述物体属性信息，更新所述目标容器的存储空间信息。

7.根据权利要求2或3所述的方法，所述将所述目标装载策略发送至显示设备进行展示，包括：

依据所述目标装载策略，生成将所述多个待装载物体放置到所述目标容器的多个装载指导图，所述多个装载指导图包含在所述目标容器中，每次放置的所述待装载物体的物体标识、装载位置及装载姿态；

将所述多个装载指导图发送至显示设备进行展示。

8.一种物体装载实现装置，所述装置包括：

信息获取模块，用于获取多个待装载物体各自的物体属性信息，以及用于装载所述待装载物体的目标容器的储物空间信息；

目标装载策略得到模块，用于将所述多个待装载物体各自的物体属性信息，及所述目标容器的储物空间信息输入装载策略模型，得到针对所述多个待装载物体及所述目标容器的目标装载策略；

目标装载策略输出模块，用于输出所述目标装载策略，以辅助实现将所述待装载物体放置到所述目标容器的装载作业过程。

9.一种计算机设备，所述计算机设备包括：至少一个存储器和至少一个处理器；

所述存储器，用于存储实现如权利要求1～7任一项所述的物体装载实现方法的程序；

所述处理器，用于调用并执行所述存储器存储的程序，以实现如权利要求1～7任一项所述的物体装载实现方法的各步骤。

10.一种物体装载实现***，所述***包括：

如权利要求9所述的计算机设备；

以及，至少一个图像采集设备和至少一个显示设备，其中：

所述图像采集设备，用于部署在物体装载现场，采集待装载物体的图像信息；

所述显示设备，用于部署在所述物体装载现场，对所述计算机设备得到的目标装载策略进行展示，以指导装配员将所述待装载物体放置到所述目标容器；

或者，至少一个装载设备，所述装载设备用于执行所述计算机设备得到的目标装载策略，将所述待装载物体放置到所述目标容器。

Images