CN117953415A - 物品摆放检测方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请涉及一种物品摆放检测方法、装置、计算机设备及存储介质。方法包括：从置物平台采集得到的物品摆放图像中，确定至少一个待检测区域；对各待检测区域分别进行特征提取，得到各待检测区域对应的区域特征向量；针对每个区域特征向量，从多个参考特征向量中确定与区域特征向量匹配的目标参考特征向量；参考特征向量是基于参考摆放图像得到的，参考摆放图像是针对符合预设摆放要求的置物平台采集得到的；基于各区域特征向量对应的目标参考特征向量，确定物品摆放检测结果，物品摆放检测结果用于表征置物平台是否符合预设摆放要求。采用本申请，能够提高物品摆放的检测效率。

Description

物品摆放检测方法、装置、计算机设备及存储介质

技术领域

本申请涉及物品摆放检测技术领域，特别是涉及一种物品摆放检测方法、装置、计算机设备及存储介质。

背景技术

为了确定置物平台上物品摆放是否符合相关的摆放规定，例如，置物平台可以为办公桌或橱柜，通常安排工作人员定期进行检查。但人工逐一检查耗时且容易出错，因此，出现了利用深度学习模型进行物品摆放的检测，例如，利用目标检测模型实现物品摆放检测。

传统技术中，通常需要收集大量的标注数据进行目标检测模型的训练，通过已训练的目标检测模型检测物品摆放是否合规。然而，一旦用户更新物品摆放规则或更改物品的类型，都需要重新收集数据并重新训练目标检测模型，耗时较长，导致物品摆放的检测效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种物品摆放检测方法、装置、计算机设备、计算机可读存储介质以及计算机程序产品，能够提高物品摆放的检测效率。

第一方面，本申请提供了一种物品摆放检测方法，包括：

从置物平台采集得到的物品摆放图像中，确定至少一个待检测区域；

对各待检测区域分别进行特征提取，得到各待检测区域对应的区域特征向量；

针对每个区域特征向量，从多个参考特征向量中确定与区域特征向量匹配的目标参考特征向量；参考特征向量是基于参考摆放图像得到的，参考摆放图像是针对符合预设摆放要求的置物平台采集得到的；

基于各区域特征向量对应的目标参考特征向量，确定物品摆放检测结果；物品摆放检测结果用于表征置物平台是否符合预设摆放要求。

第二方面，本申请提供了一种物品摆放检测装置，包括：

区域确定模块，用于从置物平台采集得到的物品摆放图像中，确定至少一个待检测区域；

特征提取模块，用于对各待检测区域分别进行特征提取，得到各待检测区域对应的区域特征向量；

特征匹配模块，用于针对每个区域特征向量，从多个参考特征向量中确定与区域特征向量匹配的目标参考特征向量；参考特征向量是基于参考摆放图像得到的，参考摆放图像是针对符合预设摆放要求的置物平台采集得到的；

检测模块，用于基于各区域特征向量对应的目标参考特征向量，确定物品摆放检测结果；物品摆放检测结果用于表征置物平台是否符合预设摆放要求。

第三方面，本申请提供了一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行该计算机程序时实现上述的方法中的步骤。

第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。

第五方面，本申请提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述的方法中的步骤。

上述物品摆放检测方法、装置、计算机设备、计算机可读存储介质及计算机程序产品，通过对物品摆放图像中的各待检测区域分别进行特征提取，得到各待检测区域对应的区域特征向量，从参考特征向量中确定与区域特征向量匹配的目标参考特征向量，基于各区域特征向量对应的目标参考特征向量，确定物品摆放检测结果，以检测物品摆放图像对应的置物平台是否符合预设摆放要求，从而通过特征对比检索的方式实现了对置物平台的物品摆放检测，在有新的预设摆放要求的情况下，只需要基于符合新的预设摆放要求的参考摆放图像更新参考特征向量，就可以实现物品摆放检测，而无需重新训练检测模型，从而提高了物品摆放的检测效率。

附图说明

图1为本申请实施例提供的一种物品摆放检测方法的应用环境图。

图2为本申请实施例提供的一种物品摆放检测方法的流程示意图。

图3为本申请实施例提供的一种注册与检测的流程示意图。

图4为本申请实施例提供的一种特征提取模型的结构示意图。

图5为本申请实施例提供的一种物品摆放检测装置的结构框图。

图6为本申请实施例提供的一种计算机设备的内部结构图。

图7为本申请实施例提供的另一种计算机设备的内部结构图。

图8为本申请实施例提供的一种计算机可读存储介质的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的物品摆放检测方法，可以应用于如图1所示的应用环境中。其中，终端102通过通信网络与服务器104进行通信。数据存储***可以存储服务器104需要处理的数据。数据存储***可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备及便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案相关的部分场景，并不构成对本申请方案应用环境的限定。

如图2所示，本申请实施例提供了一种物品摆放检测方法，该方法可以由终端或服务器执行，还可以由终端和服务器共同执行，以该方法应用于图1中的服务器104为例进行说明。该方法包括以下步骤：

步骤202，从置物平台采集得到的物品摆放图像中，确定至少一个待检测区域。

其中，置物平台可以是办公桌、橱柜、置物架等，用于摆放对应场景中的物品。例如，在企业中，为了保持办公环境的整洁，通常会制定6S管理制度对办公桌上摆放的物品进行约束，即置物平台为办公桌，物品摆放图像可以是对办公桌采集得到的桌面图像。待检测区域是从物品摆放图像中确定的、需要摆放物品的区域。可以理解的是，待检测区域内可以包括完整的物品或部分物品，也可以不包括物品。

具体地，终端可以获取利用图像采集设备对置物平台进行图像采集得到的物品摆放图像，并将物品摆放图像发送至服务器。服务器接收终端发送的物品摆放图像，从物品摆放图像中确定至少一个待检测区域。

在一些实施例中，服务器中存储有参考摆放图像和参考摆放图像中各物品摆放区域的位置，服务器可以根据各物品摆放区域在参考摆放图像中的位置，从物品摆放图像中确定对应的待检测区域。其中，参考摆放图像是针对符合预设摆放要求的置物平台采集得到的，该置物平台上摆放有多个参考物品，每个参考物品所处的摆放位置均符合预设摆放要求。物品摆放区域是参考摆放图像中包括参考物品的图像区域。预设摆放要求是针对置物平台制定的摆放规则，规定了置物平台上应该摆放的物品类型和摆放位置。

在一些实施例中，在进行物品摆放检测之前，终端可以通过图像采集设备针对符合预设摆放要求的置物平台进行图像采集，得到参考摆放图像，对参考摆放图像进行物品检测，得到参考摆放图像中的物品摆放区域，并确定每个物品摆放区域在参考摆放图像中的位置，例如，可以用标注框对检测到的物品摆放区域的位置进行标注。然后服务器可以将参考摆放图像和参考摆放图像中各物品摆放区域的位置存储在数据库中。

步骤204，对各待检测区域分别进行特征提取，得到各待检测区域对应的区域特征向量。

其中，区域特征向量是表征待检测区域的相关特征的向量，包括颜色、纹理、物品大小等中的至少一个。

具体地，针对每个待检测区域，服务器可以从物品摆放图像中，裁剪得到待检测区域对应的区域图像，然后将区域图像输入到已训练的特征提取模型进行特征提取，得到待检测区域对应的区域特征向量。

步骤206，针对每个区域特征向量，从多个参考特征向量中确定与区域特征向量匹配的目标参考特征向量；参考特征向量是基于参考摆放图像得到的，参考摆放图像是针对符合预设摆放要求的置物平台采集得到的。

其中，参考特征向量是对参考摆放图像中的物品摆放区域进行特征提取得到的，表征物品摆放区域的相关特征，包括物品摆放区域内的参考物品的特征。每个物品摆放区域对应一个参考特征向量。可以理解的是，参考摆放图像可以为多个，例如，可以是在不同角度针对符合预设摆放要求的置物平台进行图像采集得到的多个图像。

具体地，服务器中存储有多个参考特征向量，针对每个区域特征向量，服务器可以计算区域特征向量与各参考特征向量之间的相似度，按照相似度从大到小的顺序从各参考特征向量中确定目标参考特征向量，例如，可以将相似度最大的参考特征向量确定为目标参考特征向量。其中，相似度可以是基于区域特征向量与参考特征向量之间的向量距离确定的，向量距离可以是欧式距离。

步骤208，基于各区域特征向量对应的目标参考特征向量，确定物品摆放检测结果；物品摆放检测结果用于表征置物平台是否符合预设摆放要求。

具体地，服务器还存储有每个参考特征向量对应的物品类型。针对每个区域特征向量，服务器可以将区域特征向量对应的目标参考特征向量所对应的物品类型，确定为区域特征向量所属的待检测区域对应的预测物品类型，并根据待检测区域在物品摆放图像中的位置，确定待检测区域对应的标准物品类型，根据各待检测区域对应的预测物品类型和标准物品类型确定物品摆放检测结果，比如，在待检测区域对应预测物品类型与标准物品类型不一致的情况下，确定物品摆放检测结果为置物平台不符合预设摆放要求。其中，预测物品类型是通过特征匹配确定的待检测区域内的物品对应的物品类型，标准物品类型是指按照预设摆放要求，待检测区域中需要摆放的物品对应的物品类型。

在一些实施例中，从参考摆放图像中确定参考特征向量的过程可以称为图像注册，参考摆放图像也可以称为注册图像，如图3所示，展示了注册与测试的流程示意图。在用户更新预设摆放要求的情况下，只需要重复流程图中的图像注册、特征提取、匹配检测三个步骤，无需停机迭代和工程师参与更新。首先，在图像注册环节，用户可以将符合更新后的预设摆放要求的参考摆放图像作为注册图像输入到特征提取模型，并将输出的参考特征向量作为正样本保存到样本库，此外，用户也可以将针对空置的置物平台采集得到的图像输入到特征提取模型，并将输出的参考特征向量作为负样本保存到样本库。然后，用户可以将实时采集的物品摆放图像作为测试图像，将测试图像输入到特征提取模型进行处理，输出特征向量。最后，进行特征匹配检索，用户将测试图像对应的特征向量与样本库中的特征向量进行比对，从而根据比对结果确定物品摆放图像对应的置物平台是否符合预设摆放要求。

可见，在本申请实施例中，通过对物品摆放图像中的各待检测区域分别进行特征提取，得到各待检测区域对应的区域特征向量，从参考特征向量中确定与区域特征向量匹配的目标参考特征向量，基于各区域特征向量对应的目标参考特征向量，确定物品摆放检测结果，以检测物品摆放图像对应的置物平台是否符合预设摆放要求，从而通过特征对比检索的方式实现了对置物平台的物品摆放检测，在有新的预设摆放要求的情况下，只需要基于符合新的预设摆放要求的参考摆放图像更新参考特征向量，就可以实现物品摆放检测，而无需重新训练检测模型，从而提高了物品摆放的检测效率。

在一些实施例中，区域特征向量是利用已训练的特征提取模型得到的；对各待检测区域分别进行特征提取，得到各待检测区域对应的区域特征向量之前，该方法还包括：

将各样本图像输入到待训练的特征提取模型进行处理，输出各样本图像对应的样本特征向量；每个样本图像中包括任一物品类型的物品；

确定各物品类型分别对应的代理特征向量；

基于各样本图像对应的样本特征向量与多个代理特征向量之间的相似度，对待训练的特征提取模型进行调整，得到已训练的特征提取模型。

其中，样本图像用于训练特征提取模型，一个样本图像中包括一个物品，例如，样本图像可以是针对摆放在置物平台上的单个物品进行图像采集得到的，也可以是从置物平台图像中裁剪得到的包括一个物品的区域图像。不同的样本图像中的物品对应的物品类型可以相同，也可以不同。样本特征向量是基于样本图像提取得到的。每个物品类型对应一个代理特征向量，代理特征向量表征对应的物品类型的物品所具有的相关特征。可以理解的是，在训练过程中，代理特征向量是不断更新的。

具体地，服务器可以从本地或其他计算机设备获取多个样本图像，将各样本图像输入到待训练的特征提取模型进行处理，得到各样本图像对应的样本特征向量，然后计算各样本图像对应的样本特征向量与每个代理特征向量之间的相似度，基于相似度确定损失值，从而根据损失值对待训练的特征提取模型的模型参数进行调整，直到满足预设训练条件，得到已训练的特征提取模型。其中，预设训练条件是预先设置的，例如，可以是模型收敛或者达到预设迭代次数。

在一些实施例中，在模型训练过程中，服务器可以对已输入的多个样本图像分别对应的样本特征向量进行聚类，根据聚类结果得到各物品类型分别对应的代理集合，每个代理集合中包括多个相同物品类型的样本特征向量。针对每个代理集合，服务器可以基于代理集合中的各样本特征向量，确定代理特征向量，例如，可以将每个物品类型对应的聚类中心向量确定为对应的代理特征向量，还可以将代理集合中的样本特征向量的均值向量确定为代理特征向量。

可见，在本实施例中，由于每个物品类型分别有各自的代理特征向量，从而基于样本特征向量与各代理特征向量之间的相似度，对待训练的特征提取模型进行调整，可以增大不同物品类型的特征向量之间的差异，提高特征提取模型的准确度，从而提高物品摆放的检测准确度。

在一些实施例中，基于各样本图像对应的样本特征向量与多个代理特征向量之间的相似度，对待训练的特征提取模型进行调整，得到已训练的特征提取模型，包括：

针对每个样本图像，将样本图像中物品所属的物品类型对应的代理特征向量确定为正代理特征向量，将除正代理特征向量之外的代理特征向量确定为负代理特征向量；

基于样本图像对应的样本特征向量与正代理特征向量之间的第一相似度、以及样本图像对应的样本特征向量与负代理特征向量之间的第二相似度，确定损失值；第一相似度与损失值成负相关关系，第二相似度与损失值成正相关关系；

基于损失值对待训练的特征提取模型进行调整，得到已训练的特征提取模型。

其中，每个样本图像中物品所属的物品类型是已知的，例如，可以是预先标注得到的。正代理特征向量对应的物品类型与样本图像中物品所属的物品类型相同，每个样本特征向量对应的正代理特征向量只有一个。负代理特征向量对应的物品类型与样本图像中物品所属的物品类型不同，每个样本特征向量对应的负代理特征向量可以为多个。正相关关系指的是：在其他条件不变的情况下，两个变量变动方向相同，一个变量由大到小变化时，另一个变量也由大到小变化。负相关关系指的是：在其他条件不变的情况下，两个变量变动方向相反，一个变量由大到小变化时，另一个变量由小到大变化。

具体地，针对每个样本图像，服务器可以获取样本图像中物品所属的物品类型，并将样本图像中物品所属的物品类型对应的代理特征向量确定为正代理特征向量，而其他物品类型各自的代理特征向量则确定为负代理特征向量。然后服务器计算样本图像对应的样本特征向量与正代理特征向量之间的第一相似度，并计算样本图像对应的样本特征向量分别与各负代理特征向量之间的第二相似度，基于第一相似度和各第二相似度确定损失值，从而利用损失值对待训练的特征提取模型的模型参数进行调整。

在一些实施例中，服务器每次可以将一个批次的多个样本图像输入待训练的特征提取模型中，并基于多个样本图像分别对应的样本特征向量计算损失值。例如，特征提取模型的损失函数可以用如下公式表示：

。

其中，X表示多个样本图像对应的样本特征向量集合，x∈X。l(X)表示损失值。P⁺ 表示正代理集合，P^- 表示负代理集合。α，δ为超参数，为样本特征向量x和代理特征向量p之间的相似度。

可见，在本实施例中，由于第一相似度与损失值成负相关关系，第二相似度与损失值成正相关关系，在训练过程中，可以控制着朝着使得第一相似度增大、且第二相似度减小的方向进行训练，以减小不同物品类型的物品的特征向量之间的相似度，拉开不同物品类型之间的差异，使得特征提取模型能更准确的提取不同物品类型的特征向量，对于特征不明显的区域有较好的分辨效果。

在一些实施例中，基于损失值对待训练的特征提取模型进行调整，得到已训练的特征提取模型，包括：

朝着使得损失值减小的方向，对各代理特征向量和待训练的特征提取模型的模型参数进行调整，直到满足预设训练条件，得到已训练的特征提取模型。

具体地，每个代理特征向量的值都是可以学习的，由于第一相似度与损失值成负相关关系，第二相似度与损失值成正相关关系，因此，每次计算损失值的时候，可以朝着使得损失值减小的方向对代理特征向量和待训练的特征提取模型的模型参数进行调整，直到满足预设训练条件，得到已训练的特征提取模型。

可见，在本实施例中，朝着使得损失值变小的方向对代理特征向量的值进行调整，可以对代理特征向量的值进行优化，使得基于样本特征向量与代理特征向量计算得到的损失值更加准确，从而进一步提高特征提取模型的准确度。

在一些实施例中，对各待检测区域分别进行特征提取，得到各待检测区域对应的区域特征向量，包括：

针对每个待检测区域，对待检测区域进行特征提取，得到区域特征图和至少一个区域注意力图；

利用各区域注意力图分别对区域特征图进行加权计算，得到加权特征图；

基于加权特征图，确定待检测区域对应的区域特征向量。

其中，区域特征图是对待检测区域对应的区域图像进行特征提取得到的，区域注意力图表征待检测区域中的显著特征，可以用于对区域特征图进行特征增强。可以理解的是，一个待检测区域中可以包括至少一个显著特征，因此区域注意力图为至少一个。

具体地，针对每个待检测区域，服务器可以根据待检测区域在物品摆放图像中的位置，从物品摆放图像中裁剪得到待检测区域对应的区域图像，然后将区域图像输入到已训练的特征提取模型，由已训练的特征提取模型的主干网络进行特征提取。主干网络包括第一输出分支和第二输出分支，第一输出分支输出区域特征图，第二输出分支输出区域注意力图。服务器可以利用各区域注意力图分别对区域特征图进行加权计算，这个过程也可以称为双线性注意力池化，如图4所示，展示了利用区域注意力图对区域特征图进行双线性注意力池化的过程，从而实现对区域特征图的增强处理，得到每个区域注意力图对应的加权特征图，然后基于各加权特征图进行组合，得到区域特征向量。

在一些实施例中，如图4所示，展示了特征提取模型的结构示意图，在模型训练过程中，可以利用注意力图对输入图像进行注意力裁剪或注意力擦除，从而去掉与注意力图不相关的部分区域，得到增强图像，然后将增强图像再次输入到特征提取模型的主干网络中进行训练，从而加强对注意力图的训练效果。

可见，在本实施例中，通过提取区域注意力图，从而利用区域注意力图对区域特征图进行增强处理，对于较小物品的区域性特征的提取效果更好，使得特征提取模型输出的特征向量更加准确。

在一些实施例中，基于各区域特征向量对应的目标参考特征向量，确定物品摆放检测结果，包括：

针对每个区域特征向量，根据区域特征向量对应的目标参考特征向量，确定区域特征向量所属的待检测区域对应的预测物品类型；

根据待检测区域在物品摆放图像中的位置，确定待检测区域对应的标准物品类型；

在预测物品类型与标准物品类型不一致的情况下，确定物品摆放检测结果为置物平台不符合预设摆放要求。

其中，预测物品类型是通过特征匹配确定的待检测区域内的物品对应的物品类型；标准物品类型是指按照预设摆放要求，待检测区域中需要摆放的物品对应的物品类型。

具体地，服务器中存储有每个参考特征向量对应的物品类型，针对每个区域特征向量，服务器可以将区域特征向量对应的目标参考特征向量所对应的物品类型，确定为区域特征向量所属的待检测区域对应的预测物品类型。由于待检测区域的位置是基于物品摆放区域在参考摆放图像中的位置确定的，服务器中存储有参考摆放图像中各物品摆放区域的位置对应的物品类型，故可以根据待检测区域的位置确定对应的标准物品类型。

在一些实施例中，在预测物品类型和标准物品类型不一致的情况下，即待检测区域中的物品并非预设摆放要求中所要求摆放的物品，或者待检测区域中并没有摆放物品，服务器确定物品摆放检测结果为置物平台不符合预设摆放要求，服务器可以向终端发送摆放错误提示信息；在每个待检测区域对应的预测物品类型和对应的标注物品类型均一致的情况下，服务器确定物品摆放检测结果为置物平台符合预设摆放要求，服务器可以向终端发送摆放正确提示信息。

可见，在本实施例中，通过目标参考特征向量确定待检测区域内的物品对应的预测物品类型，通过待检测区域在物品摆放图像中的位置确定对应的标准物品类型，从而根据预测物品类型和标准物品类型的比对是否一致可以直接确定置物平台是否符合预设摆放要求，提高了物品摆放的检测效率。

在一些实施例中，从置物平台采集得到的物品摆放图像中，确定至少一个待检测区域，包括：

从参考摆放图像中确定每个参考物品对应的物品摆放区域的位置；

针对每个物品摆放区域，根据物品摆放区域在参考摆放图像中的位置，从置物平台采集得到的物品摆放图像中确定对应的待检测区域。

其中，参考物品是符合预设摆放要求的置物平台上所摆放的物品。物品摆放区域表征符合预设摆放要求的置物平台上的参考物品在参考摆放图像中对应的位置，可以理解的是，每个物品摆放区域对应一个待检测区域。

具体地，服务器存储有各参考物品对应的物品摆放区域在参考摆放图像中的位置，在接收终端发送的物品摆放图像后，服务器针对每个物品摆放区域，根据物品摆放区域在参考摆放图像中的位置，从物品摆放图像中找到对应的位置，从而确定物品摆放区域对应的待检测区域。

可见，在本实施例中，根据各物品摆放区域在参考摆放图像中的位置，从置物平台采集得到的物品摆放图像中确定对应的待检测区域，从而为确定待检测区域对应的标准物品类型提供依据。

应该理解的是，虽然如上述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种物品摆放检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个物品摆放检测装置实施例中的具体限定可以参见上文中对于物品摆放检测方法的限定，在此不再赘述。

如图5所示，本申请实施例提供了一种物品摆放检测装置500，包括：

区域确定模块502，用于从置物平台采集得到的物品摆放图像中，确定至少一个待检测区域。

特征提取模块504，用于对各待检测区域分别进行特征提取，得到各待检测区域对应的区域特征向量。

特征匹配模块506，用于针对每个区域特征向量，从多个参考特征向量中确定与区域特征向量匹配的目标参考特征向量；参考特征向量是基于参考摆放图像得到的，参考摆放图像是针对符合预设摆放要求的置物平台采集得到的。

检测模块508，用于基于各区域特征向量对应的目标参考特征向量，确定物品摆放检测结果；物品摆放检测结果用于表征置物平台是否符合预设摆放要求。

在一些实施例中，区域特征向量是利用已训练的特征提取模型得到的；该装置还包括模型训练模块，模型训练模块具体用于：

将各样本图像输入到待训练的特征提取模型进行处理，输出各样本图像对应的样本特征向量；每个样本图像中包括任一物品类型的物品；

确定各物品类型分别对应的代理特征向量；

基于各样本图像对应的样本特征向量与多个代理特征向量之间的相似度，对待训练的特征提取模型进行调整，得到已训练的特征提取模型。

在一些实施例中，在基于各样本图像对应的样本特征向量与多个代理特征向量之间的相似度，对待训练的特征提取模型进行调整，得到已训练的特征提取模型方面，模型训练模块具体用于：

针对每个样本图像，将样本图像中物品所属的物品类型对应的代理特征向量确定为正代理特征向量，将除正代理特征向量之外的代理特征向量确定为负代理特征向量；

基于样本图像对应的样本特征向量与正代理特征向量之间的第一相似度、以及样本图像对应的样本特征向量与负代理特征向量之间的第二相似度，确定损失值；第一相似度与损失值成负相关关系，第二相似度与损失值成正相关关系；

基于损失值对待训练的特征提取模型进行调整，得到已训练的特征提取模型。

在一些实施例中，在基于损失值对待训练的特征提取模型进行调整，得到已训练的特征提取模型方面，模型训练模块具体用于：

朝着使得损失值减小的方向，对各代理特征向量和待训练的特征提取模型的模型参数进行调整，直到满足预设训练条件，得到已训练的特征提取模型。

在一些实施例中，在对各待检测区域分别进行特征提取，得到各待检测区域对应的区域特征向量方面，特征提取模块504具体用于：

针对每个待检测区域，对待检测区域进行特征提取，得到区域特征图和至少一个区域注意力图；

利用各区域注意力图分别对区域特征图进行加权计算，得到加权特征图；

基于加权特征图，确定待检测区域对应的区域特征向量。

在一些实施例中，在基于各区域特征向量对应的目标参考特征向量，确定物品摆放检测结果方面，检测模块508具体用于：

针对每个区域特征向量，根据区域特征向量对应的目标参考特征向量，确定区域特征向量所属的待检测区域对应的预测物品类型；

根据待检测区域在物品摆放图像中的位置，确定待检测区域对应的标准物品类型；

在预测物品类型与标准物品类型不一致的情况下，确定物品摆放检测结果为置物平台不符合预设摆放要求。

在一些实施例中，在从置物平台采集得到的物品摆放图像中，确定至少一个待检测区域方面，区域确定模块502具体用于：

从参考摆放图像中确定每个参考物品对应的物品摆放区域的位置；

针对每个物品摆放区域，根据物品摆放区域在参考摆放图像中的位置，从置物平台采集得到的物品摆放图像中确定对应的待检测区域。

上述物品摆放检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器，也可以以软件形式存储于计算机设备中的存储器，以便于处理器调用执行以上各个模块对应的操作。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）及通信接口。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储物品摆放检测方法所涉及的相关数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述的物品摆放检测方法中的步骤。

在一些实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元及输入装置。其中，处理器、存储器和输入/输出接口通过***总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到***总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现上述的物品摆放检测方法中的步骤。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏；该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6或图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施例中，提供了一种计算机设备，该计算机设备包括存储器和处理器，存储器存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一些实施例中，如图8所示提供了一种计算机可读存储介质的内部结构图，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一些实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（FerroelectricRandom Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（StaticRandom Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种物品摆放检测方法，其特征在于，包括：

从置物平台采集得到的物品摆放图像中，确定至少一个待检测区域；

对各所述待检测区域分别进行特征提取，得到各所述待检测区域对应的区域特征向量；

针对每个所述区域特征向量，从多个参考特征向量中确定与所述区域特征向量匹配的目标参考特征向量；所述参考特征向量是基于参考摆放图像得到的，所述参考摆放图像是针对符合预设摆放要求的所述置物平台采集得到的；

基于各所述区域特征向量对应的目标参考特征向量，确定物品摆放检测结果；所述物品摆放检测结果用于表征所述置物平台是否符合所述预设摆放要求。

2.根据权利要求1所述的方法，其特征在于，所述区域特征向量是利用已训练的特征提取模型得到的；所述对各所述待检测区域分别进行特征提取，得到各所述待检测区域对应的区域特征向量之前，所述方法还包括：

将各样本图像输入到待训练的特征提取模型进行处理，输出各所述样本图像对应的样本特征向量；每个所述样本图像中包括任一物品类型的物品；

确定各所述物品类型分别对应的代理特征向量；

基于各所述样本图像对应的样本特征向量与多个所述代理特征向量之间的相似度，对所述待训练的特征提取模型进行调整，得到所述已训练的特征提取模型。

3.根据权利要求2所述的方法，其特征在于，所述基于各所述样本图像对应的样本特征向量与多个所述代理特征向量之间的相似度，对所述待训练的特征提取模型进行调整，得到所述已训练的特征提取模型，包括：

针对每个所述样本图像，将所述样本图像中物品所属的物品类型对应的代理特征向量确定为正代理特征向量，将除所述正代理特征向量之外的代理特征向量确定为负代理特征向量；

基于所述样本图像对应的样本特征向量与所述正代理特征向量之间的第一相似度、以及所述样本图像对应的样本特征向量与所述负代理特征向量之间的第二相似度，确定损失值；所述第一相似度与所述损失值成负相关关系，所述第二相似度与所述损失值成正相关关系；

基于所述损失值对所述待训练的特征提取模型进行调整，得到所述已训练的特征提取模型。

4.根据权利要求3所述的方法，其特征在于，所述基于所述损失值对所述待训练的特征提取模型进行调整，得到所述已训练的特征提取模型，包括：

朝着使得所述损失值减小的方向，对各所述代理特征向量和所述待训练的特征提取模型的模型参数进行调整，直到满足预设训练条件，得到所述已训练的特征提取模型。

5.根据权利要求1所述的方法，其特征在于，所述对各所述待检测区域分别进行特征提取，得到各所述待检测区域对应的区域特征向量，包括：

针对每个所述待检测区域，对所述待检测区域进行特征提取，得到区域特征图和至少一个区域注意力图；

利用各所述区域注意力图分别对所述区域特征图进行加权计算，得到加权特征图；

基于所述加权特征图，确定所述待检测区域对应的区域特征向量。

6.根据权利要求1所述的方法，其特征在于，所述基于各所述区域特征向量对应的目标参考特征向量，确定物品摆放检测结果，包括：

针对每个所述区域特征向量，根据所述区域特征向量对应的目标参考特征向量，确定所述区域特征向量所属的待检测区域对应的预测物品类型；

根据所述待检测区域在所述物品摆放图像中的位置，确定所述待检测区域对应的标准物品类型；

在所述预测物品类型与所述标准物品类型不一致的情况下，确定物品摆放检测结果为所述置物平台不符合所述预设摆放要求。

7.根据权利要求1所述的方法，其特征在于，所述从置物平台采集得到的物品摆放图像中，确定至少一个待检测区域，包括：

从所述参考摆放图像中确定每个参考物品对应的物品摆放区域的位置；

针对每个所述物品摆放区域，根据所述物品摆放区域在所述参考摆放图像中的位置，从置物平台采集得到的物品摆放图像中确定对应的待检测区域。

8.一种物品摆放检测装置，其特征在于，包括：

区域确定模块，用于从置物平台采集得到的物品摆放图像中，确定至少一个待检测区域；

特征提取模块，用于对各所述待检测区域分别进行特征提取，得到各所述待检测区域对应的区域特征向量；

特征匹配模块，用于针对每个所述区域特征向量，从多个参考特征向量中确定与所述区域特征向量匹配的目标参考特征向量；所述参考特征向量是基于参考摆放图像得到的，所述参考摆放图像是针对符合预设摆放要求的所述置物平台采集得到的；

检测模块，用于基于各所述区域特征向量对应的目标参考特征向量，确定物品摆放检测结果；所述物品摆放检测结果用于表征所述置物平台是否符合所述预设摆放要求。

9.一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。