CN112132523A - 一种货物数量确定方法、***和装置 - Google Patents

Abstract

本说明书实施例公开了一种货物数量确定方法、***和装置。该方法包括：所述货堆包括至少一个货物堆垛，每个货物堆垛由至少一个货物单件逐层重叠码高形成；利用目标检测模型处理第一视角图像与第二视角图像，获取一个或多个货物堆垛的顶层货物在第一视角图像中的第一位置数据以及在第二视角图像中的第二位置数据；基于一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据，确定一个或多个货物堆垛的顶层货物在三维空间坐标系中的位置坐标；至少基于一个或多个货物堆垛的顶层货物的所述位置坐标，确定每个货物堆垛的高度；基于每个货物堆垛的高度以及单件货物的高度，确定每个货物堆垛的货物数量以便获得所述货堆的货物数量。

Description

一种货物数量确定方法、***和装置

技术领域

本说明书涉及货物数量盘点领域，特别涉及一种货物数量确定方法、***和装置。

背景技术

在仓储环境下，货物的数量对仓储方、存货人都是非常重要的信息。目前，现有的存货盘点大多是基于线下人员的手工盘点，这种人工盘点的方式会存在单次盘点时间较长、数量不准确、人工成本高等问题。由此，需要一种快速且自动化的货物数量盘点方法。

发明内容

本说明书实施例之一提供一种货物数量确定方法。所述方法包括：获取货堆的第一视角图像和第二视角图像，所述货堆包括至少一个货物堆垛，每个货物堆垛由至少一个货物单件逐层重叠码高形成；利用目标检测模型处理第一视角图像与第二视角图像，获取一个或多个货物堆垛的顶层货物在第一视角图像中的第一位置数据以及在第二视角图像中的第二位置数据；基于一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据，确定一个或多个货物堆垛的顶层货物在三维空间坐标系中的位置坐标；至少基于一个或多个货物堆垛的顶层货物的所述位置坐标，确定每个货物堆垛的高度；基于每个货物堆垛的高度以及单件货物的高度，确定每个货物堆垛的货物数量以便获得所述货堆的货物数量。

本说明书实施例之一提供一种货物数量确定***，所述***包括：图像获取模块，用于获取货堆的第一视角图像和第二视角图像，所述货堆包括至少一个货物堆垛，每个货物堆垛由至少一个货物单件逐层重叠码高形成；第一确定模块，用于利用目标检测模型处理第一视角图像与第二视角图像，获取一个或多个货物堆垛的顶层货物在第一视角图像中的第一位置数据以及在第二视角图像中的第二位置数据；基于一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据，确定一个或多个货物堆垛的顶层货物在三维空间坐标系中的位置坐标；第二确定模块，至少基于一个或多个货物堆垛的顶层货物的所述位置坐标，确定每个货物堆垛的高度；第三确定模块，基于每个货物堆垛的高度以及单件货物的高度，确定每个货物堆垛的货物数量以便获得所述货堆的货物数量。

本说明书实施例之一提供一种货物数量确定装置，包括处理器，所述处理器用于执行货物数量确定方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的用于确定货物数量的方法/***的应用场景示意图；

图2是根据本说明书一些实施例所示的货物数量确定方法的示例性流程图；

图3是根据本说明书一些实施例所示的两张视角图像中检测框中心点示例图；

图4是根据本说明书一些实施例所示的确定货物堆垛的顶层货物在三维空间坐标系中的位置坐标方法的示例性流程图；

图5是根据本说明书一些实施例所示的货物数量确定***的模块图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“***”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的***所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

在以仓库为例的线下场景中，货物数量的实时采集和获取是非常重要的。然而，基于线下人员的手工盘点的货物盘点方式，会存在单次盘点时间较长、数量不准确、人工成本高等较多的问题。并且盘点数据也需要多层审核和校验才可以保证数据的可信度。因此，自动化货物盘点方式应运而生。在一些实施例中，可以通过智能仓储实现自动化货物盘点。但智能仓储需要大量使用机器人、深度传感器等设备。并且该方案需要对原有的仓库进行定制化的改造，因此工期较长，成本较高。

而计算机视觉的相关技术也为货物盘点提供了一种思路。在仓库中，货物的摆放是有着明显的堆叠和遮挡。也就是说，货物一般会经过堆叠形成货物堆垛（例如，逐件逐层向上重叠码高形成货物堆垛），通过一个或多个货物堆垛放置同一个区域构成货堆。利用单视角摄像设备的目标检测方案来进行货物数量盘点并不能达到有效的效果。例如，仅仅只能得到摄像头视场范围内货堆的个数而不是货物的准确个数，从而会使得最后得到的盘点数目有着数倍乃至数十倍的误差。

由此针对上述存在的问题，本说明书一些实施例中提出一种货物数目确定方法，该方法基于双目（例如，俯视/侧视）摄像头的视觉算法，结合了货物的表面目标检测和货物的三维高度估计，实现了在较低成本下快速且准确的货物数量盘点。以下是对本技术方案进行详细的说明。

图1是根据本说明书一些实施例所示的用于确定货物数量的方法/***的示例性应用场景图。在应用场景100中，一个或多个货物以重叠式堆叠的方式形成一个或多个货物堆垛。这些货物堆垛放置于同一个仓储区域内（例如，仓库中的一个库位中）。本说明书所披露的货物数量确定方法/***，可以基于双目识别算法对货物的数量进行确定。如图1所示，由多个货物110所形成的货堆被放置于仓储区域120中，摄像设备130和摄像设备140可以从两个不同的拍摄角度获取到这些货物堆垛的不同的两个视角图像。基于这两个视角图像，结合目标识别算法以及三维高度估算算法，可以确定构成这些货物堆垛的货物的数量。

在一些实施例中，由一个或多个货物110所构成的任一个货物堆垛，可以是基于单件逐层向上堆砌的方式形成的。也就是说，货物堆垛的每一层由一件货物构成。图1中示出一个货物堆垛的堆叠方式。货物110-1、货物110-2和货物110-3堆叠成了一个货物堆垛。货物110-1构成了该货物堆垛的底层，货物110-2放置于货物110-1之上，构成了该货物堆垛的第二层。而货物110-3放置于货物110-2之上，构成了该货物堆垛的顶层。对于每一个货物堆垛，除去最顶层的货物的顶面可以出现在视角图像中之外，中间层或底层的货物的顶面均被上一层的货物遮挡。

在一些实施例中，摄像设备130和摄像设备140可以获取到货物堆垛的在不同视角下的视角图像。例如，摄像设备130可以从货物堆垛的上方位获取到货物堆垛的俯视视角下的视角图像。摄像设备140可以从货物堆垛的侧方位获取到货物堆垛的侧视视角下的视角图像。又例如，摄像设备130和摄像设备140可以获取不同的俯视角度/侧视角度下货物堆垛的视角图像。在一些实施例中，摄像设备130和摄像设备140可以是任意具有图像获取功能的设备，例如，摄像机或照相机。摄像设备两者可以是相同或者不同类型的摄像设备，例如，摄像设备130可以是鱼眼相机，而摄像设备140可以是枪型摄像头。在一些实施例中，摄像设备130和摄像设备140所获取的货物堆垛的两个视角图像中，都可以包括货物堆垛的顶层货物，例如，包含有顶层货物的顶面。

依据本说明书所披露的货物数量确定方法/***，在获取到关于货物堆垛的不同视角下的视角图像后，可以利用目标检测算法确定货物堆垛的顶层货物位置数据。例如，顶层货物的顶面在不同视角图像中坐标，比如，在图像坐标系或像素坐标系中的坐标。然后基于同一货物堆垛顶层货物的顶面在不同视角图像中的坐标计算出该顶面在三维空间坐标系中的位置坐标。比如，在相机坐标系中的坐标或在世界坐标系中的坐标。三维空间坐标系中的位置坐标可以计算出货物堆垛的实际高度，再结合单个货物的高度，可以得到一个货物堆垛所包含的货物的数量。其中，图像坐标系可以是成像平面的二维坐标系，原点为摄像设备光轴与成像平面的焦点，x、y轴与成像平面的长、宽方向平行。像素坐标系（亦可称为像面坐标系）可以是指基于最后呈现给我们的图像建立的二维坐标系，原点为图像左上角，x、y轴与图像的长、宽方向平行。相机坐标系是以摄像设备光心为原点的三维坐标系，其x、y轴与成像平面的长、宽方向平行，z轴与成像平面垂直。世界坐标系是描述真实三维空间里的对象的三维坐标系，可以任意指定三维空间中的一点为原点，基于原点确定其x、y、z轴。不难理解，相机坐标系可以看作是世界坐标系的一个实例。在本说明书一些实施例中，可以基于库位建立世界坐标系，仅作为示例，世界坐标系的xoy平面可以基于库位的地面建立，原点o位于库位地面的中心（如库位地面区域呈矩形，原点o可以设于矩形中心），z轴则垂直于库位地面。在本说明书一些实施例中，世界坐标系与三维空间坐标系可以互换。

图2是根据本说明书一些实施例所示的货物数量确定方法的示例性流程图。在一些实施例中，流程200可以由处理设备（例如货物数量确定***500）执行。例如，流程200可以以程序或指令的形式出在存储装置（如处理设备的自带存储单元或外接存储设备）中，所述程序或指令在被执行时，可以实现流程200。如图2所示，流程200可以包括下述步骤。

步骤202，获取货堆的第一视角图像和第二视角图像，所述货堆包括至少一个货物堆垛，每个货物堆垛由至少一个货物单件逐层重叠码高形成。该步骤可由图像获取模块510执行。

在一些实施例中，所述货堆可以是由多个货物堆叠后形成的货物堆落，可以包括至少一个货物堆垛。每个货物堆垛可以由至少一个货物单件逐层重叠码高后形成。关于货物堆垛的详细描述，可以请参照图1中相关部分，在此不做赘述。

在一些实施例中，所述第一视角图像和所述第二视角图像可以是由安装于所述货堆的不同方位下的摄像设备（例如，摄像设备130和摄像设备140）所获取的图像。例如，所述第一视角图像可以是由位于所述货堆的上方的摄像设备所捕获的图像，其可以对应于一个俯视视角（相对于货堆而言）。所述第二视角图像可以是由位于所述货堆的侧方的摄像设备所捕获的图像，其可对应于一个侧视视角（相对于货堆而言）。又例如，所述第一视角图像可以是由位于所述货堆的左上方的摄像设备所捕获，而所述第二视角图像可以是由位于所述货堆的右上方的摄像设备所捕获。再例如，所述第一视角图像可以是由位于所述货堆的左侧方的摄像设备所捕获，而所述第二视角图像可以是由位于所述货堆的右侧方的摄像设备所捕获。

在一些实施例中，所述第一视角图像和所述第二视角图像可以是包括构成所述货堆的所有货物堆垛的顶层货物的图像。也就是说，每一个货物堆垛的最顶层的货物都可以被摄像设备所捕获并成像。在一些实施例中，图像获取模块510可以通过与摄像设备（例如，摄像设备130和摄像设备140）进行通信，以获取所述第一视角图像和第二视角图像。

在一些实施例中，用于获取所述第一视角图像和所述第二视角图像摄像设备可以是经过参数标定的，包括内参标定和外参标定。经过参数标定后，摄像设备的像素坐标系与世界坐标系之间的坐标转换（映射）关系矩阵便可确定。所述矩阵可以包括内参矩阵和外参矩阵。

步骤204，利用目标检测模型处理第一视角图像与第二视角图像，获取一个或多个货物堆垛的顶层货物在第一视角图像中的第一位置数据以及在第二视角图像中的第二位置数据。该步骤可以由位置数据确定模块520执行。

在一些实施例中，所述目标检测模型可以是机器学习模型，例如，具有神经网络结构的模型。示例性的目标检测模型可以包括R-CNN、Fast-RCNN、Faster RCNN、Yolo、SSD、CenterNet等。所述目标检测模型还可以包括任意的可以实现目标检测功能的模型或算法。在一些实施例中，所述目标检测模型可以利用多个标注好的样本图像进行训练后得到。多个样本图像可以包括与所述第一视角图像具有相同对应视角的第一样本图像和与所述第二视角图像具有相同对应视角的第二样本图像。每个样本图像中都包含了至少一个样本货堆。在进行训练前，可以对多个样本图像进行标注。例如，可以对每个样本货堆中包含的每一个货物堆垛的顶层货物进行边界框标注。例如，对于顶层货物的顶面进行边界框标注。训练过程中，样本图像可以被输入至训练中的目标检测模型，得到对应的检测结果，即对于样本货堆中包含的每一个货物堆垛的顶层货物的检测框框定结果。通过确定检测框框定结果和事先标注的边界框之间的差异，可以反向调整模型的参数。迭代以上过程直至满足预设条件，比如检测框框定结果和事先标注的边界框之间的差异小于设定的阈值，或训练轮次达到预设次数，训练可以停止。最终得到所述目标检测模型。

在一些实施例中，位置数据确定模块520可以将所述第一视角图像和所述第二视角图像输入至所述目标检测模型，分别得到在两个视角图像中，各个货物堆垛的顶层货物对应的检测结果。所述检测结果可以包括目标检测框，其可以直接显示在所述第一视角图像和所述第二视角图像之上，并框定对应的货物堆垛的顶层货物。也就是说，每一个货物堆垛的顶层货物可以被一个目标检测框框定在内。在一些实施例中，所述检测结果还可以包括目标检测框的相关信息，包括位置信息、大小信息等。所述位置信息可以用于指示目标检测框在图像中的位置，例如，使用像素坐标系中的坐标表示。所述大小信息可以用于指示目标检测框在图像中的大小，例如，使用面积来表示。位置数据确定模块520可以指定所述位置信息，作为对应的货物堆垛的顶层货物的位置数据。该位置数据可以包括货物堆垛的顶层货物在第一视角图像中的第一位置数据以及在第二视角图像中的第二位置数据。作为示例，对于一个货物堆垛，基于目标检测模型处理第一视角图像所得到的该货物堆垛的顶层货物的第一目标检测框的位置信息，可以被作为所述第一位置数据。同样的，基于目标检测模型处理第二视角图像所得到的该货物堆垛的顶层货物的第二目标检测框的位置信息，可以被作为所述第二位置数据。

在一些实施例中，所述目标检测框可以是框定货物堆垛的顶层货物的顶面的。参考图3，图3是根据本说明书一些实施例所述的示例性第一视角图像和第二视角图像的示意图。如图3所示，通过目标检测模型处理过后，所述第一视角图像和所述第二视角图像之上可以包括有目标检测框。对于第一视角图像而言，例如图3中左侧图像，三个目标检测框（本说明书中可以被称为第一目标检测框）可以分别具有与三个货物堆垛的顶层货物的顶面相同的大小。例如，三个第一目标检测框可以分别与三个货物堆垛的顶层货物的顶面，310-1、320-1、330-1，重合。或者，第一目标检测框可以是包含了货物堆垛的顶层货物的顶面，且货物堆垛的顶层货物的顶面位于第一目标检测框的中心位置。对于第二视角图像而言，例如图3中右侧图像，三个目标检测框（本说明书中可以被称为第二目标检测框）可以是分别包含了三个货物堆垛的顶层货物的顶面，310-2、320-2、330-2。基于目标检测框所携带的位置信息，位置数据确定模块520可以分别确定每个目标检测框（包括第一目标检测框和第二目标检测框）的中心点坐标。例如，确定第一目标检测框的第一中心点坐标，可以基于构成第一目标检测框的像素在第一视角图像对应的第一像素坐标系中的坐标进行计算得到。以及确定第二目标检测框的第二中心点坐标，可以基于构成第二标检测框的像素在第二视角图像对应的第二像素坐标系中的坐标进行计算得到。位置数据确定模块520可以指定第一中心点坐标为第一位置数据以及第二中心点坐标为第二位置数据。如图3所示，图中的黑色三角可以表示中心点。每个中心点都位于顶层货物的顶面检测框的中心。

在一些实施例中，所述目标检测模型可以是包括第一检测模型和第二检测模型。所述第一检测模型可以单独用于处理第一视角图像，所述第二检测模型可以单独处理第二视角图像。例如，第一检测模型与第二检测模型可以使用不同的训练样本进行训练以得到。第一检测目标可以使用与第一视角视图相同视角的训练样本训练，第二检测目标可以使用与第二视角视图相同视角的训练样本训练。

在一些实施例中，在对所述第一视角图像和所述第二视角图像进行处理前，处理设备（例如，货物数量确定***500的预处理模块，图中未示出）可以对所述第一视角图像和所述第二视角图像进行预处理。所述预处理可以包括畸变校正和/或仿射变换。可以理解，当获取所述待处理图像和所述模板图像的摄像机是鱼眼相机，则需要进行畸变校正。例如，预处理模块可以利用摄像设备的标定时期所确定的畸变参数对所述第一视角图像和所述第二视角图像进行畸变校正。同时，预处理模块可以对所述第一视角图像和所述第二视角图像进行仿射变换，例如平移（Translation）、缩放（Scale）、翻转（Flip）、旋转（Rotation）和剪切（Shear）等，可以使得预处理后的第一视角图像和/或第二视角图像在进行目标检测时时，更符合检测要求。例如，在对货物堆垛的顶层货物的顶面进行检测时，若视角图像（例如，第一视角图像或第二视角图像）由位于货堆侧面的侧视摄像设备所获取，则货物堆垛的顶层货物的顶面并未完全正对。此时预处理模块可以对视角图像进行剪切，使得货物顶面正对。可以理解，当对第一视角图像或第二视角图像进行预处理后再输入目标检测模型获得的目标检测框的位置信息或目标检测框中心点可以经过预处理（畸变校正和/或仿射变换）逆变换得到目标检测框的位置信息或目标检测框中心点在原第一视角图像或原第二视角图像中的坐标数据，将其该坐标数据作为一个或多个货物堆垛的顶层货物在第一视角图像中的所述第一位置数据以及在第二视角图像中的所述第二位置数据。

步骤206，基于一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据，确定一个或多个货物堆垛的顶层货物在三维空间坐标系中的位置坐标。该步骤可由位置坐标确定模块530执行。

在一些实施例中，所述三维空间坐标系可以是指世界坐标系。所述位置坐标可以是货物堆垛的顶层货物（如顶面部位）在世界坐标系中的坐标。作为示例，位置坐标确定模块530可以首先将所述第一位置数据和所述第二位置数据进行配准。例如，位置坐标确定模块530可以进行约束匹配以确定每一个货物堆垛最顶层货物的顶面中心点在两个视角图像（第一视角图像和第二视角图像）中分别对应的中心点坐标。随后，位置坐标确定模块530可以基于像面坐标系至世界坐标系的坐标转换方法，由货物堆垛最顶层货物的顶面中心点的两个中心点坐标（第一中心点坐标和第二中心点坐标）确定该货物堆垛最顶层货物的顶面中心点在三维空间坐标系中的位置坐标。关于一个或多个货物堆垛的顶层货物在三维空间坐标系中的位置坐标的其他说明可以参照本说明书图4中的相关描述。

步骤208，至少基于一个或多个货物堆垛的顶层货物的所述位置坐标，确定每个货物堆垛的高度。该步骤可由高度确定模块540执行。

在一些实施例中，高度确定模块540可以利用参考对象的位置信息以及货物堆垛的顶层货物的所述位置坐标，确定每个货物堆垛的高度。在一些实施例中，所述参考对象可以是参考平面，例如，承载所述一个或多个货物堆垛的平面。假定所述一个或多个货物堆垛存放在仓库中，则所述参考平面可以是仓库的地面。高度确定模块540可以获取参考平面在三维空间坐标系中的数学表达。该数学表达可以是参考平面在三维空间坐标系中的平面表达式，假定设为

。若货物堆垛的顶层货物的位置坐标为

，则高度确定模块540可以根据点面距离算法，确定货物堆垛的高度。例如，货物堆垛的高度

。参考平面在三维空间坐标系中的数学表达可以是预先确定的并存储在存储装置（如货物数量确定***500的自带存储单元或外接存储设备）中的，高度确定模块540可以与该存储装置进行通信，获取参考平面在三维空间坐标系中的数学表达。在一些实施例中，世界坐标系的xoy平面取库位地面时，则可以直接基于货物堆垛的顶层货物的所述位置坐标的z坐标确定该货物堆垛的高度。

步骤210，基于每个货物堆垛的高度以及单件货物的高度，确定每个货物堆垛的货物数量以便获得所述货堆的货物数量。该步骤可由货物数量确定模块550执行。

在一些实施例中，单件货物的高度可以是预先获取的。例如，当货物首次进行存储时，可以通过人工对单件货物的高度进行测量并存储于数据库。又例如，货物的高度可以由存货方提供，并存储于数据库中。货物数量确定模块550可以与该数据库进行通信，以获取货物的高度。

在获取到货物堆垛的高度，以及单个货物的高度后，货物数量确定模块550可以利用货物堆垛的高度除以单个货物的高度，得到构成货物堆垛的货物的数量。在得到每个货物堆垛的货物数量后，货物数量确定模块550可以根据货堆中的货物堆垛的数量，确定货堆中的货物总量。例如，将每个货物堆垛的中包含的货物的数量进行累加。可以理解，对于同一库位，存储的货物一般都是同一类型，即组成该货堆或货物堆垛的货物尺寸都是相同，因此基于货物堆垛的高度，以及单个货物的高度计算得到的构成货物堆垛的货物的数量是准确的。

应当注意的是，上述有关图2中的各个步骤的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对图2中的各个步骤进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图4是根据本说明书一些实施例所示的确定货物堆垛的顶层货物在三维空间坐标系中的位置坐标方法的示例性流程图。在一些实施例中，流程400可以由处理设备（例如货物数量确定***500的位置坐标确定模块530）执行。例如，流程400可以以程序或指令的形式出在存储装置（如处理设备的自带存储单元或外接存储设备）中，所述程序或指令在被执行时，可以实现流程400。如图4所示，流程400可以包括下述步骤。

步骤402，基于一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据执行约束匹配操作，确定对应于同一货物堆垛的顶层货物的第一位置数据与第二位置数据。

可以理解，同一个货物堆垛的顶层货物在两个视角图像（第一视角图像和第二视角图像）中的位置并非是相同的。具体来说，由于拍摄视角的原因，出现在一个视角图像中间位置的货物堆垛的顶层货物在另一个视角图像中，可能是在靠上方的位置。因此，需要将不同视角图像中对应于同一个货物堆垛的顶层货物的位置数据进行对准或配准。也就是说，假定有三个货物堆垛，则需要对从第一视角图像中检测出的三个第一位置数据与从第二视角图像中检测出的三个第二位置数据进行匹配，得到三个位置数据对。每一个位置数据对包含一个第一位置数据和一个第二位置数据，且对应同一个货物堆垛的顶层货物。

在一些实施例中，位置坐标确定模块530可以执行约束匹配操作以确定对应于同一货物堆垛的顶层货物的位置数据对，即第一位置数据和第二位置数据。所述约束匹配操作可以是利用这些位置数据之间存在的约束条件和/或依赖关系生成的匹配规则进行位置数据配对的操作。在一些实施例中，位置坐标确定模块530可以利用约束匹配算法，在约束条件下处理一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据，确定对应于同一个货物堆垛的顶层货物的第一位置数据与第二位置数据。所述约束匹配算法可以把包括匈牙利匹配算法或类似匹配算法。所述约束条件可以包括极线约束和/或几何约束。所述极线约束可以是点到直线的约束。两个摄像设备在不同角度拍摄物理空间中的一实体点（假定为p），在两幅图像上分别有一个成像点（假定在图像1中为p₁，在图像2中为p₂）。若实体点p在一幅图像上的成像点位置已知（假定p₁位置已知），则在另一副图像上的成像点的位置将位于p₁点的极线上。两个摄像设备的光心O₁和O₂连同实体点p构成的平面O₁O₂p与图像2所在的平面的交线，可以被称为p₁点的极线。极线约束将点与点之间的匹配从点到面的搜索缩小到点到线的搜索。用于获取所述第一视角图像和所述第二视角图像摄像设备在参数标定和相对位置确认时，可以获得所述极线约束。所述几何约束可以是货物堆垛在空间排序上的约束。参考图3，所述货堆由三个货物堆垛构成，可以看到，由一个货物堆叠形成的货物堆垛位于由三个货物堆叠形成的货物堆垛的一侧，而由两个货物堆叠形成的货物堆垛位于由三个货物堆叠形成的货物堆垛的另一侧。因此，在得到的视角图像中（包括第一视角图像和第二视角图像），三个货物堆垛的顶层货物的位置数据（包括第一位置数据和第二位置图像）的排列也是安装货物堆垛的空间排列顺序排列的。当在一个视角图像中检测出三个货物堆垛的顶层货物时，这些堆垛的空间排列顺序也就确定了。进而可以将其作为在另一个视角图中搜索对应成像点的约束。

以下对约束匹配操作的过程做简要描述。假定一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据分别有三个，即为x₁，x₂，x₃和y₁，y₂，y₃。首先为x₁寻找满足约束条件（如所述极限约束或几何约束或者两者同时作为约束条件）的对应位置数据，假定为y₁。再为x₂寻找满足约束条件的对应位置数据，假定为y₂。随后，为x₃寻找满足约束条件的对应位置数据，假定同样为y₁。此时，匹配出现重合。将为x₁重新寻找满足约束条件的对应位置数据，若匹配到y₂，则又与x₂的位置数据匹配结果产生冲突。此时可以继续为x₂重新寻找满足约束条件的对应位置数据，若成功匹配到y₃，则出现了最大匹配结果。每个第一位置数据都有相应的第二位置数据进行匹配，且都满足约束条件。则约束匹配操作过程结果。

步骤404，基于对应于同一货物堆垛的顶层货物的第一位置数据与第二位置数据确定该货物堆垛的顶层货物在三维空间中的位置坐标。

在一些实施例中，位置坐标确定模块530可以利用像面坐标至世界坐标的转换方程，基于对应于同一货物堆垛的顶层货物的第一位置数据（例如，第一中心点坐标）与第二位置数据（例如，第二中心点坐标）确定该货物堆垛的顶层货物在三维空间（例如，实际空间）中的位置坐标（例如，在世界坐标系中的三维坐标）。假定对应于同一货物堆垛的顶层货物（如目标检测框中心点）P的第一中心点坐标记为

，第二中心坐标记为

，在三维空间中的位置坐标记为

。

以下以获取第一视角图像的第一摄像设备为例,对转换过程做简要说明。基于第一摄像设备的相机外参和相机内参，可以得到

与

的转换关系：

其中，

为P点在第一摄像设备相机坐标系中的z坐标值，其可以是未知的。上式等号右侧第一个矩阵为相机内参矩阵，其中，

和

，

表示焦距，

、

分别表示相机在像面坐标系中横轴和纵轴方向上的尺度因子，

和

表示相机光轴在像素坐标系中的坐标；上式等号右侧第二个矩阵为相机外参矩阵，其中，

表示旋转矩阵，

表示平移向量，

表示由0元素组成的向量。可以将上式写成3个方程，其中包含4个未知数：

以及

。再基于

与第二摄像设备的像素坐标与世界坐标转换关系，相应可以获得包含未知数

以及

的3个方程。最终可以得到包含5个未知数的6个方程，联立求解方程，便可获得P点在三维空间中的位置坐标

。

基于以上说明描述的过程，货物堆垛的顶层货物的顶面的中心点的在三维空间中的位置坐标可以被确定。

应当注意的是，上述有关图4中的各个步骤的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对图4中的各个步骤进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。

图5是根据本说明书一些实施例所示的货物数量确定***的模块图。如图5所示，货物数量确定***500可以包括图像获取模块510、位置数据确定模块520、位置坐标确定模块530、高度确定模块540和数量确定模块550。

图像获取模块510可以获取货堆的第一视角图像和第二视角图像。所述货堆可以是由多个货物堆叠后形成的货物堆落，可以包括至少一个货物堆垛。每个货物堆垛可以由至少一个货物单件逐层重叠码高后形成。所述第一视角图像和所述第二视角图像可以是由安装于所述货堆的不同方位下的摄像设备（例如，摄像设备130和摄像设备140）所获取的图像。图像获取模块510可以通过与摄像设备（例如，摄像设备130和摄像设备140）进行通信，以获取所述第一视角图像和第二视角图像。

位置数据确定模块520可以用目标检测模型处理第一视角图像与第二视角图像，获取一个或多个货物堆垛的顶层货物在第一视角图像中的第一位置数据以及在第二视角图像中的第二位置数据。所述目标检测模型可以是机器学习模型，例如，具有神经网络结构的模型。示例性的目标检测模型可以包括R-CNN、Fast-RCNN、Faster RCNN、Yolo、SSD、CenterNet等。所述目标检测模型还可以包括任意的可以实现目标检测功能的模型或算法。在一些实施例中，位置数据确定模块520可以将所述第一视角图像和所述第二视角图像输入至所述目标检测模型，分别得到在两个视角图像中，各个货物堆垛的顶层货物对应的检测结果。所述检测结果可以包括目标检测框，其可以直接显示在所述第一视角图像和所述第二视角图像之上，并框定对应的货物堆垛的顶层货物。在一些实施例中，位置数据确定模块520可以利用目标检测模型处理所述第一视角图像与所述第二视角图像，确定一个或多个货物堆垛的顶层货物顶面在第一视角图像中分别对应的一个或多个第一目标检测框的第一中心点坐标和在第二视角图像中分别对应的一个或多个第二目标检测框的第二中心点坐标，并指定第一中心点坐标为第一位置数据以及第二中心点坐标为第二位置数据。在一些实施例中，所述目标检测模型可以是包括第一检测模型和第二检测模型。所述第一检测模型可以单独用于处理第一视角图像，所述第二检测模型可以单独处理第二视角图像。例如，第一检测模型与第二检测模型可以使用不同的训练样本进行训练以得到。第一检测目标可以使用与第一视角视图相同视角的训练样本训练，第二检测目标可以使用与第二视角视图相同视角的训练样本训练。

位置坐标确定模块530可以基于一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据，确定一个或多个货物堆垛的顶层货物在三维空间坐标系中的位置坐标。所述三维空间坐标系可以是指世界坐标系。所述位置坐标可以是货物堆垛的顶层货物（如顶面部位）在世界坐标系中的坐标。作为示例，位置坐标确定模块530可以首先将所述第一位置数据和所述第二位置数据进行配准，随可以基于像面坐标系至世界坐标系的坐标转换方法，由货物堆垛最顶层货物的顶面中心点的两个中心点坐标（第一中心点坐标和第二中心点坐标）确定该货物堆垛最顶层货物的顶面中心点在三维空间坐标系中的位置坐标。在一些实施例中，位置坐标确定模块530可以基于一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据执行约束匹配操作，确定对应于同一货物堆垛的顶层货物的第一位置数据与第二位置数据。在一些实施例中，位置坐标确定模块530可以利用约束匹配算法，在约束条件下处理一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据，确定对应于同一个货物堆垛的顶层货物的第一位置数据与第二位置数据。所述约束匹配算法可以把包括匈牙利匹配算法或类似匹配算法。所述约束条件可以包括极线约束和/或几何约束。在一些实施例中，位置坐标确定模块530可以基于对应于同一货物堆垛的顶层货物的第一位置数据与第二位置数据确定该货物堆垛的顶层货物在三维空间中的位置坐标。位置坐标确定模块530可以利用像面坐标至世界坐标的转换方程，基于对应于同一货物堆垛的顶层货物的第一位置数据（例如，第一中心点坐标）与第二位置数据（例如，第二中心点坐标）确定该货物堆垛的顶层货物在三维空间（例如，实际空间）中的位置坐标（例如，在世界坐标系中的三维坐标）。

高度确定模块540可以至少基于一个或多个货物堆垛的顶层货物的所述位置坐标，确定每个货物堆垛的高度。高度确定模块540可以利用参考对象的位置信息以及货物堆垛的顶层货物的所述位置坐标，确定每个货物堆垛的高度。在一些实施例中，所述参考对象可以是参考平面，例如，承载所述一个或多个货物堆垛的平面。高度确定模块540可以获取参考平面在三维空间坐标系中的数学表达，例如，平面表达式，根据点面距离算法，确定货物堆垛的高度。

数量确定模块550可以基于每个货物堆垛的高度以及单件货物的高度，确定每个货物堆垛的货物数量以便获得所述货堆的货物数量。在一些实施例中，单件货物的高度可以是预先获取的。例如，当货物首次进行存储时，可以通过人工对单件货物的高度进行测量并存储于数据库。又例如，货物的高度可以由存货方提供，并存储于数据库中。货物数量确定模块550可以与该数据库进行通信，以获取货物的高度。在获取到货物堆垛的高度，以及单个货物的高度后，货物数量确定模块550可以利用货物堆垛的高度除以单个货物的高度，得到构成货物堆垛的货物的数量。在得到每个货物堆垛的货物数量后，货物数量确定模块550可以根据货堆中的货物堆垛的数量，确定货堆中的货物总量。例如，将每个货物堆垛的中包含的货物的数量进行累加。

在一些实施例中，货物数量确定***500还可以包括预处理模块。所述预处理模块可以在对所述第一视角图像和所述第二视角图像进行处理前，对所述第一视角图像和所述第二视角图像进行预处理。所述预处理可以包括畸变校正和/或仿射变换。

关于模块的其他描述可以参考本说明书流程图部分，例如，图2和/或图4。

应当理解，图5所示的***及其模块可以利用各种方式来实现。例如，在一些实施例中，***及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和***可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器（固件）的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的***及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合（例如，固件）来实现。

需要注意的是，以上对于候选项显示、确定***及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该***的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子***与其他模块连接。例如，在一些实施例中，例如，图5中披露的多个模块可以是一个***中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，位置数据确定模块520、位置坐标确定模块530、高度确定模块540和数量确定模块550可以是四个模块，也可以是一个模块同时实现各类确定功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。

本说明书实施例可能带来的有益效果包括但不限于：（1）基于双目（例如俯视/侧视）摄像设备的视觉算法，结合了货物的表面目标检测和货物的三维高度估计，实现了快速且准确的对仓库中叠加摆放的货物进行数量盘点。（2）通过视觉传感器的货物盘点方案对仓库的货物进行数量盘点，无需对存有货物的仓库进行定制化改造，即可对货物进行精确的数量盘点，相应的工期和成本都会降低，整体的链路也缩短，提高对货物数量盘点的精确度及效率。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件（包括固件、常驻软件、微码等）执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“***”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行***、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（LAN）或广域网（WAN），或连接至外部计算机（例如通过因特网），或在云计算环境中，或作为服务使用如软件即服务（SaaS）。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的***。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件（当前或之后附加于本说明书中的）也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (15)

1.一种货物数量确定方法，其中，所述方法包括：

获取货堆的第一视角图像和第二视角图像，所述货堆包括至少一个货物堆垛，每个货物堆垛由至少一个货物单件逐层重叠码高形成；

利用目标检测模型处理第一视角图像与第二视角图像，获取一个或多个货物堆垛的顶层货物在第一视角图像中的第一位置数据以及在第二视角图像中的第二位置数据；

基于一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据，确定一个或多个货物堆垛的顶层货物在三维空间坐标系中的位置坐标；

至少基于一个或多个货物堆垛的顶层货物的所述位置坐标，确定每个货物堆垛的高度；

基于每个货物堆垛的高度以及单件货物的高度，确定每个货物堆垛的货物数量以便获得所述货堆的货物数量。

2.根据权利要求1所述的方法，其中，在利用目标检测模型分别处理第一视角图像与第二视角图像前，还包括对第一视角图像与第二视角图像进行预处理，所述预处理包括：

畸变校正和/或仿射变换。

3.根据权利要求1所述的方法，其中，所述利用目标检测模型处理第一视角图像与第二视角图像，获取一个或多个货物堆垛的顶层货物在第一视角图像中的第一位置数据以及在第二视角图像中的第二位置数据，包括：

利用目标检测模型处理所述第一视角图像与所述第二视角图像，确定一个或多个货物堆垛的顶层货物顶面在第一视角图像中分别对应的一个或多个第一目标检测框的第一中心点坐标和在第二视角图像中分别对应的一个或多个第二目标检测框的第二中心点坐标；所述目标检测模型包括机器学习模型；

指定第一中心点坐标为第一位置数据以及第二中心点坐标为第二位置数据。

4.根据权利要求3所述的方法，其中，所述目标检测模型包括用于处理第一视角图像的第一检测模型与用于处理第二视角图像的第二检测模型。

5.根据权利要求1所述的方法，其中，所述基于一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据，确定一个或多个货物堆垛的顶层货物在三维空间坐标系中的位置坐标，包括：

基于一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据执行约束匹配操作，确定对应于同一货物堆垛的顶层货物的第一位置数据与第二位置数据；

基于对应于同一货物堆垛的顶层货物的第一位置数据与第二位置数据确定该货物堆垛的顶层货物在三维空间中的位置坐标。

6.根据权利要求5所述的方法，其中，所述约束匹配操作，包括：

利用约束匹配算法，在约束条件下处理一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据，确定对应于同一货物堆垛的顶层货物的第一位置数据与第二位置数据；

所述约束匹配算法包括匈牙利匹配算法，所述约束条件包括极线约束和/或几何约束。

7.根据权利要求1所述的方法，其中，所述至少基于一个或多个货物堆垛的顶层货物的所述位置坐标，确定每个货物堆垛的高度，包括对任一货物堆垛：

获取参考平面在所述三维空间坐标系中的数学表达；

基于所述数学表达以及该货物堆垛的顶层货物的位置坐标，利用点面距离确定算法确定该堆垛的高度。

8.一种货物数量确定***，其中，所述***包括：

图像获取模块，用于获取货堆的第一视角图像和第二视角图像，所述货堆包括至少一个货物堆垛，每个货物堆垛由至少一个货物单件逐层重叠码高形成；

位置数据确定模块，用于利用目标检测模型处理第一视角图像与第二视角图像，获取一个或多个货物堆垛的顶层货物在第一视角图像中的第一位置数据以及在第二视角图像中的第二位置数据；

位置坐标确定模块，用于基于一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据，确定一个或多个货物堆垛的顶层货物在三维空间坐标系中的位置坐标；

高度确定模块，用于至少基于一个或多个货物堆垛的顶层货物的所述位置坐标，确定每个货物堆垛的高度；

数量确定模块，用于基于每个货物堆垛的高度以及单件货物的高度，确定每个货物堆垛的货物数量以便获得所述货堆的货物数量。

9.根据权利要求8所述的***，其中，所述***还包括：

预处理模块，用于在利用目标检测模型分别处理第一视角图像与第二视角图像前，对第一视角图像与第二视角图像进行预处理，所述预处理包括：

畸变校正和/或仿射变换。

10.根据权利要求8所述的***，其中，为利用目标检测模型处理第一视角图像与第二视角图像，获取一个或多个货物堆垛的顶层货物在第一视角图像中的第一位置数据以及在第二视角图像中的第二位置数据，所述位置数据确定模块用于：

利用目标检测模型处理所述第一视角图像与所述第二视角图像，确定一个或多个货物堆垛的顶层货物顶面在第一视角图像中分别对应的一个或多个第一目标检测框的第一中心点坐标和在第二视角图像中分别对应的一个或多个第二目标检测框的第二中心点坐标；所述目标检测模型包括机器学习模型；

指定第一中心点坐标为第一位置数据以及第二中心点坐标为第二位置数据。

11.根据权利要求10所述的***，其中，所述目标检测模型包括用于处理第一视角图像的第一检测模型与用于处理第二视角图像的第二检测模型。

12.根据权利要求8所述的***，其中，为基于一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据，确定一个或多个货物堆垛的顶层货物在三维空间坐标系中的位置坐标，所述位置坐标确定模块：

基于一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据执行约束匹配操作，确定对应于同一货物堆垛的顶层货物的第一位置数据与第二位置数据；

基于对应于同一货物堆垛的顶层货物的第一位置数据与第二位置数据确定该货物堆垛的顶层货物在三维空间中的位置坐标。

13.根据权利要求12所述的***，其中，所述位置坐标确定模块进一步用于：

利用约束匹配算法，在约束条件下处理一个或多个货物堆垛的顶层货物的第一位置数据和第二位置数据，确定对应于同一货物堆垛的顶层货物的第一位置数据与第二位置数据；

所述约束匹配算法包括匈牙利匹配算法，所述约束条件包括极线约束和/或几何约束。

14.根据权利要求8所述的***，其中，为至少基于一个或多个货物堆垛的顶层货物的所述位置坐标，确定每个货物堆垛的高度，所述高度确定模块用于对任一货物堆垛：

获取参考平面在所述三维空间坐标系中的数学表达；

基于所述数学表达以及该货物堆垛的顶层货物的位置坐标，利用点面距离确定算法确定该堆垛的高度。

15.一种货物数量确定装置，其中，所述装置包括处理器，所述处理器用于执行如权利要求1~7任一项所述的货物数量确定方法。

Images