CN108364316A - 交互行为检测方法、装置、***及设备 - Google Patents

Abstract

本说明书实施例提供一种交互行为检测方法、装置、***及设备，所述方法包括：通过获取有深度摄像设备拍摄的待检测深度图像，从待检测深度图像中提取用于表示移动对象的前景图像，并基于前景图像获得移动对象的空间坐标信息，将移动对象的空间坐标信息与货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定移动对象所接触的货物。

Description

交互行为检测方法、装置、***及设备

技术领域

本说明书涉及检测技术领域，尤其涉及交互行为检测方法、装置、***及设备。

背景技术

随着社会经济的快速发展，各种各样的货物(又可以称为物品、商品等)琳琅满目。展示货物的方式有很多种，在线上场所可以通过货物图片等方式实现展示货物；在超市、商场等线下场所，可以通过在货架上摆放货物以实现展示货物。在线下场所中，移动对象与货物接触时，不仅可以体现出移动对象对货物感兴趣，还可以提示商家该货物可能被移动对象拿走，以便商家决定是否需要进行货物补充或改进物品摆放等。移动对象可以是顾客，也可以是受顾客控制的机器人等对象。鉴于此，提供一种可靠地确定移动对象是否与货物接触的方案显得尤为重要。

发明内容

为克服相关技术中存在的问题，本说明书提供了交互行为检测方法、装置、***及设备。

一种交互行为检测***，所述***包括深度摄像设备和处理设备，所述深度摄像设备设于货架上方、且所述深度摄像设备的拍摄范围包括货架每层货层外边缘以及指定通道区域；

所述深度摄像设备用于：以指定角度拍摄包括货架和指定通道区域的待检测深度图像，所述深度图像中包括像素点所对应实际对象相对于深度摄像设备所在平面的深度信息；

所述处理设备用于：从深度摄像设备中获取所述待检测深度图像；从所述待检测深度图像中提取用于表示移动对象的前景图像，并基于所述前景图像获得移动对象的空间坐标信息；将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物；其中，所述货层的空间坐标信息基于背景深度图像获得，所述背景深度图像是基于深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。

在一个可选的实现方式中，所述处理设备还用于预先确定货架中货层的空间坐标信息，包括：

获取深度摄像设备以指定角度拍摄的、且不存在前景图像的第一背景深度图像集合；

确定第一背景深度图像集合中货层边缘线；

基于所述深度摄像设备的相机标定法，将所述货层边缘线的像素点坐标进行转换，获得货层实际空间坐标信息中的其中两轴空间坐标信息；

针对同层货层边缘线，将所述货层边缘线各像素点的深度信息进行聚类，获得所述货层实际空间坐标信息中第三轴空间坐标信息。

在一个可选的实现方式中，所述处理设备确定第一背景深度图像集合中货层边缘线，包括：

对所述第一背景深度图像集合进行预处理，预处理至少包括图像平均和图像去噪；

将预处理后的图像进行边缘检测；

以预设角度对边缘检测获得的图像进行直线检测，并过滤低于预设长度阈值的直线，获得第一背景深度图像集合中货层边缘线，所述预设角度基于深度摄像设备与货架的相对位置关系确定。

在一个可选的实现方式中，所述处理设备从所述待检测深度图像中提取用于表示移动对象的前景图像，包括：

获取背景图像，所述背景图像基于第二背景深度图像集合进行背景建模获得，所述第二背景深度图像集合是深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像集合；

将所述待检测深度图像与所述背景图像进行对比，从所述待检测深度图像中抽取用于表示移动对象的前景图像。

在一个可选的实现方式中，所述移动对象的空间坐标信息包括移动对象中与货架距离最近的部分的空间坐标信息，所述处理设备基于所述前景图像获得移动对象的空间坐标信息，包括：

基于所述深度摄像设备的相机标定法，对所述前景图像中与货架距离最近的部分的像素点坐标进行坐标转换，获得移动对象中与货架距离最近的部分的其中两轴空间坐标信息；

根据所述前景图像中与货架距离最近的部分的像素点的深度信息，确定移动对象中与货架距离最近的部分的第三轴空间坐标信息。

在一个可选的实现方式中，所述货架中同一层货层所摆放的货物相同，所述处理设备用于将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物，包括：

基于所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息，利用空间坐标信息中由像素点坐标转换获得的两轴空间坐标信息确定移动对象是否伸入货架，利用空间坐标信息中由深度信息转换获得的第三轴空间坐标信息确定移动对象伸入货架的货层；

根据预设的货层与货物的对应关系，将所确定货层对应的货物确定为所述移动对象所接触的货物。

一种交互行为检测方法，所述方法包括：

从深度摄像设备中获取所述待检测深度图像；所述深度摄像设备设于货架上方、且所述深度摄像设备的拍摄范围包括货架每层货层外边缘以及指定通道区域；

从所述待检测深度图像中提取用于表示移动对象的前景图像，并基于所述前景图像获得移动对象的空间坐标信息；

将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物；所述货层的空间坐标信息基于背景深度图像获得，所述背景深度图像是基于深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。

在一个可选的实现方式中，所述货架中货层的空间坐标信息的预确定过程，包括：

获取深度摄像设备以指定角度拍摄的、且不存在前景图像的第一背景深度图像集合；

确定第一背景深度图像集合中货层边缘线；

基于所述深度摄像设备的相机标定法，将所述货层边缘线的像素点坐标进行转换，获得货层实际空间坐标信息中的其中两轴空间坐标信息；

针对同层货层边缘线，将所述货层边缘线各像素点的深度信息进行聚类，获得所述货层实际空间坐标信息中第三轴空间坐标信息。

在一个可选的实现方式中，所述确定第一背景深度图像集合中货层边缘线，包括：

对所述第一背景深度图像集合进行预处理，预处理至少包括图像平均和图像去噪；

将预处理后的图像进行边缘检测；

以预设角度对边缘检测获得的图像进行直线检测，并过滤低于预设长度阈值的直线，获得第一背景深度图像集合中货层边缘线，所述预设角度基于深度摄像设备与货架的相对位置关系确定。

在一个可选的实现方式中，所述从所述待检测深度图像中提取用于表示移动对象的前景图像，包括：

获取背景图像，所述背景图像基于第二背景深度图像集合进行背景建模获得，所述第二背景深度图像集合是深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像集合；

将所述待检测深度图像与所述背景图像进行对比，从所述待检测深度图像中抽取用于表示移动对象的前景图像。

在一个可选的实现方式中，所述方法还包括：

将从相邻待检测深度图像中提取出的前景图像进行前景位置比较，所述相邻待检测深度图像是深度摄像设备在相邻时间拍摄的待检测深度图像；

将相邻待检测深度图像中距离最近的一组前景确定为相同前景，并获得该前景所对应移动对象的移动轨迹。

在一个可选的实现方式中，所述移动对象的空间坐标信息包括移动对象中与货架距离最近的部分的空间坐标信息，所述基于所述前景图像获得移动对象的空间坐标信息，包括：

基于所述深度摄像设备的相机标定法，对所述前景图像中与货架距离最近的部分的像素点坐标进行坐标转换，获得移动对象中与货架距离最近的部分的其中两轴空间坐标信息；

根据所述前景图像中与货架距离最近的部分的像素点的深度信息，确定移动对象中与货架距离最近的部分的第三轴空间坐标信息。

在一个可选的实现方式中，所述货架中同一层货层所摆放的货物相同，所述将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物，包括：

基于所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息，利用空间坐标信息中由像素点坐标转换获得的两轴空间坐标信息确定移动对象是否伸入货架，利用空间坐标信息中由深度信息转换获得的第三轴空间坐标信息确定移动对象伸入货架的货层；

根据预设的货层与货物的对应关系，将所确定货层对应的货物确定为所述移动对象所接触的货物。

一种交互行为检测装置，所述装置包括：

图像获取模块，用于从深度摄像设备中获取所述待检测深度图像；所述深度摄像设备设于货架上方、且所述深度摄像设备的拍摄范围包括货架每层货层外边缘以及指定通道区域；

前景提取模块，用于从所述待检测深度图像中提取用于表示移动对象的前景图像；

坐标确定模块，用于基于所述前景图像获得移动对象的空间坐标信息；

交互货物确定模块，用于将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物；

其中，所述货层的空间坐标信息基于背景深度图像获得，所述背景深度图像是基于深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。

一种计算机设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

从深度摄像设备中获取所述待检测深度图像；所述深度摄像设备设于货架上方、且所述深度摄像设备的拍摄范围包括货架每层货层外边缘以及指定通道区域；

从所述待检测深度图像中提取用于表示移动对象的前景图像，并基于所述前景图像获得移动对象的空间坐标信息；

将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物；所述货层的空间坐标信息基于背景深度图像获得，所述背景深度图像是基于深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。

本说明书的实施例提供的技术方案可以包括以下有益效果：

本说明书实施例通过获取由深度摄像设备拍摄的待检测深度图像，从待检测深度图像中提取用于表示移动对象的前景图像，并基于前景图像获得移动对象的空间坐标信息，将移动对象的空间坐标信息与货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定移动对象所接触的货物，无需在每个货层的每个位置设置压力传感器即可知道移动对象接触的货物，节约了维护成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。

图1A为本说明书根据一示例性实施例示出的一种交互行为检测***的结构示意图。

图1B为本说明书根据一示例性实施例示出的一种货层外边缘示意图。

图1C为本说明书根据一示例性实施例示出的一种背景图像更新示意图。

图1D为本说明书根据一示例性实施例示出的一种移动对象与货架交互检测示意图。

图1E为本说明书根据一示例性实施例示出的一种移动对象检测示意图。

图1F为本说明书根据一示例性实施例示出的一种移动对象匹配跟踪示意图。

图2为本说明书交互行为检测方法的一个实施例流程图。

图3为本说明书交互行为检测方法的另一个实施例流程图。

图4为本说明书交互行为检测装置所在计算机设备的一种硬件结构图。

图5为本说明书根据一示例性实施例示出的一种交互行为检测装置的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

在线下场所往往通过在货架上摆放货物以实现展示货物，而在线下场所中，移动对象与货物接触时，不仅可以体现出移动对象对货物感兴趣，还可以提示商家该货物可能被移动对象拿走，以便商家决定是否需要进行货物补充或改进物品摆放等。

鉴于此，本说明书提供一种交互行为检测***，通过搭建的包括深度摄像设备和处理设备的交互行为检测***，可以确定移动对象所接触的货物。以下结合附图对本说明书实施例进行示例说明。

如图1A所示，图1A为本说明书根据一示例性实施例示出的一种交互行为检测***的结构示意图。在该示意图中，交互行为检测***包括深度摄像设备110和处理设备120。所述深度摄像设备110设于货架上方、且所述深度摄像设备110的拍摄范围包括货架每层货层外边缘以及指定通道区域。

其中，指定通道区域可以是移动对象为获取货架上货物所需的通道。货层外边缘又可以称为货层外边沿，是货层边缘中面向通道的边缘。移动对象站在通道上并面向货架时可见以及可接触该货层外边缘。货层外边缘的边缘线可以为直线或近似直线。

在其中一种场景中，某些货架只有一面面向移动对象/通道、并在该面将货物面向通道进行展示，其他几面可能靠墙或连接其他货架而导致隐藏。如图1B所示，图1B为本说明书根据一示例性实施例示出的一种货层外边缘示意图。该示意图以货架只有一面面向通道为例，对货层外边缘进行示例说明。深度摄像设备的拍摄范围至少包括货架外边缘以及通道所在区域(指定通道区域)。

在另一些场景中，某些货架至少有两面可以面向通道、并在该面将货物面向通道进行展示，因此，移动对象可以从货架的不同面获取货物。在一个例子中，为了更好地满足深度摄像设备的拍摄范围要求，可以针对不同通道设置对应的深度摄像设备，以实现深度摄像设备的拍摄范围包括货架每层货层外边缘以及指定通道区域。例如，货架A面上的货层外边缘A面向通道A，货架B面上的货层外边缘B面向通道B。在货架上方可以设置深度摄像设备A和深度摄像设备B，深度摄像设备A的拍摄范围至少包括货层外边缘A和通道A，深度摄像设备B的拍摄范围至少包括货层外边缘B和通道B。

关于同一深度摄像设备拍摄的货架的数量，可以是一个，也可以是多个，货架个数可以基于深度摄像设备的拍摄范围以及货架尺寸而定，以达到深度摄像设备至少可以拍摄到货架每层货层外边缘以及与该货架对应的通道。进一步的，深度摄像设备还可以拍摄到货架顶面，进而便于获得从上向下俯视货架的货架平面图。

在一个例子中，深度摄像设备与货架的相对位置关系可以是：深度摄像设备与货层外边缘所在平面的垂直距离的范围可以为30cm～50cm，深度摄像设备与地面的垂直距离的范围可以为2.6m～3m。通过深度摄像设备，自上而下可以观察到移动对象的头部、肩部以及手臂等。

移动对象可以是可能与货物交互的对象，例如，移动对象可以是顾客，也可以是受顾客控制的机器人，还可以是商家等对象。

深度摄像设备是可以探测深度的摄像设备，以便获得深度图像中包括像素点所对应实际对象相对于深度摄像设备所在平面的深度信息(距离信息)。例如，深度摄像设备可以是结构光摄像设备，以便实现利用结构光摄像设备测距。在深度图像中，可以利用每个像素点的灰度值表示该像素点所对应实际对象相对于深度摄像设备所在平面的深度信息。关于像素点所对应实际对象，可以是深度图像中每个像素点对应实景的部分。其中，深度图像是利用深度摄像设备拍摄实景获得的图像。

该检测***中，深度摄像设备可以用于以指定角度拍摄包括货架和指定通道区域的待检测深度图像。深度摄像设备可以在检测条件满足时按一定频率进行检测，获得待检测深度图像。检测条件可以是深度摄像设备启动、设定检测时间达到、接收到检测指令等条件。所述处理设备可以用于：从深度摄像设备中获取所述待检测深度图像；从所述待检测深度图像中提取用于表示移动对象的前景图像，并基于所述前景图像获得移动对象的空间坐标信息；将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物；其中，所述货层的空间坐标信息基于背景深度图像获得，所述背景深度图像是基于深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。

其中，由于前景图像从待检测深度图像中提取，因此，前景图像中也包括像素点所对应实际对象相对于深度摄像设备所在平面的深度信息，即移动对象的深度信息。又由于深度图像中像素点坐标可以表示被拍摄对象(实景)另外两轴的位置关系，因此，可以基于前景图像获得移动对象的空间坐标信息。货架中货层的空间坐标信息往往不会变动，因此可以预先确定并存储。在获得移动对象的深度信息后，可以将移动对象的空间坐标信息与货架中货层的空间坐标信息进行坐标比较，进而可以确定移动对象接触的货层以及接触该货层的相对位置，又由于可以获取货层与货物的对应关系，因此可以获得移动对象所接触的货物。

由上述实施例可见，通过从按一定策略设置的深度摄像设备中获取待检测深度图像，进行相应处理后，可以确定移动对象所接触的货物，无需在每个货层的每个位置设置压力传感器即可知道移动对象接触的货物，节约了维护成本，同时明确移动对象与所接触货物的对应关系，便于后续的预测处理。

在一个例子中，可以基于移动对象所接触的货物预测移动对象的偏好，以实现对该移动对象进行分析。例如，可以根据分析结果为该移动对象进行定制化服务。如，基于所述偏好向该移动对象推荐相关信息。

在另一个例子中，可以基于移动对象所接触的货物预测所述货物是否被移动对象取走，以提醒商家进行补货或者自动补货。进一步的，可以在货架中设置压力传感器，通过压力传感器检测移动对象接触货物前和接触货物后货架的重量变化，从而进一步判断移动对象是否取走货物。由于无需在每种货物下设置压力传感器，既可以节约硬件成本和维护成本，同时还可以提高判断的准确性。

在另一个例子中，还可以基于接触货物的移动对象的数量重新规划货物的摆放位置，以实现将更受欢迎的货物摆放在更显眼的位置，达到更好的展示效果，便于移动对象快速获得期望的货物。

可以理解的是，还可以将获得移动对象所接触货物应用在其他应用场景中，在此不再一一赘述。

接下来对如何利用待检测深度图像确定移动对象所接触货物进行示例说明。

货架中货层的空间坐标信息可以预先确定。在一个可选的实现方式中，可以基于设定摄像设备拍摄的背景图像，将背景图像中表示货层部分的像素点进行转换，获得货层的空间坐标信息。例如，预先确定货架中货层的空间坐标信息，包括：

获取深度摄像设备以指定角度拍摄的、且不存在前景图像的第一背景深度图像集合；

确定第一背景深度图像集合中货层边缘线；

基于所述深度摄像设备的相机标定法，将所述货层边缘线的像素点坐标进行转换，获得货层实际空间坐标信息中的其中两轴空间坐标信息；

针对同层货层边缘线，将所述货层边缘线各像素点的深度信息进行聚类，获得所述货层实际空间坐标信息中第三轴空间坐标信息。

其中，第一背景深度图像集合包括至少一张背景深度图像。背景深度图像是深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。不存在前景图像表示指定通道区域内没有移动对象。例如，在指定通道区域内没有移动对象的情况下，将从深度摄像设备中获取的深度图像构成第一背景深度图像集合。在一个例子中，如果背景固定不变，第一背景深度图像集合可以不进行更新。在另一个例子中，如果背景可能变更，则第一背景深度图像可以在更新条件满足时进行更新。

由于深度摄像设备的拍摄范围至少包括货架每层货层外边缘以及指定通道区域，因此，可以确定第一背景深度图像集合中货层边缘线，特别是货层外边缘线。另外，为了具有可比性，深度摄像设备拍摄获得背景深度图像的拍摄角度与拍摄获得待检测深度图像的拍摄角度相同。

作为其中一种确定第一背景深度图像集合中货层边缘线的方式，可以包括：

对所述第一背景深度图像集合进行预处理，预处理至少包括图像平均和图像去噪；

将预处理后的图像进行边缘检测；

以预设角度对边缘检测获得的图像进行直线检测，并过滤低于预设长度阈值的直线，获得第一背景深度图像集合中货层边缘线，所述预设角度基于深度摄像设备与货架的相对位置关系确定。其中，预处理可以包括图像平均和图像去噪等图像处理。图像平均可以是将集合中图像序列做平均，获得平均图像。图像去噪可以是减少图像中噪声的过程。例如，图像去噪可以是中值滤波。中值滤波是一种非线性数字滤波器技术，用于去除图像或者其它信号中的噪声。中值滤波可以去除斑点噪声和椒盐噪声等，并保存边缘的特性，便于后续执行边缘检测。鉴于此，在一个例子中，可以将背景深度图像集合中的图像序列进行图像平均处理，将获得的平均图像进行图像去噪，获得预处理后的图像。

边缘检测的目的可以是标识数字图像中亮度变化明显的点。边缘检测可以大幅度地减少数据量，并且剔除认为不相关的信息，保留图像重要的结构属性。

在边缘中可以进行预设角度的直线检测，并过滤掉低于预设长度阈值的直线，从而获得第一背景深度图像集合中货层边缘线。为了能提高直线检测的准确性，根据深度摄像设备与货架的相对位置关系，确定预设角度，以便进行固定角度的直线检测。在一个例子中，预设长度阈值可以基于货层边缘实际长度以及深度摄像设备与货架的相对位置关系确定，以便过滤一些明显不是货层边缘线的直线。

可见，本实施例通过对集合中的图像进行图像平均处理、图像去噪处理、边缘检测、直线检测，可以提高获得货层边缘线的准确性。

在获得货层边缘线后，由于深度图像中像素点坐标是二维坐标，因此需要基于深度图像中货层边缘线的像素点坐标信息，转换获得货层边缘的实际空间坐标信息。空间坐标信息中的其中两轴(X轴和Y轴)坐标可以基于货层边缘线的像素点坐标确定，空间坐标信息中的第三轴(Z轴)坐标可以基于货层边缘线像素点的深度信息确定。

实际应用中，在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，可以建立相机成像的几何模型，几何模型参数即相机参数。在大多数条件下这些参数可以通过实验与计算获得，求解参数的过程就称之为相机标定(或摄像机标定)。

本公开实施例可以获取深度摄像设备从不同视角拍摄的深度图像集合，利用深度图像集合进行相机标定，根据获得的相机参数(包括相机内参)可以对货层边缘线的像素点坐标进行转换，获得货层实际空间坐标信息中的其中两轴空间坐标信息。例如，X轴的空间坐标信息和Y轴的空间坐标信息。该过程可以称为自动标定过程。可以理解的是，具体的相机标定法可以采用相关技术中的标定法，在此不做限定。

又由于每层货层的高度往往相同，而货层边缘线像素点的深度信息又可以体现货层的高度，鉴于此，针对同层货层边缘线，将所述货层边缘线各像素点的深度信息进行聚类，获得所述货层实际空间坐标信息中第三轴空间坐标信息。

可见，本实施例通过将背景深度图像中货层边缘线进行转换，可以快速获得货层实际空间坐标。

为了能获得移动对象的空间坐标信息，可以从深度摄像设备中获取待检测深度图像，并从待检测深度图像中提取用于表示移动对象的前景图像。作为其中一种提取前景图像的方式，可以通过将不包括移动对象的背景图像与包括移动对象的待检测深度图像进行比较，从而获得前景图像。采用这种方式，可以快速提取前景图像。鉴于此，在一个例子中，所述从所述待检测深度图像中提取用于表示移动对象的前景图像，包括：

获取背景图像，所述背景图像基于第二背景深度图像集合进行背景建模获得，所述第二背景深度图像集合是深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像集合；

将待检测深度图像与背景图像进行对比，从待检测深度图像中抽取用于表示移动对象的前景图像。

其中，为了保证背景图像中的背景与待检测深度图像中的背景相同，拍摄两类图像的拍摄角度相同，即第二背景深度图像集合中深度图像以及待检测深度图像均是深度摄像设备以指定角度拍摄获得。第二背景深度图像集合中深度图像不包括移动对象，待检测深度图像可能包括移动对象。

第二背景深度图像集合与第一背景深度图像集合可以为相同集合，也可以为不同集合。在背景建模相对于自动标定，往往需要更多的样本，鉴于此，第一背景深度图像集合可以是第二背景深度图像集合的子集。例如将第二背景深度图像集合中指定数量的背景深度图像作为第一背景深度图像。

背景图像可以预先基于第二背景深度图像集合进行背景建模获得，例如，获取深度摄像设备以指定角度拍摄的、且不存在前景图像的第二背景深度图像集合；利用所述第二背景深度图像集合进行背景建模，获得背景图像。

在某些应用场景中，背景保持不变，因此，建模获得背景图像后，可以进行存储，便于后续提取前景图像使用。

而在某些应用场景中，背景可能存在变更的情况，鉴于此，所述背景图像在更新条件满足时进行更新。例如，通过更新背景模型实现更新背景图像。更新条件可以是更新时间达到，更新频次达到，检测到有移动对象离开拍摄区域、且拍摄区域内没有移动对象的持续时间达到预设时间等触发条件。例如，在首次背景建模获得背景图像后，若检测到有移动对象离开拍摄区域、且拍摄区域内没有移动对象的持续时间达到预设时间，从深度摄像设备中获取此时刻以后拍摄的背景深度图像，获得第二背景深度图像集合，并利用该第二背景深度图像集合更新背景图像。

如图1C所示，图1C为本说明书根据一示例性实施例示出的一种背景图像更新示意图。首次进行背景建模获得背景图像后，可以进行交互检测。在达到更新条件时，可以对背景图像进行更新。例如，在没有移动目标或行人的情况下，从深度摄像设备中获取指定数量(如300帧)的深度图像(将该集合作为第二背景深度图像集合)，用来训练背景模型，获得背景图像。一段时间后，如果深度摄像设备所拍摄区域在指定时间段(如60s内)去背景噪声后无移动对象，则用该指定时间段后深度摄像设备拍摄的指定数量的深度图像重新更新背景模型，获得更新后的背景图像。

可以理解的是，还可以采用其他方式从待检测深度图像中提取用于表示移动对象的前景图像，在此不一一列举。

在获得前景图像后，可以基于前景图像获得移动对象的空间坐标信息。由于前景图像中的坐标是像素点坐标，为了获得移动对象的空间坐标信息，可以将前景图像中的像素点坐标进行转换，获得移动对象的空间坐标信息。将移动对象的空间坐标信息与货架中货层的空间坐标信息进行坐标比较，目的是为了判断移动对象所接触的货物，鉴于此，可以仅基于前景图像获得移动对象中与货架距离最近的部分的空间坐标信息。例如，移动对象往往利用手部去接触货物，因此，移动对象中与货架距离最近的部分可以是手部部分。鉴于此，无需获得移动对象整体的空间坐标信息，仅获得移动对象中与货架距离最近的部分的空间坐标信息，可以提高空间坐标信息的获得效率。例如，所述移动对象的空间坐标信息包括移动对象中与货架距离最近的部分的空间坐标信息，所述处理设备基于所述前景图像获得移动对象的空间坐标信息，包括：

基于所述深度摄像设备的相机标定法，对所述前景图像中与货架距离最近的部分的像素点坐标进行坐标转换，获得移动对象中与货架距离最近的部分的其中两轴空间坐标信息；

根据所述前景图像中与货架距离最近的部分的像素点的深度信息，确定移动对象中与货架距离最近的部分的第三轴空间坐标信息。

其中，其中两轴空间坐标信息可以是X轴空间坐标信息和Y轴空间坐标信息，第三种空间坐标信息可以是Z轴空间坐标信息。

在获得移动对象的空间坐标信息与货架中货层的空间坐标信息后，可以将移动对象的空间坐标信息与货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物。

在其中一种应用场景中，所述货架中同一层货层所摆放的货物相同，所述处理设备用于将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物，可以包括：

基于所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息，利用空间坐标信息中由像素点坐标转换获得的两轴空间坐标信息确定移动对象是否伸入货架，利用空间坐标信息中由深度信息转换获得的第三轴空间坐标信息确定移动对象伸入货架的货层；

根据预设的货层与货物的对应关系，将所确定货层对应的货物确定为所述移动对象所接触的货物。

由于每层货物相同，因此，只要确定移动对象是否伸入货架、以及所伸入货架的货层，即可确定移动对象所接触的货物，从而可以提高判断准确性。

检测移动对象最靠近货架方向的点，例如，手部指尖区域上的点。根据该点的空间坐标信息以及货层的空间坐标信息，确定指尖是否穿过货架平面。如图1D所示，图1D为本说明书根据一示例性实施例示出的一种移动对象与货架交互检测示意图。若在自动标定过程中，货架平面y＝Y0，再根据指尖的坐标F＝(xf,yf,zf)，假如yf>＝Y0，则判定移动对象已经接触到货架。通过深度摄像设备获取指尖的深度信息，比较指尖F＝(xf,yf,zf)和货层高度的关系从而确定交互的货层。再根据货品在货层的摆放关系，最后确定移动对象取走的商品。H0为货架底部的深度，则zf-H0<＝S0,判定为第一层，S0<zf-H0<＝S1，判定为第二层，S1<zf-H0<＝S2，则判定为第三层，依此类推。

在另一个应用场景中，所述货架中同一层货层所摆放的货物不同。不同货物摆放在一起，获得货物摆放位置范围以及摆放货层的对应关系，因此在确定移动对象的空间坐标信息与货架中货层的空间坐标信息后，可以基于移动对象的空间坐标信息与货架中货层的空间坐标信息，利用空间坐标信息中由像素点坐标转换获得的两轴空间坐标信息(X轴空间坐标信息和Y轴空间坐标信息)确定移动对象是否伸入货架以及伸入货架的具体区域，利用空间坐标信息中由深度信息转换获得的第三轴空间坐标信息(Z轴空间坐标信息)确定移动对象伸入货架的货层，并根据货物名称、货物摆放位置范围以及摆放货层的对应关系，确定移动对象所接触的货物。

在实际应用中，在指定区域可能不止一个移动对象，为了能统计同一个移动对象在整个过程中所接触的货物，可以确定移动对象的移动轨迹。在一个可选的实现方式中，可以将从相邻待检测深度图像中提取出的前景图像进行前景位置比较，所述相邻待检测深度图像是深度摄像设备在相邻时间拍摄的待检测深度图像；将相邻待检测深度图像中距离最近的一组前景确定为相同前景，并获得该前景所对应移动对象的移动轨迹。

其中，针对相邻待检测深度图像，由于两张待检测深度图像采集的间隔时间较短，移动对象的移动距离较短，因此，将两张相邻待检测深度图像进行比较，相同前景的距离较近，可以将相邻待检测深度图像中距离最近的一组前景确定为相同前景，即判定该组前景是同一移动对象在不同时刻被拍摄后的前景。

进一步的，在提取前景图像后，还可以过滤小于指定区域的联通区域，从而获得仅包括移动对象的前景图像。如图1E所示，图1E为本说明书根据一示例性实施例示出的一种移动对象检测示意图。如图1F所示，图1F为本说明书根据一示例性实施例示出的一种移动对象匹配跟踪示意图。获得背景图像后，可以将背景图像与实时图像(待检查深度图像)进行比较，从实时图像中进行前景抽取，获得前景图像。移动对象的匹配跟踪可以通过比较每一帧联通区域中心的最小距离来实现。例如1、2是第一帧图像中的联通区域，3、4是第二帧图像中的联通区域。分别比较1，3和2，3距离，可以确定1是3的上一帧位置。同理2是4上一帧的位置。因此，可以获得不同移动对象的移动轨迹。

以上实施方式中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾，但是限于篇幅，未进行一一描述，因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。

与前述交互行为检测***的实施例相对应，本说明书还提供了交互行为检测方法的实施例。

如图2所示，图2为本说明书交互行为检测方法的一个实施例流程图，该方法可以包括以下步骤201至步骤204：

在步骤201中，从深度摄像设备中获取所述待检测深度图像；所述深度摄像设备设于货架上方、且所述深度摄像设备的拍摄范围包括货架每层货层外边缘以及指定通道区域；

在步骤202中，从所述待检测深度图像中提取用于表示移动对象的前景图像；

在步骤203中，基于所述前景图像获得移动对象的空间坐标信息；

在步骤204中，将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物；所述货层的空间坐标信息基于背景深度图像获得，所述背景深度图像是基于深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。

由上述实施例可见，通过获取有深度摄像设备拍摄的待检测深度图像，从待检测深度图像中提取用于表示移动对象的前景图像，并基于前景图像获得移动对象的空间坐标信息，将移动对象的空间坐标信息与货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定移动对象所接触的货物，无需在每个货层的每个位置设置压力传感器即可知道移动对象接触的货物，节约了维护成本，同时明确移动对象与所接触货物的对应关系，便于后续的预测处理。

在一个可选的实现方式中，所述货架中货层的空间坐标信息的预确定过程，包括：

获取深度摄像设备以指定角度拍摄的、且不存在前景图像的第一背景深度图像集合；

确定第一背景深度图像集合中货层边缘线；

基于所述深度摄像设备的相机标定法，将所述货层边缘线的像素点坐标进行转换，获得货层实际空间坐标信息中的其中两轴空间坐标信息；

针对同层货层边缘线，将所述货层边缘线各像素点的深度信息进行聚类，获得所述货层实际空间坐标信息中第三轴空间坐标信息。

在一个可选的实现方式中，所述确定第一背景深度图像集合中货层边缘线，包括：

对所述第一背景深度图像集合进行预处理，预处理至少包括图像平均和图像去噪；

将预处理后的图像进行边缘检测；

以预设角度对边缘检测获得的图像进行直线检测，并过滤低于预设长度阈值的直线，获得第一背景深度图像集合中货层边缘线，所述预设角度基于深度摄像设备与货架的相对位置关系确定。

在一个可选的实现方式中，所述从所述待检测深度图像中提取用于表示移动对象的前景图像，包括：

获取背景图像，所述背景图像基于第二背景深度图像集合进行背景建模获得，所述第二背景深度图像集合是深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像集合；

将所述待检测深度图像与所述背景图像进行对比，从所述待检测深度图像中抽取用于表示移动对象的前景图像。

在一个可选的实现方式中，所述方法还包括：

将从相邻待检测深度图像中提取出的前景图像进行前景位置比较，所述相邻待检测深度图像是深度摄像设备在相邻时间拍摄的待检测深度图像；

将相邻待检测深度图像中距离最近的一组前景确定为相同前景，并获得该前景所对应移动对象的移动轨迹。

在一个可选的实现方式中，所述移动对象的空间坐标信息包括移动对象中与货架距离最近的部分的空间坐标信息，所述基于所述前景图像获得移动对象的空间坐标信息，包括：

基于所述深度摄像设备的相机标定法，对所述前景图像中与货架距离最近的部分的像素点坐标进行坐标转换，获得移动对象中与货架距离最近的部分的其中两轴空间坐标信息；

根据所述前景图像中与货架距离最近的部分的像素点的深度信息，确定移动对象中与货架距离最近的部分的第三轴空间坐标信息。

在一个可选的实现方式中，所述货架中同一层货层所摆放的货物相同，所述将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物，包括：

基于所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息，利用空间坐标信息中由像素点坐标转换获得的两轴空间坐标信息确定移动对象是否伸入货架，利用空间坐标信息中由深度信息转换获得的第三轴空间坐标信息确定移动对象伸入货架的货层；

根据预设的货层与货物的对应关系，将所确定货层对应的货物确定为所述移动对象所接触的货物。

可以理解的是，本说明书实施例的交互行为检测方法与前述交互行为检测***中处理设备的处理方法，相关技术相同，为了节约篇幅，在此不一一赘述。同时，以上实施方式中的各种技术特征可以任意进行组合，只要特征之间的组合不存在冲突或矛盾即可。

以下以其中一种组合进行示例说明。如图3所示，图3为本说明书交互行为检测方法的另一个实施例流程图，该方法可以应用于电子设备，包括以下步骤301至步骤306：

在步骤301中，从深度摄像设备中获取所述待检测深度图像；所述深度摄像设备设于货架上方、且所述深度摄像设备的拍摄范围包括货架每层货层外边缘以及指定通道区域。

在步骤302中，获取背景图像。

其中，所述背景图像基于第二背景深度图像集合进行背景建模获得，所述第二背景深度图像集合是深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像集合。

在步骤303中，将所述待检测深度图像与所述背景图像进行对比，从所述待检测深度图像中抽取用于表示移动对象的前景图像。

在步骤304中，基于前景图像中的像素点坐标和深度信息，确定移动对象中与货架距离最近的部分的空间坐标信息。

其中，可以基于所述深度摄像设备的相机标定法，对所述前景图像中与货架距离最近的部分的像素点坐标进行坐标转换，获得移动对象中与货架距离最近的部分的其中两轴空间坐标信息；根据所述前景图像中与货架距离最近的部分的像素点的深度信息，确定移动对象中与货架距离最近的部分的第三轴空间坐标信息。

在步骤305中，根据移动对象中与货架距离最近的部分的空间坐标信息、以及货架中货层的空间坐标信息，确定移动对象是否伸入货架以及移动对象伸入货架的货层。

其中，基于所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息，利用空间坐标信息中由像素点坐标转换获得的两轴空间坐标信息确定移动对象是否伸入货架，利用空间坐标信息中由深度信息转换获得的第三轴空间坐标信息确定移动对象伸入货架的货层。

在步骤306中，根据预设的货层与货物的对应关系，将所确定货层对应的货物确定为所述移动对象所接触的货物。

其中，所述移动对象的空间坐标信息包括移动对象中与货架距离最近的部分的空间坐标信息，所述货架中同一层货层所摆放的货物相同，所述货层的空间坐标信息基于背景深度图像获得，所述背景深度图像是基于深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。

与前述交互行为检测方法的实施例相对应，本说明书还提供了交互行为检测装置及其所应用的电子设备的实施例。

本说明书交互行为检测装置的实施例可以应用在计算机设备。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在计算机设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本说明书交互行为检测装置所在计算机设备的一种硬件结构图，除了图4所示的处理器410、内存430、网络接口420、以及非易失性存储器440之外，实施例中装置431所在的计算机设备通常根据该设备的实际功能，还可以包括其他硬件，对此不再赘述。

如图5所示，是本说明书根据一示例性实施例示出的一种交互行为检测装置的框图，所述装置包括：

图像获取模块510，用于从深度摄像设备中获取所述待检测深度图像；所述深度摄像设备设于货架上方、且所述深度摄像设备的拍摄范围包括货架每层货层外边缘以及指定通道区域；

前景提取模块520，用于从所述待检测深度图像中提取用于表示移动对象的前景图像；

坐标确定模块530，用于基于所述前景图像获得移动对象的空间坐标信息；

交互货物确定模块540，用于将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物；

其中，所述货层的空间坐标信息基于背景深度图像获得，所述背景深度图像是基于深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。

在一个可选的实现方式中，所述装置还包括信息预确定模块(图5未示出)，具体配置为：

获取深度摄像设备以指定角度拍摄的、且不存在前景图像的第一背景深度图像集合；

确定第一背景深度图像集合中货层边缘线；

基于所述深度摄像设备的相机标定法，将所述货层边缘线的像素点坐标进行转换，获得货层实际空间坐标信息中的其中两轴空间坐标信息；

针对同层货层边缘线，将所述货层边缘线各像素点的深度信息进行聚类，获得所述货层实际空间坐标信息中第三轴空间坐标信息。

在一个可选的实现方式中，所述信息预确定模块确定第一背景深度图像集合中货层边缘线，包括：

对所述第一背景深度图像集合进行预处理，预处理至少包括图像平均和图像去噪；

将预处理后的图像进行边缘检测；

以预设角度对边缘检测获得的图像进行直线检测，并过滤低于预设长度阈值的直线，获得第一背景深度图像集合中货层边缘线，所述预设角度基于深度摄像设备与货架的相对位置关系确定。

在一个可选的实现方式中，所述前景提取模块520具体配置为：

获取背景图像，所述背景图像基于第二背景深度图像集合进行背景建模获得，所述第二背景深度图像集合是深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像集合；

将所述待检测深度图像与所述背景图像进行对比，从所述待检测深度图像中抽取用于表示移动对象的前景图像。

在一个可选的实现方式中，所述装置还包括轨迹确定模块(图5未示出)，用于：

将从相邻待检测深度图像中提取出的前景图像进行前景位置比较，所述相邻待检测深度图像是深度摄像设备在相邻时间拍摄的待检测深度图像；

将相邻待检测深度图像中距离最近的一组前景确定为相同前景，并获得该前景所对应移动对象的移动轨迹。

在一个可选的实现方式中，所述移动对象的空间坐标信息包括移动对象中与货架距离最近的部分的空间坐标信息，所述坐标确定模块530具体用于：

基于所述深度摄像设备的相机标定法，对所述前景图像中与货架距离最近的部分的像素点坐标进行坐标转换，获得移动对象中与货架距离最近的部分的其中两轴空间坐标信息；

根据所述前景图像中与货架距离最近的部分的像素点的深度信息，确定移动对象中与货架距离最近的部分的第三轴空间坐标信息。

在一个可选的实现方式中，所述货架中同一层货层所摆放的货物相同，所述交互货物确定模块540具体用于：

基于所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息，利用空间坐标信息中由像素点坐标转换获得的两轴空间坐标信息确定移动对象是否伸入货架，利用空间坐标信息中由深度信息转换获得的第三轴空间坐标信息确定移动对象伸入货架的货层；

根据预设的货层与货物的对应关系，将所确定货层对应的货物确定为所述移动对象所接触的货物。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

相应的，本说明书实施例还提供一种计算机设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：

从深度摄像设备中获取所述待检测深度图像；所述深度摄像设备设于货架上方、且所述深度摄像设备的拍摄范围包括货架每层货层外边缘以及指定通道区域；

从所述待检测深度图像中提取用于表示移动对象的前景图像，并基于所述前景图像获得移动对象的空间坐标信息；

将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物；所述货层的空间坐标信息基于背景深度图像获得，所述背景深度图像是基于深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

一种计算机存储介质，所述存储介质中存储有程序指令，所述程序指令包括：

从深度摄像设备中获取所述待检测深度图像；所述深度摄像设备设于货架上方、且所述深度摄像设备的拍摄范围包括货架每层货层外边缘以及指定通道区域；

从所述待检测深度图像中提取用于表示移动对象的前景图像，并基于所述前景图像获得移动对象的空间坐标信息；

将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物；所述货层的空间坐标信息基于背景深度图像获得，所述背景深度图像是基于深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。

本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。

应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (15)

1.一种交互行为检测***，所述***包括深度摄像设备和处理设备，所述深度摄像设备设于货架上方、且所述深度摄像设备的拍摄范围包括货架每层货层外边缘以及指定通道区域；

所述深度摄像设备用于：以指定角度拍摄包括货架和指定通道区域的待检测深度图像，所述深度图像中包括像素点所对应实际对象相对于深度摄像设备所在平面的深度信息；

所述处理设备用于：从深度摄像设备中获取所述待检测深度图像；从所述待检测深度图像中提取用于表示移动对象的前景图像，并基于所述前景图像获得移动对象的空间坐标信息；将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物；其中，所述货层的空间坐标信息基于背景深度图像获得，所述背景深度图像是基于深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。

2.根据权利要求1所述的***，所述处理设备还用于预先确定货架中货层的空间坐标信息，包括：

获取深度摄像设备以指定角度拍摄的、且不存在前景图像的第一背景深度图像集合；

确定第一背景深度图像集合中货层边缘线；

基于所述深度摄像设备的相机标定法，将所述货层边缘线的像素点坐标进行转换，获得货层实际空间坐标信息中的其中两轴空间坐标信息；

针对同层货层边缘线，将所述货层边缘线各像素点的深度信息进行聚类，获得所述货层实际空间坐标信息中第三轴空间坐标信息。

3.根据权利要求2所述的***，所述处理设备确定第一背景深度图像集合中货层边缘线，包括：

对所述第一背景深度图像集合进行预处理，预处理至少包括图像平均和图像去噪；

将预处理后的图像进行边缘检测；

以预设角度对边缘检测获得的图像进行直线检测，并过滤低于预设长度阈值的直线，获得第一背景深度图像集合中货层边缘线，所述预设角度基于深度摄像设备与货架的相对位置关系确定。

4.根据权利要求1所述的***，所述处理设备从所述待检测深度图像中提取用于表示移动对象的前景图像，包括：

获取背景图像，所述背景图像基于第二背景深度图像集合进行背景建模获得，所述第二背景深度图像集合是深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像集合；

将所述待检测深度图像与所述背景图像进行对比，从所述待检测深度图像中抽取用于表示移动对象的前景图像。

5.根据权利要求1所述的***，所述移动对象的空间坐标信息包括移动对象中与货架距离最近的部分的空间坐标信息，所述处理设备基于所述前景图像获得移动对象的空间坐标信息，包括：

基于所述深度摄像设备的相机标定法，对所述前景图像中与货架距离最近的部分的像素点坐标进行坐标转换，获得移动对象中与货架距离最近的部分的其中两轴空间坐标信息；

根据所述前景图像中与货架距离最近的部分的像素点的深度信息，确定移动对象中与货架距离最近的部分的第三轴空间坐标信息。

6.根据权利要求1至5任一项所述的***，所述货架中同一层货层所摆放的货物相同，所述处理设备用于将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物，包括：

基于所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息，利用空间坐标信息中由像素点坐标转换获得的两轴空间坐标信息确定移动对象是否伸入货架，利用空间坐标信息中由深度信息转换获得的第三轴空间坐标信息确定移动对象伸入货架的货层；

根据预设的货层与货物的对应关系，将所确定货层对应的货物确定为所述移动对象所接触的货物。

7.一种交互行为检测方法，所述方法包括：

从深度摄像设备中获取所述待检测深度图像；所述深度摄像设备设于货架上方、且所述深度摄像设备的拍摄范围包括货架每层货层外边缘以及指定通道区域；

从所述待检测深度图像中提取用于表示移动对象的前景图像，并基于所述前景图像获得移动对象的空间坐标信息；

将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物；所述货层的空间坐标信息基于背景深度图像获得，所述背景深度图像是基于深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。

8.根据权利要求7所述的方法，所述货架中货层的空间坐标信息的预确定过程，包括：

获取深度摄像设备以指定角度拍摄的、且不存在前景图像的第一背景深度图像集合；

确定第一背景深度图像集合中货层边缘线；

基于所述深度摄像设备的相机标定法，将所述货层边缘线的像素点坐标进行转换，获得货层实际空间坐标信息中的其中两轴空间坐标信息；

针对同层货层边缘线，将所述货层边缘线各像素点的深度信息进行聚类，获得所述货层实际空间坐标信息中第三轴空间坐标信息。

9.根据权利要求8所述的方法，所述确定第一背景深度图像集合中货层边缘线，包括：

对所述第一背景深度图像集合进行预处理，预处理至少包括图像平均和图像去噪；

将预处理后的图像进行边缘检测；

以预设角度对边缘检测获得的图像进行直线检测，并过滤低于预设长度阈值的直线，获得第一背景深度图像集合中货层边缘线，所述预设角度基于深度摄像设备与货架的相对位置关系确定。

10.根据权利要求7所述的方法，所述从所述待检测深度图像中提取用于表示移动对象的前景图像，包括：

获取背景图像，所述背景图像基于第二背景深度图像集合进行背景建模获得，所述第二背景深度图像集合是深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像集合；

将所述待检测深度图像与所述背景图像进行对比，从所述待检测深度图像中抽取用于表示移动对象的前景图像。

11.根据权利要求10所述的方法，所述方法还包括：

将从相邻待检测深度图像中提取出的前景图像进行前景位置比较，所述相邻待检测深度图像是深度摄像设备在相邻时间拍摄的待检测深度图像；

将相邻待检测深度图像中距离最近的一组前景确定为相同前景，并获得该前景所对应移动对象的移动轨迹。

12.根据权利要求7所述的方法，所述移动对象的空间坐标信息包括移动对象中与货架距离最近的部分的空间坐标信息，所述基于所述前景图像获得移动对象的空间坐标信息，包括：

基于所述深度摄像设备的相机标定法，对所述前景图像中与货架距离最近的部分的像素点坐标进行坐标转换，获得移动对象中与货架距离最近的部分的其中两轴空间坐标信息；

根据所述前景图像中与货架距离最近的部分的像素点的深度信息，确定移动对象中与货架距离最近的部分的第三轴空间坐标信息。

13.根据权利要求7至12任一项所述的方法，所述货架中同一层货层所摆放的货物相同，所述将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物，包括：

基于所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息，利用空间坐标信息中由像素点坐标转换获得的两轴空间坐标信息确定移动对象是否伸入货架，利用空间坐标信息中由深度信息转换获得的第三轴空间坐标信息确定移动对象伸入货架的货层；

根据预设的货层与货物的对应关系，将所确定货层对应的货物确定为所述移动对象所接触的货物。

14.一种交互行为检测装置，所述装置包括：

图像获取模块，用于从深度摄像设备中获取所述待检测深度图像；所述深度摄像设备设于货架上方、且所述深度摄像设备的拍摄范围包括货架每层货层外边缘以及指定通道区域；

前景提取模块，用于从所述待检测深度图像中提取用于表示移动对象的前景图像；

坐标确定模块，用于基于所述前景图像获得移动对象的空间坐标信息；

交互货物确定模块，用于将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物；

其中，所述货层的空间坐标信息基于背景深度图像获得，所述背景深度图像是基于深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。

15.一种计算机设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

从深度摄像设备中获取所述待检测深度图像；所述深度摄像设备设于货架上方、且所述深度摄像设备的拍摄范围包括货架每层货层外边缘以及指定通道区域；

从所述待检测深度图像中提取用于表示移动对象的前景图像，并基于所述前景图像获得移动对象的空间坐标信息；

将所述移动对象的空间坐标信息与所述货架中货层的空间坐标信息进行坐标比较，根据比较结果以及货层中的货物确定所述移动对象所接触的货物；所述货层的空间坐标信息基于背景深度图像获得，所述背景深度图像是基于深度摄像设备以指定角度拍摄的、且不存在前景图像的深度图像。