CN113034574B - 一种基于目标检测的商品地堆面积计算方法及*** - Google Patents

Abstract

本发明公开了一种基于目标检测的商品地堆面积计算方法及***，所述方法包括：提取图片识别结果的地堆场景，计算地堆底层的投影边；根据所述投影边判断所述地堆场景的类型，为不同类型匹配不同方法计算得到分层投影线；根据所述分层投影线中的最长投影线计算地堆面积。本发明提供的基于目标检测的商品地堆面积计算方法，克服了现有技术计算地堆面积时误差大、效率低的缺点，实现了商品地堆面积的快速、准确计算，为销售主推产品是否占据黄金位置等指标的分析提供可靠依据。

Description

一种基于目标检测的商品地堆面积计算方法及***

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于目标检测的商品地堆面积计算方法及***。

背景技术

地堆是一种常见的陈列式促销手段，不但要求主题新颖、码放整齐，而且相应的促销信息要让顾客一目了然，以达到快速捕捉消费者的目的。其中，各商铺终端的地推陈列是否合理，在过去主要是依赖于人工统计，不仅需要花费大量时间检查陈列与理货，而且往往只能采用抽样调查，无法获取完整真实的商品陈列信息。

为了提升地推陈列检验工作的效率，现有技术将人工智能算法应用在商品陈列识别及分析中，工作人员通过移动设备采集商品陈列图，然后基于基于深度学习目标检测方法识别图片中的陈列场景，例如货架、端架、冰柜和地堆等常见场景，然后计算本品、竞品、货架层数、商品层数、空位信息和地堆占地面积等信息。然而，针对商品地堆面积的计算，现有的算法往往存在效率低、结果不准确的缺点。因此如何提供一种计算方法以快速、准确计算出商品地堆面积，是本领域亟待解决的技术问题之一。

发明内容

本发明的目的在于提供一种基于目标检测的商品地堆面积计算方法及***，该方法能够解决现有算法存在的效率低、结果不准确的技术问题。

为了克服上述现有技术中的缺陷，本发明提供了一种基于目标检测的商品地堆面积计算方法，包括：

提取图片识别结果的地堆场景，计算地堆底层的投影边；

根据所述投影边判断所述地堆场景的类型，为不同类型匹配不同方法计算得到分层投影线；

根据所述分层投影线中的最长投影线计算地堆面积。

进一步地，所述根据所述投影边判断所述地堆场景的类型，包括：

判断所述投影边的有效边是否为1条；若是，则为正拍场景；若否，计算所述投影边的夹角；

判断所述夹角是否满足预设条件；若是，则为正拍场景；若否，则为侧拍场景。

进一步地，所述为不同类型匹配不同方法计算得到分层投影线，包括：

当所述类型为侧拍场景时，计算所述投影边的饱和度；

若所述饱和度小于第一预设阈值，对当前投影边进行拟合；

根据拟合后投影边上的本品的实际尺寸计算所述投影边长度，经迭代计算后得到所有的分层投影线。

进一步地，所述为不同类型匹配不同方法计算得到分层投影线，还包括：

当所述类型为正拍场景时，在垂直地面的方向上进行分层；

在每一层中判断是否存在连续的本品；若是，拟合所述本品所在的投影边；

若否，将在同一层距离最远的本品中心进行连线，并将连线得到的线段作为分层投影线。

进一步地，利用最小二乘法进行拟合。

进一步地，在所述提取图片识别结果的地堆场景之前，包括：

基于深度学习目标检测方法识别被测商品，对所述被测商品进行分割场景及分层处理；

利用矩阵运算方法计算分层后的被测商品的中心坐标，根据计算结果将所述被测商品与对应的场景及所在层进行匹配。

本发明还提供了一种基于目标检测的商品地堆面积计算***，包括：

识别模块，用于提取图片识别结果的地堆场景，计算地堆底层的投影边；

分层投影线获取模块，用于根据所述投影边判断所述地堆场景的类型，为不同类型匹配不同方法计算得到分层投影线；

地堆面积计算模块，用于根据所述分层投影线中的最长投影线计算地堆面积。

进一步地，所述分层投影线模块，还用于：

判断所述投影边的有效边是否为1条；若是，则为正拍场景；若否，计算所述投影边的夹角；

判断所述夹角是否满足预设条件；若是，则为正拍场景；若否，则为侧拍场景。

本发明还提供了一种终端设备，其特征在于，包括：

一个或多个处理器；

存储器，与所述处理器耦接，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上任一项所述的基于目标检测的商品地堆面积计算方法。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行实现如上任一项所述的基于目标检测的商品地堆面积计算方法。

相对于现有技术，本发明的有益效果在于：

1）处理速度快，商品检测识别和场景实例分割模型并行处理，通过GPU加速，快速实现推理计算。

2）识别精度高，商品检测识别和场景实例分割的精度均达到93%以上，为冰柜、货架和地堆的饱满度、纯净度、本品排面占比、地堆商品占地面积以及主推产品是否占据黄金位置等指标的分析提供可靠依据。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明某一实施例提供的基于目标检测的商品地堆面积计算方法的流程示意图；

图2是本发明某一实施例提供的地推场景为侧拍的结构示意图；

图3是本发明某一实施例提供的地推场景为正拍的结构示意图；

图4是本发明某一实施例提供的基于目标检测的商品地堆面积计算***的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

第一方面：

请参阅图1，本发明某一实施例提供了一种基于目标检测的商品地堆面积计算方法，包括：

S10、提取图片识别结果的地堆场景，计算地堆底层的投影边；

在这一步中，根据识别结果，分别找到距离图像左下角顶点、图像y轴方向最低点及图像右下角顶点欧氏距离最近的本品商品（须包含在地堆场景内），然后分别连线左下角点与最低点、右下角点与最低点，得到地堆的两条投影边长，如图2所示。当图片中地堆场景为图3所示的情况时，即正面拍照时（地堆场景主要分正面拍和侧面拍两种情况，两者的投影线具有较明显差异），则有可能仅存在一条有效投影边（边的头尾顶点不重叠则为有效投影边）。

S20、根据所述投影边判断所述地堆场景的类型，为不同类型匹配不同方法计算得到分层投影线；

在某一具体实施方式中，根据所述投影边判断所述地堆场景的类型主要包括以下步骤：

判断所述投影边的有效边是否为1条；若是，则为正拍场景；若否，计算所述投影边的夹角；

判断所述夹角是否满足预设条件；若是，则为正拍场景；若否，则为侧拍场景。需要说明的是，该预设条件为：当角度范围为178°～180°，将其视为正拍场景；否则，将其视为侧拍场景。在实际操作中，该预设条件可根据实际所需或者经验值选取其他角度范围，在此不作进一步限定。

在某一具体实施方式中，所述为不同类型匹配不同方法计算得到分层投影线，包括：

当所述类型为侧拍场景时：首先计算所述投影边的饱和度；若所述饱和度小于第一预设阈值，对当前投影边进行拟合；最后根据拟合后投影边上的本品的实际尺寸计算所述投影边长度，经迭代计算后得到所有的分层投影线。

具体地，本实施例包括以下步骤：

A)计算饱和度时主要为计算侧拍场景下左右两条投影边的饱和度：

其中，

分别表示左右两条投影边，

表示投影边

在图像中的长度；

表示该投影的饱和度；

表示投影边

上的本品商品，共N个；

表示本品

在图像中的宽度，用于近似替代本品

在边

上的实际投影长度。

进一步地，判断饱和度第一预设阈值的大小。通常，该第一预设阈值选择0.75，当投影边的饱和度小于0.75时，表明该线段中存在空位，或者对不齐，该线段质量较差。此时需要尝试重新拟合调整该线段。其中，0.75只是一种优选方式，在实际操作中可根据实际所需或者经验值选取其他角度，在此不作进一步限定。

进一步地，重新拟合调整线段的做法为：

将该线段上的本品中心坐标按x轴从左到右排序，相邻两个本品间的x轴距离不超过其平均宽度的一半，则视为连续的状态；如果存在至少3个连续的本品，则提取出最长连续本品集，并采用最小二乘法来拟合线段；否则不做处理。

B)根据本品的实际宽高长度，计算投影边的实际长度，并保存该层投影边、边上的本品及投影边长

C)从其余本品中，重新计算地堆最底层的投影边，然后重复步骤A）的过程，直到计算完全所有的地堆分层及每一层的投影边长。

在某一具体实施方式中，所述为不同类型匹配不同方法计算得到分层投影线，还包括：

当所述类型为正拍场景时，在垂直地面的方向上进行分层；

在每一层中判断是否存在连续的本品；若是，拟合所述本品所在的投影边；

若否，将在同一层距离最远的本品中心进行连线，并将连线得到的线段作为分层投影线。

在本实施例中，由于地堆属于正拍情况，则步骤A）得到的底层投影边长通常由于拍照角度倾斜的原因而不完整，存在明显的缺陷。此时可用以下来迭代计算分层信息并计算地堆面积，如图3所示。

1）首先找到y轴方向中心最低的本品商品，然后计算其余本品商品的平均高度，将y轴方向上与该商品距离1个平均高度范围内的本品商品归为同一层；接着在其余商品中重复上述过程，直到计算出所有的分层。

2）遍历每一层，将每一层的本品检测框按其中心坐标从左到右排序，然后寻找最长连续的本品集，并采用最小二乘法来拟合该层投影线段；如若不存在连续的本品，则将最左端的本品中心与最右端的本品中心进行连线，作为该层投影线段，然后计算并保存该层线段的实际长度。

S30、根据所述分层投影线中的最长投影线计算地堆面积。

这一步中，寻找出所有分层投影边中的最长边，然后计算地堆面积，其中面积公式为：

式中，

为最长投影边，地推投影近似为正方形。

本发明实施例提供的基于目标检测的商品地堆面积计算方法，实现了商品地堆面积的快速、准确计算，为销售主推产品是否占据黄金位置等指标的分析提供可靠依据。

在某一个实施例中，在所述提取图片识别结果的地堆场景之前，包括：

基于深度学习目标检测方法识别被测商品，对所述被测商品进行分割场景及分层处理；

利用矩阵运算方法计算分层后的被测商品的中心坐标，根据计算结果将所述被测商品与对应的场景及所在层进行匹配。

第二方面：

请参阅图4，本发明还提供了一种基于目标检测的商品地堆面积计算***，包括：

识别模块01，用于提取图片识别结果的地堆场景，计算地堆底层的投影边；

分层投影线获取模块02，用于根据所述投影边判断所述地堆场景的类型，为不同类型匹配不同方法计算得到分层投影线；

地堆面积计算模块03，用于根据所述分层投影线中的最长投影线计算地堆面积。

本发明实施例提供的基于目标检测的商品地堆面积计算***，实现了商品地堆面积的快速、准确计算，为销售主推产品是否占据黄金位置等指标的分析提供可靠依据。

在某一具体实施方式中，所述分层投影线模块02，还用于：

判断所述投影边的有效边是否为1条；若是，则为正拍场景；若否，计算所述投影边的夹角；

判断所述夹角是否满足预设条件；若是，则为正拍场景；若否，则为侧拍场景。

第三方面：

本发明某一实施例还提供了一种终端设备，包括：

一个或多个处理器；

存储器，与所述处理器耦接，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的基于目标检测的商品地堆面积计算方法。

处理器用于控制该终端设备的整体操作，以完成上述的基于目标检测的商品地堆面积计算方法的全部或部分步骤。存储器用于存储各种类型的数据以支持在该终端设备的操作，这些数据例如可以包括用于在该终端设备上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

终端设备可以被一个或多个应用专用集成电路(Application Specific1ntegrated Circuit，简称AS1C) 、数字信号处理器(Digital Signal Processor，简称DSP) 、数字信号处理设备(Digital Signal Processing Device ,简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD) 、现场可编程门阵列(Field ProgrammableGate Array ，简称FPGA) 、控制器、微控制器、微处理器或其他电子元件实现，用于执行如上述任一项实施例所述的基于目标检测的商品地堆面积计算方法，并达到如上述方法一致的技术效果。

本发明某一实施例还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现如上述任一项实施例所述的基于目标检测的商品地堆面积计算方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器，上述程序指令可由终端设备的处理器执行以完成如上述任一项实施例所述的基于目标检测的商品地堆面积计算方法，并达到如上述方法一致的技术效果。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种基于目标检测的商品地堆面积计算方法，其特征在于，包括：

提取图片识别结果的地堆场景，计算地堆底层的投影边；

根据所述投影边判断所述地堆场景的类型，为不同类型匹配不同方法计算得到分层投影线；所述根据所述投影边判断所述地堆场景的类型，包括：

判断所述投影边的有效边是否为1条；若是，则为正拍场景；若否，计算所述投影边的夹角；

判断所述夹角是否满足预设条件；若是，则为正拍场景；若否，则为侧拍场景；

根据所述分层投影线中的最长投影线计算地堆面积。

2.根据权利要求1所述的基于目标检测的商品地堆面积计算方法，其特征在于，所述为不同类型匹配不同方法计算得到分层投影线，包括：

当所述类型为侧拍场景时，计算所述投影边的饱和度；

若所述饱和度小于第一预设阈值，对当前投影边进行拟合；

根据拟合后投影边上的本品的实际尺寸计算所述投影边长度，经迭代计算后得到所有的分层投影线。

3.根据权利要求2所述的基于目标检测的商品地堆面积计算方法，其特征在于，所述为不同类型匹配不同方法计算得到分层投影线，还包括：

当所述类型为正拍场景时，在垂直地面的方向上进行分层；

在每一层中判断是否存在连续的本品；若是，拟合所述本品所在的投影边；

若否，将在同一层距离最远的本品中心进行连线，并将连线得到的线段作为分层投影线。

4.根据权利要求2或3所述的基于目标检测的商品地堆面积计算方法，其特征在于，利用最小二乘法进行拟合。

5.根据权利要求1所述的基于目标检测的商品地堆面积计算方法，其特征在于，在所述提取图片识别结果的地堆场景之前，包括：

基于深度学习目标检测方法识别被测商品，对所述被测商品进行分割场景及分层处理；

利用矩阵运算方法计算分层后的被测商品的中心坐标，根据计算结果将所述被测商品与对应的场景及所在层进行匹配。

6.一种基于目标检测的商品地堆面积计算***，其特征在于，包括：

识别模块，用于提取图片识别结果的地堆场景，计算地堆底层的投影边；

分层投影线获取模块，用于根据所述投影边判断所述地堆场景的类型，为不同类型匹配不同方法计算得到分层投影线；还用于判断所述投影边的有效边是否为1条；若是，则为正拍场景；若否，计算所述投影边的夹角；判断所述夹角是否满足预设条件；若是，则为正拍场景；若否，则为侧拍场景；

地堆面积计算模块，用于根据所述分层投影线中的最长投影线计算地堆面积。

7.一种终端设备，其特征在于，包括：

一个或多个处理器；

存储器，与所述处理器耦接，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5任一项所述的基于目标检测的商品地堆面积计算方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行实现如权利要求1至5任一项所述的基于目标检测的商品地堆面积计算方法。

Images