CN116580509A - 一种智能超市购物收银结算方法 - Google Patents

Abstract

本发明公开了一种智能超市购物收银结算方法，涉及智能超市收银结算技术领域，通过预先收集客户信誉数据，并实时收集门禁视频数据，判断是否对进入超市的客户进行跟踪分析，若进行跟踪分析，收集超市中各个货架重量数据以及客户动作视频数据，再根据客户动作视频数据以及货架重量数据的变化判断客户是否操作商品，若判断为客户操作商品，根据客户动作视频数据分析客户操作的商品种类，更新客户购买列表，在客户结算时，基于客户购买列表分析客户是否漏结算，若漏结算，发起语音报警；避免了无人收银超市中，客户漏结算的问题，降低超市的利益损失。

Description

一种智能超市购物收银结算方法

技术领域

本发明属于涉及智能超市收银结算技术领域，具体是一种智能超市购物收银结算方法。

背景技术

随着科技的发展和消费者购物行为的变化，无人收银超市成为了一种趋势。无人收银超市通过引入自动化技术，如物联网、计算机视觉和传感器等，实现了自助购物和自动结算的便利性。在无人收银超市中，消费者可以自由选择商品并将其放入购物篮或购物车中，而无需与实体收银员进行交互。结算过程则依赖于先进的技术***，通过识别和跟踪商品，自动计算购物车中商品的总价，并完成支付流程。

尽管无人收银超市带来了许多便利和效率，但仍存在客户漏结算的问题：在繁忙的购物环境中，客户可能会忘记扫描某些商品或出现错误结算的情况，导致超市的利益损失。

为此，本发明提出一种智能超市购物收银结算方法。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种智能超市购物收银结算方法，该方法避免了无人收银超市中，客户漏结算的问题，降低超市的利益损失。

为实现上述目的，根据本发明的第一方面的实施例提出一种智能超市购物收银结算方法，包括以下步骤：

步骤一：收银后台预先收集客户信誉数据；并实时收集门禁视频数据，基于门禁视频数据和客户信誉数据判断是否对进入超市的客户进行跟踪分析，若进行跟踪分析，转至步骤二；

步骤二：收银后台实时收集超市中各个货架重量数据以及客户动作视频数据；

步骤三：收银后台根据客户动作视频数据以及货架重量数据的变化判断客户是否操作商品，若判断为客户操作商品，转至步骤四；

步骤四：收银后台根据客户动作视频数据分析客户操作的商品种类，更新客户购买列表；

步骤五：收银后台在客户结算时，基于客户购买列表分析客户是否漏结算，若漏结算，发起语音报警；

所述客户信誉数据包括每个历史客户的身份特征数据以及失信次数；

所述历史客户是指历史中进入过超市的客户；所述身份特征是指可唯一标志每个历史客户的特征数据；所述失信次数是指该历史客户在超市中购买商品时出现商品漏结算的次数；

所述门禁视频数据为由安装在超市门口的视频捕获设备实时捕获的超市门口的视频数据；

判断是否对进入超市的客户进行跟踪分析的方式为：

使用目标识别算法识别门禁视频数据中是否包含有人体形状，若不包含人体形状，则不做处理，若包含人体形状，则提取人体的身份特征数据，基于人体特征数据，从客户信誉数据中对历史客户的身份特征数据进行匹配，若未匹配到历史客户，则判读为对该客户进行跟踪分析，若匹配到历史客户，获取该历史客户对于的失信次数，若失信次数大于预设的失信次数阈值，则判读为对该客户进行跟踪分析；若失信次数小于预设的失信次数阈值，则以预设的跟踪概率为概率对该客户进行跟踪分析；

所述货架重量数据是指安装在超市中每个货架下的重量传感器实时检测的货架重量；

所述客户动作视频数据是指安装在超市内的视频捕获设备实时捕获的该客户的目标跟踪视频；其中，所述目标跟踪视频是指使用视频目标跟踪算法以该客户为目标，获得的实时包含该客户的视频数据；

判断客户是否操作商品的方式为：

在客户动作视频数据中，使用目标识别算法识别该客户的位置，基于客户位置获取其经过的所有的货架编号；

对于每个货架，判断该客户是否经过的方式为：

对于实时的客户动作视频数据，使用动态空间定位方法对该客户进行空间定位，若该客户的空间定位与该货架空间定位的距离趋势为由先不断减小后不断变大，且其中距离的最小值小于预设的第一距离阈值时，判定该客户为经过该货架；

对于每个判断为该客户经过的货架，再判断该客户经过后，再获取该客户远离该货架的时间；在该客户原料该货架时，判断该货架的重量与判断该客户经过时的重量是否小于预设的操作重量阈值，若小于预设的操作重量阈值，则判断为未操作商品，若不小于预设的操作重量阈值，则判断为操作商品；

获取该客户远离该货架的时间的方式为：

在该客户的空间位置与该货架的空间位置的距离趋势为不断增大，且在该距离不断增大的趋势的过程中，出现距离大于预设的第二距离阈值的时刻；

根据客户动作视频数据分析客户操作的商品种类，更新客户购买列表的方式为：

所述客户购买列表包括商品以及该商品的重量；

从客户动作视频数据中获取该客户判断该客户经过该货架之前的该货架的图像，并将该图像标记为第一图像，再从客户动作视频数据中，获取判断该客户远离该货架的时间的图像，并将该图像标记为第二图像；

对于每个判断为该客户经过的货架，若在该客户远离该货架的时间货架的重量比判断该客户经过时的重量小，判断为客户拿取商品，使用图像对比算法，对比第一图像和第二图像，获得在该货架上，第一图像中较第二图像中多出的商品，再使用目标分类算法，获得该商品的类别；在该客户的客户购买列表中添加该商品或将该商品的重量增加重量差值；在客户的客户购买列表中不存在该商品时，添加该商品并将该商品重量更新为重量差值，若在客户的客户购买列表中存在该商品时，将该商品的重量增加重量差值；

若在该客户远离该货架的时间货架的重量比判断该客户经过时的重量大，判断为客户放回商品，使用图像对比算法，对比第一图像和第二图像，获得在该货架上，第二图像中较第一图像中多出的商品，再使用目标分类算法，获得该商品的类别；在该客户的客户购买列表中删除该商品或将该商品的重量减少重量差值；

在客户的客户购买列表中不存在该商品时，不做处理；若该商品的重量小于或等于重量差值，删除该商品，若该商品的重量大于重量差值，将该商品的重量减少重量差值；

所述重量差值是指该客户该客户经过时的重量减去该客户远离该货架的时间货架的重量的绝对值；

基于客户购买列表分析客户是否漏结算的方式为：

在客户进行结算时，客户每结算一项商品和对应的商品重量，从客户购买列表删除该项商品或减少该项商品的重量，直至客户结算完毕；

客户结算完毕后，若客户购买列表不为空，则判断为漏结算；若客户购买列表不空，则判断为未漏结算；

结算的商品重量大于或等于客户购买列表中该商品的重量时，从客户购买列表删除该项商品；结算的商品重量小于客户购买列表中该商品的重量时，将该商品重量减少该客户结算的该商品的重量；

判断客户结算完毕的方式为客户完成买单。

与现有技术相比，本发明的有益效果是：

本发明通过预先收集客户信誉数据和实时的门禁视频数据，对新客户和历史信誉失信的客户进行视频跟踪分析，再实时收集超市中各个货架重量数据以及客户动作视频数据，根据客户动作视频数据以及货架重量数据的变化判断客户是否操作商品，若判断为客户操作商品，收银后台根据客户动作视频数据分析客户的操作是拿取或放回，再根据客户动作视频数据，识别客户操作的商品种类，更新客户购买列表，收银后台在客户结算时，基于客户购买列表分析客户是否漏结算，在客户漏结算时，发起语音报警；避免了无人收银超市中，客户漏结算的问题，降低超市的利益损失。

附图说明

图1为本发明的实施例1中智能超市购物收银结算方法的流程图。

具体实施方式

下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例1

如图1所示，一种智能超市购物收银结算方法，包括以下步骤：

步骤一：收银后台预先收集客户信誉数据；并实时收集门禁视频数据，基于门禁视频数据和客户信誉数据判断是否对进入超市的客户进行跟踪分析，若进行跟踪分析，转至步骤二；若不进行分析，不做处理；

步骤二：收银后台实时收集超市中各个货架重量数据以及客户动作视频数据；

步骤三：收银后台根据客户动作视频数据以及货架重量数据的变化判断客户是否操作商品，若判断为客户操作商品，转至步骤四；若判断为客户未操作商品，则不做处理；

步骤四：收银后台根据客户动作视频数据分析客户操作的商品种类，更新客户购买列表；

步骤五：收银后台在客户结算时，基于客户购买列表分析客户是否漏结算，若未漏结算，则不做处理；若漏结算，发起语音报警；

在一个优选的实施例中，所述客户信誉数据包括每个历史客户的身份特征数据以及失信次数；

所述历史客户是指历史中进入过超市的客户；所述身份特征是指可唯一标志每个历史客户的特征数据，包括但不限于脸部特征以及形体特征；所述失信次数是指该历史客户在超市中购买商品时出现商品漏结算的次数；可以理解的是，客户信誉数据均可从超市的历史客户访问的数据中获得；

所述门禁视频数据为由安装在超市门口的视频捕获设备实时捕获的超市门口的视频数据；

判断是否对进入超市的客户进行跟踪分析的方式为：

使用目标识别算法识别门禁视频数据中是否包含有人体形状，若不包含人体形状，则不做处理，若包含人体形状，则提取人体的身份特征数据，基于人体特征数据，从客户信誉数据中对历史客户的身份特征数据进行匹配，若未匹配到历史客户，则判读为对该客户进行跟踪分析，若匹配到历史客户，获取该历史客户对于的失信次数，若失信次数大于预设的失信次数阈值，则判读为对该客户进行跟踪分析；若失信次数小于预设的失信次数阈值，则以预设的跟踪概率为概率对该客户进行跟踪分析；通过预设的跟踪概率的设置，提高对漏结算客户的识别率；

进一步的，所述货架重量数据是指安装在超市中每个货架下的重量传感器实时检测的货架重量；

所述客户动作视频数据是指安装在超市内的视频捕获设备实时捕获的该客户的目标跟踪视频；其中，所述目标跟踪视频是指使用视频目标跟踪算法以该客户为目标，获得的实时包含该客户的视频数据；

需要说明的是，目标跟踪算法为现有的较为成熟的视频处理技术，存在大量的相关论文文献对其进行研究，本发明再此不再赘述；

判断客户是否操作商品的方式为：

将超市中的货架编号标记为i，将时间标记为t，将第i个货架在时间t时，其下方的重量传感器检测的重量标记为Wit；

在客户动作视频数据中，使用目标识别算法识别该客户的位置，基于客户位置获取其经过的所有的货架编号；

所述经过的货架编号是指由视频目标跟踪算法跟踪获得的该客户的行走路径中，经过的货架的货架编号；对于每个货架，判断该客户是否经过的方式为：

对于实时的客户动作视频数据，使用动态空间定位方法对该客户进行空间定位，若该客户的空间定位与该货架空间定位的距离趋势为由先不断减小后不断变大，且其中，距离的最小值小于预设的第一距离阈值时，判定该客户为经过该货架；

需要说明的是，对于监控视频中的动态目标进行空间定位的是现有的成熟技术，存在大量相关论文和研究对此进行分析；例如《测绘通报》期刊中所载的由韩世静等所发表的《监控视频动态目标的空间定位方法》，该方法对监控相机、目标像素坐标和地理场景之间的映射关系进行了研究，提出了基于数字表面模型(DSM)和基于平面约束的目标定位算法。首先，完成相机的标定，确定相机的成像模型；然后，提取畸变校正后的目标像素坐标，并通过目标定位算法计算目标的三维地理坐标；

对于每个判断为该客户经过的货架，再判断该客户经过后，再获取该客户远离该货架的时间；在该客户原料该货架时，判断该货架的重量与判断该客户经过时的重量是否小于预设的操作重量阈值，若小于预设的操作重量阈值，则判断为未操作商品，若不小于预设的操作重量阈值，则判断为操作商品；

获取该客户远离该货架的时间的方式为：

在该客户的空间位置与该货架的空间位置的距离趋势为不断增大，且在该距离不断增大的趋势的过程中，出现距离大于预设的第二距离阈值的时刻；

根据客户动作视频数据分析客户操作的商品种类，更新客户购买列表的方式为：

所述客户购买列表包括商品以及该商品的重量；

从客户动作视频数据中获取该客户判断该客户经过该货架之前的该货架的图像，并将该图像标记为第一图像，再从客户动作视频数据中，获取判断该客户远离该货架的时间的图像，并将该图像标记为第二图像；

对于每个判断为该客户经过的货架，若在该客户远离该货架的时间货架的重量比判断该客户经过时的重量小，判断为客户拿取商品，使用图像对比算法，对比第一图像和第二图像，获得在该货架上，第一图像中较第二图像中多出的商品，再使用目标分类算法，获得该商品的类别；在该客户的客户购买列表中添加该商品或将该商品的重量增加重量差值；可以理解的是，在客户的客户购买列表中不存在该商品时，添加该商品并将该商品重量更新为重量差值，若在客户的客户购买列表中存在该商品时，将该商品的重量增加重量差值；

若在该客户远离该货架的时间货架的重量比判断该客户经过时的重量大，判断为客户放回商品，使用图像对比算法，对比第一图像和第二图像，获得在该货架上，第二图像中较第一图像中多出的商品，再使用目标分类算法，获得该商品的类别；在该客户的客户购买列表中删除该商品或将该商品的重量减少重量差值；

可以理解的是，在客户的客户购买列表中不存在该商品时，不做处理；若该商品的重量小于或等于重量差值，删除该商品，若该商品的重量大于重量差值，将该商品的重量减少重量差值；

所述重量差值是指该客户该客户经过时的重量减去该客户远离该货架的时间货架的重量的绝对值；

优选的，所述图像对比算法可以是特征点提取算法，例如SIFT算法；

基于客户购买列表分析客户是否漏结算的方式为：

在客户进行结算时，客户每结算一项商品和对应的商品重量，从客户购买列表删除该项商品或减少该项商品的重量，直至客户结算完毕；

客户结算完毕后，若客户购买列表不为空，则判断为漏结算；若客户购买列表不空，则判断为未漏结算；

优选的，结算的商品重量大于或等于客户购买列表中该商品的重量时，从客户购买列表删除该项商品；结算的商品重量小于客户购买列表中该商品的重量时，将该商品重量减少该客户结算的该商品的重量；

优选的，判断客户结算完毕的方式可以为客户完成买单。

以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

Claims (8)

1.一种智能超市购物收银结算方法，其特征在于，包括以下步骤：

步骤一：收银后台预先收集客户信誉数据；并实时收集门禁视频数据，基于门禁视频数据和客户信誉数据判断是否对进入超市的客户进行跟踪分析，若进行跟踪分析，转至步骤二；

步骤二：收银后台实时收集超市中各个货架重量数据以及客户动作视频数据；

步骤三：收银后台根据客户动作视频数据以及货架重量数据的变化判断客户是否操作商品，若判断为客户操作商品，转至步骤四；

步骤四：收银后台根据客户动作视频数据分析客户操作的商品种类，更新客户购买列表；

步骤五：收银后台在客户结算时，基于客户购买列表分析客户是否漏结算，若漏结算，发起语音报警。

2.根据权利要求1所述的一种智能超市购物收银结算方法，其特征在于，所述客户信誉数据包括每个历史客户的身份特征数据以及失信次数；

所述历史客户是指历史中进入过超市的客户；所述身份特征是指可唯一标志每个历史客户的特征数据；所述失信次数是指该历史客户在超市中购买商品时出现商品漏结算的次数；所述门禁视频数据为由安装在超市门口的视频捕获设备实时捕获的超市门口的视频数据。

3.根据权利要求2所述的一种智能超市购物收银结算方法，其特征在于，判断是否对进入超市的客户进行跟踪分析的方式为：

使用目标识别算法识别门禁视频数据中是否包含有人体形状，若不包含人体形状，则不做处理，若包含人体形状，则提取人体的身份特征数据，基于人体特征数据，从客户信誉数据中对历史客户的身份特征数据进行匹配，若未匹配到历史客户，则判读为对该客户进行跟踪分析，若匹配到历史客户，获取该历史客户对于的失信次数，若失信次数大于预设的失信次数阈值，则判读为对该客户进行跟踪分析；若失信次数小于预设的失信次数阈值，则以预设的跟踪概率为概率对该客户进行跟踪分析。

4.根据权利要求3所述的一种智能超市购物收银结算方法，其特征在于，所述货架重量数据是指安装在超市中每个货架下的重量传感器实时检测的货架重量；

所述客户动作视频数据是指安装在超市内的视频捕获设备实时捕获的该客户的目标跟踪视频；其中，所述目标跟踪视频是指使用视频目标跟踪算法以该客户为目标，获得的实时包含该客户的视频数据。

5.根据权利要求4所述的一种智能超市购物收银结算方法，其特征在于，判断客户是否操作商品的方式为：

在客户动作视频数据中，使用目标识别算法识别该客户的位置，基于客户位置获取其经过的所有的货架编号；

对于每个货架，判断该客户是否经过的方式为：

对于实时的客户动作视频数据，使用动态空间定位方法对该客户进行空间定位，若该客户的空间定位与该货架空间定位的距离趋势为由先不断减小后不断变大，且其中距离的最小值小于预设的第一距离阈值时，判定该客户为经过该货架；

对于每个判断为该客户经过的货架，再判断该客户经过后，再获取该客户远离该货架的时间；在该客户原料该货架时，判断该货架的重量与判断该客户经过时的重量是否小于预设的操作重量阈值，若小于预设的操作重量阈值，则判断为未操作商品，若不小于预设的操作重量阈值，则判断为操作商品。

6.根据权利要求5所述的一种智能超市购物收银结算方法，其特征在于，获取该客户远离该货架的时间的方式为：

在该客户的空间位置与该货架的空间位置的距离趋势为不断增大，且在该距离不断增大的趋势的过程中，出现距离大于预设的第二距离阈值的时刻。

7.根据权利要求6所述的一种智能超市购物收银结算方法，其特征在于，根据客户动作视频数据分析客户操作的商品种类，更新客户购买列表的方式为：

所述客户购买列表包括商品以及该商品的重量；

从客户动作视频数据中获取该客户判断该客户经过该货架之前的该货架的图像，并将该图像标记为第一图像，再从客户动作视频数据中，获取判断该客户远离该货架的时间的图像，并将该图像标记为第二图像；

对于每个判断为该客户经过的货架，若在该客户远离该货架的时间货架的重量比判断该客户经过时的重量小，判断为客户拿取商品，使用图像对比算法，对比第一图像和第二图像，获得在该货架上，第一图像中较第二图像中多出的商品，再使用目标分类算法，获得该商品的类别；在该客户的客户购买列表中添加该商品或将该商品的重量增加重量差值；在客户的客户购买列表中不存在该商品时，添加该商品并将该商品重量更新为重量差值，若在客户的客户购买列表中存在该商品时，将该商品的重量增加重量差值；

若在该客户远离该货架的时间货架的重量比判断该客户经过时的重量大，判断为客户放回商品，使用图像对比算法，对比第一图像和第二图像，获得在该货架上，第二图像中较第一图像中多出的商品，再使用目标分类算法，获得该商品的类别；在该客户的客户购买列表中删除该商品或将该商品的重量减少重量差值；

在客户的客户购买列表中不存在该商品时，不做处理；若该商品的重量小于或等于重量差值，删除该商品，若该商品的重量大于重量差值，将该商品的重量减少重量差值；

所述重量差值是指该客户该客户经过时的重量减去该客户远离该货架的时间货架的重量的绝对值。

8.根据权利要求7所述的一种智能超市购物收银结算方法，其特征在于，基于客户购买列表分析客户是否漏结算的方式为：

在客户进行结算时，客户每结算一项商品和对应的商品重量，从客户购买列表删除该项商品或减少该项商品的重量，直至客户结算完毕；

客户结算完毕后，若客户购买列表不为空，则判断为漏结算；若客户购买列表不空，则判断为未漏结算；

结算的商品重量大于或等于客户购买列表中该商品的重量时，从客户购买列表删除该项商品；结算的商品重量小于客户购买列表中该商品的重量时，将该商品重量减少该客户结算的该商品的重量；

判断客户结算完毕的方式为客户完成买单。