CN207624043U - 商品通关设备及购物*** - Google Patents

Abstract

一种商品通关设备及购物***。所述商品通关设备包括图像生成装置、商品特征提取装置、商品确认装置以及核验装置。所述购物***包括所述商品通关设备、服务器和电子支付***，所述商品通关设备通过电子支付***和/或服务器接收商品交易清单。通过该商品通关设备及购物***，能使消费者在自主结帐后快速进行核验，能够进一步大大减少消费者排队等候的时间。并且，能够减少商家对人力成本的投入，由此降低了商家的交易成本。

Description

商品通关设备及购物***

技术领域

本实用新型涉及一种购物***，以及一种购物***中的商品通关设备。

背景技术

目前，在百货商店等零售业中，对各商品附有条形码、二维码等码标识，采用诸如POS机等扫描***进行结账，消费者必须在收银台将其期望购买的商品逐一呈现给收银员，由收银员将全部商品进行逐件扫描、累计总价，消费者然后才能通过现金或刷卡等方式进行结算，进行商品通关。然而在上述商品通关的过程中，消费者需要花费相当长的时间结账。

特别是，当消费者数量较多时，采用收银员人工逐一核查商品的方式工作量巨大，并将不可避免的产生大量消费者排队拥挤现象，甚至个别消费者由此放弃本次购物。

近年来，随着互联网的发展，相关技术提出了自动/自主结帐***，其相对于传统的结帐方式效率有了一定提高。然而在以往的自动结帐***中，对于已结帐的商品仍需人工核查，无法满足人们快速结帐的需求。

因此，如何提升结账效率、降低交易成本成为本领域亟待解决的问题。

发明内容

有鉴于此，本实用新型提供一种商品通关设备及购物***，以解决现有技术存在的上述问题。

具体地，本实用新型提供一种商品通关设备，其特征在于，包括：

图像生成装置，用于生成包含待验商品的图像；

商品特征提取装置，用于从所述图像生成装置生成的图像中提取一个或多个商品特征；

商品确认装置，用于将所述商品特征提取装置提取的待验商品特征与预存的各对照商品的商品特征进行比较，确认待验商品的种类和/或数量；以及

核验装置，用于核验所述商品确定装置所确认的待验商品的商品种类和 /或数量与商品交易清单中的商品种类和/或数量是否相符，并输出核验结果。

优选的，待验商品种类和/或数量与商品交易清单中的商品种类和/或数量相符是指两者匹配度达到预先设定的匹配度阈值以上。例如，70％以上； 75％以上；80％以上；85％以上；90％以上；95以上％；98以上％；99％以上。

优选的，所述预先设定的匹配度阈值包括但不限于：商品种类匹配度阈值、商品数量匹配度阈值和/或商品金额匹配度阈值等。

优选的，上述商品通关设备中，所述商品确认装置包括计算单元和匹配单元，所述计算单元用于将所述商品特征提取装置提取的待验商品特征与预存的各对照商品的商品特征进行比较，并计算相似度；所述匹配单元用于判断所述计算单元所计算出的相似度是否大于规定的相似度阈值，当计算出的相似度大于规定的相似度阈值时，确认待验商品与对照商品相符。

优选的，所述商品确认装置包括深度学习单元和商品确认单元，所述深度学习单元对预存的各对照商品的商品特征进行模型训练，并生成表征商品特征的先验框；所述确认单元利用所述商品特征提取装置提取的待验商品特征和所述先验框确认待验商品的种类和/或数量。

优选的，所述商品通关设备还包括商品图像区域识别装置，用于将所述图像生成装置所获取的图像分割为多个子图像区域，针对每一子图像区域分别提取子图像特征，基于所提取出的子图像特征识别各子图像区域是否为商品图像区域。其中，所述商品特征提取装置基于所述商品图像区域识别装置识别出的商品图像区域来提取商品特征。

优选的，所述的商品通关设备还包括通关单元，在核验装置的核验结果为待验商品种类和/或数量与商品交易清单中的商品种类和/或数量相符的情况下，所述通关单元输出允许商品通关的指示。

优选的，在核验装置的核验结果为待验商品种类和/或数量与商品交易清单中的商品种类和/或数量不相符的情况下，所述通关单元输出异常提示。

优选的，在计算出的相似度小于规定的相似度阈值的情况下，所述匹配单元提示检测到背景图像和/或商品边缘图像。

优选的，所述相似度阈值为70-100％，例如90％、80％或70％。

优选的，所述对照商品的商品特征包括该对照商品的多个部位外观图片特征。

优选的，所述允许商品通关的指示、所述异常提示包括语音提示信息、图像提示信息、发光提示信息、文本提示信息中的任意一项或多项。

优选的，所述商品通关设备还包括存储装置，所述存储装置预先将各对照商品和与各对照商品相对应的核对用特征相关联地存储。

本实用新型还提供一种购物***，其包括服务器和电子支付***，其特征在于，其还包括上述商品通关设备，所述商品通关设备通过电子支付***和/或服务器接收所述商品交易清单。

对上述各部件的通讯连接方式没有进行限制，可根据具体通信需要选择有线连接、无线连接中的一种或其组合。

有益效果

通过本实用新型所述的商品通关设备及购物***，能使消费者在自主结帐后快速进行核验，能够进一步大大减少消费者排队等候的时间。并且，能够减少商家对人力成本的投入，由此降低了商家的交易成本。

附图说明

图1为本实用新型商品通关设备的一个示例的结构示意图。

具体实施方式

以下通过具体实施方式对本实用新型进行示例性说明，但本实用新型并不局限于这些实施方式。

如图1所示，本实用新型所述的商品通关设备可以包括：

用于获取带有已结帐的待验商品图像的图像生成装置1，所述图像生成装置1包括CPU、ROM、RAM、一个或多个摄像装置(或扫描仪)以及通信接口，所述摄像装置可由CCD图像传感器或CMOS传感器等组件构成。当用户将已结帐的待验商品放置到操作台时，所述摄像装置在CPU的控制下，例如以30fps等的帧速率拍摄图像，生成图像数据，摄像单元将生成的图像数据保存到RAM中；

商品特征提取装置2，所述图像生成装置1将所获取的一个或多个包含商品的图像发送到商品特征提取装置2。所述商品特征提取装置2从所述图像生成装置1所获得的图像中提取一个或多个商品特征。例如，所述商品特征提取装置2提取商品的轮廓、表面的凹凸状况、颜色等中的一个或多个的状态作为商品特征。

商品确认装置3，所述商品确认装置3包括计算单元4和匹配单元5，所述计算单元4将所述商品特征提取装置2所提取的待验商品特征与预存于存储装置8的各对照商品的商品特征进行比较，并计算它们的相似度。

例如分别计算提取出的商品特征与对照商品的直方图，然后计算两个直方图的归一化相关系数(巴氏距离，直方图相交距离)等等。优选的，还可基于特征点来进行图像相似度计算或使用CNN分类模型等算法来计算相似度。

本实用新型对相似度的计算方式不作限制。

优选的，所述对照商品的商品特征包括该对照商品的多个部位外观特征。

优选的，所述计算单元4通过DSP等微处理器来实现。

所述匹配单元5接收所述计算单元4计算出的相似度，判断所述计算单元4所计算出的相似度是否大于规定的相似度阈值，在计算出的相似度大于规定的相似度阈值的情况下，确认待验商品与对照商品相符。

反之，计算出的相似度小于规定的相似度阈值的情况下，所述匹配单元 5提示检测到的图像为商品边缘图像或背景图像。在此情况下，商品通关设备继续下一商品特征的判断。

优选的，所述匹配单元5通过DSP等微处理器或FPGA等可编程阵列来实现。

优选的，所述商品确认装置3括深度学习单元和商品确认单元，所述深度学习单元用于对预存的各对照商品的商品特征进行模型训练，并生成表征商品特征的先验框；在一实施例中，深度学习单元构建多隐层的机器训练模型，模型结构的深度包括5层、6层、甚至10多层的隐层节点。深度学习单元基于全卷积神经网络来生成先验框。

所述确认单元用于利用所述商品特征提取装置提取的待验商品特征和所述先验框确认待验商品的种类和/或数量。

优选的，所述深度学习单元通过多层感知器或自动编码器来实现，所述确认单元例如采用CPU、DSP等各类微处理器。

核验装置6优选包括CPU、ROM、RAM以及通信接口。用于核验所述商品确认装置所确认的待验商品种类和/或数量与商品交易清单中的商品种类和/或数量是否相符，并输出核验结果。

优选的，所述核验装置6核验所述商品确认装置所确认的商品种类和/或数量与商品交易清单中的商品种类和/或数量是否相符。其中，待验商品种类和/或数量与商品交易清单中的商品种类和/或数量相符是指两者匹配度达到预先设定的匹配度阈值以上。例如，70％以上；75％以上；80％以上；85％以上；90％以上；95以上％；98以上％；99％以上。

优选的，所述预先设定的匹配度阈值包括商品种类匹配度阈值、商品数量匹配度阈值和/或商品金额匹配度阈值。

优选的，所述的商品通关设备还包括通关单元，如果所述核验装置6核验结果相符，所述通关单元输出允许商品通关的指示。

优选的，如果所述核验装置6的核验结果不相符，所述通关单元输出异常提示。

优选的，所述允许商品通关的指示、所述异常提示包括语音提示信息、图像提示信息、发光提示信息、文本提示信息中的任意一项或多项。

优选的，所述相似度阈值设置为70-100％，例如90％、80％或70％。

优选的，所述核验装置6将核验的待测商品清单、和/或商品交易清单实时显示在显示单元7上。

优选的，所述核验装置6将核验结果实时显示在显示单元7上。

优选的，所述商品通关设备还包括存储装置8，所述存储装置8预先将各对照商品信息和与各对照商品相对应的商品特征相关联地存储。

在一变型例中，本实用新型的商品通关设备还包括：

商品图像区域识别装置9，用于将所述图像生成装置所获取的图像分割为多个子图像区域，针对每一子图像区域分别提取子图像特征，基于所提取出的子图像特征识别各子图像区域是否为商品图像区域；

例如，商品图像区域识别装置9利用图案匹配技术等识别每一子图像区域是否为商品或商品的一部分。具体地，商品图像区域识别装置9利用二值化图像数据的图像提取轮廓线，利用边缘检测算法或差分算法检测商品图像区域。

其中，所述商品特征提取装置2基于所述商品图像区域识别装置9识别出的商品图像区域来提取商品特征。

此外，本实用新型还提供了一种购物***，包括服务器和电子支付***，其还包括上述商品通关设备，用户通过电子支付***生成商品交易清单，并将该商品交易清单同步发送到服务器，所述商品通关设备通过电子支付***和/或服务器接收所述商品交易清单。

作为更具体的实施方式，所述电子支付***为装有购物APP的智能手机，所述智能手机具有摄像头。

在一具体购物***实施例中，顾客使用手机号码登录APP。在APP内通过手机摄像头扫描商品条码，识别商品后将商品放入购物车。扫描完商品后点击购物车确认待购商品清单。点击支付后选择支付方式(如微信，支付宝) 进行支付。支付完成生成商品交易清单，该商品交易清单同时发送到服务器。

在APP支付专用通道，商品通关设备生成用户已结帐的待验商品图像，将基于待验商品图像提取出的商品特征与预存的对照商品的商品特征进行比较，并计算两者之间的相似度，在计算出的相似度大于规定的相似度阈值的情况下，确认待验商品的种类和/或数量，然而核验所确认的商品种类和/ 或数量与商品交易清单中的商品和/或数量是否相符。例如，商品的种类、数量和/或交易金额是否达到预设的匹配度阈值以上。

如果核验结果相符，则顾客快速通关。

在另一实施方式中，如果核验结果不符，则商品通关设备进行异常提示。用户可选择通过智能手机对未支付商品进行补充支付，在完成补充支付后，通关设备进入通过状态。

Claims (13)

1.一种商品通关设备，其特征在于，包括：

图像生成装置，用于生成包含待验商品的图像；

商品特征提取装置，用于从所述图像生成装置生成的图像中提取一个或多个商品特征；

商品确认装置，用于将所述商品特征提取装置提取的待验商品特征与预存的各对照商品的商品特征进行比较，确认待验商品的种类和/或数量；以及

核验装置，用于核验所述商品确认装置所确认的待验商品种类和/或数量与商品交易清单中的商品种类和/或数量是否相符，并输出核验结果。

2.根据权利要求1所述的商品通关设备，其特征在于，

待验商品种类和/或数量与商品交易清单中的商品种类和/或数量相符是指两者匹配度达到预先设定的匹配度阈值以上。

3.根据权利要求2所述的商品通关设备，其特征在于，

所述预先设定的匹配度阈值包括商品种类匹配度阈值、商品数量匹配度阈值和/或商品金额匹配度阈值。

4.根据权利要求1～3中任一项所述的商品通关设备，其特征在于，所述商品确认装置包括计算单元和匹配单元，所述计算单元用于将所述商品特征提取装置提取的待验商品特征与预存的各对照商品的商品特征进行比较，并计算相似度；所述匹配单元用于判断所述计算单元所计算出的相似度是否大于规定的相似度阈值，当计算出的相似度大于规定的相似度阈值时，确认待验商品与对照商品相符。

5.根据权利要求1～3中任一项所述的商品通关设备，其特征在于，所述商品确认装置包括深度学习单元和商品确认单元，所述深度学习单元用于对预存的各对照商品的商品特征进行模型训练，并生成表征商品特征的先验框；所述确认单元用于利用所述商品特征提取装置提取的待验商品特征和所述先验框确认待验商品的种类和/或数量。

6.根据权利要求1～3中任一项所述的商品通关设备，其特征在于，还包括：

商品图像区域识别装置，用于将所述图像生成装置所获取的图像分割为多个子图像区域，针对每一子图像区域分别提取子图像特征，基于所提取的子图像特征识别各子图像区域是否为商品图像区域；

其中，所述商品特征提取装置基于所述商品图像区域识别装置识别出的商品图像区域来提取商品特征。

7.根据权利要求1～3中任一项所述的商品通关设备，其特征在于，还包括通关单元，在核验装置的核验结果为待验商品种类和/或数量与商品交易清单中的商品种类和/或数量相符的情况下，所述通关单元输出允许商品通关的指示；在核验装置的核验结果为待验商品种类和/或数量与商品交易清单中的商品种类和/或数量不相符的情况下，所述通关单元输出异常提示。

8.根据权利要求4所述的商品通关设备，其特征在于，在计算出的相似度小于规定的相似度阈值的情况下，所述匹配单元提示检测到背景图像和/或商品边缘图像。

9.根据权利要求4所述的商品通关设备，其特征在于，所述相似度阈值设置为70％-100％。

10.根据权利要求1～3中任一项所述的商品通关设备，其特征在于，所述对照商品的商品特征包括该对照商品的多个部位外观特征。

11.根据权利要求7所述的商品通关设备，其特征在于，所述允许商品通关的指示和/或所述异常提示包括语音提示信息、图像提示信息、发光提示信息、文本提示信息中的任意一项或多项。

12.根据权利要求1～3中任一项所述的商品通关设备，其特征在于，还包括存储装置，所述存储装置预先将各对照商品信息和与各对照商品相对应的商品特征相关联地存储。

13.一种购物***，其包括服务器和电子支付***，其特征在于，还包括权利要求1～12任一项所述的商品通关设备，所述商品通关设备通过电子支付***和/或服务器接收所述商品交易清单。