CN111292466A - 售货柜及其订单生成方法和*** - Google Patents

售货柜及其订单生成方法和*** Download PDF

Info

Publication number
CN111292466A
CN111292466A CN201811504746.0A CN201811504746A CN111292466A CN 111292466 A CN111292466 A CN 111292466A CN 201811504746 A CN201811504746 A CN 201811504746A CN 111292466 A CN111292466 A CN 111292466A
Authority
CN
China
Prior art keywords
sales counter
order
probability
selection
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811504746.0A
Other languages
English (en)
Other versions
CN111292466B (zh
Inventor
林金表
刘旭
徐卓然
万保成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Qianshi Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201811504746.0A priority Critical patent/CN111292466B/zh
Publication of CN111292466A publication Critical patent/CN111292466A/zh
Application granted granted Critical
Publication of CN111292466B publication Critical patent/CN111292466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F11/00—Coin-freed apparatus for dispensing, or the like, discrete articles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/006—Details of the software used for the vending machines

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Vending Devices And Auxiliary Devices For Vending Devices (AREA)

Abstract

本发明公开了一种售货柜及其订单生成方法和***。所述订单生成方法包括以下步骤：获取所述售货柜中的物品的重量变化数据；根据所述重量变化数据生成至少一物品挑选清单；获取被挑选的物品的图像信息；根据所述图像信息更新所述物品挑选清单；根据更新后的物品挑选清单生成订单。本发明利用售货柜中物品的重力信息，综合图像识别算法进行推理，能准确识别用户从售货柜中挑选的物品，生成准确的购物订单。

Description

售货柜及其订单生成方法和***
技术领域
本发明涉及无人售货领域，特别涉及一种自选式售货柜及其订单生成方法和***。
背景技术
目前，零售业处于巨大的变革当中，新技术已经把零售业推到了风口浪尖，市面上广泛成熟使用的自动售货机，近年来虽然在支付手段上有所突破，但其在成本、效率、体验上都已跟不上时代的需求。因此，一种能够同时实现自动结算和自助拿取的自选式售货机，是未来零售行业的一个主流发展方向。
现有技术中，自选式售货机识别用户购买商品并生成订单的方法主要有以下三种：
一是利用RFID(射频识别)技术，在每件商品贴上RFID标签，通过RFID读写器识别商品信息；该方式制作成本高，且由于每件商品都需要粘贴RFID标签，还增加了补货的人力成本。另外，RFID读写器很难识别商品是在柜门内外，容易发生错误；
二是利用重力传感器技术，通过货架重量变化，实现商品数量变化的识别；该方式不能准确识别商品信息，不能解决不同货架层之间的商品错放问题；
三是利用图像识别技术，可以识别用户的拿取动作和货架商品数量的变化；然而该方式很难在用户拿取商品的过程中准确识别商品类别，尤其是对于水饮等外观差别不大的商品。
发明内容
本发明要解决的技术问题是为了克服现有技术中售货机的订单生成方式在识别用户挑选的商品时，容易发生错误，导致不能准确生成订单的缺陷，提供一种售货柜及其订单生成方法和***。
本发明是通过下述技术方案来解决上述技术问题：
一种售货柜的订单生成方法，所述订单生成方法包括以下步骤：
获取所述售货柜中的物品的重量变化数据；
根据所述重量变化数据生成至少一物品挑选清单；
获取被挑选的物品的图像信息；
根据所述图像信息更新所述物品挑选清单；
根据更新后的物品挑选清单生成订单。
较佳地，所述物品挑选清单包括：选择概率；
根据所述重量变化数据生成至少一物品挑选清单的步骤，具体包括：
计算当前时刻的物品挑选清单与上一时刻的物品挑选清单的相似度；
根据所述相似度计算所述选择概率；
所述选择概率表征每个物品挑选清单与实际被挑选的物品的匹配概率。
较佳地，根据所述相似度生成所述选择概率的步骤之后，还包括：
根据权重系数修改所述选择概率。
较佳地，根据所述图像信息更新所述物品挑选清单，具体包括：
根据所述图像信息并基于贝叶斯推理算法更新所述选择概率。
较佳地，所述图像信息包括：物品数量和对应的置信度；
根据所述图像信息并基于贝叶斯推理算法更新所述选择概率，具体包括：
根据所述物品数量和所述置信度并基于贝叶斯推理算法更新所述选择概率。
较佳地，根据所述物品挑选清单生成订单的步骤，具体包括：
将所述选择概率为最大值的物品挑选清单确定为订单。
较佳地，将所述选择概率为最大值的物品挑选清单确定为订单的步骤之后，还包括：
判断最大的选择概率是否小于概率阈值；
在判断为是时，提示物品展示提醒，并返回获取物品的图像信息的步骤。
较佳地，所述售货柜包括：电子门锁；
获取所述售货柜中的物品的重量变化的步骤之前，还包括：
获取购物请求；所述购物请求包括用户信息；
验证所述用户信息，并在验证通过时解锁所述电子门锁。
较佳地，根据所述物品挑选清单生成订单的步骤之后，还包括：
判断所述电子门锁是否上锁；
在判断为否时，返回获取所述售货柜中的物品的重量变化数据的步骤；
在判断为是时，根据所述订单更新所述售货柜的库存信息；和/或，根据所述订单生成支付信息。
一种售货柜的订单生成***，所述订单生成***包括：
重量传感器，用于获取所述售货柜中的物品的重量变化数据；
控制模块，用于根据所述重量变化数据生成至少一物品挑选清单；
摄像装置，用于获取被挑选的物品的图像信息；
所述控制模块还用于根据所述图像信息更新所述物品挑选清单，并根据更新后的物品挑选清单生成订单。
较佳地，所述物品挑选清单包括：选择概率；
所述控制模块具体包括：
计算单元，用于计算当前时刻的物品挑选清单与上一时刻的物品挑选清单的相似度，并根据所述相似度计算所述选择概率；
所述选择概率表征每个物品挑选清单与实际被挑选的物品的匹配概率。
较佳地，所述控制模块还包括：
修正单元，用于根据权重系数修改所述选择概率。
较佳地，所述控制模块还包括：
更新单元，用于根据所述图像信息并基于贝叶斯推理算法更新所述选择概率。
较佳地，所述图像信息包括：物品数量和对应的置信度；
所述更新单元具体用于根据所述物品数量和所述置信度并基于贝叶斯推理算法更新所述选择概率。
较佳地，所述控制模块还包括：
选择单元，用于将所述选择概率为最大值的物品挑选清单确定为订单。
较佳地，所述控制模块还包括：判断单元和提示单元；
所述判断单元用于在判断最大的选择概率小于概率阈值时，调用所述提示单元；
所述提示单元用于提示物品展示提醒，并调用所述摄像装置。
较佳地，所述售货柜包括：电子门锁；
所述订单生成***还包括：
请求获取模块，用于获取购物请求；所述购物请求包括用户信息；
验证模块，用于验证所述用户信息，并在验证通过时解锁所述电子门锁。
较佳地，所述订单生成***还包括：判断模块、库存更新模块和/或支付模块；
所述判断模块用于判断所述电子门锁是否上锁，并在判断为否时，调用所述重量传感器；在判断为是时，调用所述库存更新模块和/或支付模块；
所述库存更新模块用于根据所述订单更新所述售货柜的库存信息；
所述支付模块用于根据所述订单生成支付信息。
一种售货柜，所述售货柜包括如上任意一项所述的售货柜的订单生成***。
本发明的积极进步效果在于：本发明利用售货柜中物品的重力信息，综合图像识别算法进行推理，能准确识别用户从售货柜中挑选的物品，生成准确的购物订单。
附图说明
图1为本发明实施例1的售货柜的订单生成方法的流程图。
图2为本发明实施例4的售货柜的结构示意图。
图3为本发明实施例4的售货柜的订单生成***的模块示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供一种售货柜的订单生成方法，该售货柜是一种自选式的无人售货柜，售货柜的柜门上设有电子门锁。用户可根据实际需求从该售货柜中挑选自己需要的物品。
如图1所示，本实施例的订单生成方法包括以下步骤：
步骤110、获取购物请求。
其中，购物请求包括用户信息。具体的，用户可通过移动终端与售货柜建立通信连接，并通过购物APP(应用程序)向售货柜发送购物请求。
步骤120、售货柜验证用户信息，并在验证通过时解锁电子门锁。
此时，用户可以挑选售货柜中的物品，当用户从售货柜中取出一物品时，售货柜中存储的物品的库存量和重量会发生变化。
步骤130、获取售货柜中物品的重量变化数据。
步骤130中，可采用重量传感器实时或间隔获取售货柜中物品的重量变化数据。若售货柜包括多个摆货层，每个摆货层均设有重量传感器，重量变化数据也即当前时刻所有摆货层上的物品的重量mt与上一时刻所有摆货层上的物品的重量mt-1的差值。
步骤140、根据重量变化数据生成至少一物品挑选清单。
物品挑选清单也即用户可能挑选的物品清单，该清单可通过向量表示，若售货柜中包括N种物品，那么可以采用N维向量
Figure BDA0001899150930000051
表示物品挑选清单，其中xi表示用户选取第i种物品的数量，1≤i≤N。用矩阵
Figure BDA0001899150930000052
表示当前所有可能的物品挑选清单，M为可能的物品挑选清单的数量，1≤j≤M。
例如，若售货柜包括三种物品A、B、C，三种物品的重量分别为50g、100g、100g。重量传感器检测到当前售货柜中物品的重量变化数据为100g，也即用户从售货柜中取出100g物品，那么用户的物品挑选清单有三种可能：2个A物品；1个B物品；1个C物品，对应有：
Figure BDA0001899150930000061
本实施例中，物品挑选清单包括：选择概率。选择概率用于表征每个物品挑选清单与用户实际挑选的物品的匹配概率，也即物品挑选清单的可能性，概率高的说明被选择的可能性较大。
以下对选择概率的计算过程进行说明：
步骤140-1、计算当前时刻的物品挑选清单与上一时刻的物品挑选清单的相似度。
相似度的计算有多种选择，本实施例中将当前的物品挑选清单的矩阵与上一时刻的物品挑选清单的矩阵中相同的元素个数定义为相似度。
例如，若当前的物品挑选清单的矩阵为：
Figure BDA0001899150930000062
上一时刻的物品挑选清单的矩阵为：
Figure BDA0001899150930000063
对于Xt的每一列向量
Figure BDA0001899150930000064
与Xt-1的每一列向量
Figure BDA0001899150930000065
的相似度记为
Figure BDA0001899150930000066
也即
Figure BDA0001899150930000067
与
Figure BDA0001899150930000068
相同的元素的个数。其中，1≤n≤M，1≤m≤M。
R21表示Xt-1中第2个列向量
Figure BDA0001899150930000069
与Xt的第1个列向量
Figure BDA00018991509300000610
0,0]T相同的元素个数，R21＝1，分别计算Rmn，得到相似矩阵R为：
Figure BDA0001899150930000071
为了便于计算，对相似矩阵R进行归一化，使得∑nRmn＝1，也即使得R中每一列向量中元素的和为1。归一化后的结果为：
Figure BDA0001899150930000072
步骤140-2、根据相似度生成选择概率。
用向量
Figure BDA0001899150930000073
表示所有物品挑选清单的选择概率，当前时刻的选择概率向量
Figure BDA0001899150930000074
也即相似矩阵与上一时刻的选择概率
Figure BDA0001899150930000075
的乘积；需要说明的是，用户发送购买请求，但未挑选物品时，初始物品挑选清单X0＝[0]，选择概率
Figure BDA0001899150930000076
电子门锁解锁，用户第一次挑选物品后，上一时刻的选择概率(初始选择概率)为πt-1＝[1]T，当前时刻的选择概率则为
Figure BDA0001899150930000077
为了计算方便，对
Figure BDA0001899150930000078
进行归一化，得到
Figure BDA0001899150930000079
本实施例中，步骤140-2之后，还可根据权重系数修改选择概率。其中，权重系数可以根据经验获得。比如调高更受用户青睐的物品挑选清单所对应的选择概率的权重系数。
步骤150、获取被挑选的物品的图像信息。
其中，物品的图像信息可通过摄像头获取。需要说明的是，摄像头的数量可设置为一个，也可设置为多个。为了节约生产成本，本实施例中采用一个摄像头。图像信息包括物品的类别和物品数量。具体的，基于卷积神经网络的图像检测方法检测图像以获取图像信息，并采用向量
Figure BDA00018991509300000710
记录当前时刻的检测结果，其中yi表示检测到的第i种商品的数量。本步骤采用的图像检测方法目前已有多种成熟算法可供选择，比如Faster RCNN(Faster Region-based Convolutional Neural Networks，快速区域卷积神经网络)、SSD(Single Shot MultiBox Detector，基于多检测框的单次扫描检测器)、YOLO(You OnlyLook Once，基于单次扫描的目标检测***)网络等。
还是以A、B、C三种物品为例，假设当前图像检测到了1个B商品，那么检测向量为
Figure BDA0001899150930000081
步骤160、根据图像信息更新物品挑选清单。
具体的，步骤160中根据图像信息更新选择概率。优选地，基于贝叶斯推理算法更新物品挑选清单的选择概率。
对于Xt的每一列向量
Figure BDA0001899150930000082
计算先验概率
Figure BDA0001899150930000083
也就是物品挑选清单为
Figure BDA0001899150930000084
时，图像检测到
Figure BDA0001899150930000085
的概率。先验概率的计算公式可根据实际情况自行设置。比如，假设只要
Figure BDA0001899150930000086
的每个元素都不小于
Figure BDA0001899150930000087
对应位置的元素，则就能以一定的概率p检测到
Figure BDA0001899150930000088
那么在这个假设条件下，有：
Figure BDA0001899150930000089
以
Figure BDA00018991509300000810
和
Figure BDA00018991509300000811
为例，Xt中只有第二个向量[0,1,0]T满足全部元素都不小于
Figure BDA00018991509300000812
对应位置的元素，那么
Figure BDA00018991509300000813
Figure BDA00018991509300000814
根据贝叶斯公式计算后验概率
Figure BDA00018991509300000815
也就是图像检测到
Figure BDA00018991509300000816
时物品挑选清单为
Figure BDA00018991509300000817
的概率。由贝叶斯公式，有：
Figure BDA00018991509300000818
其中，πj和πi为选择概率向量
Figure BDA00018991509300000819
中的元素，可以用后验概率向量
Figure BDA00018991509300000820
表示图像检测到
Figure BDA00018991509300000821
时用户所有可能的物品挑选清单的概率。
从而，若步骤140-2中计算得到
Figure BDA00018991509300000822
那么
Figure BDA00018991509300000823
Figure BDA00018991509300000824
后验概率
Figure BDA00018991509300000825
进而，根据图像信息对选择概率进行更新后，新的选择概率
Figure BDA00018991509300000826
Figure BDA00018991509300000827
其中，β是更新速率，可根据实际需求自行设置，例如，将β设置为0.4，那么最终得到
Figure BDA0001899150930000091
步骤170、根据更新后的物品挑选清单生成订单。
步骤170中也即在更新后的物品挑选清单中，将选择概率最大的物品挑选清单确定为购物订单。若
Figure BDA0001899150930000092
则将物品挑选清单
Figure BDA0001899150930000093
确定为购物订单，说明此时用户实际从售货柜中挑选了1个B商品。
为了减小图像识别出错的概率，进一步提高准确度，本实施例中，步骤170之后，还包括：
步骤170-1、判断该最大的选择概率是否小于概率阈值。
其中，概率阈值可根据实际需求自行设置，例如设为0.8。
步骤170-1中，若判断为是，则执行步骤170-2；若判断为否，则执行步骤180。
步骤170-2、提示物品展示提醒。并返回步骤150，重新获取被挑选的物品的图像信息。
步骤180、判断电子门锁是否上锁。
在判断为否时，说明用户购物未结束，返回步骤130。在判断为是时，说明用户结束购物，执行步骤190。
步骤190、根据订单更新售货柜的库存信息；和/或，根据订单生成支付信息。
本实施例中，利用售货柜的重力信息确定所有可能的物品挑选清单，并用选择概率描述物品挑选清单的可能性，作为本次用户购买行为是否正常的可靠判据，通过建立图像识别结果与物品挑选清单的联系，采用贝叶斯公式计算后验概率，从而能降低图像识别结果出错造成的影响，能准确核验用户从售货柜中挑选的物品，提高购物订单的准确性。
实施例2
实施例2与实施例1基本相同，不同之处在于，本实施例中在更新选择概率时，还进一步考虑置信度。图像检测时，检测结果表示为
Figure BDA0001899150930000094
其中，θ表示Faster RCNN或SSD或YOLO输出的检测结果的置信度。以下对选择概率的更新方式作具体说明：
先计算先验概率
Figure BDA0001899150930000101
如果
Figure BDA0001899150930000102
的第i个元素大于
Figure BDA0001899150930000103
对应位置的元素，则
Figure BDA0001899150930000104
令初始
Figure BDA0001899150930000105
还是以
Figure BDA0001899150930000106
和
Figure BDA0001899150930000107
为例，得到
Figure BDA0001899150930000108
Figure BDA0001899150930000109
再由
Figure BDA00018991509300001010
计算后验概率，后验概率的计算公式和后续步骤与实施例1类似，此处不再赘述。
实施例3
本实施例中设置多个摄像头用来获取图像信息，多个摄像头可分散设置于有利于获取用户拿取物品的图像的售货柜的内壁面及柜门上方，以提高图像检测精度。
本实施例的订单生成方法与实施例2基本相同，不同之处在于，本实施例中融合多个摄像头的后验概率更新选择概率，具体的：
每个摄像头输出的检测结果表示为
Figure BDA00018991509300001011
1≤k≤q，q表示摄像头的数量。
依次根据每个摄像头获取的图像信息计算先验概率
Figure BDA00018991509300001012
如果
Figure BDA00018991509300001013
的第i个元素大于
Figure BDA00018991509300001014
对应位置的元素，则
Figure BDA00018991509300001015
之后对
Figure BDA00018991509300001016
进行归一化，即
Figure BDA00018991509300001017
再求后验概率，公式如下：
Figure BDA00018991509300001018
之后，可以用后验概率向量
Figure BDA00018991509300001019
表示第k个摄像头获取的图像信息中检测到
Figure BDA00018991509300001020
时用户所有可能的物品挑选清单的概率。
最后，对计算得到的所有
Figure BDA0001899150930000111
求均值，将该均值作为整体后验概率。
实施例4
本实施例提供一种售货柜，如图2-3所示，该售货柜包括柜门、多个摆货层1、电子门锁2和订单生成***。电子门锁安装于柜门上，摆货层用于放置物品，摆货层的数量可根据实际需求自行设置。本实施例中，柜门上还可以安装有帮助柜门自行关闭的自动闭门器，还可在售货柜上安装显示屏。
具体的，如图3所示，本实施例中，订单生成***包括：请求获取模块31、验证模块32、重量传感器33、控制模块34、摄像装置35、判断模块36、库存更新模块37和支付模块38。重量传感器33、摄像装置35和判断模块36均与控制模块32电连接。判断模块36还与库存更新模块37和支付模块38电连接。请求获取模块31和电子门锁2均与验证模块32电连接。重量传感器33设置于每个摆货层的下方；摄像装置33安装于售货柜的柜门上方，其监控区域为摆货层的前方。
本实施例中，摄像装置33可采用摄像头实现。需要说明的是，摄像头的数量可设置为一个，也可设置为多个。为了节约生产成本，本实施例中采用一个摄像头。
本实施例的控制模块34具体包括：计算单元341、修正单元342、更新单元343和选择单元344。
用户需要通过售货柜购买物品时，可通过移动终端与售货柜建立通信连接，并通过购物APP(应用程序)向售货柜发送购物请求。
请求获取模块31在获取购物请求后，将该购物请求发送至验证模块32。其中，购物请求包括用户信息。
验证模块32验证用户信息，并在验证通过时解锁电子门锁2。此时，用户可以挑选售货柜中的物品，当用户从售货柜中取出一物品时，售货柜中存储的物品的库存量和重量会发生变化。
重量传感器33用于获取售货柜中的物品的重量变化数据并发送至控制模块34。重量变化数据也即当前时刻所有摆货层上的物品的重量mt与上一时刻所有摆货层上的物品的重量mt-1的差值。
控制模块34用于根据重量变化数据生成至少一物品挑选清单。
物品挑选清单也即用户可能挑选的物品清单，该清单可通过向量表示，若售货柜中包括N种物品，那么可以采用N维向量
Figure BDA0001899150930000121
表示物品挑选清单，其中xi表示用户选取第i种物品的数量，1≤i≤N。用矩阵
Figure BDA0001899150930000122
表示当前所有可能的物品挑选清单，M为可能的物品挑选清单的数量，1≤j≤M。
例如，若售货柜包括三种物品A、B、C，三种物品的重量分别为50g、100g、100g。重量传感器检测到当前售货柜中物品的重量变化数据为100g，也即用户从售货柜中取出100g物品，那么用户的物品挑选清单有三种可能：2个A物品；1个B物品；1个C物品，对应有：
Figure BDA0001899150930000123
本实施例中，物品挑选清单包括：选择概率。选择概率用于表征每个物品挑选清单与用户实际挑选的物品的匹配概率，也即物品挑选清单的可能性，概率高的说明被选择的可能性较大。
以下对选择概率的计算过程进行说明：
计算单元341计算当前时刻的物品挑选清单与上一时刻的物品挑选清单的相似度，并根据相似度计算选择概率。
相似度的计算有多种选择，本实施例中将当前的物品挑选清单的矩阵与上一时刻的物品挑选清单的矩阵中相同的元素个数定义为相似度。
例如，若当前的物品挑选清单的矩阵为：
Figure BDA0001899150930000124
上一时刻的物品挑选清单的矩阵为：
Figure BDA0001899150930000131
对于Xt的每一列向量
Figure BDA0001899150930000132
与Xt-1的每一列向量
Figure BDA0001899150930000133
的相似度记为
Figure BDA0001899150930000134
也即
Figure BDA0001899150930000135
与
Figure BDA0001899150930000136
相同的元素的个数。其中，1≤n≤M，1≤m≤M。
R21表示Xt-1中第2个列向量
Figure BDA0001899150930000137
与Xt的第1个列向量
Figure BDA0001899150930000138
Figure BDA0001899150930000139
相同的元素个数，R21＝1，分别计算Rmn，得到相似矩阵R为：
Figure BDA00018991509300001310
为了便于计算，对相似矩阵R进行归一化，使得∑nRmn＝1，也即使得R中每一列向量中元素的和为1。归一化后的结果为：
Figure BDA00018991509300001311
用向量
Figure BDA00018991509300001312
表示所有物品挑选清单的选择概率，当前时刻的选择概率向量
Figure BDA00018991509300001313
也即相似矩阵与上一时刻的选择概率
Figure BDA00018991509300001314
的乘积；需要说明的是，用户发送购买请求，但未挑选物品时，初始物品挑选清单X0＝[0]，选择概率
Figure BDA00018991509300001315
电子门锁解锁，用户第一次挑选物品后，当前时刻的选择概率则为
Figure BDA00018991509300001316
为了计算方便，对
Figure BDA00018991509300001317
进行归一化，得到
Figure BDA00018991509300001318
本实施例中，还可对选择概率进行微调。具体的，修正单元342根据权重系数修改选择概率。其中，权重系数可以根据经验获得。比如可以根据权重系数调高更受用户青睐的物品挑选清单所对应的选择概率。
摄像装置35用于获取被挑选的物品的图像信息。
其中，图像信息包括物品的类别和物品数量。具体的，基于卷积神经网络的图像检测方法检测图像以获取图像信息，并采用向量
Figure BDA00018991509300001319
记录当前时刻的检测结果，其中yi表示检测到的第i种商品的数量。其中，图像检测方法目前已有多种成熟算法可供选择，比如Faster RCNN、SSD、YOLO网络等。
还是以A、B、C三种物品为例，假设当前图像检测到了1个B商品，那么检测向量为
Figure BDA0001899150930000141
控制模块34则根据图像信息更新物品挑选清单，并根据物品挑选清单生成订单。
更新物品挑选清单也即更新每个物品挑选清单的选择概率。具体的，更新单元343根据图像信息并基于贝叶斯推理算法更新选择概率，以下提供一种可能的实现方式：
对于Xt的每一列向量
Figure BDA0001899150930000142
计算先验概率
Figure BDA0001899150930000143
也就是物品挑选清单为
Figure BDA0001899150930000144
时，图像检测到
Figure BDA00018991509300001423
的概率。先验概率的计算公式可根据实际情况自行设置。比如，假设只要
Figure BDA0001899150930000146
的每个元素都不小于
Figure BDA00018991509300001422
对应位置的元素，则就能以一定的概率p检测到
Figure BDA0001899150930000148
那么在这个假设条件下，有：
Figure BDA0001899150930000149
以
Figure BDA00018991509300001410
和
Figure BDA00018991509300001411
为例，Xt中只有第二个向量[0,1,0]T满足全部元素都不小于
Figure BDA00018991509300001424
对应位置的元素，那么
Figure BDA00018991509300001413
Figure BDA00018991509300001414
根据贝叶斯公式计算后验概率
Figure BDA00018991509300001415
也就是图像检测到
Figure BDA00018991509300001416
时物品挑选清单为
Figure BDA00018991509300001417
的概率。由贝叶斯公式，有：
Figure BDA00018991509300001418
其中，πj和πi为选择概率向量
Figure BDA00018991509300001419
中的元素，可以用后验概率向量
Figure BDA00018991509300001420
表示图像检测到
Figure BDA00018991509300001425
时用户所有可能的物品挑选清单的概率。
从而，若计算单元计算得到
Figure BDA0001899150930000151
那么
Figure BDA0001899150930000152
Figure BDA0001899150930000153
后验概率
Figure BDA0001899150930000154
进而，根据图像信息对选择概率进行更新后，新的选择概率
Figure BDA0001899150930000155
Figure BDA0001899150930000156
其中，β是更新速率，可根据实际需求自行设置，例如，将β设置为0.4，那么最终得到
Figure BDA0001899150930000157
以下提供另一种更新选择概率的可能的实现方式，其中进一步考虑了置信度，以提高图像检测的精度，图像检测时，检测结果表示为
Figure BDA0001899150930000158
其中，θ表示Faster RCNN或SSD或YOLO输出的检测结果的置信度，具体的：
先计算先验概率
Figure BDA0001899150930000159
如果
Figure BDA00018991509300001522
的第i个元素大于
Figure BDA00018991509300001521
对应位置的元素，则
Figure BDA00018991509300001512
令初始
Figure BDA00018991509300001513
还是以
Figure BDA00018991509300001514
和
Figure BDA00018991509300001523
为例，得到
Figure BDA00018991509300001516
Figure BDA00018991509300001517
再由
Figure BDA00018991509300001518
计算后验概率，后续步骤与上述未考虑置信度时选择概率更新过程类似，此处不再赘述。
选择单元344则将选择概率为最大值的物品挑选清单确定为订单。若
Figure BDA00018991509300001519
选择单元则将物品挑选清单
Figure BDA00018991509300001524
确定为购物订单，说明此时用户实际从售货柜中挑选了1个B商品。
为了减小图像识别出错的概率，进一步提高准确度，本实施例中，控制模块还包括：判断单元345和提示单元346。
判断单元345判断最大的选择概率是否小于概率阈值，并在判断为是时，调用提示单元346。其中，概率阈值可根据实际需求自行设置，例如设为0.8。
提示单元346用于提示物品展示提醒，并调用摄像装置35，以重新获取被挑选的物品的图像信息。
判断单元345在判断最大的选择概率不小于概率阈值时，调用判断模块36。
判断模块36用于判断电子门锁是否上锁，在判断为否时，说明用户购物未结束，则调用重量传感器33重新监测售货柜的重量信息；在判断为是时，说明用户结束购物，则调用库存更新模块37和/或支付模块38。
库存更新模块37用于根据订单更新售货柜的库存信息；支付模块38用于根据订单生成支付信息。
本实施例中，利用售货柜的重力信息确定所有可能的物品挑选清单，并用选择概率描述物品挑选清单的可能性，作为本次用户购买行为是否正常的可靠判据，通过建立图像识别结果与物品挑选清单的联系，采用贝叶斯公式计算后验概率，从而能降低图像识别结果出错造成的影响，能准确核验用户从售货柜中挑选的物品，提高购物订单的准确性。
实施例5
实施例5与实施例4基本相同，不同之处在于，本实施例中设置多个摄像头用来获取图像信息，多个摄像头可分散设置于有利于获取用户拿取物品的图像的售货柜的内壁面及柜门上方，以提高图像检测精度。
本实施例中，更新单元343更新选择概率的方式如下：
每个摄像头输出的检测结果表示为
Figure BDA0001899150930000161
1≤k≤q，q表示摄像头的数量。
依次根据每个摄像头获取的图像信息计算先验概率
Figure BDA0001899150930000162
如果
Figure BDA0001899150930000163
的第i个元素大于
Figure BDA0001899150930000164
对应位置的元素，则
Figure BDA0001899150930000165
对
Figure BDA0001899150930000166
进行归一化，即
Figure BDA0001899150930000167
再求后验概率，公式如下：
Figure BDA0001899150930000168
之后，可以用后验概率向量
Figure BDA0001899150930000169
表示第k个摄像头获取的图像信息中检测到
Figure BDA00018991509300001610
时用户所有可能的物品挑选清单的概率。
最后，对计算得到的所有
Figure BDA0001899150930000171
求均值，将该均值作为整体后验概率。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (19)

1.一种售货柜的订单生成方法，其特征在于，所述订单生成方法包括以下步骤：
获取所述售货柜中的物品的重量变化数据；
根据所述重量变化数据生成至少一物品挑选清单；
获取被挑选的物品的图像信息；
根据所述图像信息更新所述物品挑选清单；
根据更新后的物品挑选清单生成订单。
2.如权利要求1所述的售货柜的订单生成方法，其特征在于，所述物品挑选清单包括：选择概率；
根据所述重量变化数据生成至少一物品挑选清单的步骤，具体包括：
计算当前时刻的物品挑选清单与上一时刻的物品挑选清单的相似度；
根据所述相似度计算所述选择概率；
所述选择概率表征每个物品挑选清单与实际被挑选的物品的匹配概率。
3.如权利要求2所述的售货柜的订单生成方法，其特征在于，根据所述相似度生成所述选择概率的步骤之后，还包括：
根据权重系数修改所述选择概率。
4.如权利要求2所述的售货柜的订单生成方法，其特征在于，根据所述图像信息更新所述物品挑选清单，具体包括：
根据所述图像信息并基于贝叶斯推理算法更新所述选择概率。
5.如权利要求4所述的售货柜的订单生成方法，其特征在于，所述图像信息包括：物品数量和对应的置信度；
根据所述图像信息并基于贝叶斯推理算法更新所述选择概率，具体包括：
根据所述物品数量和所述置信度并基于贝叶斯推理算法更新所述选择概率。
6.如权利要求2所述的售货柜的订单生成方法，其特征在于，根据所述物品挑选清单生成订单的步骤，具体包括：
将所述选择概率为最大值的物品挑选清单确定为订单。
7.如权利要求6所述的售货柜的订单生成方法，其特征在于，将所述选择概率为最大值的物品挑选清单确定为订单的步骤之后，还包括：
判断最大的选择概率是否小于概率阈值；
在判断为是时，提示物品展示提醒，并返回获取物品的图像信息的步骤。
8.如权利要求1所述的售货柜的订单生成方法，其特征在于，所述售货柜包括：电子门锁；
获取所述售货柜中的物品的重量变化的步骤之前，还包括：
获取购物请求；所述购物请求包括用户信息；
验证所述用户信息，并在验证通过时解锁所述电子门锁。
9.如权利要求8所述的售货柜的订单生成方法，其特征在于，根据所述物品挑选清单生成订单的步骤之后，还包括：
判断所述电子门锁是否上锁；
在判断为否时，返回获取所述售货柜中的物品的重量变化数据的步骤；
在判断为是时，根据所述订单更新所述售货柜的库存信息；和/或，根据所述订单生成支付信息。
10.一种售货柜的订单生成***，其特征在于，所述订单生成***包括：
重量传感器，用于获取所述售货柜中的物品的重量变化数据；
控制模块，用于根据所述重量变化数据生成至少一物品挑选清单；
摄像装置，用于获取被挑选的物品的图像信息；
所述控制模块还用于根据所述图像信息更新所述物品挑选清单，并根据更新后的物品挑选清单生成订单。
11.如权利要求10所述的售货柜的订单生成***，其特征在于，所述物品挑选清单包括：选择概率；
所述控制模块具体包括：
计算单元，用于计算当前时刻的物品挑选清单与上一时刻的物品挑选清单的相似度，并根据所述相似度计算所述选择概率；
所述选择概率表征每个物品挑选清单与实际被挑选的物品的匹配概率。
12.如权利要求11所述的售货柜的订单生成***，其特征在于，所述控制模块还包括：
修正单元，用于根据权重系数修改所述选择概率。
13.如权利要求11所述的售货柜的订单生成***，其特征在于，所述控制模块还包括：
更新单元，用于根据所述图像信息并基于贝叶斯推理算法更新所述选择概率。
14.如权利要求13所述的售货柜的订单生成***，其特征在于，所述图像信息包括：物品数量和对应的置信度；
所述更新单元具体用于根据所述物品数量和所述置信度并基于贝叶斯推理算法更新所述选择概率。
15.如权利要求11所述的售货柜的订单生成***，其特征在于，所述控制模块还包括：
选择单元，用于将所述选择概率为最大值的物品挑选清单确定为订单。
16.如权利要求15所述的售货柜的订单生成***，其特征在于，所述控制模块还包括：判断单元和提示单元；
所述判断单元用于在判断最大的选择概率小于概率阈值时，调用所述提示单元；
所述提示单元用于提示物品展示提醒，并调用所述摄像装置。
17.如权利要求10所述的售货柜的订单生成***，其特征在于，所述售货柜包括：电子门锁；
所述订单生成***还包括：
请求获取模块，用于获取购物请求；所述购物请求包括用户信息；
验证模块，用于验证所述用户信息，并在验证通过时解锁所述电子门锁。
18.如权利要求17所述的售货柜的订单生成***，其特征在于，所述订单生成***还包括：判断模块、库存更新模块和/或支付模块；
所述判断模块用于判断所述电子门锁是否上锁，并在判断为否时，调用所述重量传感器；在判断为是时，调用所述库存更新模块和/或支付模块；
所述库存更新模块用于根据所述订单更新所述售货柜的库存信息；
所述支付模块用于根据所述订单生成支付信息。
19.一种售货柜，其特征在于，所述售货柜包括如权利要求10-18中任意一项所述的售货柜的订单生成***。
CN201811504746.0A 2018-12-10 2018-12-10 售货柜及其订单生成方法和*** Active CN111292466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811504746.0A CN111292466B (zh) 2018-12-10 2018-12-10 售货柜及其订单生成方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811504746.0A CN111292466B (zh) 2018-12-10 2018-12-10 售货柜及其订单生成方法和***

Publications (2)

Publication Number Publication Date
CN111292466A true CN111292466A (zh) 2020-06-16
CN111292466B CN111292466B (zh) 2022-06-07

Family

ID=71028959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811504746.0A Active CN111292466B (zh) 2018-12-10 2018-12-10 售货柜及其订单生成方法和***

Country Status (1)

Country Link
CN (1) CN111292466B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1229301A (zh) * 1967-12-20 1971-04-21
CN106485567A (zh) * 2016-09-14 2017-03-08 北京小米移动软件有限公司 物品推荐方法及装置
CN108009560A (zh) * 2016-11-02 2018-05-08 广州图普网络科技有限公司 商品图像相似类别判定方法及装置
CN108335408A (zh) * 2018-03-02 2018-07-27 北京京东尚科信息技术有限公司 用于自动售货机的物品识别方法、装置、***及存储介质
CN108364422A (zh) * 2018-02-24 2018-08-03 广州逗号智能零售有限公司 无人售货方法及装置
CN108389315A (zh) * 2018-03-02 2018-08-10 北京京东尚科信息技术有限公司 物品识别方法和装置以及计算机可读存储介质
CN108875664A (zh) * 2018-06-27 2018-11-23 北京京东尚科信息技术有限公司 选购商品的识别方法、装置以及售货机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1229301A (zh) * 1967-12-20 1971-04-21
CN106485567A (zh) * 2016-09-14 2017-03-08 北京小米移动软件有限公司 物品推荐方法及装置
CN108009560A (zh) * 2016-11-02 2018-05-08 广州图普网络科技有限公司 商品图像相似类别判定方法及装置
CN108364422A (zh) * 2018-02-24 2018-08-03 广州逗号智能零售有限公司 无人售货方法及装置
CN108335408A (zh) * 2018-03-02 2018-07-27 北京京东尚科信息技术有限公司 用于自动售货机的物品识别方法、装置、***及存储介质
CN108389315A (zh) * 2018-03-02 2018-08-10 北京京东尚科信息技术有限公司 物品识别方法和装置以及计算机可读存储介质
CN108875664A (zh) * 2018-06-27 2018-11-23 北京京东尚科信息技术有限公司 选购商品的识别方法、装置以及售货机

Also Published As

Publication number Publication date
CN111292466B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN108875664B (zh) 选购商品的识别方法、装置以及售货机
CN108335408B (zh) 用于自动售货机的物品识别方法、装置、***及存储介质
US10832311B2 (en) Method and medium for shopping in a physical store
WO2019184646A1 (zh) 货品识别方法及装置、货柜
US20150379366A1 (en) Article management system, information processing apparatus, and control method and control program of information processing apparatus
CN108885813A (zh) 智能售货柜、物品识别的方法、装置、服务器和存储介质
CN108346221A (zh) 无人售货设备及其售货方法和无人售货***
US20200193404A1 (en) An automatic in-store registration system
KR101960900B1 (ko) 제품 식별 방법
US11651664B2 (en) Neural network classifier trained for purchasing differentiation
GB2593551A (en) Model-based machine-learning and inferencing
CN208027468U (zh) 无人售货设备和无人售货***
US20190392505A1 (en) Item information acquisition system, shopping assistance system, shopping assistance method, and carrier
CN110164029A (zh) 自动售货机及其控制方法
CN111126990A (zh) 物品自动识别方法、结算方法、装置、终端及存储介质
CN114743307A (zh) 智能货柜的商品识别方法、装置、电子设备及存储介质
CN109064631A (zh) 货品识别方法、售卖方法和售卖***
CN111292466B (zh) 售货柜及其订单生成方法和***
JP2023038200A (ja) 販売装置、販売システム及び販売方法
CN110164031A (zh) 自动售货机
CN115661591A (zh) 一种智能柜动态识别方法及装置
CN111710096A (zh) 智能设备的控制方法、装置、电子设备和存储介质
CN208433046U (zh) 自动贩售机和自动售货***
CN110675106A (zh) 一种基于动态商品库存信息的无人货柜商品识别方法
CN110647783A (zh) 一种无人货架付款检测方法、装置和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210302

Address after: Room a1905, 19 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Beijing Jingdong Qianshi Technology Co.,Ltd.

Address before: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant before: Beijing Jingbangda Trading Co.,Ltd.

Effective date of registration: 20210302

Address after: 101, 1st floor, building 2, yard 20, Suzhou street, Haidian District, Beijing 100080

Applicant after: Beijing Jingbangda Trading Co.,Ltd.

Address before: 100086 8th Floor, 76 Zhichun Road, Haidian District, Beijing

Applicant before: BEIJING JINGDONG SHANGKE INFORMATION TECHNOLOGY Co.,Ltd.

Applicant before: BEIJING JINGDONG CENTURY TRADING Co.,Ltd.

GR01 Patent grant
GR01 Patent grant