CN110298965A - 一种基于动态计算机视觉识别的智能售卖柜***及其方法 - Google Patents

Abstract

本发明采用基于深度学习的动态计算机视觉的识别算法，自动识别消费者从货柜中拿取商品的动作及关联拿取的商品，并进行相应的支付扣款。本发明所涉及的一种基于动态计算机视觉识别的智能售卖柜***包括：箱体，人机交互组件，常闭电控锁，视频采集***，视频暂存***，设备端控制模块，通讯装置，云端中央控制***，后台商品及危险动作数据库，后台视频分析***，消费者结算管理***，货柜管理***，移动终端，门，主摄像头，副摄像头。该发明识别消费者在开门后的所有动作及动作关联的商品（如拿取或放回），该方案对商品在货柜内如何摆放完全没有要求，且由于识别消费者开柜后的所有动作，如果消费者将有潜在危害的货柜外的商品放入柜内时，***可以自动识别出来，并自动进行锁柜防止异常情况扩大并保留证据。有效防范了自取式售货机潜在的食品安全问题。

Description

一种基于动态计算机视觉识别的智能售卖柜***及其方法

技术领域

本发明涉及智能售货设备技术领域，尤其涉及一种基于动态计算机视觉识别的智能售卖柜***及其方法。

背景技术

目前市场的售货机主要分为两大类。

一类是传统机械出货售货机，即消费者在售货机关联的选货界面上选定商品，支付相应的电子货币或现金后，售货机管理***指挥商品对应的机械结构进行出货，将商品推送到取货口，消费者自行取出。

另外一类是最近这两年才出现的开门自取式售货机，这种新型的售货机由消费者开通免密支付后正常使用，一般步骤为：消费者扫码进入***，消费者扫码带入的身份被***确认后***打开货柜电控锁，消费者开门选择自己想要的产品后关门，***盘点识别消费者拿走的商品种类和数量，并通过消费者的免密支付账户进行扣款。其中识别消费者拿取商品的方案主要为三大类：商品上张贴的RFID识别、重力识别及基于深度学习的计算机视觉识别。计算机视觉识别又分为静态计算机识别及动态计算机视觉识别两类。

传统售货机的出货机构复杂，制造成本高，装配较难。货道商品摆放种类少。有些老旧机型付款方式还为投币或者纸币结算，给现在习惯电子支付的年轻消费者带来极大的不便利。并且货道对商品的包装以及外形尺寸都有特定的要求，运营商不能随意更换所销售的品类。客户购买商品时只能一次购买一件，效率很低。

而消费者自取式售货机机械结构简单，制造容易，箱体空间利用率高，且对所售商品的大小限制较小，且消费者一次可以购买多件，电子支付免密扣款，使用就像打开自己家冰箱一样，体验较传统的售货机更好。

但是自取式售货机的三大类商品识别方案各有利弊：

由商品附带RFID标签进行商品识别的方案，由于需要有额外的RFID标签成本及商品贴附RFID标签的人工成本，在日常低值快消品中应用难度较高，且运营过程中标签容易被人撕坏造成货损或多扣消费者的钱，体验较差。

依据重力方式识别商品的虽然不要贴标签，但机器及***对每份产品的重量要求及在机器里的摆放方式要求比较高，在商品种类较多的情况下难以适用。

而计算机视觉识别商品的方案中，静态计算机视觉识别方法依据每层货架购买行为前后商品数量的差异来确定消费者到底购买了哪些商品。该方案主要特征为在每层货架的上方安装摄像头拍摄消费者开门前后下面货架上的商品变化或在侧边安装摄像头识别商品上部镜像中的该层商品的变化。总体来说，如摄像头视野下的商品中有互相遮挡的状态，该视觉识别方法就可能造成识别误差。

同时上述这些自取式售货机由于大多投放在无人看管的场景下且人货不分离，且识别方案无法精准监控货柜内商品变动的全部过程，如果恶意用户将一些有毒商品放入货柜，后续消费者不经意间拿到并食用了，将会对其造成致命性的危害，同时也给经营者带来巨大的食品安全管理风险。

发明内容

本发明主要为了解决了传统售货机对商品品类及外包装的限制要求，改善提高消费者体验的同时，规避其他类型开门自取式售货机的各项弊端，减少运营者的货损及潜在的安全隐患。

本发明采用基于深度学习的动态计算机视觉的识别算法，自动识别消费者从货柜中拿取商品的动作及关联拿取的商品，并进行相应的支付扣款。

本发明所涉及的一种基于动态计算机视觉识别的智能售卖柜***包括：箱体（1），人机交互组件（2），常闭电控锁（3），视频采集***（4），视频暂存***（5），设备端控制模块（6），通讯装置（7），云端中央控制***（8），后台商品及危险动作数据库（9），后台视频分析***（10），消费者结算管理***（11），货柜管理***（12），移动终端（13），门（14），主摄像头（15），副摄像头（16）。

所述门（14）固定于箱体（1）一侧，人机交互组件（2）贴附在门（14）上或箱体（1）上，门（14）上安装有常闭电控锁（3）。

所述箱体（1）可以是发泡冷藏箱体或常温钣金箱体；所述门（14）可以是单开门或双开门。

所述人机交互组件（2）关联用户移动终端进入的地址及设备编号。

所述视频采集***（4）有两个部分：位于门（14）上部的主摄像头（15）及位于门（14）中下部的副摄像头（16）；所述主摄像头（15）主要为向下拍摄消费者的购物过程，视线为竖直方向；副摄像头（16）主要从货柜外向货柜内拍摄消费者的购物过程，视线为水平方向；主摄像头（15）和副摄像头（16）拍摄的互为补充，防范可能的视野死角。

所述设备端控制模块（6），通过通讯模块（7）与云端中央控制***（8）进行通信，处理机器和云端的信息通讯，信息包括开关门信号、购物视频；同时指挥设备端的电子零配件进行工作，如常闭电控锁（3）的开合、视频的压缩上传。

所述云端中央控制***（8），接收用户移动终端（13）及机器端发送的信息，并结合规则判断并发送处理指令。

所述后台视频分析***（10）由两部分组成：一部分是一套基于深度学习的人体动作识别算法，另一部分是消费者手部关联物品的颜色图像特征识别算法，主要基于慢速精确的Mask R-CNN算法。

所述后台货柜管理***（12）对管理***内的所有货柜及相关人员的身份ID和操作行为进行管理，根据需要授权各种工作人员对***和货柜的操作，包括上线、下线货柜，货柜的补货、盘点，销售记录统计分析等。

所述移动终端（13）包括手机、平板电子产品，消费者通过扫码、刷脸或刷卡方式进入后可以进行开柜购物，也可以查询自己的购买记录或进行付款操作。

进一步的，一种基于动态计算机视觉识别的智能售卖柜***其方法步骤为：消费者用移动终端（13）识别人机交互组件（2），***判断消费者是否签署免密扣款协议及是否满足开门的条件，如满足则云端中央控制***（8）通过通讯装置（7）通知设备端控制模块（6），发送开锁信号给常闭电控锁（3），门（14）打开，消费者购物，同时视频采集***（4）开始采集购物过程视频；消费者购物结束后，云端中央控制***（8）通过通讯装置（7）通知设备端控制模块（6）发送闭锁信号给常闭电控锁（3），门（14）关上，常闭电控锁（3）落锁，并向设备端控制模块（6）反馈门已落锁的信号，设备进入其他工作流程，同时视频采集***（4）停止采集消费者购物视频；

进一步的，后台商品及危险动作数据库（9）将售卖柜内所有可售商品的主要特征及消费者潜在危险动作的特征深度学习并记录进商品数据库；

进一步的，视频采集***（4）采集的视频信号存储在各个摄像头关联的视频暂存***（5）中，消费者购物结束后，视频暂存***（5）将跟这个消费者相关的视频信息上传到云端，由后台视频分析***（10）进行分析，消费者的购物行为及关联商品通过计算机视觉识别后与后台商品及危险动作数据库（9）内数据进行比对，符合度达到要求的则反馈识别结果，如果没有找到符合要求的或异常的购物行为，也反馈相关的结果；

进一步的，后台视频分析***（10）识别分析得出消费者正常拿取商品的种类和数量后，消费者结算管理***（11）根据***内商品的单价生成账单，从消费者的关联账户进行扣款。

该发明识别消费者在开门后的所有动作及动作关联的商品（如拿取或放回），该方案对商品在货柜内如何摆放完全没有要求，且由于识别消费者开柜后的所有动作，如果消费者将有潜在危害的货柜外的商品放入柜内时，***可以自动识别出来，并自动进行锁柜防止异常情况扩大并保留证据。有效防范了自取式售货机潜在的食品安全问题。

附图说明

图1为功能模块流程图。

图2为设备结构图。

其中，1为货柜箱体，2为人机交互组件，3为常闭电控锁，4为视频采集***，5为视频暂存***，6为设备端控制模块，7为通讯装置，8为云端中央控制***，9为后台商品及危险动作数据库，10为后台视频分析***，11为消费者结算管理***，12为后台货柜管理***，13为用户移动终端，14为门，15为主摄像头，16为副摄像头。

具体实施方式

具体使用流程

一、商品上架销售及正常补货

新设备上线时，要在后台货柜管理***（12）中登记并授权相关的管理人员及补货人员对该设备进行操作。管理人员根据经营需要设定货柜内的销售商品种类和数量。补货人员领取商品后到设备前，用自己的手持移动终端（13）（手机）扫描机身人机交互组件（2）（二维码），***收到补货员的身份信息、货柜的身份信息并核对无误后打开常闭电控锁（3），补货员开门进行实物商品的补货操作，补货结束后门关上，常闭电控锁（3）落锁，补货员向后台货柜管理***（12）反馈具体的补货商品清单。

二、正常购买

消费者使用自己的手持移动终端（13）（手机）扫描机身人机交互组件（2）（二维码），若为新用户，则根据提示注册，并开通免密支付。若为已注册用户且拥有开门资格，则门上的常闭电控锁（3）打开。此时用户可开门随意挑选商品。在开门以后，视频采集***（5）开始采集视频并将视频存储在暂存***（6）中。消费者购物结束关门，常闭电控锁（3）落锁并向云端中央控制***（8）传递该消费者购物结束的关门信号。云端中央控制***（8）收到关门信号后向设备端管理***发送指令要求上传该消费者购物期间视频采集***（5）所拍摄并暂存的视频信息。云端中央控制***（8）收到视频信息后后台视频分析***（10）开始工作，解析出消费者动作及商品信息后，比对后台商品及危险动作数据库（9），有结果后向消费者结算管理***（11）反馈购物结果，消费者结算管理***（11）向消费者关联的免密扣款账户进行扣款。如有异常购物行为，则向结算***反馈异常结果。

三、异常购买

异物入柜：消费者扫码开门后，从货柜外放入柜内一个物品，虽然可能从外观可以判定整个物品是什么，但里面的内容物是否安全不得而知，所以为了防止任何可能的食品安全问题，***判定该动作是潜在危险动作，云端中央控制***（8）将在消费者关门后向该货柜发送锁柜指令并通知运营商及相关管理人员到现场进行处理。

购物者遮挡摄像头：消费者扫码开门后，遮挡部分或全部的摄像头后进行后续动作，虽然此时视频采集***（5）在工作，但采集到的都是遮挡后的视频，无法观察到实际的操作。云端中央控制***（8）收到关门后的该消费者购物期间视频后，发现是遮挡后的视频，一般遮挡是为了拿取货物不扣款或放入有害物质，都是有潜在危害的行为，云端中央控制***（8）将在消费者关门后向该货柜发送锁柜指令，锁定现场并通知运营商及相关管理人员到现场进行处理。如发现有货损，可以追踪到该消费者并进行后续的损失追偿。

Claims (4)

1.一种基于动态计算机视觉识别的智能售卖柜***及其方法，其特征在于：包括箱体（1），人机交互组件（2），常闭电控锁（3），视频采集***（4），视频暂存***（5），设备端控制模块（6），通讯装置（7），云端中央控制***（8），后台商品及危险动作数据库（9），后台视频分析***（10），消费者结算管理***（11），货柜管理***（12），移动终端（13），门（14），主摄像头（15），副摄像头（16）；

所述门（14）固定于箱体（1）一侧，人机交互组件（2）固定在门（14）上或箱体（1）上，门（14）上安装有常闭电控锁（3）；

所述人机交互组件（2）关联用户移动终端进入的地址及设备编号；

所述视频采集***（4）包括位于门（14）上部的主摄像头（15）及位于门（14）中下部的副摄像头（16）；

所述设备端控制模块（6），通过通讯模块（7）与云端中央控制***（8）进行通信，处理机器和云端的信息通讯，信息包括开关门信号、购物视频；同时指挥设备端的电子零配件进行工作；

所述云端中央控制***（8），接收用户移动终端（13）及机器端发送的信息，并结合规则判断并发送处理指令；

所述后台货柜管理***（12）对管理***内的所有货柜及相关人员的身份ID和操作行为进行管理，根据需要授权各种工作人员对***和货柜的操作；

所述方法步骤为：消费者用移动终端（13）扫描该人机交互组件（2），***判断消费者是否签署免密扣款协议及是否满足开门的条件，如满足则云端中央控制***（8）通过通讯装置（7）通知设备端控制模块（6），发送开锁信号给常闭电控锁（3），门（14）打开，消费者购物，同时视频采集***（4）开始采集购物过程视频；消费者购物结束后，云端中央控制***（8）通过通讯装置（7）通知设备端控制模块（6）发送闭锁信号给常闭电控锁（3），门（14）关上，常闭电控锁（3）落锁，并向设备端控制模块（6）反馈门已落锁的信号，设备进入其他工作流程，同时视频采集***（4）停止采集消费者购物视频；

所述后台商品及危险动作数据库（9）将售卖柜内所有可售商品的主要特征及消费者潜在危险动作的特征深度学习并记录进商品数据库；

所述视频采集***（4）采集的视频信号存储在各个摄像头关联的视频暂存***（5）中，消费者购物结束后，视频暂存***（5）将跟这个消费者相关的视频信息上传到云端，由后台视频分析***（10）进行分析，消费者的购物行为及关联商品通过计算机视觉识别后与后台商品及危险动作数据库（9）内数据进行比对，符合度达到要求的则反馈识别结果，如果没有找到符合要求的或异常的购物行为，也反馈相关的结果；

所述后台视频分析***（10）识别分析得出消费者正常拿取商品的种类和数量后，消费者结算管理***（11）根据***内商品的单价生成账单，从消费者的关联账户进行扣款。

2.根据权利要求1所述的一种基于动态计算机视觉识别的智能售卖柜***及其方法，其特征在于：所述箱体（1）是发泡冷藏箱体或常温钣金箱体；所述门（14）为单开门或双开门。

3.根据权利要求1所述的一种基于动态计算机视觉识别的智能售卖柜***及其方法，其特征在于：视频采集***（4）包括主摄像头（15）和副摄像头（16），主摄像头（15）为向下拍摄，视线为竖直方向；副摄像头（16）从货柜外向货柜内拍摄，视线为水平方向。

4.根据权利要求1所述的一种基于动态计算机视觉识别的智能售卖柜***及其方法，其特征在于：所述后台视频分析***（10）由两部分组成：一部分是一套基于深度学习的人体动作识别算法，另一部分是消费者手部关联物品的颜色图像特征识别算法，主要基于慢速精确的Mask R-CNN算法。