CN109447619A - 基于开放环境的无人结算方法、装置、设备和*** - Google Patents

基于开放环境的无人结算方法、装置、设备和*** Download PDF

Info

Publication number
CN109447619A
CN109447619A CN201811102281.6A CN201811102281A CN109447619A CN 109447619 A CN109447619 A CN 109447619A CN 201811102281 A CN201811102281 A CN 201811102281A CN 109447619 A CN109447619 A CN 109447619A
Authority
CN
China
Prior art keywords
grating
moment
hand
commodity
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811102281.6A
Other languages
English (en)
Inventor
杜吉祥
周以重
张洪博
上官县金
雷庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN201811102281.6A priority Critical patent/CN109447619A/zh
Publication of CN109447619A publication Critical patent/CN109447619A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/206—Point-of-sale [POS] network systems comprising security or operator identification provisions, e.g. password entry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/389—Keeping log of transactions for guaranteeing non-repudiation of a transaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

本发明公开了一种基于开放环境的无人结算方法、装置、设备和***，方法包括：接收光栅传感器组件传输的光栅光束状态信息，当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；当检测到被手部取走的商品时，将被取走的商品与人脸图像进行绑定，完成一次消费记录，当顾客进入结算区域时，采集顾客的人脸图像，并获取与人脸图像对应的所有消费记录，以形成账单完成结算。本发明提供了一种可靠性高，成本低的无人结算方案。

Description

基于开放环境的无人结算方法、装置、设备和***
技术领域
本发明涉及人工智能技术应用领域，具体地涉及一种基于开放环境的无人结算方法、装置、设备和***。
背景技术
智慧社会，智慧城市已经成为目前国内城市建设的一个主要方向，随着人工智能技术的爆发，零售行业也提出了新零售的概念和举措，将走向高度智能化、便捷化、自动化、专业化，大大减少中间环节，解放人力。其中，智能无人商店成为了当前零售业最新兴的市场。智能无人商店，就是人工智能与新零售二者结合的产物，就是7x24小时无人值守的，通过人工智能实现购物的全部流程的店铺。这种店铺通过与人工智能***连接，从用户的进入到挑选商品、收银、离开，全程不需要任何人工参与便可自助购物。
现有技术中，目前无人结算主要是在限制环境和开放环境下实现。限制场景主要对交易对象，交易场景，交易商品中的一项或几项进行限制。在限制环境下常见的无人结算***主要有基于RFID标签和智能商品柜或冰柜的无人结算***。基于RFID的无人结算***需要给每一个商品贴上RFID标签，结算时进入专用的结算间识别RFID标签后结算。以及基于智能商品柜或冰柜的无人结算***，每次交易前需要先进行身份验证，身份验证通过后开启柜门，关闭柜门后结算，每次交易对象只能有一个。而开放场景对交易场景没有严格的限制，通过多种身份识别技术对交易对象进行过身份绑定后，允许任意数量的交易对象进行同时交易，开放场景的无人结算***通常通过计算机视觉配合多种传感器来实现，由于在开放场景下人的行为较为复杂，并且涉及到多人并行交易，人的身份验证，行为检测，商品和身份的绑定等问题，只使用单一传感器很难实现。
发明内容
本发明实施例提出的一种基于开放环境的无人结算方法、装置、设备和***。本发明提供了一种可靠性高，成本低的无人结算方案，可以有效的确定商品的种类与数量，商品与人的交互行为，以及匹配商品ID与顾客ID。
第一方面，本发明实施例提供一种基于开放环境的无人结算方法，包括：
接收光栅传感器组件传输的光栅光束状态信息；其中，所述光栅传感器组件包括光栅发射器以及光栅接收器；所述光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端；
当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；其中，所述第一摄像头用于采集手部图像，所述第二摄像头用于采集人脸图像；
根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；
当检测到被手部取走的商品时，将被取走的商品与所述人脸图像进行绑定，以完成一次消费记录；
当顾客进入结算区域时，采集顾客的人脸图像，并获取与所述人脸图像对应的所有消费记录，以形成账单完成结算。
进一步地，还包括：根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部放回的商品；当检测到被手部放回的商品时，将被放回的商品与所述人脸图像进行绑定，删除一次消费记录。
进一步地，所述第一摄像头的角度沿光栅光束方向，用于拍摄到所述光栅发射器与所述光栅接收器的位置。
更进一步地，所述光栅光束覆盖商品柜放置区的正面区域；当所述手部放回以及取走的商品时，所述手部穿过所述光栅光束所覆盖的区域，所述手部穿过区域所述光栅光束由未被遮挡状态变为遮挡状态；根据所述光栅光束状态信息发生变化位置得到所述手部放回以及取走的商品位置。
第二方面，本发明提供一种基于开放环境的无人结算装置，包括：
接收模块，用于接收光栅传感器组件传输的光栅光束状态信息；其中，所述光栅传感器组件包括光栅发射器以及光栅接收器；所述光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端；
获取图像模块，用于当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；其中，所述第一摄像头用于采集手部图像，所述第二摄像头用于采集人脸图像；
检测模块，用于根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；
绑定模块，用于当检测到被手部取走的商品时，将被取走的商品与所述人脸图像进行绑定，以完成一次消费记录；
结算模块，用于当顾客进入结算区域时，采集顾客的人脸图像，并获取与所述人脸图像对应的所有消费记录，以形成账单完成结算。
第三方面，本发明提供一种基于开放环境的无人结算设备，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理执行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于开放环境的无人结算方法。
第四方面，本发明提供一种基于开放环境的无人结算***，其特征在于，包括光栅传感器组件、第一摄像头、第二摄像头以及第三方面所述的基于开放环境的无人结算设备；
所述光栅传感器组件，用于检测光栅光束的状态信息；其中，所述光栅传感器组件包括光栅发射器以及光栅接收器；所述光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端；
所述无人结算设备，用于接收光栅传感器组件传输的光栅光束状态信息；当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；
所述第一摄像头，用于采集手部图像；
所述第二摄像头，用于采集人脸图像；
所述无人结算设备，用于根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；当检测到被手部取走的商品时，将被取走的商品与所述人脸图像进行绑定，以完成一次消费记录；
当顾客进入结算区域时，采集顾客的人脸图像，并获取与所述人脸图像对应的所有消费记录，以形成账单完成结算。
进一步地，所述无人结算设备还用于根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部放回的商品；当检测到被手部放回的商品时，将被放回的商品与所述人脸图像进行绑定，删除一次消费记录。
进一步地，所述第一摄像头位于所述光栅传感器组件上方；所述第一摄像头角度沿光栅光束方向，用于拍摄到光栅发射器与光栅接收器，并采集手部图像；所述第二摄像头安装在商品柜上，用于采集人脸图像。
实施本发明实施例，具有如下有益效果：
1、本发明提出一种光栅传感器与摄像头组合的方案，只需要在每个商品柜上安装2个摄像头和一组光栅传感器，降低了成本和安装难度，也能够有效的确定商品的种类与数理，商品与人的交互行为，以及匹配商品ID与顾客ID。在本发明中，不再实时对每一个顾客进行跟踪，只在顾客与商品产生交互时进行判断。由于去除了大量冗余的判断，大大降低了所需要的传感器和运算量。
2、本发明中通过光栅光束状态信息的变化来判断是否存在手部的进出，只在手部进出时才对图像进行计算，大大降低了图像计算的运算量。
3、通过对每次行为触发时关键点的关联和人脸采集，规避了需要对顾客实时跟踪的问题，只需要在商品柜上安装摄像头，降低了普及的难度。
4、通过规避对顾客进行实时跟踪，避免了当顾客数量超过一定数量时计算量呈几何增长和精度严重下降的问题，大大增加了顾客的容纳量。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明第一实施例提供的一种基于开放环境的无人结算方法的流程示意图。
图2为本发明实施例提供的一种光栅传感器组件与第一摄像头以及第二摄像头的安装示意图。
图3为本发明第二实施例提供的一种基于开放环境的无人结算装置的结构示意图。
图4为本发明第三实施例提供的一种基于开放环境的无人结算***的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明第一实施例：
参见图1，本发明实施例提供一种基于开放环境的无人结算方法，包括：
S10，接收光栅传感器组件传输的光栅光束状态信息；其中，光栅传感器组件包括光栅发射器以及光栅接收器；光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端。
在本实施例中，所述光栅传感器组件放置方式如图2所示，光栅传感器组件包括光栅发射器以及光栅接收器；光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端。所述光栅发射器发射光束，所述光栅接收器接收光栅发射器发射的光束。
在本实施例，所述光栅光束覆盖了商品柜商品放置区的正面区域，在默认状态下光束都处于未被遮挡状态。当有顾客要拿取商品时，顾客的手部穿过光栅的光束所覆盖的区域，光栅的某几束光由未被遮挡变为遮挡状态，所述光栅传感器组件根据光栅光束的遮挡状态即可判定光栅光束状态变化信息。
S20，当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；其中，第一摄像头用于采集手部图像，第二摄像头用于采集人脸图像。
在本实施例中，参见图2，所述第一摄像头位于所述光栅装置上方；所述第一摄像头角度沿光栅光束方向，用于拍摄到光栅发射器与光栅接收器，并采集手部图像；所述第二摄像头安装在商品柜上，用于采集人脸图像。根据光栅光束被遮挡的位置就能获取拿取商品的手部的位置。当检测到有手部进入商品柜后，根据光栅光束的状态信息的变化，实时跟踪进入商品柜的手部，直到手部离开商品柜。此时，发生变化的时刻为基准，对所述第一摄像头在发生光栅光束变化时刻之前拍摄的N帧图像与在该时刻之后拍摄的M帧图像进行分析。在本实施例中，当然，需要说明的是，所述N帧图像与M帧图像可以相同，也可以不同，具体根据实际情况设定，例如，所述N帧图像可以为1、3、10或者20帧图像，所述M帧图像可以为1,20或者30帧图像等，在此，本说明不做特别限制。
在本发明实施例中，对所述第一摄像头在发生光栅光束变化时刻之前拍摄的N帧图像与在该时刻之后拍摄的M帧图像进行分析，具体为：首先对图像进行人体检测和姿态提取。在本发明中采用通用的人体姿态提取方法OpenPose进行人体关键点提取，在OpenPose中，给出了图像中每个人的18个关键点以及每个点的置信度，其中置信度小于0.5的关键点并非真实检测到而是由于遮挡，通过算法预测的关键点。然后，根据手腕和手肘关键点计算与被遮挡光束的距离，当与被遮挡光束最近的手部距离小于阈值时即确定触发光栅光束为手部，若没有获得手部关键点或距离大于阈值，则继续计算下一帧。当确定触发光栅光束为手部即可通过关键点之间的联系，确定图像中拿取商品的顾客。
优选地，由于光栅光束间隔小于手掌大小，手掌在商品柜中时会遮挡若干光束，根据上一次检测到的光束的遮挡情况和本次的遮挡情况进行比较，就可以跟踪商品柜中的手部，判断手部的位置以及手部是否离开商品柜。光栅的光束状态为一组二进制数，0代表未遮挡，1代表遮挡，如000110，即为6根光束的状态，其中第4，5根光束被遮挡。获得光束状态后，统计被光束被遮挡区域，每个连续被遮挡光束为一个区域，记下区域的最左和最右被遮挡光束的ID为L,R。如当光束状态为000110时，L＝4，R＝5。Lpre，Rpre为上一次检测到区域的L,R。当Lpre≤L≤Rpre或Lpre≤R≤Rpre时，则认为当前检测到的手部和前一次检测到的为同一只手部，否则判断为新的手部进入商品柜。
S30，根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品。
S40，当检测到被手部取走的商品时，将被取走的商品与所述人脸图像进行绑定，以完成一次消费记录。
在本实施例中，YOLO是一个可以一次性预测多个Box位置和类别的卷积神经网络，能够实现端到端的目标检测和识别，其最大的优势就是速度快。YOLO可以给出目标在图像中的位置、种类和置信度。在第一摄像头确定取放商品的顾客后，根据关键点相对位置，在光栅光束触发前N帧和后M帧的图像找到拿取商品的顾客，以手腕关键点为中心，截取一定大小的手部图像用于识别商品检测。具体的，例如，对于手部进入商品柜使用光栅光束被触发前N帧截取的图像进行商品检测，对于手部离开商品柜的场景使用光栅光束被触发后的后M帧图像进行检测，若只检测到手部而没有商品，则结果为空手。当手部进入商品柜时有检测到商品、手部离开商品柜时没有检测到商品，则结果为放回商品。当手部进入商品柜时没有检测到商品、手部离开商品柜时有检测到商品，则结果为拿取商品。
在第一摄像头的图像中找到触发光栅光束的顾客后，开始处理第二摄像头的图像数据。在第二摄像头中使用OpenPose或人脸检测算法，获得第一摄像头对应帧里面所有的人脸的图像，根据第一摄像头获得的顾客关键点的坐标映射到第二摄像头的对应帧的画面中，截取拿放商品顾客的面部图像。在完成商品检测和面部图像检测后，完成一次购物事件的检测，得到手部进入或离开、手部进入或离开时的状态(空手或非空手)、若不是空手则获得商品的数量和种类、拿放商品的顾客的面部图像。如：“非空手、离开、可乐*1”+人脸图像。将被取走的商品与所述人脸图像进行绑定，以完成一次消费记录。
S50，当顾客进入结算区域时，采集顾客的人脸图像，并获取与所述人脸图像对应的所有消费记录，以形成账单完成结算。
在本实施例中，使用人脸识别进行商品结算。当顾客进入结算区，结算区摄像头采集顾客的人脸图像，并获取与所述人脸图像对应的所有消费记录的人脸图像进行比对，找出所有当前顾客的消费记录，根据商品的取放进行商品的统计和结算。例如“空手、进入”，“非空手、离开、可乐*1”，则该顾客的结算结果为购买可乐*1。
优选地，根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部放回的商品；当检测到被手部放回的商品时，将被放回的商品与所述人脸图像进行绑定，删除一次消费记录。
本发明中通过光栅光束状态信息的变化来判断是否存在手部的进出，只在手部进出时才对图像进行计算，大大降低了图像计算的运算量。通过对每次行为触发时关键点的关联和人脸采集，规避了需要对顾客实时跟踪的问题，只需要在商品柜上安装摄像头，降低了普及的难度。通过规避对顾客进行实时跟踪，避免了当顾客数量超过一定数量时计算量呈几何增长和精度严重下降的问题。而且只需要在每个商品柜上安装2个摄像头和一组光栅传感器，降低了成本和安装难度，也能够有效的确定商品的种类与数理，商品与人的交互行为，以及匹配商品ID与顾客ID。在本发明中，不再实时对每一个顾客进行跟踪，只在顾客与商品产生交互时进行判断。由于去除了大量冗余的判断，大大降低了所需要的传感器和运算量。大大增加了顾客的容纳量。
本发明第二实施例：
参见图3，本发明第二实施例提供一种基于开放环境的无人结算装置，包括：
接收模块10，用于接收光栅传感器组件传输的光栅光束状态信息；其中，所述光栅传感器组件包括光栅发射器以及光栅接收器；所述光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端。
获取图像模块20，用于当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；其中，所述第一摄像头用于采集手部图像，所述第二摄像头用于采集人脸图像。
检测模块30，用于根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品。
绑定模块40，用于当检测到被手部取走的商品时，将被取走的商品与所述人脸图像进行绑定，以完成一次消费记录。
结算模块50，用于当顾客进入结算区域时，采集顾客的人脸图像，并获取与所述人脸图像对应的所有消费记录，以形成账单完成结算。
优选地，还包括删除模块，用于根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部放回的商品；当检测到被手部放回的商品时，将被放回的商品与所述人脸图像进行绑定，删除一次消费记录。
优选地，所述第一摄像头的角度沿光栅光束方向，用于拍摄到所述光栅发射器与所述光栅接收器的位置。
优选地，所述光栅光束覆盖商品柜放置区的正面区域；当所述手部放回以及取走的商品时，所述手部穿过所述光栅光束所覆盖的区域，所述手部穿过区域所述光栅光束由未被遮挡状态变为遮挡状态；根据所述光栅光束状态信息发生变化位置得到所述手部放回以及取走的商品位置。
本发明第三实施例：
参见图4，本发明第三实施例提供一种基于开放环境的无人结算***，包括光栅传感器组件1、第一摄像头2、第二摄像头3以及第三方面所述的基于开放环境的无人结算设备4；
所述光栅传感器组件1，用于检测光栅光束的状态信息；其中，所述光栅传感器组件1包括光栅发射器以及光栅接收器；所述光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端；
所述无人结算设备4，用于接收光栅传感器组件1传输的光栅光束状态信息；当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；
所述第一摄像头2，用于采集手部图像；
所述第二摄像头3，用于采集人脸图像；
所述无人结算设备4，用于根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；当检测到被手部取走的商品时，将被取走的商品与所述人脸图像进行绑定，以完成一次消费记录。当顾客进入结算区域时，采集顾客的人脸图像，并获取与所述人脸图像对应的所有消费记录，以形成账单完成结算。
优选地，所述无人结算设备4还用于根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部放回的商品；当检测到被手部放回的商品时，将被放回的商品与所述人脸图像进行绑定，删除一次消费记录。
优选地，所述第一摄像头2位于所述光栅传感器组件上方；所述第一摄像头角度沿光栅光束方向，用于拍摄到光栅发射器与光栅接收器，并采集手部图像；所述第二摄像头3安装在商品柜上，用于采集人脸图像。
本发明第四实施例：
本发明提供一种基于开放环境的无人结算设备，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的基于开放环境的无人结算方法。
示例性地，本发明第四实施例中所述的计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述实现服务器设备中的执行过程。例如，本发明第二实施例中所述的装置。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于开放环境的无人结算方法的控制中心，利用各种接口和线路连接整个所述实现一种基于开放环境的无人结算方法的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现基于开放环境的无人结算方法的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、文字转换功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、文字消息数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(Smart Media Card,SMC)、安全数字(SecureDigital,SD)卡、闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述实现服务设备的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种基于开放环境的无人结算方法，其特征在于，包括：
接收光栅传感器组件传输的光栅光束状态信息；其中，所述光栅传感器组件包括光栅发射器以及光栅接收器；所述光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端；
当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；其中，所述第一摄像头用于采集手部图像，所述第二摄像头用于采集人脸图像；
根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；
当检测到被手部取走的商品时，将被取走的商品与所述人脸图像进行绑定，以完成一次消费记录；
当顾客进入结算区域时，采集顾客的人脸图像，并获取与所述人脸图像对应的所有消费记录，以形成账单完成结算。
2.根据权利要求1所述的基于开放环境的无人结算方法，其特征在于，还包括：根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部放回的商品；当检测到被手部放回的商品时，将被放回的商品与所述人脸图像进行绑定，删除一次消费记录。
3.根据权利要求1所述的基于开放环境的无人结算方法，其特征在于，所述第一摄像头的角度沿光栅光束方向，用于拍摄到所述光栅发射器与所述光栅接收器的位置。
4.根据权利要求3所述的基于开放环境的无人结算方法，其特征在于，所述光栅光束覆盖商品柜放置区的正面区域；当所述手部放回以及取走的商品时，所述手部穿过所述光栅光束所覆盖的区域，所述手部穿过区域所述光栅光束由未被遮挡状态变为遮挡状态；根据所述光栅光束状态信息发生变化位置得到所述手部放回以及取走的商品位置。
5.一种基于开放环境的无人结算装置，其特征在于，包括：
接收模块，用于接收光栅传感器组件传输的光栅光束状态信息；其中，所述光栅传感器组件包括光栅发射器以及光栅接收器；所述光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端；
获取图像模块，用于当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；其中，所述第一摄像头用于采集手部图像，所述第二摄像头用于采集人脸图像；
检测模块，用于根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；
绑定模块，用于当检测到被手部取走的商品时，将被取走的商品与所述人脸图像进行绑定，以完成一次消费记录；
结算模块，用于当顾客进入结算区域时，采集顾客的人脸图像，并获取与所述人脸图像对应的所有消费记录，以形成账单完成结算。
6.一种基于开放环境的无人结算设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的基于开放环境的无人结算方法。
7.一种基于开放环境的无人结算***，其特征在于，包括光栅传感器组件、第一摄像头、第二摄像头以及如权利要求6所述的基于开放环境的无人结算设备；
所述光栅传感器组件，用于检测光栅光束的状态信息；其中，所述光栅传感器组件包括光栅发射器以及光栅接收器；所述光栅发射器放置于商品柜的一端，所述光栅接收器放置于商品柜的另一端；
所述无人结算设备，用于接收光栅传感器组件传输的光栅光束状态信息；当检测到光栅光束状态信息发生变化时，以发生变化的时刻为基准，获取第一摄像头在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像以及第二摄像头在该时刻拍摄到的至少一帧图像；
所述第一摄像头，用于采集手部图像；
所述第二摄像头，用于采集人脸图像；
所述无人结算设备，用于根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部取走的商品；当检测到被手部取走的商品时，将被取走的商品与所述人脸图像进行绑定，以完成一次消费记录；
当顾客进入结算区域时，采集顾客的人脸图像，并获取与所述人脸图像对应的所有消费记录，以形成账单完成结算。
8.根据权利要求7所述的一种基于开放环境的无人结算***，其特征在于，所述无人结算设备还用于根据在该时刻之前拍摄的N帧图像、在该时刻之后拍摄的M帧图像检测是否存在被手部放回的商品；当检测到被手部放回的商品时，将被放回的商品与所述人脸图像进行绑定，删除一次消费记录。
9.根据权利要求7所述的基于开放环境的无人结算***；其特征在于，所述第一摄像头位于所述光栅传感器组件上方；所述第一摄像头角度沿光栅光束方向，用于拍摄到光栅发射器与光栅接收器，并采集手部图像；所述第二摄像头安装在商品柜上，用于采集人脸图像。
CN201811102281.6A 2018-09-20 2018-09-20 基于开放环境的无人结算方法、装置、设备和*** Pending CN109447619A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811102281.6A CN109447619A (zh) 2018-09-20 2018-09-20 基于开放环境的无人结算方法、装置、设备和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811102281.6A CN109447619A (zh) 2018-09-20 2018-09-20 基于开放环境的无人结算方法、装置、设备和***

Publications (1)

Publication Number Publication Date
CN109447619A true CN109447619A (zh) 2019-03-08

Family

ID=65530718

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811102281.6A Pending CN109447619A (zh) 2018-09-20 2018-09-20 基于开放环境的无人结算方法、装置、设备和***

Country Status (1)

Country Link
CN (1) CN109447619A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109979130A (zh) * 2019-03-29 2019-07-05 厦门益东智能科技有限公司 一种商品自动识别和结算售货柜、方法以及***
CN110223144A (zh) * 2019-05-31 2019-09-10 北京百度网讯科技有限公司 无人购物的信息处理***及方法、计算机设备及可读介质
CN110443218A (zh) * 2019-08-13 2019-11-12 北京百度网讯科技有限公司 一种人物检测方法和装置
CN110796051A (zh) * 2019-10-19 2020-02-14 北京工业大学 基于货柜场景下的实时存取行为检测方法和***
CN111680654A (zh) * 2020-06-15 2020-09-18 杭州海康威视数字技术股份有限公司 一种基于物品取放事件的人员信息获取方法、装置及设备
CN112308020A (zh) * 2020-11-20 2021-02-02 易启看(杭州)科技有限公司 一种非标商品离柜状态追踪方法、装置及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150012396A1 (en) * 2013-06-26 2015-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
CN105531715A (zh) * 2013-06-26 2016-04-27 亚马逊科技公司 检测物品交互和移动
CN106056397A (zh) * 2015-04-07 2016-10-26 东芝泰格有限公司 销售数据处理装置及其控制方法、服务器
CN107967609A (zh) * 2017-12-29 2018-04-27 深圳正品创想科技有限公司 一种结算通道及无人商店
CN108198052A (zh) * 2018-03-02 2018-06-22 北京京东尚科信息技术有限公司 用户选购商品识别方法、装置以及智能货架***
CN108268134A (zh) * 2017-12-30 2018-07-10 广州本元信息科技有限公司 拿放商品的手势识别装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150012396A1 (en) * 2013-06-26 2015-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
CN105531715A (zh) * 2013-06-26 2016-04-27 亚马逊科技公司 检测物品交互和移动
CN106056397A (zh) * 2015-04-07 2016-10-26 东芝泰格有限公司 销售数据处理装置及其控制方法、服务器
CN107967609A (zh) * 2017-12-29 2018-04-27 深圳正品创想科技有限公司 一种结算通道及无人商店
CN108268134A (zh) * 2017-12-30 2018-07-10 广州本元信息科技有限公司 拿放商品的手势识别装置及方法
CN108198052A (zh) * 2018-03-02 2018-06-22 北京京东尚科信息技术有限公司 用户选购商品识别方法、装置以及智能货架***

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109979130A (zh) * 2019-03-29 2019-07-05 厦门益东智能科技有限公司 一种商品自动识别和结算售货柜、方法以及***
CN110223144A (zh) * 2019-05-31 2019-09-10 北京百度网讯科技有限公司 无人购物的信息处理***及方法、计算机设备及可读介质
CN110443218A (zh) * 2019-08-13 2019-11-12 北京百度网讯科技有限公司 一种人物检测方法和装置
CN110443218B (zh) * 2019-08-13 2022-01-28 北京百度网讯科技有限公司 一种人物检测方法和装置
CN110796051A (zh) * 2019-10-19 2020-02-14 北京工业大学 基于货柜场景下的实时存取行为检测方法和***
CN110796051B (zh) * 2019-10-19 2024-04-26 北京工业大学 基于货柜场景下的实时存取行为检测方法和***
CN111680654A (zh) * 2020-06-15 2020-09-18 杭州海康威视数字技术股份有限公司 一种基于物品取放事件的人员信息获取方法、装置及设备
CN111680654B (zh) * 2020-06-15 2023-10-13 杭州海康威视数字技术股份有限公司 一种基于物品取放事件的人员信息获取方法、装置及设备
CN112308020A (zh) * 2020-11-20 2021-02-02 易启看(杭州)科技有限公司 一种非标商品离柜状态追踪方法、装置及***
CN112308020B (zh) * 2020-11-20 2023-05-23 易启看(杭州)科技有限公司 一种非标商品离柜状态追踪方法、装置及***

Similar Documents

Publication Publication Date Title
CN109447619A (zh) 基于开放环境的无人结算方法、装置、设备和***
CN108491799B (zh) 一种基于图像识别的智能售货柜商品管理方法及***
CN111415461B (zh) 物品识别方法及***、电子设备
US20210056498A1 (en) Method and device for identifying product purchased by user and intelligent shelf system
CN106781014B (zh) 自动售货机及其运行方法
CN110866429B (zh) 漏扫识别方法、装置、自助收银终端及***
JP5054670B2 (ja) ビデオ分析を使用して不審挙動を検出する方法及び装置
US20190005785A1 (en) Security system, security method, and non-transitory computer readable medium
CN112883819A (zh) 多目标跟踪方法、装置、***及计算机可读存储介质
CN105518709A (zh) 用于识别人脸的方法、***和计算机程序产品
CN112464697A (zh) 基于视觉和重力感应的商品与顾客的匹配方法和装置
US20210398097A1 (en) Method, a device and a system for checkout
CN112307864A (zh) 用于确定目标对象的方法、装置、人机交互***
CN111222870A (zh) 结算方法、装置和***
CN110998592A (zh) 用于零售***的非规范扫描
CN111178860A (zh) 无人便利店的结算方法、装置、设备及存储介质
CN113468914B (zh) 一种商品纯净度的确定方法、装置及设备
CN110647825A (zh) 无人超市物品确定方法、装置、设备及存储介质
CN116452636A (zh) 一种基于目标跟踪的无人售货柜动态商品识别方法及相关装置
CN111260685B (zh) 视频处理方法、装置及电子设备
US20230005348A1 (en) Fraud detection system and method
CN112257617B (zh) 多模态目标识别方法和***
CN117437264A (zh) 行为信息的识别方法、设备和存储介质
EP3474183A1 (en) System for tracking products and users in a store
CN112991379A (zh) 一种基于动态视觉的无人售货方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination