CN111460855A - 物品终端用户行为监测的方法、装置及计算机存储介质 - Google Patents

物品终端用户行为监测的方法、装置及计算机存储介质 Download PDF

Info

Publication number
CN111460855A
CN111460855A CN201910050774.8A CN201910050774A CN111460855A CN 111460855 A CN111460855 A CN 111460855A CN 201910050774 A CN201910050774 A CN 201910050774A CN 111460855 A CN111460855 A CN 111460855A
Authority
CN
China
Prior art keywords
image
user
determining
information
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910050774.8A
Other languages
English (en)
Other versions
CN111460855B (zh
Inventor
刘兵
高洪波
俞国新
刘彦甲
李玉强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Co Ltd
Qingdao Haier Smart Technology R&D Co Ltd
Original Assignee
Qingdao Haier Co Ltd
Qingdao Haier Smart Technology R&D Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Co Ltd, Qingdao Haier Smart Technology R&D Co Ltd filed Critical Qingdao Haier Co Ltd
Priority to CN201910050774.8A priority Critical patent/CN111460855B/zh
Publication of CN111460855A publication Critical patent/CN111460855A/zh
Application granted granted Critical
Publication of CN111460855B publication Critical patent/CN111460855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了物品终端用户行为监测的方法、装置及计算机存储介质，属于智能家电技术领域。该方法包括：当确定物品终端的门被开启后，获取所述物品终端前用户设定时间内的视频信息；对所述视频信息中的每帧图像进行识别，确定每帧图像中所述用户的第一手臂中上臂和前臂之间的角度值，以及所述第一手臂的手中所拿物品的状态信息；将所述角度值小于设定角度值，且所述状态信息满足设定状态信息的图像，确定为第一图像；当所述视频信息中所述第一图像的帧数大于设定值时，确定所述用户的行为异常。这样，实现物品终端对用户行为的监测，提高了物品终端应用的安全性和应用几率。

Description

物品终端用户行为监测的方法、装置及计算机存储介质
技术领域
本发明涉及智能家电技术领域，特别涉及物品终端用户行为监测的方法、装置及计算机存储介质。
背景技术
随着人工智能技术的普及，出现了越来越多的无人售货机：用户只需要简单几步就可以完成整个购物流程，包括：扫描机器上的二维码，开门，取货，关门，扣款。这样的售货机大部分在机器内放置了摄像头，可自动识别顾客取出的商品，然后，通过联动后台的结算***实现自动扣款。
但是，在售货机这样物品终端的投放的过程中，由于部分顾客的不法行为引起的货损问题也日益突出，包括：一部分顾客喝掉冷柜内的饮料然后将空瓶放回，这样，骗过了机器，损害了商家的利益。可见，这种物品终端还缺少有力的用户监测手段。
发明内容
本发明实施例提供了一种物品终端用户行为监测的方法、装置及计算机存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
根据本发明实施例的第一方面提供了一种物品终端用户行为监测的方法，包括：
当确定物品终端的门被开启后，获取所述物品终端前用户设定时间内的视频信息；
对所述视频信息中的每帧图像进行识别，确定每帧图像中所述用户的第一手臂中上臂和前臂之间的角度值，以及所述第一手臂的手中所拿物品的状态信息；
将所述角度值小于设定角度值，且所述状态信息满足设定状态信息的图像，确定为第一图像；
当所述视频信息中所述第一图像的帧数大于设定值时，确定所述用户的行为异常。
本发明一实施例中，所述获取所述物品终端前用户设定时间内的视频信息包括：
通过通用串行总线USB接口，与位于所述物品终端外侧的图像采集设备进行匹配通讯，获取所述图像采集设备采集的所述物品终端前用户设定时间内的视频信息；或，
通过短距离无线通信技术，与位于所述物品终端外侧的图像采集设备进行匹配通讯，获取所述图像采集设备采集的所述物品终端前用户设定时间内的视频信息；其中，所述短距离无线通信技术包括：Wi-Fi技术、蓝牙技术、或、ZigBee技术。
本发明一实施例中，所述确定每帧图像中所述用户的第一手臂中上臂和前臂之间的角度值包括：
通过卷积姿态网络CPM方法，确定每帧图像中所述第一手臂中至少三个点的位置信息，其中，第一点为肘关节，第二点在所述上臂上，第三点在所述前臂上；
根据所述第一点与所述第二点的位置信息，确定所述第一点与所述第二点之间第一向量的向量信息；
根据所述第一点与所述第三点的位置信息，确定所述第一点与所述第三点之间第二向量的向量信息；
根据所述第一向量与所述第二向量的向量信息，将所述第一向量与所述第二向量之间的夹角的信息确定为所述第一手臂中上臂和前臂之间的角度值。
本发明一实施例中，所述确定所述用户的行为异常之后，还包括：
进行警示提醒处理，或进行扣费处理。
根据本发明实施例的第二方面提供了一种物品终端用户行为监测的装置，包括：
获取单元，用于当确定物品终端的门被开启后，获取所述物品终端前用户设定时间内的视频信息；
识别单元，用于对所述视频信息中的每帧图像进行识别，确定每帧图像中所述用户的第一手臂中上臂和前臂之间的角度值，以及所述第一手臂的手中所拿物品的状态信息；
确定单元，用于将所述角度值小于设定角度值，且所述状态信息满足设定状态信息的图像，确定为第一图像；
监测单元，用于当所述视频信息中所述第一图像的帧数大于设定值时，确定所述用户的行为异常。
本发明一实施例中，所述获取单元包括：
第一获取子单元，用于通过通用串行总线USB接口，与位于所述物品终端外侧的图像采集设备进行匹配通讯，获取所述图像采集设备采集的所述物品终端前用户设定时间内的视频信息；或，
第二获取子单元，用于通过短距离无线通信技术，与位于所述物品终端外侧的图像采集设备进行匹配通讯，获取所述图像采集设备采集的所述物品终端前用户设定时间内的视频信息；其中，所述短距离无线通信技术包括：Wi-Fi技术、蓝牙技术、或、ZigBee技术。
本发明一实施例中，所述识别单元，具体用于通过卷积姿态网络CPM方法，确定每帧图像中所述第一手臂中至少三个点的位置信息，其中，第一点为肘关节，第二点在所述上臂上，第三点在所述前臂上；根据所述第一点与所述第二点的位置信息，确定所述第一点与所述第二点之间第一向量的向量信息；根据所述第一点与所述第三点的位置信息，确定所述第一点与所述第三点之间第二向量的向量信息；根据所述第一向量与所述第二向量的向量信息，将所述第一向量与所述第二向量之间的夹角的信息确定为所述第一手臂中上臂和前臂之间的角度值。
本发明一实施例中，还包括：
处理单元，用于进行警示提醒处理，或进行扣费处理。
根据本发明实施例的第三方面提供了一种物品终端用户行为监测的装置，所述装置用于电视终端，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
当确定物品终端的门被开启后，获取所述物品终端前用户设定时间内的视频信息；
对所述视频信息中的每帧图像进行识别，确定每帧图像中所述用户的第一手臂中上臂和前臂之间的角度值，以及所述第一手臂的手中所拿物品的状态信息；
将所述角度值小于设定角度值，且所述状态信息满足设定状态信息的图像，确定为第一图像；
当所述视频信息中所述第一图像的帧数大于设定值时，确定所述用户的行为异常。
根据本发明实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现上述方法的步骤。
本发明实施例提供的技术方案可以包括以下有益效果：
本发明实施例中，可获取物品终端前用户的视频信息，通过图像识别，确定视频信息中用户手臂中上臂和前臂之间的角度值异常，且所拿物品状态信息异常的第一图像，并当第一图像的帧数大于设定值时，确定用户的行为异常，实现物品终端对用户行为的监测，提高了物品终端应用的安全性，从而，提高了物品终端的应用几率，也减少了财产的损失。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的一种物品终端用户行为监测方法的流程图；
图2是根据一示例性实施例示出的一种物品终端用户行为监测方法的流程图；
图3是根据一示例性实施例示出的一种识别出第一手臂中每个点的示意图；
图4是根据一示例性实施例示出的一种物品终端用户行为监测方法的流程图；
图5是根据一示例性实施例示出的一种物品终端用户行为监测装置的框图；
图6是根据一示例性实施例示出的一种物品终端用户行为监测装置的框图。
具体实施方式
以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的结构、产品等而言，由于其与实施例公开的部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
物品终端中存放多种物品，可进行存储，贩卖等等。本发明实施例中，可获取物品终端前用户的视频信息，通过图像识别，确定视频信息中用户手臂中上臂和前臂之间的角度值异常，且所拿物品状态信息异常的第一图像，并当第一图像的帧数大于设定值时，确定用户的行为异常，实现物品终端对用户行为的监测，提高了物品终端应用的安全性，从而，提高了物品终端的应用几率，也减少了财产的损失。
图1是根据一示例性实施例示出的一种物品终端用户行为监测方法的流程图。如图1所示，物品终端用户行为监测的过程可包括：
步骤101：当确定物品终端的门被开启后，获取物品终端前用户设定时间内的视频信息。
本发明实施例中，物品终端中存放多种物品，具有存储，贩卖等多种功能，例如：红酒柜、冰柜、自动贩卖机等等。这些物品终端内部一般都有摄像头，可监测物品终端内部的物品的状态。这里，在物品终端外部也可有图像采集设备，例如：摄像头。通过图像采集设备可以获取物品终端的门前设定范围内的视频图像信息。如图像采集设备在贩卖机或冰柜的上方，可为一个广角摄像头，摄像头拍摄的画面能够监控到贩卖机或冰柜的门前半径为1米的区域。或者，摄像头可位于冰柜左侧的墙壁的上方，也能监控到冰柜的门前半径为1.2米的区域。图像采集设备的具体安装位置就不一一例举了。只需图像采集设备可监控到物品终端前设定区域即可。
图像采集设备可与物品终端通过通用串行总线USB接口连接，或者通过短距离无线通信技术进行匹配通讯，其中，短距离无线通信技术包括：Wi-Fi技术、蓝牙技术、或、ZigBee技术。从而，获取物品终端前用户设定时间内的视频信息包括：通过通用串行总线USB接口，与位于物品终端外侧的图像采集设备进行匹配通讯，获取图像采集设备采集的物品终端前用户设定时间内的视频信息；或，通过短距离无线通信技术，与位于物品终端外侧的图像采集设备进行匹配通讯，获取图像采集设备采集的物品终端前用户设定时间内的视频信息；其中，短距离无线通信技术包括：Wi-Fi技术、蓝牙技术、或、ZigBee技术。
步骤102：对视频信息中的每帧图像进行识别，确定每帧图像中用户的第一手臂中上臂和前臂之间的角度值，以及第一手臂的手中所拿物品的状态信息。
获取的视频信息是由多帧连续的图像组成，因此，对视频信息中的每帧图像进行识别。本实施例中，用户可从物品终端取出物品，这样，将用户的从物品终端取出物品的手臂为第一手臂。可从确定第一手臂中的多个点的位置信息，然后，根据每个点的位置信息来确定每帧图像中用户的第一手臂中上臂和前臂之间的角度值。
较佳地，可采用基于基于卷积神经网络的卷积姿态网络(Convolutional PoseMachines，CPM)方法来确定每帧图像中用户的第一手臂中上臂和前臂之间的角度值，具体可包括：通过卷积姿态网络CPM方法，确定每帧图像中第一手臂中至少三个点的位置信息，其中，第一点为肘关节，第二点在上臂上，第三点在前臂上；根据第一点与第二点的位置信息，确定第一点与第二点之间第一向量的向量信息；根据第一点与第三点的位置信息，确定第一点与第三点之间第二向量的向量信息；根据第一向量与第二向量的向量信息，将第一向量与第二向量之间的夹角的信息确定为第一手臂中上臂和前臂之间的角度值。
当然，确定第一手臂中多个关键点的位置信息的方法也不限于此，其他的现有识别技术也可应用于此。
本实施例中，还需确定第一手臂的手中所拿物品的状态信息。这里，状态信息可包括：种类信息、开口信息、形状信息等中的一种、两种或多种。例如：进行图像识别后，所拿物品的状态信息可包括：饮品、开口朝向用户。或者，所拿物品的状态信息可包括：袋装食品、体积为**等等。
当然，如果用户没有拿物品，则对应没有角度值以及物品信息。
步骤103：将角度值小于设定角度值，且状态信息满足设定状态信息的图像，确定为第一图像。
每帧图像中的第一手臂对应的角度值，以及物品的状态信息已确定了，则可将每帧图像中的第一手臂对应的角度值与设定角度值进行比较，以及将物品的状态信息与设定状态信息进行比对，当角度值小于设定角度值，且状态信息满足设定状态信息，可可将对应的这帧图像，确定为第一图像，即将视频信息中，角度值小于设定角度值，且状态信息满足设定状态信息的图像，确定为第一图像。
例如：将角度值小于100°，袋装食品的体积小于10立方厘米对应的图像确定为第一图像。或者，将角度值小于110°，饮品的开口朝向用户对应的图像确定为第一图像。即可预先针对不同种类的物品，配置对应的设定角度，以及设定状态信息。
步骤104：当视频信息中第一图像的帧数大于设定值时，确定用户的行为异常。
当视频信息中，第一图像的帧数大于设定值时，即可确定用户的行为异常。例如：设定时间为3秒，视频帧率为25帧/秒，则设定值可为60，这样，当3秒内，75帧的视频信息中，第一图像的帧数超过60帧，即可确定用户的行为异常。
可见，本发明实施例中，可获取物品终端前用户的视频信息，通过图像识别，确定视频信息中用户手臂中上臂和前臂之间的角度值异常，且所拿物品状态信息异常的第一图像，并当第一图像的帧数大于设定值时，确定用户的行为异常，实现物品终端对用户行为的监测，提高了物品终端应用的安全性，从而，提高了物品终端的应用几率。
进一步，本发明实施例中，还可确定用户的行为异常之后，还包括：进行警示提醒处理，或进行扣费处理。例如：物品终端为贩卖机即可进行扣费处理。或者，进行警示提醒处理。或者，既进行警示提醒处理，又进行扣费处理。可见，可进一步降低财产损失的几率，进一步提高物品终端广泛应用的几率。
下面将操作流程集合到具体实施例中，举例说明本发明实施例提供的控制方法。
本实施例中，物品终端可为一个冷柜，图像采集设备可为一个广角摄像头，位于冷柜顶部，通过USB接口，摄像头与冷柜之间已建立了通讯连接，并可监控冷柜门前半径1米的区域。
图2是根据一示例性实施例示出的一种物品终端用户行为监测方法的流程图。如图2所示，物品终端用户行为监测的过程包括：
步骤201：判断冷柜的门是否被开启？若是，执行步骤202，否则，返回步骤201。
步骤202：通过USB接口，获取摄像头发送的冷柜前的视频信息。
步骤203：通过卷积姿态网络CPM方法，确定视频信息的每帧图像中第一手臂中至少三个点的位置信息，并根据每个点的位置信息，确定用户的第一手臂中上臂和前臂之间的角度值。
图3是根据一示例性实施例示出的一种识别出第一手臂中每个点的示意图。如图3所示，通过CPM方法，可识别出指关节J1、腕关节J2、肘关节J3、以及肩关节J4。即肘关节J3为第一点，肩关节J4为第二点，腕关节J2为第三点。
然后，可根据第一点J3与第二点J4的位置信息，确定第一点与第二点之间第一向量的向量信息，即
Figure BDA0001950683970000061
然后，根据第一点J3与第三点J2的位置信息，确定第一点与第三点之间第二向量的向量信息，即
Figure BDA0001950683970000062
根据第一向量与第二向量的向量信息，将第一向量与第二向量之间的夹角的信息确定为第一手臂中上臂和前臂之间的角度值。即
Figure BDA0001950683970000063
与
Figure BDA0001950683970000064
之间的夹角α可为第一手臂中上臂和前臂之间的角度值。
步骤204：确定每帧图像中第一手臂的手中所拿物品的状态信息。
每种物品都形状，标识码等信息，从而，可进行图像识别，确定所拿物品的种类信息，开口方向信息等等。例如：状态信息可用Oi＝{Li,θi}，其中，Li可为物品的种类信息，而θi可为开口方向信息。其中，种类信息为饮品信息，则Li＝1，而非饮品信息时，Li＝0；开口方向信息为朝向用户时，θi＝1，而其他朝向时，θi＝0。
步骤205：将角度值小于120，且状态信息满足饮品类且开口朝向用户这个条件的图像，确定为第一图像。
这里，设定角度为120°，而设定状态信息可为饮品类，开口朝向用户。那么，可将每帧图像的角度值，以及状态值分别与设定角度以及状态信息进行比对，若当前帧图像中的角度小于120，状态信息满足饮品类且开口朝向用户这个条件，则可将当前帧图像确定为第一图像。即角度值α<120，且Oi＝{Li＝1,θi＝1}，对应的当前帧图像可确定为第一图像。
步骤206：判断视频信息中第一图像的帧数是否大于设定值？执行步骤207，否则，本次检测结束。可继续从步骤201开始进行检测。
采集到连续的视频信息，可对设定时间内的视频信息，确定对应的设定值。例如：设定时间为10秒，视频帧率为25帧/秒，则设定值可为200，这样，当10秒内，250帧的视频信息中，第一图像的帧数超过200帧，即可执行步骤207。
步骤207：确定用户的行为异常，并进行警示提醒处理。
可见，本实施例中，可获取冷柜前用户的视频信息，然后通过图像识别，确定用户是否有饮用饮品的行为，实现了冷柜对用户行为的监测，提高了冷柜应用的安全性，从而，提高了冷柜的应用几率。
本发明另一实施例中，物品终端可为一个自动贩卖机，图像采集设备可为一个广角摄像头，位于自动贩卖机的左侧墙壁上，通过蓝牙技术，摄像头与自动贩卖机之间已建立了通讯连接，并可监控自动贩卖机门前半径0.8米的区域。
图4是根据一示例性实施例示出的一种物品终端用户行为监测方法的流程图。如图4所示，物品终端用户行为监测的过程包括：
步骤401：判断自动贩卖机的门是否被开启？若是，执行步骤402，否则，返回步骤401。
步骤402：通过已蓝牙匹配连接成功的摄像头，获取自动贩卖机前的视频信息。
步骤403：通过卷积姿态网络CPM方法，确定视频信息的每帧图像中第一手臂中至少三个点的位置信息，并根据每个点的位置信息，确定用户的第一手臂中上臂和前臂之间的角度值。
可如上述实施例所示，
Figure BDA0001950683970000071
与
Figure BDA0001950683970000072
之间的夹角α可为第一手臂中上臂和前臂之间的角度值。
步骤404：确定每帧图像中第一手臂的手中所拿物品的状态信息。
每种物品都形状，标识码等信息，从而，可进行图像识别，确定所拿物品的种类信息，开口方向信息等等。例如：状态信息可用Oi＝{Li,θi，Ti}，其中，Li可为物品的种类信息，而θi可为开口方向信息，Ti为体积信息。其中，种类信息为饮品信息，则Li＝1，而袋装食品信息时，Li＝2，其他种类时，Li＝0。开口方向信息为朝向用户时，θi＝1，而其他朝向时，θi＝0。体积小于设定值时Ti＝1，其他体积情况时Ti＝0。当然，状态信息Oi也不限于此，针对不同的物品可有不同的设置。
步骤405：将角度值小于设定角度值，且状态信息满足设定状态信息的图像，确定为第一图像。
由于贩卖机中出售多种物品，因此，对应的设定角度值、设定状态信息可以包括多种。例如：对于饮品类，角度值α<120，且Oi＝{Li＝1,θi＝1}，对应的当前帧图像可确定为第一图像。对于袋装食品类，设定角度α<90，且Oi＝{Li＝2,Ti＝1}，对应的当前帧图像可确定为第一图像。
步骤406：判断视频信息中第一图像的帧数是否大于设定值？执行步骤407，否则，本次检测结束。可继续从步骤401开始进行检测。
采集到连续的视频信息，可对设定时间内的视频信息，确定对应的设定值。例如：设定时间为20秒，视频帧率为20帧/秒，则设定值可为350，这样，当20秒内，400帧的视频信息中，第一图像的帧数超过350帧，即可执行步骤407。
步骤407：确定用户的行为异常，并进行警示提醒处理和扣费处理。
可见，本实施例中，可获取贩卖机前用户的视频信息，通过图像识别，确定视频信息中用户手臂中上臂和前臂之间的角度值异常，且所拿物品状态信息异常的第一图像，并当第一图像的帧数大于设定值时，确定用户的行为异常，实现贩卖机对用户行为的监测，提高了贩卖机应用的安全性，从而，提高了贩卖机的应用几率，也减少了财产的损失。
根据上述物品终端用户行为监测的过程，可构建一种物品终端用户行为监测的装置。
图5是根据一示例性实施例示出的一种物品终端用户行为监测装置的框图。如图5所示，该装置可包括：获取单元100、识别单元200、确定单元300和监测单元400。
获取单元100，用于当确定物品终端的门被开启后，获取物品终端前用户设定时间内的视频信息。
识别单元200，用于对视频信息中的每帧图像进行识别，确定每帧图像中用户的第一手臂中上臂和前臂之间的角度值，以及第一手臂的手中所拿物品的状态信息。
确定单元300，用于将角度值小于设定角度值，且状态信息满足设定状态信息的图像，确定为第一图像。
监测单元400，用于当视频信息中第一图像的帧数大于设定值时，确定用户的行为异常。
本发明一实施例中，获取单元100包括：
第一获取子单元，用于通过通用串行总线USB接口，与位于物品终端外侧的图像采集设备进行匹配通讯，获取图像采集设备采集的物品终端前用户设定时间内的视频信息；或，
第二获取子单元，用于通过短距离无线通信技术，与位于物品终端外侧的图像采集设备进行匹配通讯，获取图像采集设备采集的物品终端前用户设定时间内的视频信息；其中，短距离无线通信技术包括：Wi-Fi技术、蓝牙技术、或、ZigBee技术。
本发明一实施例中，识别单元200，具体用于通过卷积姿态网络CPM方法，确定每帧图像中第一手臂中至少三个点的位置信息，其中，第一点为肘关节，第二点在上臂上，第三点在前臂上；根据第一点与第二点的位置信息，确定第一点与第二点之间第一向量的向量信息；根据第一点与第三点的位置信息，确定第一点与第三点之间第二向量的向量信息；根据第一向量与第二向量的向量信息，将第一向量与第二向量之间的夹角的信息确定为第一手臂中上臂和前臂之间的角度值。
本发明一实施例中，还包括：处理单元，用于进行警示提醒处理，或进行扣费处理。
下面将装置结合到具体实施例中，举例说明本公开实施例提供的装置。
本实施例中，物品终端可为一个冷柜，图像采集设备可为一个广角摄像头，位于冷柜顶部，通过USB接口，摄像头与冷柜之间已建立了通讯连接，并可监控冷柜门前半径1米的区域。
图6是根据一示例性实施例示出的一种物品终端用户行为监测装置的框图。如图6所示，该装置可包括：获取单元100、识别单元200、确定单元300和监测单元400；还可包括处理单元500。
当冷柜的门开启后，通过已连接匹配成功的摄像头，获取单元100获取冷柜前的视频信息。而识别单元200对视频信息进行识别，通过卷积姿态网络CPM方法，确定视频信息的每帧图像中第一手臂中至少三个点的位置信息，并根据每个点的位置信息，确定用户的第一手臂中上臂和前臂之间的角度值。如图3所示，识别单元200可将
Figure BDA0001950683970000081
与
Figure BDA0001950683970000082
之间的夹角α确定为第一手臂中上臂和前臂之间的角度值。并且，识别单元200还可确定每帧图像中第一手臂的手中所拿物品的状态信息，其中，状态信息可用Oi＝{Li,θi}，其中，Li可为物品的种类信息，而θi可为开口方向信息。而种类信息为饮品信息，则Li＝1，而非饮品信息时，Li＝0；开口方向信息为朝向用户时，θi＝1，而其他朝向时，θi＝0。
这样，确定单元300可将角度值α<120，且Oi＝{Li＝1,θi＝1}，对应的图像确定为第一图像。从而，5秒且视频帧率为25帧/秒的视频信息中，若第一图像的帧数超过100帧，监测单元400即可确定用户的行为异常。而处理单元500则需进行警示提醒处理。
可见，本实施例中，物品终端用户行为监测装置可获取物品终端前用户的视频信息，通过图像识别，确定视频信息中用户手臂中上臂和前臂之间的角度值异常，且所拿物品状态信息异常的第一图像，并当第一图像的帧数大于设定值时，确定用户的行为异常，实现物品终端对用户行为的监测，提高了物品终端应用的安全性，从而，提高了物品终端的应用几率。
本发明一实施例中，提供了一种物品终端用户行为监测的装置，装置用于物品终端，装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为：
当确定物品终端的门被开启后，获取所述物品终端前用户设定时间内的视频信息；
对所述视频信息中的每帧图像进行识别，确定每帧图像中所述用户的第一手臂中上臂和前臂之间的角度值，以及所述第一手臂的手中所拿物品的状态信息；
将所述角度值小于设定角度值，且所述状态信息满足设定状态信息的图像，确定为第一图像；
当所述视频信息中所述第一图像的帧数大于设定值时，确定所述用户的行为异常。
本发明实施例提供一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现上述方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的流程及结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种物品终端用户行为监测的方法，其特征在于，包括：
当确定物品终端的门被开启后，获取所述物品终端前用户设定时间内的视频信息；
对所述视频信息中的每帧图像进行识别，确定每帧图像中所述用户的第一手臂中上臂和前臂之间的角度值，以及所述第一手臂的手中所拿物品的状态信息；
将所述角度值小于设定角度值，且所述状态信息满足设定状态信息的图像，确定为第一图像；
当所述视频信息中所述第一图像的帧数大于设定值时，确定所述用户的行为异常。
2.如权利要求1所述的方法，其特征在于，所述获取所述物品终端前用户设定时间内的视频信息包括：
通过通用串行总线USB接口，与位于所述物品终端外侧的图像采集设备进行匹配通讯，获取所述图像采集设备采集的所述物品终端前用户设定时间内的视频信息；或，
通过短距离无线通信技术，与位于所述物品终端外侧的图像采集设备进行匹配通讯，获取所述图像采集设备采集的所述物品终端前用户设定时间内的视频信息；其中，所述短距离无线通信技术包括：Wi-Fi技术、蓝牙技术、或、ZigBee技术。
3.如权利要求1所述的方法，其特征在于，所述确定每帧图像中所述用户的第一手臂中上臂和前臂之间的角度值包括：
通过卷积姿态网络CPM方法，确定每帧图像中所述第一手臂中至少三个点的位置信息，其中，第一点为肘关节，第二点在所述上臂上，第三点在所述前臂上；
根据所述第一点与所述第二点的位置信息，确定所述第一点与所述第二点之间第一向量的向量信息；
根据所述第一点与所述第三点的位置信息，确定所述第一点与所述第三点之间第二向量的向量信息；
根据所述第一向量与所述第二向量的向量信息，将所述第一向量与所述第二向量之间的夹角的信息确定为所述第一手臂中上臂和前臂之间的角度值。
4.如权利要求1或3所述的方法，其特征在于，所述确定所述用户的行为异常之后，还包括：
进行警示提醒处理，或进行扣费处理。
5.一种物品终端用户行为监测的装置，其特征在于，包括：
获取单元，用于当确定物品终端的门被开启后，获取所述物品终端前用户设定时间内的视频信息；
识别单元，用于对所述视频信息中的每帧图像进行识别，确定每帧图像中所述用户的第一手臂中上臂和前臂之间的角度值，以及所述第一手臂的手中所拿物品的状态信息；
确定单元，用于将所述角度值小于设定角度值，且所述状态信息满足设定状态信息的图像，确定为第一图像；
监测单元，用于当所述视频信息中所述第一图像的帧数大于设定值时，确定所述用户的行为异常。
6.如权利要求5所述的装置，其特征在于，所述获取单元包括：
第一获取子单元，用于通过通用串行总线USB接口，与位于所述物品终端外侧的图像采集设备进行匹配通讯，获取所述图像采集设备采集的所述物品终端前用户设定时间内的视频信息；或，
第二获取子单元，用于通过短距离无线通信技术，与位于所述物品终端外侧的图像采集设备进行匹配通讯，获取所述图像采集设备采集的所述物品终端前用户设定时间内的视频信息；其中，所述短距离无线通信技术包括：Wi-Fi技术、蓝牙技术、或、ZigBee技术。
7.如权利要求5所述的装置，其特征在于，
所述识别单元，具体用于通过卷积姿态网络CPM方法，确定每帧图像中所述第一手臂中至少三个点的位置信息，其中，第一点为肘关节，第二点在所述上臂上，第三点在所述前臂上；根据所述第一点与所述第二点的位置信息，确定所述第一点与所述第二点之间第一向量的向量信息；根据所述第一点与所述第三点的位置信息，确定所述第一点与所述第三点之间第二向量的向量信息；根据所述第一向量与所述第二向量的向量信息，将所述第一向量与所述第二向量之间的夹角的信息确定为所述第一手臂中上臂和前臂之间的角度值。
8.如权利要求5或7所述的装置，其特征在于，还包括：
处理单元，用于进行警示提醒处理，或进行扣费处理。
9.一种物品终端用户行为监测的装置，所述装置用于物品终端，其特征在于，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
当确定物品终端的门被开启后，获取所述物品终端前用户设定时间内的视频信息；
对所述视频信息中的每帧图像进行识别，确定每帧图像中所述用户的第一手臂中上臂和前臂之间的角度值，以及所述第一手臂的手中所拿物品的状态信息；
将所述角度值小于设定角度值，且所述状态信息满足设定状态信息的图像，确定为第一图像；
当所述视频信息中所述第一图像的帧数大于设定值时，确定所述用户的行为异常。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-4所述方法的步骤。
CN201910050774.8A 2019-01-20 2019-01-20 物品终端用户行为监测的方法、装置及计算机存储介质 Active CN111460855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910050774.8A CN111460855B (zh) 2019-01-20 2019-01-20 物品终端用户行为监测的方法、装置及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910050774.8A CN111460855B (zh) 2019-01-20 2019-01-20 物品终端用户行为监测的方法、装置及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111460855A true CN111460855A (zh) 2020-07-28
CN111460855B CN111460855B (zh) 2023-11-24

Family

ID=71679764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910050774.8A Active CN111460855B (zh) 2019-01-20 2019-01-20 物品终端用户行为监测的方法、装置及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111460855B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077591A (zh) * 2013-03-27 2014-10-01 冉祥 电脑智能自动监控***
CN105551182A (zh) * 2015-11-26 2016-05-04 吉林大学 基于Kinect人体姿势识别的驾驶状态监测***
CN108216252A (zh) * 2017-12-29 2018-06-29 中车工业研究院有限公司 一种地铁司机车载驾驶行为分析方法、车载终端及***
CN108230553A (zh) * 2018-01-12 2018-06-29 上海首东供应链管理有限公司 一种镜像视觉识别自助售货机***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077591A (zh) * 2013-03-27 2014-10-01 冉祥 电脑智能自动监控***
CN105551182A (zh) * 2015-11-26 2016-05-04 吉林大学 基于Kinect人体姿势识别的驾驶状态监测***
CN108216252A (zh) * 2017-12-29 2018-06-29 中车工业研究院有限公司 一种地铁司机车载驾驶行为分析方法、车载终端及***
CN108230553A (zh) * 2018-01-12 2018-06-29 上海首东供应链管理有限公司 一种镜像视觉识别自助售货机***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MICHAEL H. LI ET AL.: "Vision-based assessment of parkinsonism and levodopa-induced dyskinesia with pose estimation" *

Also Published As

Publication number Publication date
CN111460855B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
CN108846621B (zh) 一种基于策略模块的库存管理***
US10192408B2 (en) Registry verification for a mechanized store using radio frequency tags
CN109409291B (zh) 智能货柜的商品识别方法和***及购物订单的生成方法
WO2020047919A1 (zh) 无人售货方法、装置、***、服务器及计算机可读存储介质
US20200193404A1 (en) An automatic in-store registration system
CN111222870B (zh) 结算方法、装置和***
CN105823778A (zh) 物品识别方法、装置及***
CN105809134A (zh) 智能冷藏设备和监控智能冷藏设备的方法
CN109447619A (zh) 基于开放环境的无人结算方法、装置、设备和***
WO2023198182A1 (zh) 购物车内商品数量确认的方法、***及存储介质
EP3748565A1 (en) Environment tracking
CN109934569B (zh) 结算方法、装置和***
CN110929658A (zh) 图像识别方法、图像识别装置及冰箱
EP3629276A1 (en) Context-aided machine vision item differentiation
CN113468914A (zh) 一种商品纯净度的确定方法、装置及设备
CN108171286B (zh) 无人售货方法及其***
CN111260685B (zh) 视频处理方法、装置及电子设备
US20230005348A1 (en) Fraud detection system and method
CN109300265A (zh) 无人超市管理***
JP6775467B2 (ja) 物品収納装置及び物品管理システム
CN111460855B (zh) 物品终端用户行为监测的方法、装置及计算机存储介质
CN110164031A (zh) 自动售货机
CN111178265A (zh) 商品识别方法及装置
CN109948966A (zh) 一种基于人脸识别技术的智能物品存取方法
CN113053036A (zh) 交易以及物品存取方法、设备、存储介质和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 266101 Haier Road, Laoshan District, Qingdao, Qingdao, Shandong Province, No. 1

Applicant after: QINGDAO HAIER SMART TECHNOLOGY R&D Co.,Ltd.

Applicant after: Haier Zhijia Co.,Ltd.

Address before: 266101 Haier Road, Laoshan District, Qingdao, Qingdao, Shandong Province, No. 1

Applicant before: QINGDAO HAIER SMART TECHNOLOGY R&D Co.,Ltd.

Applicant before: QINGDAO HAIER JOINT STOCK Co.,Ltd.

GR01 Patent grant
GR01 Patent grant