CN112749638A - 视觉识别轨迹的筛错方法和售货柜的视觉识别方法 - Google Patents

视觉识别轨迹的筛错方法和售货柜的视觉识别方法 Download PDF

Info

Publication number
CN112749638A
CN112749638A CN202011597121.0A CN202011597121A CN112749638A CN 112749638 A CN112749638 A CN 112749638A CN 202011597121 A CN202011597121 A CN 202011597121A CN 112749638 A CN112749638 A CN 112749638A
Authority
CN
China
Prior art keywords
track
misrecognized
features
determining
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011597121.0A
Other languages
English (en)
Inventor
陈海波
张梦倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenlan Artificial Intelligence Shenzhen Co Ltd
Original Assignee
Shenlan Artificial Intelligence Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenlan Artificial Intelligence Shenzhen Co Ltd filed Critical Shenlan Artificial Intelligence Shenzhen Co Ltd
Priority to CN202011597121.0A priority Critical patent/CN112749638A/zh
Publication of CN112749638A publication Critical patent/CN112749638A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例涉及机器视觉技术领域，提供了一种视觉识别轨迹的筛错方法和售货柜的视觉识别方法，视觉识别轨迹的筛错方法包括：确定与各摄像头对应的初始轨迹特征；从所有初始轨迹特征中去除各摄像头之间物品属性相同且对应同一实体对象的初始轨迹特征，得到第一误识别轨迹特征；基于各摄像头之间第一误识别轨迹特征的相似度，确定第二误识别轨迹特征组；判断第二误识别轨迹特征组内的各第二误识别轨迹特征对应同一实体对象，确定第二误识别轨迹特征组内置信度非最高的第二误识别轨迹特征为错误轨迹特征。本申请通过对不同摄像头之间轨迹特征的比较，可以有效剔除对物品属性误识别的轨迹特征，以帮助提高后续识别的准确率。

Description

视觉识别轨迹的筛错方法和售货柜的视觉识别方法
技术领域
本申请涉及机器视觉技术领域，尤其涉及一种视觉识别轨迹的筛错方法和售货柜的视觉识别方法。
背景技术
售货柜安装有用于采集图像的多个摄像头，通过分析图像可以得到用户取/放物品的轨迹特征，并通过分析轨迹特征中取/放物品的动作属性，识别到用户实际取/放的物品，最后根据识别结果，生成订单信息。
从轨迹特征识别到物品取/放结果的前提是，得到轨迹特征正确的物品属性。由于各摄像头的角度问题，经常会出现各摄像头识别到同一物品的轨迹特征中物品属性不一致的情形，直接影响到后续的物品取/放结果识别，容易造成用户与运营商的纠纷。
发明内容
本申请提供一种视觉识别轨迹的筛错方法和售货柜的视觉识别方法，以实现对物品属性误识别的轨迹特征的剔除。
本申请提供一种视觉识别轨迹的筛错方法，包括：基于多个摄像头采集的图像信息，确定与各摄像头对应的初始轨迹特征，所述初始轨迹特征包括物品属性；从所有初始轨迹特征中去除各摄像头之间物品属性相同且对应同一实体对象的初始轨迹特征，得到第一误识别轨迹特征，其中，各摄像头对应的所述第一误识别轨迹特征的物品属性各不相同；基于各摄像头之间所述第一误识别轨迹特征的相似度，确定第二误识别轨迹特征组；判断所述第二误识别轨迹特征组内的各第二误识别轨迹特征对应同一实体对象，确定所述第二误识别轨迹特征组内置信度非最高的第二误识别轨迹特征为错误轨迹特征。
根据本申请提供的一种视觉识别轨迹的筛错方法，所述从所有初始轨迹特征中去除各摄像头之间物品属性相同且对应同一实体对象的初始轨迹特征，得到第一误识别轨迹特征，包括：
确定物品属性相同且与不同摄像头对应的轨迹特征之间的相似度；
依次将相似度最高的一组轨迹特征，作为同一实体对象去除，得到第一误识别轨迹特征。
根据本申请提供的一种视觉识别轨迹的筛错方法，所述基于各摄像头之间所述第一误识别轨迹特征的相似度，确定第二误识别轨迹特征组，包括：
确定每个摄像头对应的每个第一误识别轨迹特征与其他摄像头对应的每个第一误识别轨迹特征的相似度；
将所述相似度大于目标相似度的第一误识别轨迹特征，作为第二误识别轨迹特征组。
根据本申请提供的一种视觉识别轨迹的筛错方法，通过如下方法确定所述相似度：
提取轨迹特征的特征值；
基于所述特征值，确定轨迹特征之间的欧氏距离，所述欧氏距离用于表征所述相似度。
根据本申请提供的一种视觉识别轨迹的筛错方法，所述判断所述第二误识别轨迹特征组内的各第二误识别轨迹特征对应同一实体对象，包括：
确定所述第二误识别轨迹特征组内各第二误识别轨迹特征的运行方向特征和时间特征；
若运行方向特征相同，且时间特征有交集，确定各第二误识别轨迹特征对应同一实体对象。
本申请还提供一种售货柜的视觉识别方法，包括：
如上述任一种所述视觉识别轨迹的筛错方法；
对除所述错误轨迹特征之外的其他初始轨迹特征中的动作属性进行识别，基于识别出的动作属性，得到识别结果。
本申请还提供一种视觉识别轨迹的筛选装置，包括：
轨迹识别模块，用于基于多个摄像头采集的图像信息，确定与各摄像头对应的初始轨迹特征，所述初始轨迹特征包括物品属性；
第一确定模块，用于从所有初始轨迹特征中去除各摄像头之间物品属性相同且对应同一实体对象的初始轨迹特征，得到第一误识别轨迹特征，其中，各摄像头对应的所述第一误识别轨迹特征的物品属性各不相同；
第二确定模块，用于基于各摄像头之间所述第一误识别轨迹特征的相似度，确定第二误识别轨迹特征组；
第三确定模块，用于判断所述第二误识别轨迹特征组内的各第二误识别轨迹特征对应同一实体对象，确定所述第二误识别轨迹特征组内置信度非最高的第二误识别轨迹特征为错误轨迹特征。
根据本申请提供的一种视觉识别轨迹的筛选装置，所述第一确定模块包括：
第一确定单元，用于确定物品属性相同且与不同摄像头对应的轨迹特征之间的相似度；
第一处理单元，用于依次将相似度最高的一组轨迹特征，作为同一实体对象去除，得到第一误识别轨迹特征。
根据本申请提供的一种所述第二确定模块包括：
第二确定单元，用于确定每个摄像头对应的每个第一误识别轨迹特征与其他摄像头对应的每个第一误识别轨迹特征的相似度；
第二处理单元，用于将所述相似度大于目标相似度的第一误识别轨迹特征，作为第二误识别轨迹特征组。
根据本申请提供的一种所述第三确定模块包括：
第三确定单元，用于确定所述第二误识别轨迹特征组内各第二误识别轨迹特征的运行方向特征和时间特征；
第三处理单元，用于若运行方向特征相同，且时间特征有交集，确定各第二误识别轨迹特征对应同一实体对象。
本申请还提供一种售货柜的视觉识别装置，包括：
筛选装置，用于执行如上述的所述视觉识别轨迹的筛错方法；
识别模块，用于对除所述错误轨迹特征之外的其他初始轨迹特征中的动作属性进行识别，基于识别出的动作属性，得到识别结果。
本申请还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述视觉识别轨迹的筛错方法或售货柜的视觉识别方法的步骤。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述视觉识别轨迹的筛错方法或售货柜的视觉识别方法的步骤。
本申请提供的视觉识别轨迹的筛错方法和售货柜的视觉识别方法，通过对不同摄像头之间轨迹特征的比较，可以有效剔除对物品属性误识别的轨迹特征，以帮助提高后续识别的准确率。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的视觉识别轨迹的筛错方法的流程示意图；
图2是本申请提供的视觉识别轨迹的筛错方法中步骤120的实施方式的流程示意图；
图3是本申请提供的视觉识别轨迹的筛错方法中步骤130的实施方式的流程示意图；
图4是本申请提供的视觉识别轨迹的筛错方法中步骤140的实施方式的流程示意图；
图5是本申请提供的视觉识别轨迹的筛选装置的结构示意图；
图6是本申请提供的视觉识别轨迹的筛选装置的第一确定模块的结构示意图；
图7是本申请提供的视觉识别轨迹的筛选装置的第二确定模块的结构示意图；
图8是本申请提供的视觉识别轨迹的筛选装置的第三确定模块的结构示意图；
图9是本申请提供的售货柜的视觉识别方法的流程示意图；
图10是本申请提供的售货柜的视觉识别装置的结构示意图；
图11是本申请提供的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面结合图1-图4描述本申请的视觉识别轨迹的筛错方法。
如图1所示，本申请实施例的视觉识别轨迹的筛错方法包括：步骤110-步骤140。
步骤110、基于多个摄像头采集的图像信息，确定与各摄像头对应的初始轨迹特征，初始轨迹特征包括物品属性；
在该步骤中，对各摄像头采集的各帧图像信息，进行图像识别，得到各帧图像信息的物品属性，然后将每个摄像头中具有相同物品属性的结果使用跟踪算法连缀成轨迹，得到初始轨迹特征。
在对各摄像头采集的各帧图像信息，进行图像识别时，还会得到识别的置信度。
每个初始轨迹特征具有一个物品属性，从一个摄像头采集的图像信息中，可能得到多个初始轨迹特征。
比如，用户一次从售货柜的同一个搁架拿了2个苹果，则从一个摄像头采集的图像信息中，可以得到2个初始轨迹特征，这2个初始轨迹特征的物品属性均为苹果。
当然，用户一次从售货柜的同一个搁架拿了2个苹果，如果进行图像识别时识别有误，从一个摄像头采集的图像信息中，可能得到2个初始轨迹特征，这2个初始轨迹特征的物品属性分别为苹果和橘子；从另一个摄像头采集的图像信息中，可能得到2个初始轨迹特征，这2个初始轨迹特征的物品属性均为苹果。
在实际的执行中，还可以基于物品属性，得到所有摄像头对应的物品属性集合，该物品属性集合为可能的最大结果的集合。
具体地，对所有各摄像头对应的物品属性集合取并集，比如在从一个摄像头采集的图像信息中，得到物品属性分别为苹果和橘子的2个初始轨迹特征，从另一个摄像头采集的图像信息中，得到物品属性分别均为苹果的2个初始轨迹特征，则物品属性集合为(苹果，苹果，橘子)。
步骤120、从所有初始轨迹特征中去除各摄像头之间物品属性相同且对应同一实体对象的初始轨迹特征，得到第一误识别轨迹特征，其中，各摄像头对应的第一误识别轨迹特征的物品属性各不相同；
在该步骤中，需要确定所有摄像头中，哪些物品属性相同的初始轨迹特征中对应的是同一实体对象，对应同一实体对象的初始轨迹特征可以判断为识别结果正确的初始轨迹特征，先去除。
剩余的初始轨迹特征为第一误识别轨迹特征，不存在某一物品属性，该物品属性在所有摄像头的第一误识别轨迹特征中均存在。
换言之，该步骤的目的是作消除法，以物品属性相同为基准，先去除所有摄像头达成一致的初始轨迹特征。
aki为第k个摄像头的第i个初始轨迹特征的物品属性，第k个摄像头对应的物品属性集合为Ak，aki∈Ak。
以两个摄像头且每个摄像头对应两个初始轨迹特征为例，
A1＝(a11,a12)，a11＝苹果，a12＝苹果；
A2＝(a21,a22)，a21＝苹果，a22＝橘子。
在该步骤中，需要确定a11对应的初始轨迹特征和a12对应的初始轨迹特征中的哪一个与a21对应的初始轨迹特征对应同一实体对象，比如确认出a11对应的初始轨迹特征与a21对应的初始轨迹特征对应同一实体对象，则认定二者识别正确，先去除，得到的第一误识别轨迹特征为a12对应的初始轨迹特征与a22对应的初始轨迹特征。
以两个摄像头且每个摄像头对应三个初始轨迹特征为例，
A1＝(a11,a12,a13)，a11＝苹果，a12＝苹果，a13＝苹果；
A2＝(a21,a22,a23)，a21＝苹果，a32＝橘子，a23＝苹果。
在该步骤中，需要确定a21和a23对应的初始轨迹特征分别与a11、a12和a13对应的初始轨迹特征中的哪一个对应同一实体对象，比如确认出a11对应的初始轨迹特征与a21对应的初始轨迹特征对应同一实体对象，则判断二者识别正确，先去除，确认出a12对应的初始轨迹特征与a23对应的初始轨迹特征对应同一实体对象，则判断二者识别正确，先去除，得到的第一误识别轨迹特征为a13对应的初始轨迹特征与a22对应的初始轨迹特征。
步骤130、基于各摄像头之间第一误识别轨迹特征的相似度，确定第二误识别轨迹特征组；
在步骤120中，得到的第一误识别轨迹特征中，可能存在误识别的情况，通过比较不同摄像头之间的第一误识别轨迹特征的相似度，可以得到第二误识别轨迹特征组。
如不同摄像头之间的第一误识别轨迹特征的不相似，则判断该第一误识别轨迹特征并未误识别，均保留即可。
步骤140、判断所述第二误识别轨迹特征组内的各第二误识别轨迹特征对应同一实体对象，确定第二误识别轨迹特征组内置信度非最高的第二误识别轨迹特征为错误轨迹特征。
在该步骤中，需要判断第二误识别轨迹特征组内的各第二误识别轨迹特征是否对应同一实体对象，如果是，则确定第二误识别轨迹特征组内置信度最高的第二误识别轨迹特征识别到正确的物品属性，保留；且第二误识别轨迹特征组内置信度并非最高的第二误识别轨迹特征为错误轨迹特征。
这样，经过上述筛错方法，可以准确找到对部分图像信息的物品属性的误识别。
根据本申请实施例的视觉识别轨迹的筛错方法，通过对不同摄像头之间轨迹特征的比较，可以有效剔除对物品属性误识别的轨迹特征，以帮助提高后续识别的准确率。
在一些实施例中，如图2所示，步骤120、从所有初始轨迹特征中去除各摄像头之间物品属性相同且对应同一实体对象的初始轨迹特征，得到第一误识别轨迹特征，包括：步骤121和步骤122。
步骤121、确定物品属性相同且与不同摄像头对应的初始轨迹特征之间的相似度；
在实际执行的过程中，步骤121可以包括：提取初始轨迹特征的特征值；基于特征值，确定初始轨迹特征之间的欧氏距离，欧氏距离用于表征相似度，欧氏距离越小，相似度越高，欧氏距离越大，相似度越低。
步骤122、依次将相似度最高的一组初始轨迹特征，作为同一实体对象去除，得到第一误识别轨迹特征。
以两个摄像头且每个摄像头对应三个轨迹特征为例，
A1＝(a11,a12,a13)，a11＝苹果，a12＝苹果，a13＝苹果；
A2＝(a21,a22,a23)，a21＝苹果，a22＝橘子，a23＝苹果。
在该步骤中，需要确定a21对应的初始轨迹特征分别与a11、a12和a13对应的初始轨迹特征的相似度，且需要确定a23对应的初始轨迹特征分别与a11、a12和a13对应的初始轨迹特征的相似度。
比如，a21对应的初始轨迹特征与a11对应的初始轨迹特征的相似度最高，则a21对应的初始轨迹特征与a11对应的初始轨迹特征对应同一实体对象，则判断二者识别正确，先去除；a23对应的初始轨迹特征与剩下的a12和a13中，a12对应的初始轨迹特征的相似度更高，则a23对应的初始轨迹特征与a12对应的初始轨迹特征对应同一实体对象，则判断二者识别正确，先去除；得到的第一误识别轨迹特征为a13对应的初始轨迹特征与a22对应的初始轨迹特征。
在一些实施例中，如图3所示，步骤130、基于各摄像头之间第一误识别轨迹特征的相似度，确定第二误识别轨迹特征组，包括：步骤131和步骤132。
步骤131、确定每个摄像头对应的每个第一误识别轨迹特征与其他摄像头对应的每个第一误识别轨迹特征的相似度。
换言之，确定与不同摄像头对应的第一误识别轨迹特征两两之间的相似度，对各摄像头之间的所述第一误识别轨迹特征，两两确定相似度。
以两个摄像头且每个摄像头对应三个轨迹特征为例，
A1＝(a11,a12,a13)，a11＝苹果，a12＝苹果，a13＝苹果；
A2＝(a21,a22,a23)，a21＝苹果，a22＝橘子，a23＝桃子。
a11与a21对应同一实体对象，得到第一误识别轨迹特征——a12,a13,a22,a23，则在该步骤中，需要确定如下四组第一误识别轨迹特征的相似度：(a12,a22)、(a12,a23)、(a13,a22)、(a13,a23)。
在实际执行的过程中，步骤131可以包括：提取第一误识别轨迹特征的特征值；基于特征值，确定与不同摄像头对应的第一误识别轨迹特征两两之间的欧氏距离，欧氏距离用于表征相似度，欧氏距离越小，相似度越高，欧氏距离越大，相似度越低。
步骤132、将相似度大于目标相似度的第一误识别轨迹特征，作为第二误识别轨迹特征组。
以两个摄像头且每个摄像头对应三个初始轨迹特征为例，最后得到的第一误识别初始轨迹特征为a13对应的初始轨迹特征与a22对应的初始轨迹特征，a13＝苹果，a22＝橘子。
如果a13对应的初始轨迹特征与a22对应的初始轨迹特征的相似度大于目标相似度，则其中一个摄像头在进行物品识别时，可能出错，将a13对应的初始轨迹特征与a22对应的初始轨迹特征作为第二误识别轨迹特征组。
如果a13对应的初始轨迹特征与a22对应的初始轨迹特征的相似度不大于目标相似度，则将a13对应的初始轨迹特征与a22对应的初始轨迹特征均保留。
这样可以从初始轨迹特征本身的特征上对筛选出的第一误识别轨迹特征进行再次筛选。
在一些实施例中，如图4所示，步骤140、判断所述第二误识别轨迹特征组内的各第二误识别轨迹特征对应同一实体对象，包括：步骤141和步骤142。
步骤141、确定第二误识别轨迹特征组内各第二误识别轨迹特征的运行方向特征和时间特征；
步骤142、若运行方向特征相同，且时间特征有交集，确定各第二误识别轨迹特征对应同一实体对象。
为了防止误删除一些轨迹，对于第二误识别轨迹特征组，还需要结合实际信息判断其是否真的对应同一实体对象，轨迹特征的重要信息为物品是取出还是放回以及该动作的时段，通过上述两个信息的判断，可以准确识别出第二误识别轨迹特征组内各第二误识别轨迹特征是否确实对应同一实体对象。
下面对本申请提供的视觉识别轨迹的筛选装置进行描述，下文描述的视觉识别轨迹的筛选装置与上文描述的视觉识别轨迹的筛错方法可相互对应参照。
如图5所示，本申请还提供一种视觉识别轨迹的筛选装置。
本申请实施例的视觉识别轨迹的筛选装置包括：轨迹识别模块510、第一确定模块520、第二确定模块530和第三确定模块540。
轨迹识别模块510，用于基于多个摄像头采集的图像信息，确定与各摄像头对应的初始轨迹特征，所述初始轨迹特征包括物品属性；
第一确定模块520，用于从所有初始轨迹特征中去除各摄像头之间物品属性相同且对应同一实体对象的初始轨迹特征，得到第一误识别轨迹特征，其中，各摄像头对应的所述第一误识别轨迹特征的物品属性各不相同；
第二确定模块530，用于基于各摄像头之间所述第一误识别轨迹特征的相似度，确定第二误识别轨迹特征组；
第三确定模块540，用于判断所述第二误识别轨迹特征组内的各第二误识别轨迹特征对应同一实体对象，确定所述第二误识别轨迹特征组内置信度非最高的第二误识别轨迹特征为错误轨迹特征。
根据本申请实施例的视觉识别轨迹的筛选装置，通过对不同摄像头之间轨迹特征的比较，可以有效剔除对物品属性误识别的轨迹特征，以帮助提高后续识别的准确率。
在一些实施例中，如图6所示，第一确定模块520包括：第一确定单元521和第一处理单元522。
第一确定单元521，用于确定物品属性相同且与不同摄像头对应的轨迹特征之间的相似度；
第一处理单元522，用于依次将相似度最高的一组轨迹特征，作为同一实体对象去除，得到第一误识别轨迹特征。
在一些实施例中，如图7所示，第二确定模块530包括：第二确定单元531和第二处理单元532。
第二确定单元531，用于确定每个摄像头对应的每个第一误识别轨迹特征与其他摄像头对应的每个第一误识别轨迹特征的相似度；
第二处理单元532，用于将所述相似度大于目标相似度的第一误识别轨迹特征，作为第二误识别轨迹特征组。
在一些实施例中，如图8所示，第三确定模块540包括：第三确定单元541和第三处理单元542。
第三确定单元541，用于确定所述第二误识别轨迹特征组内各第二误识别轨迹特征的运行方向特征和时间特征；
第三处理单元542，用于若运行方向特征相同，且时间特征有交集，确定各第二误识别轨迹特征对应同一实体对象。
本申请实施例提供的视觉识别轨迹的筛选装置用于执行上述视觉识别轨迹的筛错方法，其实施方式与本申请提供的视觉识别轨迹的筛错方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本申请还提供了一致售货柜的视觉识别方法。
售货柜可以为智能式或者无人式。
储物柜包括柜体和门体，柜体用于放置物品，柜体具有敞开端，门体用于封闭该敞开端，门体通过门锁与柜体锁止，储物柜与服务器通信连接。用户需要从储物柜取物品时，先解锁门体，比如用户可以使用移动终端扫描储物柜上的识别码，移动终端登录服务器，移动终端将开门请求发送给服务器，该开门请求包括有储物柜的设备标识，服务器下发开门命令，储物柜解锁。
当然，还可以通过其他方式解锁门体，例如储物柜上设有扫描装置，通过扫描装置来扫描用户移动终端的识别码、扫描用户的指纹、扫描用户的掌纹、扫描用户的虹膜、扫描用户的面部等其他方式也可以解锁储物柜的门体。因此，当用户通过以上任一种方式解锁门体时，则对应的可发出开门信号。
柜体内还可以设有搁架，搁架用于放置物品(也就是待售卖的商品)。
门体开启后，用户从搁架上自助取物，当然也可能出现取物后，又重新放回的情形，售货柜具有多个摄像头，摄像头用于采集用户的动作图像信息，对于每层搁架，为了提高识别的准确性可以设有多个摄像头，比如搁架的上下均设有摄像头，或者搁架的上下左右均设有摄像头。
摄像头采集的图像可以发送给服务器，通过图像识别算法，确定在本次交易过程中，用户的取货或者运营人员的补货信息。
下面结合图9描述本申请的售货柜的视觉识别方法。该方法的执行主体可以为售货柜的服务器，或者服务器的硬件设备，或者售货柜本地的处理器。
如图9所示，本申请实施例的售货柜的视觉识别方法，包括：
如按上述任一种实施例的视觉识别轨迹的筛错方法；
步骤150、对除错误轨迹特征之外的其他初始轨迹特征中的动作属性进行识别，基于识别出的动作属性，得到识别结果。
初始轨迹特征用于表征目标物品随时间变化时的位置变化特征，可以理解的是，初始轨迹特征的部分区段可以表示物品被取出，初始轨迹特征的部分区段可以表示物品被放回，这样可以得到初始轨迹特征的动作属性。
该步骤中，主要是通过确定每个初始轨迹特征的对应的动作属性，来得到识别结果。动作属性用于表征物品是被取出还是放回。在得到初始轨迹特征的动作属性后，通过对动作属性进行计算，得到识别结果，识别结果用于表征用户从售货柜取走了(或放回)多少个什么物品。
根据本申请实施例的售货柜的视觉识别方法，通过对不同摄像头之间轨迹特征的比较，可以有效剔除对物品属性误识别的轨迹特征，有助于帮助售货柜准确结算。
下面对本申请提供的售货柜的视觉识别装置进行描述，下文描述的售货柜的视觉识别装置与上文描述的售货柜的视觉识别方法可相互对应参照。
如图10所示，本申请还提供一种售货柜的视觉识别装置。
本申请实施例的售货柜的视觉识别装置，包括：筛选装置500和识别模块600。
筛选装置500，用于执行如上述任一种的视觉识别轨迹的筛错方法；筛选装置500可以包括：轨迹识别模块510、第一确定模块520、第二确定模块530和第三确定模块540。
识别模块600，用于对除错误轨迹特征之外的其他初始轨迹特征之外的其他轨迹特征进行识别，得到识别结果。
本申请实施例提供的售货柜的视觉识别装置用于执行上述售货柜的视觉识别方法，其实施方式与本申请提供的售货柜的视觉识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
图11示例了一种电子设备的实体结构示意图，如图11所示，该电子设备可以包括：处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory)1130和通信总线1140，其中，处理器1110，通信接口1120，存储器1130通过通信总线1140完成相互间的通信。处理器1110可以调用存储器1130中的逻辑指令，以执行视觉识别轨迹的筛错方法，该方法包括：基于多个摄像头采集的图像信息，确定与各摄像头对应的初始轨迹特征，所述初始轨迹特征包括物品属性；从所有初始轨迹特征中去除各摄像头之间物品属性相同且对应同一实体对象的初始轨迹特征，得到第一误识别轨迹特征，其中，各摄像头对应的所述第一误识别轨迹特征的物品属性各不相同；基于各摄像头之间所述第一误识别轨迹特征的相似度，确定第二误识别轨迹特征组；判断所述第二误识别轨迹特征组内的各第二误识别轨迹特征对应同一实体对象，确定所述第二误识别轨迹特征组内置信度非最高的第二误识别轨迹特征为错误轨迹特征；或者执行售货柜的视觉识别方法，该方法包括：如前述的视觉识别轨迹的筛错方法；对除所述错误轨迹特征之外的其他初始轨迹特征中的动作属性进行识别，基于识别出的动作属性，得到识别结果。
此外，上述的存储器1130中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的电子设备中的处理器810可以调用存储器830中的逻辑指令，实现上述视觉识别轨迹的筛错方法和售货柜的视觉识别方法，其实施方式与本申请提供的视觉识别轨迹的筛错方法和售货柜的视觉识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
另一方面，本申请还提供一种计算机程序产品，下面对本申请提供的计算机程序产品进行描述，下文描述的计算机程序产品与上文描述的视觉识别轨迹的筛错方法和售货柜的视觉识别方法可相互对应参照。
所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的视觉识别轨迹的筛错方法，该方法包括：基于多个摄像头采集的图像信息，确定与各摄像头对应的初始轨迹特征，所述初始轨迹特征包括物品属性；从所有初始轨迹特征中去除各摄像头之间物品属性相同且对应同一实体对象的初始轨迹特征，得到第一误识别轨迹特征，其中，各摄像头对应的所述第一误识别轨迹特征的物品属性各不相同；基于各摄像头之间所述第一误识别轨迹特征的相似度，确定第二误识别轨迹特征组；判断所述第二误识别轨迹特征组内的各第二误识别轨迹特征对应同一实体对象，确定所述第二误识别轨迹特征组内置信度非最高的第二误识别轨迹特征为错误轨迹特征；或者执行售货柜的视觉识别方法，该方法包括：如前述的视觉识别轨迹的筛错方法；对除所述错误轨迹特征之外的其他初始轨迹特征中的动作属性进行识别，基于识别出的动作属性，得到识别结果。
本申请实施例提供的计算机程序产品被执行时，实现上述视觉识别轨迹的筛错方法和售货柜的视觉识别方法，其实施方式与本申请提供的视觉识别轨迹的筛错方法和售货柜的视觉识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
又一方面，本申请还提供一种非暂态计算机可读存储介质，下面对本申请提供的非暂态计算机可读存储介质进行描述，下文描述的非暂态计算机可读存储介质与上文描述的视觉识别轨迹的筛错方法和售货柜的视觉识别方法可相互对应参照。
本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的视觉识别轨迹的筛错方法，该方法包括：基于多个摄像头采集的图像信息，确定与各摄像头对应的初始轨迹特征，所述初始轨迹特征包括物品属性；从所有初始轨迹特征中去除各摄像头之间物品属性相同且对应同一实体对象的初始轨迹特征，得到第一误识别轨迹特征，其中，各摄像头对应的所述第一误识别轨迹特征的物品属性各不相同；基于各摄像头之间所述第一误识别轨迹特征的相似度，确定第二误识别轨迹特征组；判断所述第二误识别轨迹特征组内的各第二误识别轨迹特征对应同一实体对象，确定所述第二误识别轨迹特征组内置信度非最高的第二误识别轨迹特征为错误轨迹特征；或者执行售货柜的视觉识别方法，该方法包括：如前述的视觉识别轨迹的筛错方法；对除所述错误轨迹特征之外的其他初始轨迹特征中的动作属性进行识别，基于识别出的动作属性，得到识别结果。
本申请实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述视觉识别轨迹的筛错方法和售货柜的视觉识别方法，其实施方式与本申请提供的视觉识别轨迹的筛错方法和售货柜的视觉识别方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种视觉识别轨迹的筛错方法，其特征在于，包括：
基于多个摄像头采集的图像信息，确定与各摄像头对应的初始轨迹特征，所述初始轨迹特征包括物品属性；
从所有初始轨迹特征中去除各摄像头之间物品属性相同且对应同一实体对象的初始轨迹特征，得到第一误识别轨迹特征，其中，各摄像头对应的所述第一误识别轨迹特征的物品属性各不相同；
基于各摄像头之间所述第一误识别轨迹特征的相似度，确定第二误识别轨迹特征组；
判断所述第二误识别轨迹特征组内的各第二误识别轨迹特征对应同一实体对象，确定所述第二误识别轨迹特征组内置信度非最高的第二误识别轨迹特征为错误轨迹特征。
2.根据权利要求1所述的视觉识别轨迹的筛错方法，其特征在于，所述从所有初始轨迹特征中去除各摄像头之间物品属性相同且对应同一实体对象的初始轨迹特征，得到第一误识别轨迹特征，包括：
确定物品属性相同且与不同摄像头对应的轨迹特征之间的相似度；
依次将相似度最高的一组轨迹特征，作为同一实体对象去除，得到第一误识别轨迹特征。
3.根据权利要求1所述的视觉识别轨迹的筛错方法，其特征在于，所述基于各摄像头之间所述第一误识别轨迹特征的相似度，确定第二误识别轨迹特征组，包括：
确定每个摄像头对应的每个第一误识别轨迹特征与其他摄像头对应的每个第一误识别轨迹特征的相似度；
将所述相似度大于目标相似度的第一误识别轨迹特征，作为第二误识别轨迹特征组。
4.根据权利要求2或3所述的视觉识别轨迹的筛错方法，其特征在于，通过如下方法确定所述相似度：
提取轨迹特征的特征值；
基于所述特征值，确定轨迹特征之间的欧氏距离，所述欧氏距离用于表征所述相似度。
5.根据权利要求1-3中任一项所述的视觉识别轨迹的筛错方法，其特征在于，所述判断所述第二误识别轨迹特征组内的各第二误识别轨迹特征对应同一实体对象，包括：
确定所述第二误识别轨迹特征组内各第二误识别轨迹特征的运行方向特征和时间特征；
若运行方向特征相同，且时间特征有交集，确定各第二误识别轨迹特征对应同一实体对象。
6.一种售货柜的视觉识别方法，其特征在于，包括：
如权利要求1-5中任一项所述视觉识别轨迹的筛错方法；
对除所述错误轨迹特征之外的其他初始轨迹特征中的动作属性进行识别，基于识别出的动作属性，得到识别结果。
7.一种视觉识别轨迹的筛选装置，其特征在于，包括：
轨迹识别模块，用于基于多个摄像头采集的图像信息，确定与各摄像头对应的初始轨迹特征，所述初始轨迹特征包括物品属性；
第一确定模块，用于从所有初始轨迹特征中去除各摄像头之间物品属性相同且对应同一实体对象的初始轨迹特征，得到第一误识别轨迹特征，其中，各摄像头对应的所述第一误识别轨迹特征的物品属性各不相同；
第二确定模块，用于基于各摄像头之间所述第一误识别轨迹特征的相似度，确定第二误识别轨迹特征组；
第三确定模块，用于判断所述第二误识别轨迹特征组内的各第二误识别轨迹特征对应同一实体对象，确定所述第二误识别轨迹特征组内置信度非最高的第二误识别轨迹特征为错误轨迹特征。
8.根据权利要求7所述的视觉识别轨迹的筛选装置，其特征在于，所述第一确定模块包括：
第一确定单元，用于确定物品属性相同且与不同摄像头对应的轨迹特征之间的相似度；
第一处理单元，用于依次将相似度最高的一组轨迹特征，作为同一实体对象去除，得到第一误识别轨迹特征。
9.根据权利要求7所述的视觉识别轨迹的筛选装置，其特征在于，所述第二确定模块包括：
第二确定单元，用于确定每个摄像头对应的每个第一误识别轨迹特征与其他摄像头对应的每个第一误识别轨迹特征的相似度；
第二处理单元，用于将所述相似度大于目标相似度的第一误识别轨迹特征，作为第二误识别轨迹特征组。
10.根据权利要求7-9中任一项所述的视觉识别轨迹的筛选装置，其特征在于，所述第三确定模块包括：
第三确定单元，用于确定所述第二误识别轨迹特征组内各第二误识别轨迹特征的运行方向特征和时间特征；
第三处理单元，用于若运行方向特征相同，且时间特征有交集，确定各第二误识别轨迹特征对应同一实体对象。
11.一种售货柜的视觉识别装置，其特征在于，包括：
筛选装置，用于执行如权利要求1-5中任一项所述视觉识别轨迹的筛错方法；
识别模块，用于对除所述错误轨迹特征之外的其他初始轨迹特征中的动作属性进行识别，基于识别出的动作属性，得到识别结果。
12.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述视觉识别轨迹的筛错方法或权利要求6所述售货柜的视觉识别方法的步骤。
13.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述视觉识别轨迹的筛错方法或权利要求6所述售货柜的视觉识别方法的步骤。
CN202011597121.0A 2020-12-28 2020-12-28 视觉识别轨迹的筛错方法和售货柜的视觉识别方法 Pending CN112749638A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011597121.0A CN112749638A (zh) 2020-12-28 2020-12-28 视觉识别轨迹的筛错方法和售货柜的视觉识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011597121.0A CN112749638A (zh) 2020-12-28 2020-12-28 视觉识别轨迹的筛错方法和售货柜的视觉识别方法

Publications (1)

Publication Number Publication Date
CN112749638A true CN112749638A (zh) 2021-05-04

Family

ID=75646867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011597121.0A Pending CN112749638A (zh) 2020-12-28 2020-12-28 视觉识别轨迹的筛错方法和售货柜的视觉识别方法

Country Status (1)

Country Link
CN (1) CN112749638A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546703A (zh) * 2022-11-21 2022-12-30 浙江莲荷科技有限公司 自助收银的风险识别方法、装置、设备及存储介质
CN115641359A (zh) * 2022-10-17 2023-01-24 北京百度网讯科技有限公司 确定对象的运动轨迹的方法、装置、电子设备和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120062168A (ko) * 2010-12-06 2012-06-14 한국전자통신연구원 부분 궤적 인식 장치 및 방법
US20140050455A1 (en) * 2012-08-20 2014-02-20 Gorilla Technology Inc. Correction method for object linking across video sequences in a multiple camera video surveillance system
WO2017157119A1 (zh) * 2016-03-18 2017-09-21 中兴通讯股份有限公司 一种车辆异常行为的识别方法及装置
CN109816700A (zh) * 2019-01-11 2019-05-28 佰路得信息技术(上海)有限公司 一种基于目标识别的信息统计方法
WO2019109142A1 (en) * 2017-12-06 2019-06-13 University Of Technology Sydney Monitoring systems, and computer implemented methods for processing data in monitoring systems, programmed to enable identification and tracking of human targets in crowded environments
CN111061822A (zh) * 2019-11-13 2020-04-24 北京旷视科技有限公司 轨迹绘制方法、装置、电子设备及存储介质
US10679362B1 (en) * 2018-05-14 2020-06-09 Vulcan Inc. Multi-camera homogeneous object trajectory alignment
CN111415461A (zh) * 2019-01-08 2020-07-14 虹软科技股份有限公司 物品识别方法及***、电子设备
CN111639968A (zh) * 2020-05-25 2020-09-08 腾讯科技（深圳）有限公司 轨迹数据处理方法、装置、计算机设备以及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120062168A (ko) * 2010-12-06 2012-06-14 한국전자통신연구원 부분 궤적 인식 장치 및 방법
US20140050455A1 (en) * 2012-08-20 2014-02-20 Gorilla Technology Inc. Correction method for object linking across video sequences in a multiple camera video surveillance system
WO2017157119A1 (zh) * 2016-03-18 2017-09-21 中兴通讯股份有限公司 一种车辆异常行为的识别方法及装置
WO2019109142A1 (en) * 2017-12-06 2019-06-13 University Of Technology Sydney Monitoring systems, and computer implemented methods for processing data in monitoring systems, programmed to enable identification and tracking of human targets in crowded environments
US10679362B1 (en) * 2018-05-14 2020-06-09 Vulcan Inc. Multi-camera homogeneous object trajectory alignment
CN111415461A (zh) * 2019-01-08 2020-07-14 虹软科技股份有限公司 物品识别方法及***、电子设备
CN109816700A (zh) * 2019-01-11 2019-05-28 佰路得信息技术(上海)有限公司 一种基于目标识别的信息统计方法
CN111061822A (zh) * 2019-11-13 2020-04-24 北京旷视科技有限公司 轨迹绘制方法、装置、电子设备及存储介质
CN111639968A (zh) * 2020-05-25 2020-09-08 腾讯科技（深圳）有限公司 轨迹数据处理方法、装置、计算机设备以及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641359A (zh) * 2022-10-17 2023-01-24 北京百度网讯科技有限公司 确定对象的运动轨迹的方法、装置、电子设备和介质
CN115641359B (zh) * 2022-10-17 2023-10-31 北京百度网讯科技有限公司 确定对象的运动轨迹的方法、装置、电子设备和介质
CN115546703A (zh) * 2022-11-21 2022-12-30 浙江莲荷科技有限公司 自助收银的风险识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108491799B (zh) 一种基于图像识别的智能售货柜商品管理方法及***
US11188783B2 (en) Reverse neural network for object re-identification
CN111415461B (zh) 物品识别方法及***、电子设备
CN102945366B (zh) 一种人脸识别的方法及装置
US11288490B1 (en) Utilizing sensor data for automated user identification
CN106663203B (zh) 活体指纹识别方法及装置
CN106203333A (zh) 人脸识别方法及***
CA3152812A1 (en) Facial recognition method and apparatus
CN106960177A (zh) 活体人脸验证方法及***、活体人脸验证装置
CN108734092B (zh) 人物认证装置
CN112749638A (zh) 视觉识别轨迹的筛错方法和售货柜的视觉识别方法
CN109886080A (zh) 人脸活体检测方法、装置、电子设备及可读存储介质
CN109377601B (zh) 一种基于指纹识别的智能办公室门禁***
CN116129350B (zh) 数据中心安全作业的智能监控方法、装置、设备及介质
CN111488798B (zh) 指纹识别方法、装置、电子设备及存储介质
JP7030092B2 (ja) 情報生成方法及び装置並びにヒューマンコンピュータインタラクションのための装置
CN110175553B (zh) 基于步态识别与人脸识别建立特征库的方法及装置
CN112861742A (zh) 人脸识别方法、装置、电子设备及存储介质
EP3629228B1 (en) Image processing for determining relationships between tracked objects
US11663805B1 (en) Utilizing sensor data for automated user identification
US20210166041A1 (en) System and method for tracking customer movements in a customer service environment
Cootes et al. Locating objects of varying shape using statistical feature detectors
CN114266267A (zh) 集合二维码、文档、证件、人脸的自动识别方法、装置及存储介质
CN111738059A (zh) 一种面向无感场景的人脸识别方法
CN115497146B (zh) 模型的训练方法和装置、身份验证方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination