CN104025573A

CN104025573A - 用于站点异常记录和通知的***和方法

Info

Publication number: CN104025573A
Application number: CN201180072689.3A
Authority: CN
Inventors: 李国柱; 刘礼斌; 哈桑·蒂穆钦·厄兹代米尔; 余鹃
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2011-07-29
Filing date: 2011-08-08
Publication date: 2014-09-03
Also published as: JP2014531066A; WO2013019245A2; EP2737698A2; WO2013019245A3; JP5958723B2; US20130030875A1; EP2737698A4

Abstract

经由应用向用户通知站点异常的方法，所述应用被配置为访问事件服务器，所述事件服务器具有：第一传感器异常检测器，被连接到第一传感器，用于检测由所述第一传感器感测到的第一子事件的第一异常行为，所述第一异常行为对应于第一异常行为值；第二传感器异常检测器，被连接到第二传感器，用于检测由与所述第一传感器的类型不同的所述第二传感器感测到的第二子事件的第二异常行为，所述第二异常行为对应于第二异常行为值；相关器，用于将所述第一和第二异常行为值进行相关并且将相关的值记录作为复合事件；数据存储；所述应用具有观看器，所述观看器被配置为在所述设备上示出与多个复合事件相关联的数据，所述观看器进一步被配置为以时间顺序显示所述多个复合事件。

Description

用于站点异常记录和通知的***和方法

技术领域

本公开涉及数据挖掘领域。更具体地说，本公开涉及用于通过记录和通知异常来改善站点运营的数据挖掘。

背景技术

在零售店或其他站点，工人和经理基于设计的工作流模式来实施多项任务并且与顾客进行交互以实现有效率的运营。尽管工作流流程覆盖频繁出现的模式，但异常情形会周期性出现且造成服务中断或顾客抱怨，导致销售机会的丧失。

在商店环境中，一些设施具有生成事件日志的各种不同的***，包括销售点（POS）、监视、访问控制等。现有的监视记录器可以以与监视设备有关的有限的事件类型，诸如运动检测、视频丢失等等，来记录相机视频；但是，没有能够接受各种不同类型的事件源、记录、管理、索引并且检索这些事件的监视记录器。店经理不仅需要从这些***监视事件和事故，而且需要管理雇员的日常运营。零售店必须依赖于店经理，借由人工合并POS日志、访问控制日志、视频监视警报日志并且搜索和找出哪里有错误，来处理所有的事故。尽管可能有部分集成的***可用，诸如通过视频监视的气候控制，但没有简单的方法来快速搜索和显示所有相关事件和来自所有事件的序列。例如，单独就监视记录器而言，用户界面的设计基于如下假设：商店将具有资源来对监视记录器进行监视；但是，许多小到中型商户（SMB）根本不具有这样的资源和时间来监视用户界面，尽管他们需要监视技术。

当今可用的监视记录器能够基于特定事件类型，诸如运动检测等，的发生而记录视频。尽管用户能够以用于访问和检索视频的搜索标准来合并若干事件类型，但没有可用的***来自动执行挖掘并将所有子事件与特定高度异常事件（警报）相关到一起，并且管理这些相关事件作为复合事件日志。在例如美国专利第7,667,596号和美国专利公开第2010/0208064号中描述了这样的传统***，明确地通过引用将其公开内容完整地结合进来。

当前的视频监视***能够提供顾客位置和到达信息（基于例如内部通道交通或者是在相机视野中）。从多个相机收集到的信息被关连；但是***通常不能够区分从一个相机转移到另一个的单个人物和两个不同的人物，从而导致准确度问题。类似地，对于对象的追踪可能由于以下而丢失：追踪误差或者移动对象融入到背景中，或者相同对象以不同标识符出现以及***认为其是不同对象/人物而不是对相同人物的追踪。

当前，还没有可用的***以实际、***的方式来***地实施异常事件分析。因此，这样的分析不能够由从事在正常工作流中所定义的任务的工人***地做出。

而且，不存在可用***能够将各个***相关起来，诸如安全***、统一通信（UC）***、在线订购***、便利管理***、访问控制***、面部识别***、射频识别（RFID）***、顾客关系管理（CRM）***。也没有任何可用***可以将集成的应用相关起来，诸如视频分析+安全、视频分析+市场、POS+视频分析（例如虚假退货）、无线订购***+POS、面部识别（年龄、性别）+POS+CRM、以及UC+访问控制+安全。如这里使用的“UC”被定义为实时通信服务与非实时通信服务的集成，实时通信服务诸如即时消息传递（聊天）、在场信息、电话（包括IP电话）、视频会议、数据共享（包括网络连接的电子白板又称作IWB或交互白板）、呼叫控制和语音识别，非实时通信服务诸如统一消息传递（集成语音邮件、电子邮件、SMS和传真）。

由于缺乏集成***来监视站点运营，有组织的零售犯罪团伙利用了零售设施（诸如连锁店）的安全弱点并且针对相同设施的不同分支重复其行为。当使用闭路电视（CCTV）时，每个分支都记录了视频。但是LP（损失预防）人员必须单独地回顾这些冗长的视频并确定诸如不同视频/设施中的人是否相同等模式。一些解决方案将事故视频数据上传到中心服务器以使LP调查更容易，诸如VSaaS（视频监视作为服务解决方案），但是这样的解决方案仍然需要由个人来完成人工调查，该个人可能不能够准确地记起所有看过视频的内容。

当前的集成解决方案是垂直集成的，并且不开放（诸如：POS和记录器的集成，语音检测和记录的集成，门接触与相机记录的集成等等）。不幸的是，所有这些集成一般都是通过有线连接，而且不能缩放且不够灵活。

在已知的“汽车穿梭站”（drive-thru）运营站点（例如快餐店），订单处理通常以下面的顺序发生：取得订单、食品准备、接受支付、向顾客交付订单。不同站点以不同方式设计并合并这些步骤，使得服务窗口匹配任务序列。订单取得一般是通过对场地上带有耳麦的雇员的音频呼叫来处理的。雇员接受订单并且将其输入到订单处理***。（一个或多个）顾客提货窗口处理支付和订单服务。不幸的是，商店提货窗口对于雇员行窃也是弱点。考虑到在“汽车穿梭站”运营中超过50%的运营成本通常源于的劳动力成本，订单处理工作流中的任何自动化都将改善财务底线。

考虑到上面所述，因此为了情况知晓和事故管理，需要有结合力地组织接收到的用于站点应用的多媒体信息（例如POS终端、统一通信设备、顾客关系管理器、声音记录器、访问控制点、运动检测器、生物计量传感器、速度检测器、温度传感器、气体传感器和位置传感器），以及相关事件信息。还需要能够搜索由从外部设备获得的各种不同数据所注解的捕获的内容（例如来自相机）。不幸的是，考虑到在零售站点的许多应用（例如门、POS、CO传感器等等），迄今为止，通过连接其他设备与多媒体记录器的集成不切实可行。

发明内容

通过关注于异常管理效率，本公开的非限制特征改善了总体***效率，因为运营中的异常的发生是优化例如管理的连锁店中的运营流的无效率的强指示。

根据本公开的非限制特征，提供一种用于通过自动学习正常行为并从多个***中检测异常事件来监视和控制零售商店中的工作流过程的方法。

本公开的非限制特征自动化了相关事件和异常事件的分析和记录以向移动工人和/或经理实时地提供实时通知和事故管理报告。

本公开的非限制特征提供了一种***，其能够有效地记录和管理多个事件并且还从多媒体事件日志提供商务智能总结报告。

本公开的非限制特征组织和存储相关的事件作为易于访问的事件日志。本公开的非限制特征提供：监视记录器要与用于实时通知递送以及呼入功能的统一通信***相集成，以在需要时远程检查站点。

在本公开的非限制特征中，具有安全远程访问的联网服务允许例如店经理监视许多商店（由此增加连锁店的效率，因为一个经理能够监视多个商店）并且省得经理每天去每个商店。而是，经理能够花费大部分他/她的时间来监视多个站点运营来改善顾客服务和商店收入，而不是驾车去每个商店位置，这将浪费能量和时间。

因此，根据本公开的非限制特征的监视和通知界面提供了与应用的目的有关的易于理解、过滤的和聚集的多媒体视图和事件数据。

本公开的非限制特征提供了易于创建特定应用的记录的多媒体注解（通过事件源，诸如POS、运动传感器、光传感器、温度传感器、门接触、音频识别等等）允许用户定义特定应用事件（定制、灵活性），定义怎样从事件收集注解数据；以及有效地以统一视图检索所有事故相关的多媒体数据（导致自动效率）。

本公开的非限制特征集成了不同类型的事件以创建统一数据模型从而允许服务过程优化并且降低了对顾客的服务和等候时间。本公开的非限制特征关注于异常检测管理以基于正常顾客要求而改善商店运营从而检测异常事件序列和事件序列之间的互关系。

本公开的非限制特征提供了数据挖掘过程，其支持基于从现有数据提取的期望顾客要求的员工决策，其中现有数据是从基于视频的检测（计数、检测犹豫顾客）、POS、和员工表现数据（表明特定准备任务的服务水平）收集的。

根据本公开的非限制特征的***自动地创建基于事件相关度的记录，并且生成视频日志，使得工人和经理易于观看而不用大量的人工操作。本公开的非限制特征中的记录的多媒体日志包括多种类型的事件和被分级的事件相关度，以帮助快速浏览。

本发明的非限制特征通过仅仅将异常事件集成而降低了集成成本，从而节约了时间。而且，通过从具有不同意义和单位的不同***变量中提取归一化的异常分数，可以降低定制成本。

根据本公开的非限制特征的异常商务智能报告降低了对人工观察每个***的优化过程的适当性的长持续时间进步改变的需要。而且，同步订单流水线上站点工人的加速步伐或当需要时实时地增加工人，能够降低服务等候时间和总体***成本。

除了来自各种不同事件信息源的视频以外，根据本公开的非限制特征的***还可以记录多种类型的事件和多媒体信息。记录的信息，不仅基于时间和事件类型，而且还基于诸如相关事件、时间、事件序列、空间（位置）等的多种因素，被组织和索引。

根据本公开的非限制特征的***允许用户定义商务智能应用环境以为自动化事件日志组织表达应用目的。

根据本公开的非限制特征的***从多种事件源捕捉具有多媒体记录的事件输入，过滤并且聚集这些事件。事件序列挖掘引擎执行事件序列挖掘，通过前向和后向追踪事件序列链接、概率和事件预测来将事件相关。

根据本公开的非限制特征的***提供了自动化在线统一视图，其具有用于快速连锁店商务智能监视的总结表盘，并且检索到的多媒体记录基于关键事件且能够通过沿着时间、空间和连锁店位置（单独/城市/区域/州/世界范围）范围的所有链接的子事件易于浏览。根据本公开的非限制特征的***还经由统一通信而无缝地集成了自动化通知。

根据本公开的非限制特征的***提供了多媒体事件日志服务器，其支持多模型时空事件相关、序列挖掘、和序列向回追踪，以用于零售店雇员管理、销售管理和异常事故管理的日常商务管理事件日志和商务智能。

根据本公开的非限制特征的多媒体事件日志服务器能够从零售商店商务操作中的多种类型的事件输入源收集和记录事件、聚集事件、过滤事件、挖掘事件序列、以及将事件相关。其经由计算机或移动设备对店经理提供了具有商务智能总结统一报告视图或者表盘以及统一通信通知的自动化在线实时异常相关事件日志。

事件日志服务器***提供了经由API（应用编程接口）的事件收集、事件序列挖掘和相关引擎、对于事件和交易日志的多媒体存储、事件日志管理、商务智能总结报告、以及提示UC通知。

根据本公开的非限制方面的集成异常检测***的特征是：

-通过仅仅集成异常事件而降低集成成本；

-通过从具有不同意义和单位的不同***变量中提取归一化的异常分数来降低定制成本；

-异常商务智能报告降低了雇员对人工观察长持续时间进步随时间的改变以确定每个***的优化过程的需要；以及

-同步在订单流水线上的工人的工作步伐，或在需要时实时地增加工人，能够降低顾客服务等候时间和总体***成本。

***允许用户定义商务智能环境以表达应用目的，并且捕捉来自设备具有来自多种类型的设备或传感器的多媒体记录的事件输入，组合事件和序列，并且经由统一通信（UC）提供灵活的通知，并且支持用于快速搜索和监视的在线实时统一总结视图表盘。

根据本公开的非限制特征的多媒体事件日志服务器提供了可扩展的***，其允许对用于特定应用复合事件定义、检测和事故数据收集的各种事件的集成。灵活的框架允许用户在统一视图中看到所有事件相关数据。呈现层可以为垂直应用段而定制。应用事件捕捉盒子可以提供宽带连接到基于云的服务，其能够允许维持、配置数据备份、用于延长时间段的事故数据存储（代替现场记录器）、商务智能报告和多站点管理。

根据本公开的非限制特征的***从单独一个设备或从多个设备或传感器接收原始事件，其然后被累积以检测是对相关事件的复合的应用复合事件。而且，***可以基于多步骤马尔可夫链模型学习或贝叶斯信赖（Belief）网络学习方法来执行事件序列“出现间隔”统计分布。在***学习之后，事件的统计关联被自动构建，并且可以向回追踪基于时间和空间以及“多个之前事件”的异常序列。

***的另一特征在出现一个异常事件后向回追踪所有异常事件。其结果可以被基于分级的事件异常分数而排序。而且，管理的事件数据和视频可以被提供给另外的联网中心管理站点。记录的多媒体可以通过收集的复合事件信息而被注解（诸如，为了调查，允许用户跳到已经扫描所选杂货品的片段，而不是观看整个记录）。

而且，根据本公开的非限制特征的***可以进一步包括基于原始事件及其潜在排列而表现特定应用事件。而且为了效率，可以提供在表现中组合许多事件的检测表现。而且，定义的特定应用事件可以被动态更新（例如，它们可以增加、删除或修改）并且存储在动态或永久存贮器中。

零售业的主要成本负担来自失窃、退货欺诈和虚假受伤/工作人员的补偿要求。因此，本公开的非限制方面提供了一种切实可行和有效率的方式来：

a.记录这些事件，

b.基于事件序列对于出现哪些异常事件进行相关和确定，

c.远程监视相关的事件和媒体内容，

d.组织对事件信息数据的快速搜索，

e.检索和显示具有注解的特定事件的相关信息；和/或

f.灵活和有效地提供警报通知事件。

根据本公开的非限制特征的***提供了一种易于使用的定制框架，用于和解决方案提供商集成各种多媒体设备到统一框架中，该统一框架使得捕捉到的内容能够有效得到相关捕捉到的元数据的注解。

多种类型的多媒体设备和传感器事件捕捉模块的集成允许事件挖掘模块学习异常运营模式和/或事件（诸如POS打开模式、UC呼叫模式等），并且当观察到异常操作时，生成警报。

根据本公开的非限制特征的***能够为店主提供单个商店或者多个商店范围内的在线实时事件序列日志和商务智能总结报告以及表盘，以及为总部进行商务智能和销售分析的国家范围内或全球总结视图。

根据本公开的非限制特征的***执行事件序列挖掘和对所感测到事件的相关并且生成对相关事件的警报。根据本公开的非限制特征的***使用统一视图和视频上的注解来管理事件数据并且将相关事件链接在一起以警报，以便易于访问和回放显示。在监视期间，根据本公开的非限制特征的***使用所选的环境来将来自每个视频挖掘评分引擎目标（与相机相关联）的选择的感兴趣的区域（ROI）的视频和外部数据组合到一个统一视图中。为了通知，根据本公开的非限制特征的***使用所选择的环境来在识别特定应用复杂事件时以统一通信或统一门户来递送通知。

环境可以用作定义特定应用过滤和将视频、音频、POS、生物计量数据、门警报等等事件和数据聚集到一个视图用来呈现的机制。通过环境的帮助，用户只看到应用需要什么。环境定义包括一组具有其ROI的视频挖掘代理（VMA）评分引擎、基于原始事件（POS、门警报事件、VMA分数、音频事件等等）的复杂事件定义。

统一视图门户提供了离散源在聚集视图中的同步视图，允许用户/顾客容易地理解情况。当检测到警报时，经由统一通信的自动化通知能力发送外部（站外）通知。

根据本公开的非限制特征的与UC兼容的***允许外部实体登录***并且连接到设备以便监视、维护、更新等等目的以及通信。

本公开的一个方面还提供了一种出于队列管理目的通过使用面部检测和匹配以改善站点/商店运营的商店管理的***。这样的***可包括检测面部、提取面部特征向量、发送面部数据到顾客表格模块和/或队列统计模块的***。还可包括收集和发送POS交互数据到队列统计模块的***，以及判断所接收的面部是否已经在队列的顾客表格中的***（诸如顾客表格模块）。还可提供***（诸如队列统计模块）以：用POS事件/数据和面部数据（可能是元数据的一部分）对视频帧注解，获得顾客到达时间以从顾客表格模块中排队，从知识库中获得收银员表现数据，将对于每个完成POS交易的收银员表现***到数据仓库中，评价每个队列的平均顾客等候时间，以及发送实时队列状态信息到显示器。

显示器可以基于实时队列状态和收银员的期望工作表现来显示实时队列表现统计和虚拟提示以表明队列上增加的负荷。显示器还可以通过视觉和音频呈现中的至少一种来将每个队列状态传送给例如经理的个人。

此外，检测面部的***可以能够选择质量良好的面部特征来降低要传输的数据的数量，同时增加匹配准确度。而且，判断所接收的面部是否已经在队列的顾客表格中的***可以选择一组良好面部表现以降低所需的存储且增加匹配准确度。进一步，所注解的视频帧数据可以保存在自动化多媒体事件日志服务器中，通过其内容相似性由自动化多媒体事件服务器进行链接，由显示器从自动化多媒体事件服务器中进行访问以浏览链接的视频镜头，从而在顾客进入队列之前就提取顾客的位置。

因此，本公开的非限制特征提供了一种经由应用向用户通知站点异常的方法，所述应用被配置为访问事件服务器，所述事件服务器具有：第一传感器异常检测器，被连接到第一传感器，用于检测由所述第一传感器感测到的第一子事件的第一异常行为，所述第一异常行为对应于第一异常行为值；第二传感器异常检测器，被连接到第二传感器，用于检测由与所述第一传感器的类型不同的所述第二传感器感测到的第二子事件的第二异常行为，所述第二异常行为对应于第二异常行为值；相关器，用于将所述第一和第二异常行为值进行相关并且将相关的值记录作为复合事件，所述复合事件对应于至少一个所述第一子事件和至少一个所述第二子事件；数据存储，被配置为存储与所述第一传感器和所述第二传感器相关联的数据以及与所述复合事件相关联的数据；根据非限制方面的方法包括：从远离所述事件服务器的设备接收对所述应用的请求；将所述应用发射到所述设备；以及访问所述事件服务器，所述应用具有观看器，所述观看器被配置为在所述设备上示出与多个复合事件相关联的数据，所述观看器进一步被配置为以时间顺序显示所述多个复合事件。

根据本公开的非限制方面，所述观看器被进一步配置为在每个复合事件内显示与所述第二传感器相关联的第二子事件数据和第一子事件数据。而且，所述第一子事件数据被使用第一图标类型来标识，并且其中，所述第二子事件数据被使用与第一图标类型不同的第二图标类型来标识。所述观看器进一步包括列表，所述列表包括第一和第二子事件。此外，每个复合事件由所述观看器以不同颜色编码。而且，所述观看器能够进一步包括所述站点的地图，所述地图被配置为示出与所述站点相关的每个复合事件的位置。所述应用可以被配置为访问多个联网的事件服务器。

而且，根据本公开的非限制方面，所述方法可以进一步包括：选择显示的复合事件；以及显示与所选择的显示的复合事件相关联的数据，所述数据包括所记录的由所述第一传感器感测到的第一子事件和所记录的由所述第二传感器感测到的第二子事件中的至少一个。进一步，所述数据可以进一步包括所记录的由所述第一传感器感测到的第一子事件和所记录的由所述第二传感器感测到的第二子事件中的至少一个的元数据。此外，与所述第一传感器相关联的数据和与所述第二传感器相关联的数据可包括元数据，所述元数据包括日期、时间、位置、质量和关键字中的至少一个。

根据本公开的进一步的非限制方面，所述第一传感器是相机、销售点终端、统一通信设备、顾客关系管理器、声音记录器、访问控制点、运动检测器、生物计量传感器、速度检测器、温度传感器、气体传感器和位置传感器中的一个；并且所述第二传感器是相机、销售点终端、统一通信设备、顾客关系管理器、声音记录器、访问控制点、运动检测器、生物计量传感器、速度检测器、温度传感器、气体传感器和位置传感器中的另一个。所述观看器可被进一步配置为向回追踪并且以时间顺序显示所述多个复合事件。而且，所述第一子事件和所述第二子事件中至少一个可包括关键和非关键子事件；以及基于关键子事件到非关键子事件的向回追踪，所述非关键子事件可被相关作为复合事件。

根据本公开的另一非限制方面，提供了一种用于向用户通知站点异常的***，所述***具有：事件服务器，具有：第一传感器异常检测器，被连接到第一传感器，用于检测由所述第一传感器感测到的第一子事件的第一异常行为，所述第一异常行为对应于第一异常行为值；第二传感器异常检测器，被连接到第二传感器，用于检测由与所述第一传感器的类型不同的所述第二传感器感测到的第二子事件的第二异常行为，所述第二异常行为对应于第二异常行为值；相关器，用于将所述第一和第二异常行为值进行相关并且将相关的值记录作为复合事件，所述复合事件对应于至少一个所述第一子事件和至少一个所述第二子事件；以及数据存储，被配置为存储与所述第一传感器和所述第二传感器相关联的数据以及与所述复合事件相关联的数据；以及接口，被配置为示出与多个所述复合事件相关联的数据，所述接口包括观看器，所述观看器被配置为以时间顺序显示所述多个复合事件。

而且，根据本公开的进一步的非限制方面，提供了用于向用户通知站点异常的可由计算机读取的至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括：第一传感器异常检测代码段，当被执行时，检测由第一传感器感测到的第一子事件的第一异常行为，所述第一异常行为对应于第一异常行为值；第二传感器异常检测代码段，当被执行时，检测由与所述第一传感器的类型不同的第二传感器感测到的第二子事件的第二异常行为，所述第二异常行为对应于第二异常行为值；相关代码段，当被执行时，将所述第一异常行为值和所述第二异常行为值进行相关并且将相关的值记录作为复合事件，所述复合事件对应于至少一个所述第一子事件和至少一个所述第二子事件；以及数据存储代码段，当被执行时，存储与所述第一传感器和所述第二传感器相关联的数据以及与所述复合事件相关联的数据；显示代码段，当被执行时，显示与多个复合事件相关联的数据；以及观看代码段，当被执行时，以时间顺序显示所述多个复合事件。

而且，根据本公开的另一非限制方面，提供了一种在站点管理多个队列的方法，所述方法包括：使用视频成像器，基于与独特面部的面部值相对应的面部数据，检测所述多个队列中每个队列中多个顾客中每个的面部；将所述面部数据发射到顾客表格处理器和队列统计处理器；使用所述面部值和所述顾客表格处理器，确定每个顾客已经处在所述多个队列中的各个队列中多长时间；基于每个顾客已经处在各个队列中多长时间，确定所述多个队列中的每个队列的平均等候时间。所述的确定每个队列的平均等候时间包括使用收银员表现数据。

而且，根据本公开的又一非限制方面，提供了一种个性化市场的方法，包括：使用位于整个站点中的多个视频成像器中的至少一个视频成像器，基于与独特面部的面部值相对应的面部数据，在所述站点中基于顾客面部检测独特顾客；基于所检测到的独特顾客的特性，创建与要被显示给所述顾客的广告货品有关的图像；使用由所述多个视频成像器所确定的所述顾客的轨迹，在整个站点中追踪所检测到的独特顾客；使用与所追踪的所检测到的独特顾客相对应的数据，确定由所述独特顾客所访问的所述站点的区域；以及将由所述独特顾客所访问的所述站点的区域与所述广告货品进行相关。

所述方法可进一步包括：基于将由所述独特顾客所访问的所述站点的区域与所述广告货品进行相关，更改所创建的图像，以及可以此外包括：基于将由所述独特顾客所访问的所述站点的区域与所述广告货品进行相关，向所述独特顾客提供鼓励。

附图说明

图1是根据本公开的一方面的通用计算机***的示例实施例；

图2是根据本公开的一方面的异常检测代理和服务器的示意性视图；

图3是根据本公开的一方面的异常检测代理和服务器的另一示意性视图；

图4是根据本公开的一方面的异常相关服务器的示意性视图；

图5是示出根据本公开的一方面的劳动力管理的方法的流程图；

图6是根据本公开的一方面的位置知晓订单处理的示意性视图；

图7是示出根据本公开的一方面的用于使用面部追踪的劳动力管理的***的示意性视图；

图8是根据本公开的一方面的用于使用多个相机的面部检测和匹配的***；

图9是根据本公开的一方面的顾客验证的***；

图10图示说明根据本公开的一方面在接收订单代码后被识别的顾客；

图11是根据本公开的一方面的示意性视图，其中，顾客订单的顺序被基于顾客到达的顺序来安排；

图12是根据本公开的一方面的链接的损失预防***的示意；

图13是根据本公开的一方面的损失预防***的帧的示意；

图14是根据本公开的一方面的损失预防***的帧的示意；

图15是根据本公开的一方面的排队管理***的示意性视图；

图16是根据本公开的一方面的用于通过由面部集合匹配对象轨迹的个性化广告和市场效果的***；

图17是根据本公开的一方面的示出事件日志服务器的示意性视图；

图18是根据本公开的一方面的商务智能表盘的示例视图；

图19是根据本公开的一方面的复合事件的示意性视图；

图20是根据本公开的一方面的事件日志服务器数据模型；以及

图21是根据本公开的一方面的事件日志接口数据图解。

具体实施方式

考虑到以上，因此，本公开通过其各种方面、实施例和/或具体特征或子组件中的一个或多个而想要展示如下具体说明的一个或多个优点。

参考附图，其中相似的字符表示相似的元件，图1是通用计算机***的示例实施例，在该通用计算机***上能够实现通过检测异常而改善站点运营的***和方法，该通用计算机***被显示和指定为100。计算机***100可以包括一组指令，其能够被执行以使得计算机***100执行这里公开的方法或基于计算机的功能中的任何一个或多个。计算机***100可以操作为独立设备或者可以例如使用网络101连接到其他计算机***或***设备。

在联网部署中，计算机***可以在服务器-客户端用户网络环境中以服务器的地位操作或者操作为客户端用户计算机，或者在对等（或者分布式）网络环境中操作为对等计算机***，包括但不限于毫微微小区（femtocell）或微小区（microcell）。计算机***100还可以被实现为或合并入各种设备，诸如个人计算机（PC）、平板PC、机顶盒（STB）、个人数字助理（PDA）、移动设备、全球定位卫星（GPS）设备、掌上电脑、笔记本电脑、桌上电脑、通信设备、无线电话、智能电话76（参见图9）、陆线电话、控制***、相机、扫描仪、传真机、打印机、寻呼机、个人可信设备、网络应用设备、网络路由器、交换机或网桥、或能够执行规定要由机器进行的动作的一组指令（顺序或相反）的任何其他机器。在特定实施例中，计算机***100能够使用提供语音、视频或数据通信的电子设备来实现。而且，尽管图示说明的是单个计算机***100，但术语“***”也被用来包括任何单独或联合执行一组或多组指令来执行一个或多个计算机功能的***或子***的集合。

如图1所示，计算机***100可包括处理器110，例如中央处理单元（CPU）、图形处理单元（GPU）、或二者。而且，计算机***100能够包括彼此能够经由总线108通信的主存储器120和静态存储器130。如所示，计算机***100可进一步包括视频显示器（视频显示单元）150，诸如液晶显示器（LCD）、有机发光二极管（OLED）、平板显示器、固态显示器、或阴极射线管（CRT）。此外，计算机***100可包括输入（输入设备）160，诸如键盘或触摸屏，以及光标控制/指针控制器（光标控制设备）170，诸如鼠标或轨迹球或轨迹板。计算机***100还能够包括诸如磁盘驱动单元180的存贮器、诸如扬声器或遥控器的信号发生器（信号发生设备）190、以及网络接口（例如网络接口设备）140。

在特定实施例中，如图1所描绘，磁盘驱动单元180可包括计算机可读介质182，其中能够嵌入一组或多组指令184，例如软件。计算机可读介质182是有形的制造物品，从中能够读取一组或多组指令184。而且，指令184可以体现如这里所述的一种或多种方法或逻辑。在特定实施例中，指令184可以完全地或至少部分地驻留在主存储器120、静态存储器130内，和/或在由计算机***100执行期间驻留在处理器110内。主存储器104和处理器110还可包括计算机可读媒体。

在替换实施例中，诸如专用集成电路、可编程逻辑阵列或其他硬件设备的专用硬件实施能够被构建以实现这里所述的一种或多种方法。可包括各种实施例的装置和***的应用能够宽广地包括各种电子和计算机***。这里所述的一个或多个实施例可使用具有相关控制和数据信号的两个或多个特定互连硬件模块或设备，或者作为专用集成电路的若干部分，来实现功能，所述相关控制和数据信号能够在模块之间且通过模块进行传递。因此，本***涵盖软件、固件、和硬件实施。

根据本公开的各种实施例，这里所述的方法可以通过可由计算机***执行的软件程序来实现。而且，在示例的非限制性实施例中，实施能够包括分布式处理、组件/对象分布式处理、和并行处理。可替换地，虚拟计算机***处理能够被构建以实现如这里所述的一个或多个方法或功能。

本公开考虑了计算可读介质182，其包括指令184或响应于传播的信号而接收并执行指令184，由此，连接到网络101的设备能够在网络101上传递语音、视频和/或数据。而且，指令184可以被经由网络接口设备140在网络101上发送和/或接收。

异常检测代理和服务器

图2-3示出了根据本公开的一方面的异常检测代理和服务器（ADS）30的示意性视图。ADS包括代理32、34、36、38和40，用于从每个相隔离的传感器42、44、46、48、50的一组输入和输出提取异常输入和输出事件。示例传感器是销售点（POS）44、视频44、统一通信（UC）46、站点访问控制48和便捷/经济（eco）控制50；但是，本领域技术人员应该理解，各种其他类型的传感器也可用于本发明的其他方面（如所示，例如图17中），包括但不限于静物相机、顾客关系管理器（CRM）210、声音记录器212、红外运动检测器、生物计量传感器214、速度检测器、温度传感器、气体传感器、位置传感器216等。每个传感器42、44、46、48、50被连接到各自相应的代理，即POS异常检测代理（PMA）32、视频异常检测代理（也称为视频挖掘代理或VMA）34、UC异常检测代理（CMA）36、访问控制异常检测代理（AMA）38和便捷控制异常检测代理（FMA）40。

代理32、34、36、38和40每个都被连接到异常事件序列相关服务器（ACS）52，如图3中示意性所示，该异常事件序列相关服务器自动地学习序列模式并检测异常事件序列，这被称为事件序列挖掘。

自动学习步骤包括两个步骤处理。首先，每个代理32、34、36、38和40从在站点使用的其各自传感器42、44、46、48、50收集事件数据，并且从所选传感器42、44、46、48、50的输入和输出的所选子组中学习正常模式。每个事件被给予异常分数。数据挖掘自动完成而不需要人的干预。在异常分数生成后，只有中等或高异常分数被发送到异常事件序列相关服务器（ACS）52，如图3示意性所示。ACS52使用挖掘代理来翻译异常行为（例如异常顾客订单请求），挖掘代理基于异常性即例如时空分布形式的顾客、工人或汽车穿梭站车辆的行为来对异常行为打分。一旦基于分数而对事件分级，就在不同类型事件之间建立了异常性的共同参考。

其次，ACS52检测元属性（例如摘要值元数据（AVMD）54）以使得能够超越稳态分布而分析动态和突发分布。分数异常事件的元属性基于不同类型事件的发生、到达间隔速率、相关性。ACS52还执行互到达分布模式学习并且检测事件之间的异常互关系。而且，***（在例如前端）能够使用深度分组检查来捕捉应用级消息。

在站点（例如快餐馆）处的示例类型的互关系异常包括例如序列异常，诸如：车进入汽车穿梭站区域但在订购或提取区域未停；顾客进入商店但没有去订购区域；许多车爆发性进入，数量远高于该日该时的正常服务速率；车在汽车穿梭站入口处的停留时间间隔太长，表明排队长或者车辆故障。

示例类型的互关系事件序列异常包括这样的情形：车驶入以订购食物，而没有POS交易；顾客离开后发生POS交易，或早于顾客进入POS/现金区域而发生POS交易（通知损失预防事件的可能机会）；厨房制作比正常营业时间所需多得多的食物；销售人员未接待的顾客数量高于正常（表明销售同事可能缺席）；顾客进入商店的比率高于正常（由VMA确定）但销售低于正常（由POS确定）；顾客在商店预定部分的逗留时间显著地比顾客在其他区域的逗留时间长，但模式改变（表明存在对特殊促销的效果或兴趣的改变）。

由此，ACS52从在站点使用的多个***收集不同类型的事件并且基于这些事件构造/更新多个数据模型/映射56，如图4所示。例如，从代理32、34、36、38和40以及AVMD54接收的来自事件序列SE1……SEn的数据被相关以生成运动映射数据立方58，其随后被用于创建事件序列映射56。事件序列映射56随后被用于识别异常事件60，且***可配置为生成对这些异常事件的通知62或报告。当异常事件发生时，在ACS52对事件分析和相关之后生成通知62。通过在多个***上识别异常，可触发同步事件，通过动作同步寻呼服务器66通知工人和/或经理，从而例如加速顾客服务速率。

异常商务智能报告***64（参见图3）能够提供关于发生异常事件的时间和地点的详细信息并且在异常频率增加时表明需要改变站点处理。

为了基于例如即插即放设备来增加附加的异常分数检测引擎52，即插即放设备诸如高级视频运动追踪设备（例如追踪器输出对象边界盒子），本发明的另外的特征是可量测性。因此，***被按照用户需要而定制。

如图3所示，ACS52、异常商务智能报告***64和动作同步寻呼服务器66可以在包括毫微微小区集线器74的网络上101连接到移动顾客订单***68、自动监视***70和商店运营日志72（下面将进一步描述）。如这里所使用的，毫微微小区是用于改善小区域中移动网络覆盖的设备。毫微微小区通过其正常连接局部地连接到移动设备，然后将该连接在宽带因特网连接上传送回承载者，绕过正常的小区塔。

劳动力管理

***的一个建议用途是用于劳动力管理。例如，在零售环境中，动作同步寻呼服务器66能够通知零售店经理当顾客数量少于销售人员数量时顾客是否得到了销售人员的帮助。但是，当顾客数量大于销售人员数量时，动作同步寻呼服务器66可能不会生成警报或寻呼。当销售人员穿着标记物、RFID或以其他方式来对他/她定位和识别时，***能够追踪销售人员怎样与顾客交互。

***还能够从诸如蜂窝电话或活动标签（诸如RFID***）的多个移动设备收集交易数据。这些移动设备使得***能够获得位置信息，其能够经由运营日志72与视频图像相结合。运营日志72包含累积的商店运营事件序列和***所自动检测且在日志中记载的异常事件。移动设备还从移动设备和活动标签收集交易数据。

收集到的交易数据可包括，例如：

A.与设备在一位置处何时开始和结束运营相关联的数据。这样的交易数据可包括订购的或要被处理的货品或服务。例如，***从移动设备收集在线订单信息并将其转发给能够完成订单的机器。交易、基于视频的计数、基于视频的犹豫顾客检测、雇员追踪记录，可能基于订单和RFID追踪。

B.与每一人员的表现相关联的数据可以被生成和/或更新，用于完成每一货品。这个持续更新的模型捕捉特定员工对每一个体商品的服务时间。

C.基于例如蜂窝电话交易数据和基于视频的数据，对于每一商品，与基于一天中各时刻和一周中各天的顾客要求相关的数据可以被生成和/或更新。

D.通过将与RFID轨迹相关联的数据同与订单信息相关联的数据（蜂窝电话交易）相结合，提议的***学习员工响应于在线订单而执行的运营的序列。结合的数据通过检测事件而与相机的视野相关，以在准备特定订单时学习快照。这些序列用于构建日志72（例如用于损失预防）和在没有观察到期望序列时检测异常（并且可能提供实时提示给店经理）。

E.当将与员工表现和期望商品要求和排队时间相关联的数据相结合时，***能够做出配置员工的决定，同时平衡服务时间与合适的员工（例如，***不需要向最快的员工分派“汽车穿梭站”工作，因为***能够调配不太有经验但仍满足服务等级的员工，而在相同商店中的其他地方使用更有经验的员工）。

F.期望服务/等候时间信息被实时地显示到商店前的显示器上，并且对于顾客可在线获得，以便在“汽车穿梭站”处提供一些关于等候时间的信息。

为了提供更好的顾客服务，***能够指出哪个顾客首先到达站点/商店。强调到达的优先级减少了“加塞”和顾客的不满。这样的产生关于顾客在商店花费多长时间的数据的***为商店提供了有关顾客交通量的有价值的洞察力。

***从位置信息、估计到达时间和订单处理工作流状态收集多种类型的统计数据。使用多个传感器的输入和输出，***能执行对于经理或工人来说并不容易人工完成的分析，例如：

A.在汽车穿梭站中，车辆超越常规服务速率而异常快速到达，能够通过视频来在订单进入POS***之前检测出。***能提示工人（其可能佩戴显示诸如车数量或订单的实时商店运营数据的特殊眼镜，或者其可能正在观看实时显示器以加速工人的订单处理，等等）加速订单处理速率，或者提示经理向汽车穿梭站提供额外资源。

B.大数量特定货品（例如汉堡包）的异常订单，将需要来自厨房的关注，以便平衡大订单与其他较小订单（shorter order），使得大订单不会阻碍其他顾客订单的订单处理。

C.正常到达条件下的异常高的犹豫率（即，当顾客或车辆退出订单队列时）可能表明某些站点运营错误可能需要得到注意。

D.异常长的到达间隔可能是由于交通堵塞。

E.异常高的商品退回率很有可能是虚假退货（例如，当顾客接收退货但其来自实际未退回的货品时），用于损失预防。

F.顾客在站点区域中的异常低的逗留时间可能表明货品放置方面的问题。

当确定异常事件时，***能够自动执行动作，例如：

A.基于高或低存货以及顾客订单模式的异常程度，***能够提供实时通知以自动触发促销行为。纸质或虚拟促销优惠券可被递送给商店附近的决定参加的忠诚顾客（例如登记在卖家的顾客忠诚度计划中的购物者，通过例如CRM识别）。可以使用会员顾客档案来查看通过个性化优惠券优待的向上出售（up-sell）和互出售（cross-sell）机会。个性化优惠券分配***可检查当前活动订单并且将会员顾客的偏好与当前可用存货相比较以识别向上出售机会。例如，如果会员顾客通常在上午订购咖啡，但这次没有订购，而且在站点有大量咖啡供应的话，则可以由个性化优惠券分配***提供对于会员顾客的咖啡打折优惠券（例如，可以发送给会员顾客的移动电话应用）。

B.使用顾客的位置信息，有可能基于顾客期望到达时间来规划及时的订单处理。工人可被监视，由此他/她能够及时准备订单以便顾客领取。当准备中的延迟异常时，可能会意味着生产率问题或特殊订单异常。

C.当顾客进入商店时，重要的是监视工人向顾客提供的服务水平。视频分析子***可捕捉能与销售人员的会面-接待行为或者收银员怎样处理退回的货物相关的数据。异常高或低的相关性或发生可能表明销售或损失预防机会。

D.面部检测和识别以确定工人的时间和出席（记录器具有视频日志）或者确定顾客自助服务序列异常，可能自动地告知工人按照要求提供顾客支持。工人的移动电话可用作具有面部验证的访问控制卡以增加***可靠性。

E.数字标志（响应于顾客简况、年龄、种族等等，作为输入到广告管理器以将广告内容与多数顾客简况相匹配）。当遇到异常简况时，***能够向工人提升提示级别。集成POS***和数字标志提供了解决方案。POS终端上的相机面对顾客并且捕捉顾客的面部图像（选择面部图像的最佳集合以用于进一步处理和识别任务）。收集到的面部图像被提供给年龄、性别等决策模块以得到顾客简况信息。该信息由基于简况的广告***使用来控制数字标志上的内容。相同识别***也用于安全和安全应用（搜索感兴趣的人）。

本公开的特征除了追踪POS数据以外或者作为对其的替换，还追踪业务数据。当POS数据被用于追踪历史销售、交易和存货移动时，业务数据是用于理解销售潜力的理想的度量。由于业务数据集大于POS数据集（因为不是所有进入商店的人都会购买），分析业务数据向站点提供了基于机会的销售策略。例如，如果商店能够在正确时间在正确地点部署正确的人，就会满足顾客的要求和期望，而不会招致额外的人员成本（即，***允许商店最大化其员工的利用率）。

本公开的另一特征允许站点检测未被帮助的顾客。在这种情形下，希望确保顾客快速得到帮助以避免潜在销售损失。关于此，每个销售人员持有位置识别设备（诸如RFID标签、移动PC、寻呼器、智能电话等），并且识别正在等候的顾客的身份和位置（使用例如面部识别、CRM、智能电话）。注意到，实际身份（姓名等）对于***的工作来说不需要，而只识别独特的个体（例如，亚洲男性，年龄在18-35岁）。

参看图5，在步骤S50，监视雇员（最好是空闲的雇员）的位置，在步骤S52，监视顾客的位置。使用上述的位置识别，在步骤S53，确定雇员和顾客之间的位置关系。在步骤S54，如果雇员和顾客之间的距离在预定值范围之外，在步骤S56雇员被提示：顾客需要帮助。在步骤S54，如果雇员和顾客之间的距离在预定值范围之内，则***确定顾客正被雇员的帮助，且处理返回到步骤S50。***还具有追踪和记录雇员花多长时间来接待顾客以及确定雇员在派遣时的源起位置的能力。

参见图7-8，本公开的特征还使用面部检测和匹配以获得顾客信息，诸如顾客到达信息。为了增加顾客追踪的准确度，***使用与每个被追踪对象轨迹ObjTi,ObjTj相关联的面部数据的集合{F}作为附加特征。对象首先由连接到或具有对象追踪器80的传感器（诸如相机44）捕捉。被追踪的对象通过匹配模块82被处理，匹配模块82通过使用对象轨迹运动模式和面部特征集合来确定对象轨迹之间的相似性。匹配模块82识别相似的对象轨迹集合，并且认为它们属于相同的人。

而且，匹配模块82处理来自不同相机的对象轨迹数据ObjTi,ObjTj，以便实时相似性搜索，以通过利用与对象轨迹数据相关联的面部数据/特征的集合来恢复属于相同人的对象轨迹。而且，对象轨迹数据可以被用于多相机校准用途。

而且，为了加速追踪处理，匹配模块82能够基于学习的相机之间的时间-空间关联性而去除候选。在上面的轨迹分组完成之后，***能更新人物的出现和消失时间戳，以通过使用人物表格84来确定例如哪个顾客为先、顾客等候了多长时间、顾客在店里停留了多长时间（可能显示在监视器上）。这样的信息可以被用来例如确定哪条队伍空负荷，以确定收银员表现。

***还能够判断所获得的面部图像是否质量良好，能判断代表面部图像的集合是否质量良好，能计算一个面部与代表面部的集合之间的相似度（并且能让相机知道）。

图7示范了如何通过使用面部数据和面部特征的集合关联相同相机视图中的对象轨迹。在图7中，追踪器80还可以提取面部检测和对所获得的面部图像是否质量良好判断；但是，不是所有对象轨迹将具有面部数据（例如在相机从后观察个体时）。

当轨迹匹配在对象表格86中完成时，这些匹配轨迹被映射到人物视图，其中，***可以使用人物表格84指派唯一标识符并且提取人物到达时间。

收银员表现因此可以通过组合排队时间信息、失去多少顾客（不买东西就离开商店）、POS交易的数、货品、数量等而得到评估。在有多个收银员的情况下，则店经理能够立即看出每个收银员的平均顾客等候时间。

图8示出了用于使用多个相机44来进行面部检测和匹配的***。当使用多个相机44时，匹配模块82使用专门相机轨迹模式与相机关联模式一起来通过去除不可能的情况而减少匹配执行时间。人物表格84以与上述相同的方式填充。

等候最长的顾客（对象）是具有最小时间戳的一个。该信息能够与追踪器元数据“Meta”一起被***到相机视频流中。当显示对象的元数据时，顾客等候时间或顾客在店里停留的时间量可以被使用例如实时传输协议RTP来显示。这样，平均购物者平均购物时间的简况可以被利用来提供提示给监视人员：特定对象/人物在店铺中的时间超过平均，这可以是对损失预防的前置筛查。此信息可存储在网络视频存贮器（NVR）中。

在不存在空闲雇员来帮助顾客的情形下，***使用收入期望模型来帮助顾客。例如，如果存在未被帮助的顾客持有高价值物品，诸如计算机（例如由物品上的RFID标签来确定），或在商店的高价值位置逗留（例如，计算机内部通道），并且存在正被帮助的其他顾客持有低价值物品（例如视频游戏盒）或者在商店的低价值内部通道逗留（例如视频游戏内部通道），则帮助持有低价值物品或在商店的低价值内部通道逗留的顾客的雇员被指导离开该顾客而帮助持有高价值物品或在商店的高价值位置逗留的顾客。这样，对具有更大收入期望的顾客给予优先权。***还可以存储每个销售同事的销售和教育技能集合，其随后可以与商品类型相匹配。***可以利用技能集合信息来（从多个空闲销售人员中，从多个繁忙销售人员中）选择销售同事以派遣到商店存放合适类型商品的区域。

本公开的进一步的特征监视多个顾客的位置，并确定未被帮助的每个顾客未被帮助的时间段，由此销售人员可以按照哪个顾客等候最长时间的顺序而被派遣到顾客。

本公开的另一特征提供了一种用于根据商品类型而决定合适顾客等候时间的***和方法。在商店中，每个内部通道/部分承载了不同类型的商品，根据内部通道/部分中的商品的类型，顾客花费不同时间量，并且将因此常常来寻求销售的帮助。

如上所述，***能够使用视频数据挖掘技术来检测和/或预测顾客的期望等候时间。***利用RFID追踪（员工和商品）和视频（顾客、员工、商品）来提供功能。当***检测到顾客停留的时间超过期望时，***会派遣销售同事。收集到的交易数据记录了顾客所等候的内部通道、他/她等了多长时间、销售同事何时到达、销售同事ID、销售同事帮助顾客了多长时间、帮助是否导致了销售、以及数量。当客户离开且没有销售同事帮助过他/她时（损失机会），***进行记录。（使用例如RFID标签数据）计算关于是否发生购买的转换率（基于对顾客的帮助是否导致销售的比率）。***随后能够根据观察到的转换成功率而调整顾客停留阈值。

（导致转换的）捕捉到的视频可被利用来训练其他同事。诸如这样的资源允许人力资源部门用捕捉到的和错失的机会来训练并且重新训练其销售同事。

在每个商店收集了POS交易数据之后，***能够将时间段数据与天气信息和节假日信息整合起来。这样的整合产生了用于预测销售、销售货品、对员工的需求的基本模型。在个体商店数据收集到中心化数据仓库中之后，另一算法通过商店的地理位置对它们进行整合，由此提供地理相似性和不相似性模型。此考量可被用于检测异常商店表现，其中，表现好的商店帮助总部学习更多的有关哪些销售和/或市场技术管用的信息，由此表现差的商店或者将被进行计划或者将被关闭。

期望销售货品的判定将允许向各个商店提供货物，整合查看可被利用来优化将货物提供给不同站点。供应卡车被装上用于多个商店位置的货物，由此改善供应递送以及每个商店的存货，其中每个商店将具有卖掉最多的货物直到下一辆供应卡车到达。使用该数据，***能够比较无存货的成本和派遣供应卡车的成本。这个持续的信息收集、整合、预测、以及转变为不同商业行为，将增加站点运营的效率。

根据本公开的另一特征，集成汽车（或智能电话）导航***和顾客订单***能够给出到最近可到达商店的实际驾驶距离。而且，集成***能够将实时交通拥堵数据与历史数据相组合来得到“最近商店”的新定义，其取决于当天时刻、道路、道路施工、顾客当前位置、顾客订单、商店工作时间等。例如，顾客当前位置可能对于第一天和第二天是相同的，但返回给用户的“最近商店”数据对于第一天和第二天却是不同的，这是由于例如第二天规划的道路修补。

当订单从一站递送到另一站时（例如仓库中的订单履行处理期间，其具有提货、装货、运送的步骤等），相机能够得到在此流水线期间订单的快照以记录或记载***怎样履行订单。损失预防人员能够通过访问解释特定订单如何被履行的日志来调查损失或投诉案例。实践中，此操作可以通过多种技术的有效集成来实现。例如，追踪、订单处理、相机、和知道相机位置和FOV（视野）以及处理的订单的控制模块指示相机准备捕捉图像和将其存储在多媒体服务器中。控制器可以用由标签读取事件触发并且与期望标签号（与订单相关联）匹配的动作预先配置每个相机具有。控制器可预先配置响应标签读取事件可捕捉订单图像的所有相机。而且，每个动作还包括有关在哪里存储捕捉到的多媒体信息的指令。而且，控制器还配置如果在给定时间窗口内未观察到期望标签读取事件而触发的动作以检测订单是否没有在期望位置出现。而且，基于从相似/相同订单收集到的在先数据来学习时间窗口。

在零售POS交易的情况下，损失预防（LP）人员调查特定操作，诸如现金交易、退换上述特定价格阈值或特定感兴趣货品（基于例如SKU号）、用折扣券交易或打折交易、分段支付、特定***类型、特定收银员等等。对于LP人员有益的是能够查明包括相干部分的多媒体（视频、音频、面部等）记录的“片断”。向LP人员给出必要的多媒体片断使得LP人员能够更有效地开展他们的工作。

位置感知订单处理

本公开的一个方面为站点提供位置感知订单处理，诸如快餐汽车穿梭站操作，或接受预订单、后提货的任何其他站点，如图6所示。位置感知订单应用可以在例如顾客的无线设备上运行，例如蜂窝电话76或其他移动设备。此该应用连接到网络101，使用服务来基于顾客位置来定位附近的汽车穿梭站站点，在步骤S60执行。在步骤S61，应用通知（通过音频提示或其他）顾客（当他/她正在驾驶或移动时）有关附近商店的信息。在步骤S62，顾客选择附近商店之一且询问关于在该店可用货品目录的信息。在步骤S63，应用通知顾客可用货品。如果顾客想订购，应用在步骤S64接订单（使用例如语音接口从而不会使正在驾驶的顾客分心）。在应用在步骤S65向顾客验证订单之后，应用在步骤S66将该订单提交给商店并且获得提货代码。应用还可提供导航指令给顾客。顾客进入站点、通知站点其代码（通过例如出示蜂窝电话屏幕上的票）、并且提取订单。此解决方案自动化了接订单以及支付步骤。当顾客到达时，支付可以由站点收取，或者可以通过蜂窝电话76电子地完成。

由此，劳动力和交易时间以及开销可以得到减少，交易时间可以减少，LP机会由于自动化支付收集而可以减少，顾客等候时间可以减少，通过由于减少拥塞而服务更多顾客使得每个商店的利润和收入可以增加。

为了进一步增加商店/站点的效率，可以基于顾客估计到达时间来规划和准备订单。例如，在***接受来自顾客的通过蜂窝电话76的订单之后，***通过接收来自车内或蜂窝电话76导航***的顾客位置信息而估计到达时间，并且通知订单处理器***78（其可能基于云或者在提货站点位置），其转而将到达时间信息与估计订单准备时间相结合来确定何时规划顾客订单的准备。通过准备恰好及时的订单，顾客接收新鲜准备的食物（或者其他货品），由此改进顾客满意度。进而，使得商店的厨房随后能够更有效率地准备食物。

在本公开的一个方面，订单处理***78可以还向顾客发送将准备和/或将向顾客提供订单的工人的面部图像。当顾客到达汽车穿梭站时，顾客向面部识别***显示工人的面部图像，其通过通知***（诸如寻呼器、语音通信***等）通知该工人有关顾客订单的提取。订单处理器***78发送与订单和支付相关联的代码（诸如快速响应“QR”代码等）。当顾客到达汽车穿梭站时，顾客向订单代码识别***出示代码（其可能是无线设备/电话76上的图像），其通知工人顾客到达以便订单提货。

而且，使用基于人口统计（年龄、性别、种族等）的顾客计数，劳动力管理***能够将劳动力与期望顾客业务的统计人口相匹配，由此改进顾客关照和体验。

顾客验证

现在参看图9-10，当顾客去从诸如汽车穿梭站设施的站点提取他/她的订单时，***能够验证顾客的身份，即订购的顾客与提取订单的顾客相同。

当顾客订购时，包括顾客面部的图像的数据可以被提供给***（从顾客的智能电话，通过CRM预先存储等），由此商店雇员能通过看顾客的面部而匹配订单所附的面部图像来容易地识别顾客。可替换地，不用商店雇员视觉上确认顾客面部的匹配，可以利用面部检测和识别***来比较提取订单的顾客的面部与订购的顾客的面部的图像。为了增加操作效率，在面部识别***不能验证提取订单的顾客身份的情况下，面部识别***能够提示工人：工人需要进一步验证顾客的面部。使用图形用户界面（GUI），工人能够佩戴增强眼镜，其能够显示将提取订单的期望人物的面部图像。

订单产生过程被修改且订单处理服务还返回订单代码（包括但不限于QR代码），顾客将出示该订单代码来提取订单。发送给顾客的QR代码包括从例如顾客姓名、移动设备的唯一设备标识符（UDID）、移动电话号码、CRM会员号、牌照、订单号码等获取的编码信息。此代码也被提供给站点。

图10示意性显示了在接收订单代码后识别顾客的示例方式。当顾客在他/她的车辆中到达设施时，在步骤S101，牌照读取器88收集顾客的牌照信息。在步骤S102，无线协议***，诸如毫微微小区，从他/她的智能电话76收集顾客的UDID信息（例如毫微微小区验证订单处理***以接受来自设备或会员数据库的注册），由此使得***通过使用他/她的牌照和移动设备UDID而累积有关顾客的数据。

在步骤S103，顾客出示其移动电话上的QR代码，由此QR识别模块检测代码、提取并解码该代码。QR识别模块检查针对订购货品的信息、订单处理***中的无线协议***和LPR所收集的信息。由于可接受匹配需要信息的两个或更多项目（或全部），***能够验证提取订单的顾客就是订购的顾客。

上述***能够根据如何编码QR代码（即，其可以通过使用从UDID、面部图像等导出的密钥而进行加密）而得以增强。在可替换实施例中，***能够检查电话的位置（通过GPS或其他地理定位）或者社交媒体站点（如果会员信息已知）。

上述***能够确定顾客的到达速率。例如，相机44或其他传感器观察汽车穿梭站的入口并且检测车是否进入汽车穿梭站车道。***随后收集这些“进入”事件并且产生每小时到达计数数据。通过利用相同时间间隔的计数采样来计算任何给定小时的到达速率。

上述***还能够通过使用连续学习模型和当前观察来检测异常高于期望的顾客到达率。当对于当前时间间隔和上次警报时间戳，上次服务时间（移动窗口）内的到达的数目相比于期望/学习的到达率时，***能够生成报告或警报。

通过基于在先学习模型和当前观察来生成报告或警报，上述***进一步能够检测异常低于期望的顾客到达率。***能够周期性对于当前时间间隔检查上次到达事件与期望到达之间时间（inter arrival time）。如果对于当前时间戳，相对于学习的到达之间时间，时间维度上的距离变得大于期望，且上次警报时间戳大于期望到达之间时间，则此方法生成警报或报告以通知此情形。

上述***此外能够基于顾客到达顺序而安排顾客订单的顺序，如图11所示。在车辆到达站点时读取车辆的牌照的牌照读取器（LPR）88以车辆到达的顺序生成汽车穿梭站车辆牌照列表（LP）。订单处理***参考就绪顾客订单的订单就绪列表并且安排这些订单以对应于汽车穿梭站牌照列表，由此订单可以更易于以顾客到达提取窗口的顺序而被发放给顾客。

损失预防（LP）

本公开的一个方面通过在自动化多媒体事件服务器中链接损失预防/商店安全视频（可来自于多个商店）来发现其类同，从而帮助识别有组织盗窃集团，有助于避免损失预防。基于其内容相似性，对LP案件进行分级。LP人员可以调查LP视频并验证其链接（其增加用于浏览的LP视频与事件多媒体日志72之间的链接）。链接的浏览通过减少要被调查的视频数量并且使LP人员专注于更少长度、更多相关性的视频集合，从而提高了LP人员的效力。LP人员能够由此更易于记住视频内容的相似性，由此减少调查成本，同时通过分类和链接LP多媒体数据而改进***效率。图12示出了根据本公开的特征使用云服务的示例的链接的损失预防***。

本公开的特征使用面部数据集合来在LP案件之间进行相关，如图13-14所示。面部特征的集合在LP视频中以元数据的形式呈现，并且被用于判断LP(i)和LP(j)之间的内容相似性。LP服务器90包含[Lpi,FVi]元组，其中FVi包含LP(i)的元数据（FV被定义为面部值）。（由于检测到的面部的数量、POS货品等等）FV(i)可以具有不同数量的元数据特征。

在图13和14中，LP₁={{},{},{},…}和LP₂={{},{},{},…}每个都具有对于每个检测对象的面部集合。LP₁∩LP₂指示两个LP案件中的共同的人。(LP₁∩LP₂)的分数可被用来对LP案件分级。更高的相关性意味着相关的LP案件是有关的。D(LP₁,LP₂)表示内容相似性。分数函数可以具有来自挖掘结果的有关特定观察区域（例如在特定时间间隔和相机视野（FOV）中特定区域/地区获得的采样）准确度的额外信息，被定义为：Accuracy(TimeInterval,AreaOfCamera,CameraId)∈[0,…,100]。

进一步，当使用摇摄-倾斜-变焦（PTZ）时，归属位置信息变为准确度函数的一部分（即PTZ坐标信息应该也要考虑），被定义为：Accuracy(TimeInterval,AreaOfCamera,CameraId,PTZ)∈[0,…,100]。

还要注意，为了增加准确度，除了包含面部特征的元数据之外，元数据可以另外包含例如POS交易数据、收银员信息等，并且也可以与视频图像相关联。

根据另一个方面，每个LPi被建模为曲线图的节点且算法可以向连接LP₁至LP₂的链接指派强度值，作为LP₁∩LP₂的函数。然后，由于LP视频的连接性的强度，分级算法可以选择具有强连接（曲线图中的岛）的LP案件的组。

图8示出了基于LP_i∩LP_j的分数链接的LP视频的分组，由此***可以提取人物的公共组（其例如对LP事件负责）。通过使用运行在按需可缩放云平台上的***，链接视频的成本可被缩减。当必要时用户可以利用这样的服务（其可依赖于LP事件的数目并且当超出期望事件级别时触发该服务）。触发服务通过利用其时间和位置类似性选择LP案件，以减小计算时间。而且，面部分辨率增强模块可以利用许多可用面部图像的部分来获得更高分辨率面部图像（例如通过超级分辨率技术）或者3D重构面部图像。

除了用于识别面部数据以防盗之外，或者作为对其的替换，***具有这样的能力：当其与零售盗窃有关，记录和存储损失预防子事件数据作为复合事件，并且当零售盗窃实施中时创建实时提示。例如，如果特定零售盗窃团伙对于每个零售盗窃事件具有标准的作案手法，诸如以下的序列：1）人物A将店员注意力转移到商店后方；2）人物B通过跌倒到地板而假装出现医疗应急；和3）人物C抢夺香烟并且跑出商店，与这些子事件相关的数据（包括多媒体和元数据）被***存储并且识别为与特定零售盗窃团伙相对应。随后，当序列1和2开始并且被店内传感器42、44、46、48、50识别时，***警告管理人员可能有零售盗窃在实施，由此给经理时间去干预。

上述的损失预防***的一个方面可以使用面部特征来验证退货以便最小化退货欺诈。而且，在CRM***掌控的忠诚度计划的例子中，可以存在许多与顾客账户相关联的面部特征。

一旦顾客进行购买，POS附近的相机就捕捉顾客面部图像，随后执行面部检测和特征提取。此后，交易与提取的面部特征一起存储。当顾客访问商店来退回货品时，POS附近的相机捕捉退货的顾客的面部图像，由此，除了验证POS交易货品之外，将退货的顾客的面部特征与存储的购买货品的顾客的面部特征进行验证。至少部分地基于退货顾客的面部特征是否与购货顾客的面部特征相匹配来评估退货交易是否为欺诈。

通过对于退货鉴定和许可的使用中心化的或对等的架构，***可用于多个应用，诸如货品从商店A购买但被退回到商店B的情形。

POS面部检测和特征提取的后面可以是针对从顾客***或其他顾客关联账户获取的信任的验证（其可以包含生物计量数据或用于生物计量数据鉴定的服务地址）。

而且，在POS在终端两侧都具有面部检测相机的情况下，退货多媒体记录可以包括顾客和收银员的面部。

退货多媒体记录可以包括来自其视觉和音频/语音数据的顾客和收银员的情绪分类，以便提供合适的顾客服务等级。

***可以检查退货顾客在来退货柜台之前是否在商店内（通常，退货或顾客服务柜台在入口处，并且期望行为是退货顾客直接来到退货柜台）。尽管如此，当收集并分析数据来看该假设正确与否时，该假设可以得到验证。退货顾客在商店周围行走可能表明顾客在那时取走货品但试图欺诈退货。

可替换地，可以由顾客来使用POS面部检测和特征提取，代替收集，例如在退货顾客找不到收据的情况下，***可以检索将他/她的面部与在先购货相关联的顾客信息，由此提高顾客的购物体验。

排队管理

参看图15，本公开的一个方面还提供了一种商店管理***，其通过将面部检测和匹配用于排队管理以改善站点/商店运营。图15示出了该***、店经理显示器96和队列Q1-Q5的示意性视图，其中顾客被表示为圆圈。***使用上述的***来检测面部、提取面部特征向量并且将面部数据发送给顾客表格模块92和队列统计模块94。***能够收集并且发送POS交互数据和面部数据到队列统计模块94。顾客表格模块92判断接收到的面部是否已在顾客表格中。队列统计模块94以POS事件/数据和面部数据（其可以是元数据一部分）来注解视频帧，从顾客表格模块中获得顾客到达时间以排队，从知识库98获得收银员表现数据（WID、WID_ServiceTime），将对每一完成POS交易的收银员表现***到数据仓库中，评估每一队列的平均顾客等候时间，并且将实时队列状态信息发送到店经理显示器96。

店经理显示器96显示实时队列表现统计并且视觉提示以基于实时队列状态和收银员期望工作表现数据（WID、WID_ServiceTime）来表示队列Q1-Q5上增加的负荷。店经理显示器96还可以将每一队列状态通过视觉和/或音频呈现而传送给经理。

上述的***能够选择质量良好的面部特征以减少要传输的数据量，同时增加匹配准确度。而且，顾客表格模块92选择一组良好面部代表以减少所需的存储并增加匹配准确度。进一步，注解的视频帧数据可以保存在自动化多媒体事件服务器72中，由自动化多媒体事件服务器通过其内容相似性而链接，由店经理显示器96从自动化多媒体事件服务器中访问以浏览链接的视频镜头，从而提取顾客在进入队列之前的位置。通过此信息，店经理可以决定是否将顾客移动到另一队列、开启新队列、或关闭队列。

个性化市场

图16示出了一种用于通过由面部集合匹配对象轨迹的个性化广告和市场效果的***。该***使用上述的多相机面部检测和匹配***来个性化广告（诸如在店内市场视频中），以通过追随活动后主体行为而追踪这样的个性化广告的效果。

在步骤S161，顾客进入站点或商店，由此，在步骤S162，使用上述的多相机面部检测和匹配***来检测她的身份。注意，***不需要这个人的实际身份（姓名等）来工作，只是在整个商店内识别并追踪独特个体。可替换地或者额外地，顾客可以使用诸如智能电话76的无线设备（经由地理地位或者其他无线***）或商店信息站来“签到”，由此，获得这个人的实际身份。一旦检测到顾客的身份（实际的或者不是），就提取身份特征，诸如年龄、性别、人口统计、头发颜色、体型等等。在步骤S163，广告内容个性化代理202使用提取的身份特征来确定定制/个性化广告内容。一旦广告内容确定，在步骤S164，一个或多个广告A1、A3、A5就经由店内显示器204或者顾客的无线设备被发送给顾客，以便由顾客观看。这些显示的广告被存储在数据库中以便之后检索。优选地，步骤S161-S163在步骤S164之前发生。还注意到，确定的定制广告可以从一系列预先制作的广告206中检索出来，或者可以恰好及时地准备唯一的广告（还可包括例如用户的姓名和/或面部）以创建独特的购物体验。而且，显示的（一个或多个）广告可以将顾客指引到商店的某一区域。

在观看定制广告之后，在步骤S165，使用视频相机44或其他传感器（例如用于追踪用户无线设备信号的传感器）在整个商店内追踪顾客，其中顾客所访问的商店区域被检测并存储，包括与顾客在每一区域逗留多长时间、顾客是否寻求帮助等相关的数据。在顾客离开商店后，在步骤S166，确定顾客是否进行了任何购买，如果是的话，购买的这些货品是否是广告中传送给顾客的。此信息随后存储用于将来参考和分析。例如，基于顾客所访问的商店区域，当顾客下次访问商店时，不同组的广告会被显示给顾客。

通过该信息，利用商店顾客业务的整合分析来通过考量例如顾客在观看过广告后去了哪里、观看过广告内容的顾客数量、在观看广告后有多少顾客去了广告中目标位置、在观看广告后去广告中的目标位置的顾客的人口统计、顾客在目标位置所花费的平均时间、有多少顾客看到给出的广告而购买了目标货品，而对广告内容效果分级。这样，可以确定呈现给顾客的广告的效果，包括广告对于每个顾客人口统计的效果。还要注意，本***可在多个商店使用，包括带有联网/云服务的事件管理。

作为用于个性化广告和市场效果的***的示例，如果商店中识别的购物者被显示了对于鞋和婴儿衣服的广告，但仅访问并在鞋的部门进行购买，则***可以记录鞋广告为成功而婴儿衣服广告为失败，由此，商店管理人员可以为顾客人口统计或完全决定不同类型的市场活动。如果该顾客访问婴儿衣服部门并且在商店花了大量时间但没有进行购买，则可能商品的类型和/或放置需要由商店管理人员进行评估。而且，在该情形下，在顾客离开商店后，基于顾客访问过的商店区域或者其没有访问的期望目标区域，可以向顾客呈现额外的广告，或某些类型的鼓励（诸如折扣券、打折代码等）。

多媒体事件日志

参看图17（其是图2-3的变型），本公开的一个方面还提供了一种自动化多媒体事件日志服务器（EJS）230，其可以同任何上述特征一起使用，其自动化了经由包括但不限于POS44、视频44、统一通信（UC）46、站点访问控制48和便捷/经济控制50、CRM210、声音记录器212、生物计量传感器214、位置传感器216等的事件传感器源的特定应用记录的多媒体注解的创建。EJS230提供ADS的相似的功能（例如事件序列挖掘），但是，EJS还提供多媒体事件日志，可显示作为商务智能（BI）表盘232（图18中示出）以显示由子事件构成的复合事件，以允许用户易于识别站点异常并且采取合适的行动，如下进一步所述。EJS230能够定义特定事件应用，并且可以由用户定制。而且，EJS230能够定义从事件和子事件收集注解数据的方式，并且进一步能够以统一的视图有效率地检索相关的多媒体数据的事故。EJS230基于上述事件序列挖掘以从收集到的事件数据中确定常见事件并且生成序列模型用于检测已知序列和异常。例如，从来自不同多媒体源的子事件汇编而成的复合事件可以如下产生：

a.打开的收银机/POS终端而无收银员出现，可能基于长时间打开的收银机/POS终端和没有收银员参与收银机/POS终端的组合子事件（组合POS时间、监视事件、提取的有关“多长时间”的知识等）

b.损失预防/虚假退货检测（上述），包括当损失事件发生时安全警卫无响应等。

如图17所示，在步骤S170，EJS230从传感器44、42、46、210、212、48、214、216接收包括元数据和捕捉的事件以及媒体数据的数据。这样的元数据可以包括视频事件元数据、交易事件元数据和事件元数据。在步骤S172，如上所述地执行此元数据的事件序列挖掘。此后，在步骤S174，复合应用事件管理***从识别的异常子事件中创建复合事件。在步骤S176，自动化统一事件日志报告管理器创建报告、提示和/或用于在BI表盘232上观看的显示。在步骤S178，包括复合事件和子事件的统一数据视图被创建用于在计算机100上在GUI的形式显示（通过观看器），并且还可以将统一通信以其他提示的形式转发给计算机100。

通过联网服务240的集成，***可以进一步支持多个商店事件管理，包括数据挖掘、过滤、用于智能寻找有关具有异常分数参考的异常相关事件的商务智能（多个站点中）的集成。用于易于观看和搜索的复合事件的有组织视图，以及通过多媒体记录器组合统一通信能力的自动化UC通知，以及过滤和集成来自多个站点的***部件（传感器44、42、46、210、212、48、214、216）的异常事件检测。

图18示出了根据本公开一个方面的示例事件日志BI表盘232，其可显示在例如计算机显示器150上。BI表盘232具有六个区域，其中显示与站点和事件有关的信息，以便于用户理解（尽管本领域技术人员应该理解，表盘可以显示比六个区域更多或更少的区域）。区域D1示出有关站点和事件的一般信息，包括日期、顾客计数、交易数、事件数（按重要性排列）等。区域D2示出被监视的站点的空间或空中视图。区域D2可以根据用户是否想要同时观看两个或联网的站点而放大或缩小。

区域D3示出交互异常强度模式观看器，其中使用链接线L来链接子事件，以示出复合事件E5、E14、E23。D3示出对于不同传感器输入44、42、46、210、48、214、216的子事件。尽管在区域D3中示出了五个类型的传感器输入（相机运动、POS、AC/RFID、面部检测、位置/热地图），本领域技术人员应该裂解，可以显示比五个传感器类型更多或更少的类型。每个传感器以时间顺序示出区域D3上的子事件，在区域D3的左侧从最早向区域D3的右侧到最近。这样，用户可以回退和快进复合事件和子事件，很像数字视频记录器，例如通过使用定点设备170来显示所想要的事件或子事件。还注意到，复合事件E5、E14、E23可在区域D1中显示，示出关于站点的（一个或多个）复合事件的位置。

区域D3示出下面的传感器事件：相机事件C1、C2、C3、C4、C5、C6、C7、C8；POS事件P1、P2、P3、P4；AC/RFID事件A1；面部识别事件F1、F2、F3、F4；以及位置/热地图L1、L2。每个传感器可以由不同图标或颜色来表示以易于使用（这里，相机事件由椭圆示出，POS事件由矩形示出，AC/RFID事件由加号示出，面部识别事件由笑脸示出，位置/热地图事件由地球仪示出）。类似地，链接子事件的链接线L可以是以颜色编码的，或者可对于每一复合事件而唯一识别。

区域D4示出站点的相机视图，其可以是视频或者静态图像。相机视图可以是站点的现场馈送或者与复合事件或子事件相关联的记录的图像。而且，相机视图可以用与图像有关的数据进行注解，诸如子事件、商品类型、收银员ID等。区域D5示出最近的复合事件E5、E14、E23的列表以便用户的快速参考。区域D6示出最近的子事件的列表，包括相关的子事件。

还注意到，用户可以点击、鼠标指向、或激励表盘的一个区域中所示的子事件或复合事件，以在表盘的其他区域中获得有关该事件或子事件的进一步的信息。例如，通过激励复合事件E14，用户可以在区域D4获得复合事件的图像（和其他多媒体信息，包括但不限于声音、地理位置、POS数据、站点访问数据、顾客信息等）和/或在区域D6获得相关的事件细节。

图19以复合事件日志或记录的形式示出了复合事件E14的示意性视图，复合事件日志或记录存储在事件和交易多媒体日志服务器72中。复合事件E14包括子事件C5、C6、P2、A1和L2，以及关键子事件C7、P3，其通常比“非关键”子事件具有更高的异常分数。作为复合事件的一部分，基于向回追踪其与关键子事件的相关性（即非关键子事件的重要性可能还没有确定，直到检测到后来的关键子事件），***可以包括非关键子事件C5、C6、P2、A1和L2。

通过上述的***，BI表盘232能够以统一视图显示与关键子事件和非关键子事件相关联的视频和相关信息，作为表盘或者报告给计算机100和移动设备76。***能够自动生成日志，以便经理基于发生或在商务智能环境中观看感兴趣的活动，由此通过不需要他或她观看过长的记录而节省经理/用户的时间。

图20图示说明了根据本公开的一个方面的事件日志服务器数据模型，图21图示说明了根据本公开的一个方面的事件日志接口数据图解，其可以通过下面的样本XML代码来表示：

作为例子，在雇员在快餐饭馆的厨房打架的情形下，在此期间不会产生食物。而且，汽车穿梭站顾客订购了食物且收银员就在打架之前已经开启了收银机。由于没有来自厨房的食物，收银员离开收银机去调查厨房发生了什么。由于该延迟，越来越多的汽车穿梭站顾客在汽车穿梭站车道排队。POS收银机抽屉打开了特定时间段而没有关闭且没有收银员在现场。最终，某些顾客决定离开汽车穿梭站而不进行订购（称为“跳出”或“犹豫”）。

如下所述，“开启收银机而没有收银员和汽车穿梭站退出复合事件”E14被创建作为日志或记录（参看图19）。作为示例，***首先检测POS账户在一段时间处于开启模式超过已学习的阈值（关键子事件）P3，***自动地检查相关事件（例如安全相机等）以及向回追踪可能在时间和空间（位置接近）因素上相关的事件。***从事件日志中找到包括没有收银员（无人移动）在POS前的这些相关事件C6，向回追踪之前的运动提示以找到收银员何时离开开启的收银机。***还找到存在汽车穿梭站顾客退出子事件C7，其是关键子事件。厨房相机还检测区域中的异常徘徊和人员计数C5。

“非关键”子事件是相机异常计数和徘徊事件C5，POS销售事件P2、无人移动（没有收银员）C6子事件。通过链接到相关“非关键”子事件细节和媒体（视频、快照等），***将所有这些事件组织并链接在一起作为开启POS异常事故关键子事件和退出关键子事件。

***在BI表盘屏幕232的区域D2的位置地图上显示具有视频图像的提示，并且自动地发送UC通知给店经理的PC100和移动设备76。

将数据集成到统一视图中允许用户有效率地消化证据并处理情况。复合事件的超链接的视图（也称为复合事件文件夹）为用户提供了独特的查询结果呈现，这些链接允许用户基于其相关性而在复合事件文件夹之间移动并且允许用户易于理解给出的情形。

例如，复合事件文件夹可以包含来自POS记录的数据、来自与每一扫描相关的上下相机的图像、来自另一相机的面部图像、来自POS终端的收银员姓名等。在有组织零售犯罪中的情况下，当通过使用这些可用属性以及基于相似性的相关度（诸如面部相似形导致复合事件文件夹之间的链接）来链接复合事件文件夹时，损失预防官员能够有效率地访问并调查这些链接的复合事件文件夹。

复合事件基于包含由子事件传感器捕捉的附加数据的原始事件。呈现者收集从属事件数据为统一视图，其中数据以XML格式文档表现。该表现可以被呈现或处理。

在另一例子中，根据本公开的非限制特征的***可被用来识别慢的汽车穿梭站和退出情形。在特别大的食物订单被订货为汽车穿梭站订单时，此情形会占据厨房资源（例如微波炉）并且减慢对另一汽车穿梭站顾客的特定类型食物（例如松饼）的生产。这一个顾客的延迟会导致整个汽车穿梭站车道队列的队头处的拥堵。结果，顾客从长且慢的汽车穿梭站车道中退出。根据本公开的非限制特征的***检测车辆退出子事件和长POS交易间隔子事件与汽车穿梭站车道的长队列子事件。***能够易于理解向回追踪到时间接近的异常大订单子事件的情形。***由此能够在高异常事故发生时通知店经理或者店主，还会有以异常复合事件日志形式的相关子事件总结信息和细节，随后将该信息提供给经理，由此，订货了大订单的顾客可以被从队列中拿出来，这样他或她就可以接收到免费订单且用以交换他/她移动出队列。

在进一步的例子中，根据本公开的非限制特征的***可被用来识别收银员的操作效率比正常慢的情形。可以针对每个收银员整合运动和POS事件并记录在存储器120中。与***事件挖掘结果相比，慢的收银员可以被检测到并且从特定收银员的整合事件中过滤出来。慢操作由此能易于被检测到。

在另一例子中，根据本公开的非限制特征的***可被用来识别收银员开启收银机而在退款区域前没有出现顾客的情形，应该触发警报以便对虚假退款有所觉察。***将POS开启事件与视频行为事件和生物计量事件（面部检测/识别）进行相关，并且对于该退货交易发现顾客的缺失。***产生可能的退货欺诈事件的通知。

在另一例子中，根据本公开的非限制特征的***可被用来识别触发访问控制警报的情形，并且***生成对安全警卫的呼叫以应答该警报并且由此处理该呼叫。如果在从过去响应时间经验中学习到的特定时间段内没有收到安全警卫的响应（例如由于警卫丧失能力或与犯罪分子结成同盟），***可以基于技巧和位置数据和向其他安全警卫派遣另一呼叫。

本发明可以按照下面的假设来操作：

a.固定资源规划每个个体***（例如POS、安全、汽车穿梭站服务等）都合理优化。有经验的经理和工人能够遵从正常策略来平衡用于处理瞬时过载的负担。

b.每个个体的服务率可以变化（忙时、每个人都快速移动时、或者经理在场时等等）。

c.服务吞吐量和服务等候时间取决于订单到达的突然性和不均匀的服务时间，其归因于顾客订购了不同货品。

尽管参考若干示例实施例描述了本发明，应理解，所使用的词语是描述和说明性的词语，而不是限制性的词语。在现在陈述的以及修改的所附权利要求的范围内，可以做出变化，而不背离本发明在其各方面的范围和精神。尽管结合特定手段、材料和实施例来描述了本发明，但本发明不希望被限制为所公开的特定内容；而是，本发明扩展到所有功能等价的结构、方法、用户，诸如在所附权利要求的范围内。

尽管计算机可读介质被示出为单个介质，术语“计算机可读介质”包括单个介质或多个媒体，诸如中心化或分布式数据库、和/或存储一个或多个指令集的相关联的高速缓存和服务器。术语“计算机可读介质”还应包括能够存储、编码或承载用于由处理器执行或使得计算机***执行任何一个或多个这里所公开的方法或操作的指令集的任何介质。

在特定非限制示例实施例中，计算机可读介质可以包括固态存储器，诸如存储卡或容纳一个或多个非易失性只读存储器的其他封装。而且，计算机可读介质可以是随机存取存储器或其他易失性可再写存储器。此外，计算机可读介质可以包括磁光或光学介质，诸如磁盘或磁带或其他存储设备，以捕捉诸如在传输介质上传送的信号的载体波信号。因此，本公开被认为包括任何计算机可读介质或其他等价物或继承媒体，其中可存储数据或指令。

尽管本说明书结合特定标准和协议在特定实施例中描述了可实现的部件和功能，本公开并不限于这样的标准和协议。例如，用于因特网和其他分组切换网络传输的标准（例如WiFi、蓝牙、毫微微小区、微小区等）代表技术现状的示例。这样的标准周期性地会被具有实质相同功能的更快或者更加有效率的等价物所取代。因此，具有相同或相似功能的替换标准和协议被考虑为其等价物。

这里所述的实施例的说明是希望提供对各种实施例的结构的一般性理解。这些说明不希望充当利用这里所述的结构或方法的装置和***的所有元素和特征的完全描述。在查阅本公开后，许多其他实施例对于本领域技术人员来说是明显的。其他实施例可被利用且从本公开中得出，使得可以做出结构和逻辑替换和改变，而不背离本公开的范围。此外，这些图示说明仅仅是代表性的且不会按比例绘制。这些图示说明内的特定比例可能是夸张的，而其他比例可能被最小化。因此，本公开和附图被视为说明性的而非限制性的。

仅仅是为了方便，本公开的一个或多个实施例在这里会被单独和/或统一称为术语“发明”，而不希望主动将本申请的范围限制为任何特定发明或发明概念。而且，尽管这里说明和描述了特定实施例，应该明白，设计为获取相同或相似目的的任何后续安排可替换所示出的特定实施例。本公开希望涵盖各种实施例的任何和所有后续改编或变化。在查阅说明书后，上述实施例的组合，以及这里未具体描述的其他实施例，对于本领域技术人员来说是明显的。

提供本公开的摘要以满足37C.F.R.§1.72(b)且提交被理解为其不会用于解释或限制权利要求的范围或意思。此外，在前面的详细描述中，各种特征可以被分组到一起或者在单独实施例中描述，以便使本公开更为流畅。本公开不要被解释为反映所要求保护的实施例需要比每个权利要求中明确叙述的特征更多的特征的意图。而是，如所附权利要求反映的，发明主题可以涉及比所公开的任何实施例的全部特征更少。因此，所附权利要求被并入到详细描述中，每个权利要求自身代表单独限定所要求保护的主题。

上面公开的主题被认为是说明性的，而非限制性的，并且所附权利要求希望涵盖所有这样的修改、增强或落入本公开的真实精神和范围内的其他实施例。因此，法律所允许的最大程度上，本公开的范围由所附权利要求及其等价物的最宽可允许解释确定，且不应被前面的详细描述所限制或限定。

Claims

1.一种经由应用向用户通知站点异常的方法，所述应用被配置为访问事件服务器，所述事件服务器具有：

第一传感器异常检测器，被连接到第一传感器，用于检测由所述第一传感器感测到的第一子事件的第一异常行为，所述第一异常行为对应于第一异常行为值；

第二传感器异常检测器，被连接到第二传感器，用于检测由与所述第一传感器的类型不同的所述第二传感器感测到的第二子事件的第二异常行为，所述第二异常行为对应于第二异常行为值；

相关器，用于将所述第一和第二异常行为值进行相关并且将相关的值记录作为复合事件，所述复合事件对应于至少一个所述第一子事件和至少一个所述第二子事件；

数据存储，被配置为存储与所述第一传感器和所述第二传感器相关联的数据以及与所述复合事件相关联的数据；

所述方法包括：

从远离所述事件服务器的设备接收对所述应用的请求；

将所述应用发射到所述设备；以及

访问所述事件服务器，所述应用具有观看器，所述观看器被配置为在所述设备上示出与多个复合事件相关联的数据，所述观看器进一步被配置为以时间顺序显示所述多个复合事件。

2.根据权利要求1所述的方法，其中，所述观看器被进一步配置为在每个复合事件内显示与所述第二传感器相关联的第二子事件数据和第一子事件数据。

3.根据权利要求2所述的方法，其中，所述第一子事件数据被使用第一图标类型来标识，并且其中，所述第二子事件数据被使用与第一图标类型不同的第二图标类型来标识。

4.根据权利要求1所述的方法，其中，所述观看器进一步包括列表，所述列表包括第一和第二子事件。

5.根据权利要求1所述的方法，其中，每个复合事件由所述观看器以不同颜色编码。

6.根据权利要求1所述的方法，其中，所述观看器进一步包括所述站点的地图，所述地图被配置为示出与所述站点相关的每个复合事件的位置。

7.根据权利要求1所述的方法，其中，所述应用被配置为访问多个联网的事件服务器。

8.根据权利要求1所述的方法，进一步包括：

选择显示的复合事件；以及

显示与所选择的显示的复合事件相关联的数据，所述数据包括所记录的由所述第一传感器感测到的第一子事件和所记录的由所述第二传感器感测到的第二子事件中的至少一个。

9.根据权利要求8所述的方法，其中，所述数据进一步包括所记录的由所述第一传感器感测到的第一子事件和所记录的由所述第二传感器感测到的第二子事件中的至少一个的元数据。

10.根据权利要求1所述的方法，其中，与所述第一传感器相关联的数据和与所述第二传感器相关联的数据包括元数据，所述元数据包括日期、时间、位置、质量和关键字中的至少一个。

11.根据权利要求1所述的方法，其中：

所述第一传感器是相机、销售点终端、统一通信设备、顾客关系管理器、声音记录器、访问控制点、运动检测器、生物计量传感器、速度检测器、温度传感器、气体传感器和位置传感器中的一个；并且

所述第二传感器是相机、销售点终端、统一通信设备、顾客关系管理器、声音记录器、访问控制点、运动检测器、生物计量传感器、速度检测器、温度传感器、气体传感器和位置传感器中的另一个。

12.根据权利要求1所述的方法，其中，所述观看器被进一步配置为向回追踪并且以时间顺序显示所述多个复合事件。

13.根据权利要求1所述的方法，其中：

所述第一子事件和所述第二子事件中的至少一个包括关键和非关键子事件；以及

基于关键子事件到非关键子事件的向回追踪，所述非关键子事件被相关作为复合事件。

14.一种用于向用户通知站点异常的***，所述***包括：

事件服务器，包括：

相关器，用于将所述第一和第二异常行为值进行相关并且将相关的值记录作为复合事件，所述复合事件对应于至少一个所述第一子事件和至少一个所述第二子事件；以及

数据存储，被配置为存储与所述第一传感器和所述第二传感器相关联的数据以及与所述复合事件相关联的数据；以及

接口，被配置为示出与多个所述复合事件相关联的数据，所述接口包括观看器，所述观看器被配置为以时间顺序显示所述多个复合事件。

15.用于向用户通知站点异常的可由计算机读取的至少一个非瞬态计算机可读介质，所述至少一个非瞬态计算机可读介质包括：

第一传感器异常检测代码段，当被执行时，检测由第一传感器感测到的第一子事件的第一异常行为，所述第一异常行为对应于第一异常行为值；

第二传感器异常检测代码段，当被执行时，检测由与所述第一传感器的类型不同的第二传感器感测到的第二子事件的第二异常行为，所述第二异常行为对应于第二异常行为值；

相关代码段，当被执行时，将所述第一异常行为值和所述第二异常行为值进行相关并且将相关的值记录作为复合事件，所述复合事件对应于至少一个所述第一子事件和至少一个所述第二子事件；以及

数据存储代码段，当被执行时，存储与所述第一传感器和所述第二传感器相关联的数据以及与所述复合事件相关联的数据；

显示代码段，当被执行时，显示与多个复合事件相关联的数据；以及

观看代码段，当被执行时，以时间顺序显示所述多个复合事件。

16.一种在站点管理多个队列的方法，所述方法包括：

使用视频成像器，基于与独特面部的面部值相对应的面部数据，检测所述多个队列中每个队列中多个顾客中每个的面部；

将所述面部数据发射到顾客表格处理器和队列统计处理器；

使用所述面部值和所述顾客表格处理器，确定每个顾客已经处在所述多个队列中的各个队列中多长时间；

基于每个顾客已经处在各个队列中多长时间，确定所述多个队列中的每个队列的平均等候时间。

17.根据权利要求16所述的在站点管理多个队列的方法，其中，所述的确定每个队列的平均等候时间包括使用收银员表现数据。

18.一种个性化市场的方法，包括：

使用位于整个站点中的多个视频成像器中的至少一个视频成像器，基于与独特面部的面部值相对应的面部数据，在所述站点中基于顾客面部检测独特顾客；

基于所检测到的独特顾客的特性，创建与要被显示给所述顾客的广告货品有关的图像；

使用由所述多个视频成像器所确定的所述顾客的轨迹，在整个站点中追踪所检测到的独特顾客；

使用与所追踪的所检测到的独特顾客相对应的数据，确定由所述独特顾客所访问的所述站点的区域；以及

将由所述独特顾客所访问的所述站点的区域与所述广告货品进行相关。

19.根据权利要求18所述的个性化市场的方法，进一步包括：基于将由所述独特顾客所访问的所述站点的区域与所述广告货品进行相关，更改所创建的图像。

20.根据权利要求18所述的个性化市场的方法，进一步包括：基于将由所述独特顾客所访问的所述站点的区域与所述广告货品进行相关，向所述独特顾客提供鼓励。