CN107871111A - 一种行为分析方法及*** - Google Patents

Abstract

本发明实施例公开了一种行为分析方法及***，涉及智能分析技术领域，能够以较低的成本减小分析结果的误差。本发明包括：获取指定空间内设置的拍摄设备所拍摄的视频数据；根据所获取的视频数据识别视频中的目标，提取所述视频中的目标的跟踪结果，并根据所述跟踪结果得到所述视频中的目标在各个行为段内的行为数据；根据所述视频中的目标在各个行为段内的行为数据，从所述视频中的目标中筛选出第一类目标和第二类目标，并对筛选出的第一类目标进行去重处理；根据经过去重处理的第一类目标在各个行为段内的行为数据，得到经过去重处理的各第一类目标的全局行为数据。本发明适用于线下场景中的人员行为采集。

Description

一种行为分析方法及***

技术领域

本发明涉及智能分析技术领域，尤其涉及一种行为分析方法及***。

背景技术

随着移动通信技术和互联网技术的发展，线上交易/购物已经成为一种主要的消费模式，各大零售企业都开始将所经营的在线购物平台与大数据分析***、在线营销***等***相结合，实时采集的顾客行为数据和操作历史数据，并将采集的数据引入后续的营销过程中，以便于提高线上交易/购物的效率和营销的准确度。然而，与在线购物平台相比，传统的线下商业场所的顾客行为数据非常难获取。

在目前线下商业场所中，常见的顾客行为数据的获取方式，主要是通过提供免费wifi热点给顾客使用，并基于wifi探针技术来追踪顾客的浏览轨迹。但在实际应用中，基于wifi探针技术进行定位追踪的精度也不高，所得到的顾客的行为数据仅限于顾客的浏览轨迹，无法准确反映顾客行为细节。

在常见的顾客行为数据的获取方式中，还通过计算机视觉和视频分析技术，分析得到较为详实的顾客行为数据，比如：通过店面中的设置的监控拍摄设备对顾客大致体貌特征进行分析，确定顾客的大致年龄和性别，以及通过人头识别的手段对一些货架前的人流进行统计分析。但目这类分析方***度受硬件配置和现有分析技术所限，对于个体的分析结果的误差较大，在以人流、人群为整体对象进行统计分析时才能得到较为准确的数据，若要针对少量的顾客甚至个人进行分析，则分析结果的误差较大。若要减小分析误差，则通常需要采购分辨率和清晰度更高的摄像头、采集卡等拍摄设备，以便于更加精细地识别人体的面部、体貌特征，但是这类拍摄设备的成本极高，目前更多地应用在机场、高铁车站、大型会展中心等重要场所的安保***中，在普通的线下商业场所中难以应用。

发明内容

本发明的实施例提供一种行为分析方法及***，能够以较低的成本减小分析结果的误差。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，本发明的实施例提供的方法，包括：获取指定空间内设置的拍摄设备所拍摄的视频数据；

根据所获取的视频数据识别视频中的目标，提取所述视频中的目标的跟踪结果，并根据所述跟踪结果得到所述视频中的目标在各个行为段内的行为数据；

根据所述视频中的目标在各个行为段内的行为数据，从所述视频中的目标中筛选出第一类目标和第二类目标，并对筛选出的第一类目标进行去重处理；

根据经过去重处理的第一类目标在各个行为段内的行为数据，得到经过去重处理的各第一类目标的全局行为数据。

结合第一方面，在第一方面的第一种可能的实现方式中，还包括：

确定与所述指定空间关联的行为模板库；

所述根据所述视频中的目标在各个行为段内的行为数据，从所述视频中的目标中筛选出第一类目标和第二类目标，包括：

从与所述指定空间关联的行为模板库中分别读取所述第一类目标和所述第二类目标的行为模板；

根据所读取的行为模板，从所述视频中的目标中筛选出所述第一类目标和所述第二类目标。

结合第一方面或第一方面的第一种可能的实现方式,在第二种可能的实现方式中，所述根据所获取的视频数据识别视频中的目标，包括：

根据所获取的视频数据，从视频中区分背景区域和运动区域；

从区分得到的运动区域中筛选人体运动区域，作为识别得到的目标；

跟踪所述识别得到的目标得到运动轨迹，并记录所得到的运动轨迹的跟踪结果，所述跟踪结果包括：行为目标、行为段和行为内容，所述行为目标包括所述识别得到的目标中的运动主体，所述行为段包括对所述行为目标进行完整跟踪的时间区段，所述行为内容包括所述运动主体的连续运动过程。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述提取所述视频中的目标的跟踪结果，并根据所述跟踪结果得到所述视频中的目标在各个行为段内的行为数据，包括：

根据所述视频中的目标的整体速率和运动向量，切分所述视频中的目标的行为段得到子行为段，所述子行为段包括：所述行为目标的行为内容为：快速行走、完全静止或原地静止但有躯干活动的时间区段；

对于一个子行为段：提取该子行为段中的图像帧的运动向量，将运动向量和对应的图像帧进行采样并融合，得到各图像帧的数据表示；并将各图像帧的数据表示融合，得到该子行为段的行为数据。

结合第一方面的第一种可能的实现方式，在第四种可能的实现方式中，所述根据所述视频中的目标在各个行为段内的行为数据，从所述视频中的目标中筛选出第一类目标和第二类目标，包括：

根据所述视频中的目标的各行为段的行为数据和行为分析模型，确定各行为段的行为判别结果；

根据各行为段的行为判别结果，与所述第一类目标和所述第二类目标的行为模板的匹配程度，从所述视频中的目标中筛选出第一类目标和第二类目标。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，还包括：

根据每个第二类目标在各个行为段内的行为数据，分别得到每个第二类目标的全局行为数据；

根据得到的第二类目标的全局行为数据，校正得到的第一类目标的全局行为数据。

第二方面，本发明的实施例提供的***，所述***包括：拍摄设备、与所述拍摄设备相连的分析服务器、与所述分析服务器相连的终端设备和与所述分析服务器相连的数据库***；

所述拍摄设备设置在指定空间内，用于拍摄得到指定空间内的视频数据；

所述分析服务器，用于获取所述拍摄设备所拍摄的视频数据；根据所获取的视频数据识别视频中的目标，提取所述视频中的目标的跟踪结果，根据所述跟踪结果得到所述视频中的目标在各个行为段内的行为数据；并根据所述视频中的目标在各个行为段内的行为数据，从所述视频中的目标中筛选出第一类目标和第二类目标，并对筛选出的第一类目标进行去重处理；再根据经过去重处理的第一类目标在各个行为段内的行为数据，得到经过去重处理的各第一类目标的全局行为数据，并上传所述数据库***，和将所述全局行为数据向所述终端设备发送；

所述终端设备，用于显示所述全局行为数据；

所述数据库***，用于存储所述分析服务器上传的全局行为数据。

结合第二方面，在第二方面的第一种可能的实现方式中，所述数据库***，还用于存储所确定的与所述指定空间关联的行为模板库；

所述分析服务器，具体用于访问所述数据库***，并从与所述指定空间关联的行为模板库中分别读取所述第一类目标和所述第二类目标的行为模板；并根据所读取的行为模板，从所述视频中的目标中筛选出所述第一类目标和所述第二类目标；

或者所述分析服务器，还用于存储所确定的与所述指定空间关联的行为模板库，并具体用于从与所述指定空间关联的行为模板库中分别读取所述第一类目标和所述第二类目标的行为模板；并根据所读取的行为模板，从所述视频中的目标中筛选出所述第一类目标和所述第二类目标。

结合第二方面或第二方面的第一种可能的实现方式,在第二种可能的实现方式中，所述***还包括：后台服务器，所述分析服务器经由所述后台服务器分别与所述终端设备和所述数据库***相连；

所述分析服务器，具体用于根据所述视频中的目标的各行为段的行为数据和行为分析模型，确定各行为段的行为判别结果；并根据各行为段的行为判别结果，与所述第二类目标的行为模板的匹配程度，从所述视频中的目标中筛选出第二类目标；并将所述视频中的目标的各行为段的行为判别结果向所述后台服务器发送；

所述后台服务器，用于根据各行为段的行为判别结果，与所述第一类目标的行为模板的匹配程度，从所述视频中的目标中筛选出第一类目标。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述分析服务器，还用于根据每个第二类目标在各个行为段内的行为数据，分别得到每个第二类目标的全局行为数据，并向所述后台服务器发送；

所述后台服务器，还用于根据得到的第二类目标的全局行为数据，校正得到的第一类目标的全局行为数据。

本发明实施例提供的行为分析方法及***，利用视频的智能分析技术，提供对于目标行为进行分析的方案，通过从视频中获取目标的各种行为的数据，对目标进行去重。对于运动轨迹进行分析时只需区分背景和动态区域，不需配置分辨率和清晰度高的摄像头降低了硬件配置要求，提高了所获取的行为数据的精确性，从而以较低的成本减小分析结果的误差。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1、2为本发明实施例提供的***架构示意图；

图3为本发明实施例提供的行为分析方法的流程示意图；

图4为本发明实施例提供的一种分析服务器的结构示意图；

图5为本发明实施例提供的一种具体实例的示意图；

图6为本发明实施例提供的一种后台服务器的结构示意图；

图7为本发明实施例提供的另一种具体实例的示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本发明实施例中的方法流程，具体可以由一种如图1所示的***执行，该***至少包括：在布置在指定空间内的拍摄设备，与所述拍摄设备相连的分析服务器，用于实时展示分析服务器的分析结果的终端设备，以及与分析服务器相连的数据库***。

其中，指定空间具体可以是线下门店、商场、超市等线下商业场所的室内空间；

拍摄设备具体可以采用监控摄像头、安防摄像头等类型的摄像头，拍摄设备的拍摄清晰度和分辨率，能够满足识别运动的人体和静态背景，以及满足识别肢体动作即可。在指定空间中所布置的拍摄设备的数量可以是一个或者多个，可以采用置顶安装或斜视安装等安装方式，以便于整个指定空间都在拍摄设备的可见范围内。

分析服务器具体可以是单独作成的服务器设备，比如：机架式、刀片、塔式或者机柜式的服务器设备，也可以采用工作站、大型计算机等具备较强计算能力硬件设备。分析服务器也可以是由多个服务器设备组成的服务器集群。分析服务器可以设置在室内空间中，比如：设置在各类商业场所中的监控中心，或者设置在室内空间的附近，比如：设置在毗邻各类商业场所中的外部机房内。通常的，分析服务器与拍摄设备通过线缆相连，线缆的布线方式根据指定空间的具体的规模和室内结构决定。

终端设备具体可以实做成单独一台装置，或整合于各种不同的媒体数据播放装置中，可以是台式电脑、笔记本电脑等个人计算机，并通过线缆、互联网或者无线网络的方式与分析服务器建立通信；也可以是诸如智能手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或者个人数字助理(personal digital assistant，简称PDA)等移动终端，并通过无线网络的方式与分析服务器建立通信。终端设备用于实时展示分析服务器输出的数据，比如分析结果。

数据库***具体可以是单独作成的，用于数据的管理、存储的服务器设备，也可以是由多个服务器设备组成的服务器集群。在数据库***的硬件设备上运行数据库，用于管理并存储分析服务器获取并发送的视频数据、行为数据等数据。具体可以采用常用的网状数据库(Network Database)、关系数据库(Relational Database)、树状数据库(Hierarchical Database)、面向对象数据库(Object-oriented Database)等数据库架构。数据库***具体可以部署在指定空间之外的地域，比如：若指定空间为各类商业场所，则数据库***可以部署在专门的云计算中心、数据服务中心等，比如***需要同时管理多个商业场所的情况。也可以部署在指定空间中，比如***仅需管理单个商业场所的情况。

进一步的，本发明实施例中的方法流程，具体可以由一种如图2所示的***执行，以便于管理多个商业场所。其中，布置在指定空间的分析服务器与后台服务器相连，例如：分析服务器具体部署在商业场所中，各个商业场所的分析服务器通过互联网与数据中心或者管理中心的后台服务器相连，而终端设备通过互联网或者无线网络与后台服务器建立通信，数据库***通过互联网或者线缆与后台服务器相连并建立通信。

本发明实施例提供一种行为分析方法，如图3所示，包括：

S1、获取指定空间内设置的拍摄设备所拍摄的视频数据。

其中，在指定空间中所布置的拍摄设备的数量可以是一个或者多个，采用置顶安装或斜视安装等安装方式，所拍摄的视频中包括整个指定空间的可见范围内的人员，比如：在商场、门店里的各个店铺或单个店铺内，通过拍摄设备获取店铺内区域的视频数据，所拍摄的视频中包括门店中的顾客和销售人员。由指定空间内设置的拍摄设备拍摄实时影像，并传输至分析服务器，使得分析服务器通过内置的视频采集卡等视频采集单元，从而获取指定空间内设置的拍摄设备所拍摄的视频数据。

S2、根据所获取的视频数据识别视频中的目标，提取所述视频中的目标的跟踪结果，并根据所述跟踪结果得到所述视频中的目标在各个行为段内的行为数据。

其中，分析服务器对实时采集到的视频数据进行处理，通过目标检测及跟踪得到视频中的各个运动目标，例如：在视频序列中寻找出运动目标，并对各个运动目标进行跟踪，得到各个目标的运动轨迹。分析服务器还对运动目标在某一段或者指定数量的时间段(行为段)内的行为进行识别，得到目标在各个行为段内的行为数据，例如：对于各个行为段内的行为目标的行为进行分析，得到较为详细的行为数据。

若为多个行为段，则可以选取在时间上连续的多个行为段，可以选取存在一定时间间隔的行为段，具体的行为段的选取方式可以依照实际应用场景决定，在本实施例中并不限定。

S3、根据所述视频中的目标在各个行为段内的行为数据，从所述视频中的目标中筛选出第一类目标和第二类目标，并对筛选出的第一类目标进行去重处理。

其中，可以依照目标的行为模式，将指定空间内拍摄到的目标划分为不同的角色，如：第一类目标和第二类目标。例如：若指定空间为一个店铺的室内空间，店铺的天花板上设置了广角摄像头，用于拍摄店铺内全景。将该店铺内拍摄到的各个目人形标在各个行为段内的行为进行汇总分析，确定为销售人员的目标作为第二类目标，和为顾客的目标作为第一类目标。并对所确定的第一类目标中可能重复的目标进行去重处理，从而提高全局行为数据的准确度。比如：对拍摄到的顾客进行去重分析，根据视频中的动态特征和镜头的视觉特征，对反复出现的顾客身份进行去重，同时可以识别出销售员目标。从而准确得到每个顾客的全局行为数据。

S4、根据经过去重处理的第一类目标在各个行为段内的行为数据，得到经过去重处理的各第一类目标的全局行为数据。

例如：可以由分析服务器将各个目标在各个行为段内的行为数据进行汇总分析，确定销售人员，并对顾客进行去重分析，得到每个顾客的全局行为数据。将当前顾客的行为数据汇总之后，发送给店铺内的终端设备，并以图表或者曲线等表现形式呈现在程序或应用的界面中，供店铺内的销售人员进行参考。还可以对多个店铺内分析服务器的顾客的行为数据、销售员的行为数据进行汇总和记录，并传送到数据中心，以便于数据中心对多个店铺内的各个目标的行为数据进行汇总分析。

本发明实施例提供的行为分析方法及***，利用视频的智能分析技术，提供对于目标行为进行分析的方案，通过从视频中获取目标的各种行为的数据，对目标进行去重，并基于目标的运动轨迹获取全局行为数据。由于对于运动轨迹进行分析时只需区分背景和动态区域，不需配置分辨率和清晰度高的摄像头降低了硬件配置要求；并且，相对于现有的对于人流、人群的分析方式，本实施例能够对于单个目标的运动轨迹减小分析、去重，从而更加准确地获取目标的意图，例如：通过获取的顾客的行为(包括与商品的和与销售人员的互动行为)数据，可以对顾客进行去重，进而有效的分析顾客的购买意图。并且同时适用于单门店、多门店等场景，分别获得顾客短期和较长期的行为数据，使得所获取的顾客丰富且精准的行为数据。从而提高了所获取的行为数据的精确性，在节约成本的同时提高了基于行为数据的分析的精确性。

在本实施例中，还提供一种依照目标的行为模式，将指定空间内拍摄到的目标划分为不同的角色的具体方式，包括：

确定与所述指定空间关联的行为模板库。

所述根据所述视频中的目标在各个行为段内的行为数据，从所述视频中的目标中筛选出第一类目标和第二类目标，包括：从与所述指定空间关联的行为模板库中分别读取所述第一类目标和所述第二类目标的行为模板。根据所读取的行为模板，从所述视频中的目标中筛选出所述第一类目标和所述第二类目标。

其中，行为模板库具体可以包括预存的多种目标的行为模式，并作为用于识别各类目标的行为模板，例如：行为模板库中预存顾客的行为模式，当分析服务器获取视频中的目标在各个行为段内的行为数据后，参照预存在行为模板库中的顾客的行为模式，判定视频中的目标是否匹配顾客的行为模式，若是则将视频中的目标判定为顾客。

在本实施例中，根据不同的行为模板，可以从所述视频中的目标中筛选出第一类目标和第二类目标，也可以从所述视频中的目标中筛选出更多类的目标，具体可以按照实际应用中，行为模板库中的行为模板种类确定，比如：若行为模板库中存储了顾客、销售人员、经理、保洁人员等N个行为模板，则分析服务器最多可以从所述视频中的目标中筛选出第1至N类目标。在本实施例中，行为模板库可以存储在分析服务器的本地存储器中；也可以存储在数据库***中，并由分析服务器从数据库***中查询获取行为模板。

在本实施例中，根据所获取的视频数据识别视频中的目标的具体方式，可以包括：

根据所获取的视频数据，从视频中区分背景区域和运动区域。并从区分得到的运动区域中筛选人体运动区域，作为识别得到的目标。并跟踪所述识别得到的目标得到运动轨迹，并记录所得到的运动轨迹的跟踪结果。

其中，所述跟踪结果包括：行为目标、行为段和行为内容，所述行为目标包括所述识别得到的目标中的运动主体，所述行为段包括对所述行为目标进行完整跟踪的时间区段，所述行为内容包括所述运动主体的连续运动过程。

例如：对于室内场景，可以统计得到室内场景中的背景区域，在当前拍摄的图像帧中减去背景区域得到运动区域。再根据预设的识别规则进行筛选(比如人体运动时的运动区域的变换规则，或者其它现有的运动识别规则)，得到人体运动区域。对于所得到的人体运动区域，采用预设的跟踪方法进行目标跟踪(比如：卡尔曼滤波或粒子滤波)，得到各个目标的运动轨迹，其中当一个目标离开店铺区域时，则这一个目标结束跟踪流程。将运动轨迹按照时间顺序划分为多个段，每一段的跟踪结果包括：行为目标、行为段和行为内容。

在本实施例中，提取所述视频中的目标的跟踪结果，并根据所述跟踪结果得到所述视频中的目标在各个行为段内的行为数据的具体方式，对于各个行为段内的行为目标，对其行为进行分析，得出其详细行为数据。行为分析可包括行为粗判决和行为精细判决至少两个粒度的判决过程，其中可以包括：

根据所述视频中的目标的整体速率和运动向量，切分所述视频中的目标的行为段得到子行为段。

其中，所述子行为段包括：所述行为目标的行为内容为：快速行走、完全静止或原地静止但有躯干活动的时间区段。例如：根据目标的整体速率和运动向量，可以将目标的行为进一步切割为小的行为子段，并得到行为子段的行为粗判决的判决结果，包括：快速行走、完全静止、原地静止但有躯干活动等几种。其中快速行走及完全静止无需继续判断。

并进一步对各个行为子段里的行为进行分析，从而完成行为精细判决，其中对于一个子行为段：提取该子行为段中的图像帧的运动向量，将运动向量和对应的图像帧进行采样并融合，得到各图像帧的数据表示。并将各图像帧的数据表示融合，得到该子行为段的行为数据。例如：分析服务器先对该子段行为进行切分，比如可以将子段切分成均匀的若干小段，或者在以上的基础上进一步采样以加快分析速度。其次是提取该段每帧或固定采样帧的运动向量，将运动向量作为目标的运动描述，各段的运动向量帧数是相同的。将运动向量和对应的图像帧进行同样比例的下采样并融合，得到各帧的数据表示。将各帧的数据表示进行融合，得到该小段的行为数据。将该数据作为行为分析模型的输入，得到该小段的行为判别结果。其中，对于每一个小段分析服务器可以采取多线程并行处理，从而提高处理效率。

本实施例中，行为分析模型可以是一种基于深度神经网络的分类模型。比如：利用大量已标注的行为视频数据训练得到的。该深度神经网络以二维卷积神经网络为基础来改造的，在本实施例的优选方案中可以采用三维卷积神经网络模型；或者采用常规的二维卷积神经网络的卷积层和池化层作为基础，用新的运动分析层取代之前的全连接层。

在本实施例中，根据所述视频中的目标在各个行为段内的行为数据，从所述视频中的目标中筛选出第一类目标和第二类目标的具体方式，包括：

根据所述视频中的目标的各行为段的行为数据和行为分析模型，确定各行为段的行为判别结果。

根据各行为段的行为判别结果，与所述第一类目标和所述第二类目标的行为模板的匹配程度，从所述视频中的目标中筛选出第一类目标和第二类目标。

例如：分析服务器根据目标行为分析的结果，进一步得出销售人员和顾客的全局行为数据，并汇总。

对于销售人员的判别分析：主要是通过运动轨迹的分析，根据一些销售人员的既有运动规则，对其进行初始化，比如：在上述行为粗判决和精细判决的基础上，对于销售人员(作为第二类目标)的粗判决，还包括：将最早到店并单人长期在店内滞留的，判决销售人员。

对于顾客(作为第一类目标)的判别分析：在每个行为段中，进行采样得到一系列图像帧，并将这些图像进行二值化。将二值化后的图像帧输入到分类器中，由分类器判断出这张图像帧可能对应的动作状态。其中，所述分类器是一个多类的分类器，是根据大量相应已标注样本训练得到的，输入分类器的是二值化的图像帧，输出是目标可能的动作状态。进一步的，对于各行为段之间，在上面采样出的图像帧中，将相同动作状态下对应的彩色图像通过深度学习网络提取特征，根据特征进行比对投票，并将相似度高的则视为同一个顾客，比如：行为段A段和B段之间，共有m对动作状态相同的图像，则将相应的2m个图像都提取其特征，并在对应的图像对之间进行m次比对，在一对图像中：一个图像的特征与另一个图像的特征的相互距离小于等于预设最小阈值，则认为是相似人并投票+1,当相似数总投票高于预设最大阈值时，判定为是同一顾客。

可选的，在本实施例中，还包括：

根据每个第二类目标在各个行为段内的行为数据，分别得到每个第二类目标的全局行为数据。并根据得到的第二类目标的全局行为数据，校正得到的第一类目标的全局行为数据。例如：分析服务器将前各个目标的行为数据进行汇总，得到每个顾客和销售员的全局行为数据。其中包括：根据同一目标在时间和空间上的连续性，将同一个顾客或销售员的行为数据进行连接，得到其完整且连续的行为数据，作为全局行为数据。并根据不同目标在行为时间和行为空间上的相关性，将可能存在交互的目标行为进行校正。比如：销售员和顾客在同一时间处于相近空间内，双方都有交谈动作，则将双方在此行为段中的行为校正为交谈行为。

本发明实施例还提供一种行为分析***，如图1所示的，所述***包括：拍摄设备、与所述拍摄设备相连的分析服务器、与所述分析服务器相连的终端设备和与所述分析服务器相连的数据库***；该***可以安装在所述指定空间内或者所述指定空间毗邻的区域，比如：在单个店铺中安装如图1所示的***

所述拍摄设备设置在指定空间内，用于拍摄得到指定空间内的视频数据；

所述分析服务器，用于获取所述拍摄设备所拍摄的视频数据；根据所获取的视频数据识别视频中的目标，提取所述视频中的目标的跟踪结果，根据所述跟踪结果得到所述视频中的目标在各个行为段内的行为数据；并根据所述视频中的目标在各个行为段内的行为数据，从所述视频中的目标中筛选出第一类目标和第二类目标，并对筛选出的第一类目标进行去重处理；再根据经过去重处理的第一类目标在各个行为段内的行为数据，得到经过去重处理的各第一类目标的全局行为数据，并上传所述数据库***，和将所述全局行为数据向所述终端设备发送；

所述终端设备，用于显示所述全局行为数据；

所述数据库***，用于存储所述分析服务器上传的全局行为数据。

本实施例中所述的分析服务器的具体硬件结构，提供一种如图4所示的可能的具体架构，包括：至少一个处理器111，例如CPU，至少一个网络接口114或者其他用户接口113，存储器115，至少一个通信总线112。通信总线112用于实现这些组件之间的连接通信。可选的，还包含用户接口113，包括显示器，键盘或者点击设备(例如，鼠标，轨迹球(trackball),触感板或者触感显示屏)。存储器115可能包含高速RAM存储器，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器115可选的可以包含至少一个位于远离前述处理器111的存储装置。

在一些实施方式中，存储器115存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:操作***1151，包含各种***程序，用于实现各种基础业务以及处理基于硬件的任务；应用程序1152，包含各种应用程序，用于实现各种应用业务。其中，如图5所示的，应用程序1152中包括但不限于：预处理模块51和汇总分析模块52。

预处理模块51，用于根据所获取的视频数据识别视频中的目标，提取所述视频中的目标的跟踪结果，根据所述跟踪结果得到所述视频中的目标在各个行为段内的行为数据。其中，预处理模块51具体包括：目标检测及跟踪子模块511和目标行为分析子模块512。

目标检测及跟踪子模块511，用于根据所获取的视频数据，从视频中区分背景区域和运动区域；并从区分得到的运动区域中筛选人体运动区域，作为识别得到的目标；跟踪所述识别得到的目标得到运动轨迹，并记录所得到的运动轨迹的跟踪结果。从而在视频序列中寻找出运动目标，并对各个运动目标进行跟踪，得到各个目标的运动轨迹。目标行为分析子模块512，用于根据所述视频中的目标的整体速率和运动向量，切分所述视频中的目标的行为段得到子行为段，所述子行为段包括：所述行为目标的行为内容为：快速行走、完全静止或原地静止但有躯干活动的时间区段；对于一个子行为段：提取该子行为段中的图像帧的运动向量，将运动向量和对应的图像帧进行采样并融合，得到各图像帧的数据表示；并将各图像帧的数据表示融合，得到该子行为段的行为数据。

汇总分析模块52，用于根据预处理模块51输出的行为数据，进一步得出销售人员和顾客的全局行为数据并汇总。其中，汇总分析模块52具体包括：第二分析子模块521,第一分析子模块522，数据汇总模块523。

第二分析子模块块521，用于根据各行为段的行为判别结果，与所述第二类目标的行为模板的匹配程度，从所述视频中的目标中筛选出第二类目标，比如销售人员。第一分析子模块522，用于根据各行为段的行为判别结果，与所述第一类目标的行为模板的匹配程度，从所述视频中的目标中筛选出第一类目标，比如顾客。数据汇总子模块523，用于根据得到的第二类目标的全局行为数据，校正得到的第一类目标的全局行为数据。

在本实施例中，所述数据库***，还用于存储所确定的与所述指定空间关联的行为模板库；所述分析服务器，具体用于访问所述数据库***，并从与所述指定空间关联的行为模板库中分别读取所述第一类目标和所述第二类目标的行为模板；并根据所读取的行为模板，从所述视频中的目标中筛选出所述第一类目标和所述第二类目标；

或者所述分析服务器，还用于存储所确定的与所述指定空间关联的行为模板库，并具体用于从与所述指定空间关联的行为模板库中分别读取所述第一类目标和所述第二类目标的行为模板；并根据所读取的行为模板，从所述视频中的目标中筛选出所述第一类目标和所述第二类目标。

在本实施例中，在如图1所示的***的基础上，本发明实施例还提供一种行为分析***，其中，相对于如图1所示的***的，在如图2所示的中，拍摄设备、与所述拍摄设备相连的分析服务器可以安装在所述指定空间内或者所述指定空间毗邻的区域，其中，指定空间或者所述指定空间毗邻的区域存在多个，比如布置在多个店铺的场景中，在每一个指定空间内都布置配套的拍摄设备，并在每一个指定空间或者所述指定空间毗邻的区域布置分析服务器。所述***还包括：后台服务器，各个分析服务器经由所述后台服务器分别与所述终端设备和所述数据库***相连；

所述分析服务器，具体用于根据所述视频中的目标的各行为段的行为数据和行为分析模型，确定各行为段的行为判别结果；并根据各行为段的行为判别结果，与所述第二类目标的行为模板的匹配程度，从所述视频中的目标中筛选出第二类目标；并将所述视频中的目标的各行为段的行为判别结果向所述后台服务器发送；

所述后台服务器，用于根据各行为段的行为判别结果，与所述第一类目标的行为模板的匹配程度，从所述视频中的目标中筛选出第一类目标。

本实施例中所述的后台服务器的具体硬件结构，提供一种如图6所示的可能的具体架构包括：至少一个处理器211，例如CPU，至少一个网络接口214或者其他用户接口213，存储器215，至少一个通信总线212。通信总线212用于实现这些组件之间的连接通信。可选的，还包含用户接口213，包括显示器，键盘或者点击设备(例如，鼠标，轨迹球(trackball),触感板或者触感显示屏)。存储器215可能包含高速RAM存储器，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器215可选的可以包含至少一个位于远离前述处理器211的存储装置。

在一些实施方式中，存储器215存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:操作***2151，包含各种***程序，用于实现各种基础业务以及处理基于硬件的任务；应用程序2152，包含各种应用程序，用于实现各种应用业务。

其中，如图7所示的，在分析服务器的应用程序1152中包括但不限于：预处理模块71。分析服务器具体可以如如图4所示。预处理模块71，用于根据所获取的视频数据识别视频中的目标，提取所述视频中的目标的跟踪结果，根据所述跟踪结果得到所述视频中的目标在各个行为段内的行为数据。其中，预处理模块71具体包括：目标检测及跟踪子模块711、目标行为分析子模块712和第二分析子模块块713。需要说明的是，在不同的指的空间内的分析服务器可以采用相同的架构。

目标检测及跟踪子模块711，用于根据所获取的视频数据，从视频中区分背景区域和运动区域；并从区分得到的运动区域中筛选人体运动区域，作为识别得到的目标；跟踪所述识别得到的目标得到运动轨迹，并记录所得到的运动轨迹的跟踪结果。从而在视频序列中寻找出运动目标，并对各个运动目标进行跟踪，得到各个目标的运动轨迹。

目标行为分析子模块712，用于根据所述视频中的目标的整体速率和运动向量，切分所述视频中的目标的行为段得到子行为段，所述子行为段包括：所述行为目标的行为内容为：快速行走、完全静止或原地静止但有躯干活动的时间区段；对于一个子行为段：提取该子行为段中的图像帧的运动向量，将运动向量和对应的图像帧进行采样并融合，得到各图像帧的数据表示；并将各图像帧的数据表示融合，得到该子行为段的行为数据。

第二分析子模块块713，用于根据各行为段的行为判别结果，与所述第二类目标的行为模板的匹配程度，从所述视频中的目标中筛选出第二类目标，比如销售人员；并根据每个第二类目标在各个行为段内的行为数据，分别得到每个第二类目标的全局行为数据，并向所述后台服务器发送。

在后台服务器的应用程序2152中包括但不限于：汇总分析模块72，用于根据预处理模块71输出的行为数据，进一步得出销售人员和顾客的全局行为数据并汇总。其中，汇总分析模块72具体包括：第一分析子模块721，数据汇总模块722。

第一分析子模块721，用于根据各行为段的行为判别结果，与所述第一类目标的行为模板的匹配程度，从所述视频中的目标中筛选出第一类目标，比如顾客。

数据汇总子模块722，用于根据得到的第二类目标的全局行为数据，校正得到的第一类目标的全局行为数据。还用于根据得到的第二类目标的全局行为数据，校正得到的第一类目标的全局行为数据。

本发明实施例提供的行为分析***，利用视频的智能分析技术，提供对于目标行为进行分析的方案，比如：上述可以布置在单个指定空间中的如图1所示的***和可以布置在多个指定空间中的如图2所示的***。在如图2所示的***中，可以将各个指定空间中的各个目标在各个行为段内的行为进行汇总分析，确定第一、二类目标，并对第一类目标进行去重分析，得到每个目标的全局行为数据。通过从视频中获取目标的各种行为的数据，对目标进行去重，并基于目标的运动轨迹获取全局行为数据。由于对于运动轨迹进行分析时只需区分背景和动态区域，不需配置分辨率和清晰度高的摄像头降低了硬件配置要求；并且，相对于现有的对于人流、人群的分析方式，本实施例能够对于单个目标的运动轨迹减小分析、去重，从而更加准确地获取目标的意图，例如：通过获取的顾客的行为(包括与商品的和与销售人员的互动行为)数据，可以对顾客进行去重，进而有效的分析顾客的购买意图。并且同时适用于单门店、多门店等场景，分别获得顾客短期和较长期的行为数据，使得所获取的顾客丰富且精准的行为数据。从而提高了所获取的行为数据的精确性，在节约成本的同时提高了基于行为数据的分析的精确性。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种行为分析方法，其特征在于，包括：

获取指定空间内设置的拍摄设备所拍摄的视频数据；

根据所获取的视频数据识别视频中的目标，提取所述视频中的目标的跟踪结果，并根据所述跟踪结果得到所述视频中的目标在各个行为段内的行为数据；

根据所述视频中的目标在各个行为段内的行为数据，从所述视频中的目标中筛选出第一类目标和第二类目标，并对筛选出的第一类目标进行去重处理；

根据经过去重处理的第一类目标在各个行为段内的行为数据，得到经过去重处理的各第一类目标的全局行为数据。

2.根据权利要求1所述的方法，其特征在于，还包括：

确定与所述指定空间关联的行为模板库；

所述根据所述视频中的目标在各个行为段内的行为数据，从所述视频中的目标中筛选出第一类目标和第二类目标，包括：

从与所述指定空间关联的行为模板库中分别读取所述第一类目标和所述第二类目标的行为模板；

根据所读取的行为模板，从所述视频中的目标中筛选出所述第一类目标和所述第二类目标。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所获取的视频数据识别视频中的目标，包括：

根据所获取的视频数据，从视频中区分背景区域和运动区域；

从区分得到的运动区域中筛选人体运动区域，作为识别得到的目标；

跟踪所述识别得到的目标得到运动轨迹，并记录所得到的运动轨迹的跟踪结果，所述跟踪结果包括：行为目标、行为段和行为内容，所述行为目标包括所述识别得到的目标中的运动主体，所述行为段包括对所述行为目标进行完整跟踪的时间区段，所述行为内容包括所述运动主体的连续运动过程。

4.根据权利要求3所述的方法，其特征在于，所述提取所述视频中的目标的跟踪结果，并根据所述跟踪结果得到所述视频中的目标在各个行为段内的行为数据，包括：

根据所述视频中的目标的整体速率和运动向量，切分所述视频中的目标的行为段得到子行为段，所述子行为段包括：所述行为目标的行为内容为：快速行走、完全静止或原地静止但有躯干活动的时间区段；

对于一个子行为段：提取该子行为段中的图像帧的运动向量，将运动向量和对应的图像帧进行采样并融合，得到各图像帧的数据表示；并将各图像帧的数据表示融合，得到该子行为段的行为数据。

5.根据权利要求2所述的方法，其特征在于，所述根据所述视频中的目标在各个行为段内的行为数据，从所述视频中的目标中筛选出第一类目标和第二类目标，包括：

根据所述视频中的目标的各行为段的行为数据和行为分析模型，确定各行为段的行为判别结果；

根据各行为段的行为判别结果，与所述第一类目标和所述第二类目标的行为模板的匹配程度，从所述视频中的目标中筛选出第一类目标和第二类目标。

6.根据权利要求5所述的方法，其特征在于，还包括：

根据每个第二类目标在各个行为段内的行为数据，分别得到每个第二类目标的全局行为数据；

根据得到的第二类目标的全局行为数据，校正得到的第一类目标的全局行为数据。

7.一种行为分析***，其特征在于，所述***包括：拍摄设备、与所述拍摄设备相连的分析服务器、与所述分析服务器相连的终端设备和与所述分析服务器相连的数据库***；

所述拍摄设备设置在指定空间内，用于拍摄得到指定空间内的视频数据；

所述分析服务器，用于获取所述拍摄设备所拍摄的视频数据；根据所获取的视频数据识别视频中的目标，提取所述视频中的目标的跟踪结果，根据所述跟踪结果得到所述视频中的目标在各个行为段内的行为数据；并根据所述视频中的目标在各个行为段内的行为数据，从所述视频中的目标中筛选出第一类目标和第二类目标，并对筛选出的第一类目标进行去重处理；再根据经过去重处理的第一类目标在各个行为段内的行为数据，得到经过去重处理的各第一类目标的全局行为数据，并上传所述数据库***，和将所述全局行为数据向所述终端设备发送；

所述终端设备，用于显示所述全局行为数据；

所述数据库***，用于存储所述分析服务器上传的全局行为数据。

8.根据权利要求7所述的***，其特征在于，所述数据库***，还用于存储所确定的与所述指定空间关联的行为模板库；

所述分析服务器，具体用于访问所述数据库***，并从与所述指定空间关联的行为模板库中分别读取所述第一类目标和所述第二类目标的行为模板；并根据所读取的行为模板，从所述视频中的目标中筛选出所述第一类目标和所述第二类目标；

或者所述分析服务器，还用于存储所确定的与所述指定空间关联的行为模板库，并具体用于从与所述指定空间关联的行为模板库中分别读取所述第一类目标和所述第二类目标的行为模板；并根据所读取的行为模板，从所述视频中的目标中筛选出所述第一类目标和所述第二类目标。

9.根据权利要求7或8所述的***，其特征在于，所述***还包括：后台服务器，所述分析服务器经由所述后台服务器分别与所述终端设备和所述数据库***相连；

所述分析服务器，具体用于根据所述视频中的目标的各行为段的行为数据和行为分析模型，确定各行为段的行为判别结果；并根据各行为段的行为判别结果，与所述第二类目标的行为模板的匹配程度，从所述视频中的目标中筛选出第二类目标；并将所述视频中的目标的各行为段的行为判别结果向所述后台服务器发送；

所述后台服务器，用于根据各行为段的行为判别结果，与所述第一类目标的行为模板的匹配程度，从所述视频中的目标中筛选出第一类目标。

10.根据权利要求9所述的***，其特征在于，所述分析服务器，还用于根据每个第二类目标在各个行为段内的行为数据，分别得到每个第二类目标的全局行为数据，并向所述后台服务器发送；

所述后台服务器，还用于根据得到的第二类目标的全局行为数据，校正得到的第一类目标的全局行为数据。