CN111553288A - 客流信息处理方法及装置 - Google Patents

Abstract

本发明提供了一种客流信息处理方法、装置、电子设备及计算机可读存储介质；方法包括：获取每个第一时间区间对应的第一人脸轨迹；提取每个第一人脸轨迹对应的第一人脸特征；将每个第一人脸特征与第一检索库中已绑定临时身份的人脸特征进行匹配，得到每个第一时间区间内出现的访客所具有的临时身份；提取每个具有临时身份的访客的第二人脸轨迹对应的第二人脸特征；将每个第二人脸特征与第二检索库中已绑定永久身份的人脸特征进行匹配，得到每天出现的访客所具有的永久身份。通过本发明，能够将访客当天的临时身份和永久身份进行打通，从而支持跨天的访客身份查询，如此，有助于店铺进行精准营销和个性化的推荐。

Description

客流信息处理方法及装置

技术领域

本发明涉及人工智能领域，尤其涉及一种客流信息处理方法、装置、电子设备及计算机可读存储介质。

背景技术

人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法和技术及应用***。人工智能现如今已得到了快速的发展，并广泛应用于各种行业中。

以智慧零售领域为例，目前人工智能技术已经应用于智慧零售商场场景的推广和落地，赋能线下门店(例如来客提醒、广告推送等)，打造了新零售的形态。

然而，相关技术提供的商场智慧零售方案通常只对顾客的永久身份进行建档，即只能提供顾客永久身份这一信息，功能比较单一。

发明内容

本发明实施例提供一种客流信息处理方法、装置、电子设备及计算机可读存储介质，能够同时提供访客当天的临时身份、以及访客的永久身份，且通过将访客当天的临时身份和永久身份进行打通，支持跨天的访客身份查询。

本发明实施例的技术方案是这样实现的：

本发明实施例提供一种客流信息处理方法，包括：

获取每个第一时间区间对应的第一人脸轨迹；

提取每个所述第一人脸轨迹对应的第一人脸特征；

将每个所述第一人脸特征与第一检索库中已绑定临时身份的人脸特征进行匹配，得到每个所述第一时间区间内出现的访客所具有的临时身份；

提取每个具有临时身份的访客的第二人脸轨迹对应的第二人脸特征；

将每个所述第二人脸特征与第二检索库中已绑定永久身份的人脸特征进行匹配，得到每天出现的访客所具有的永久身份。

本发明实施例提供一种客流信息处理装置，包括：

获取模块，用于获取每个第一时间区间对应的第一人脸轨迹；

人脸特征提取模块，用于提取每个所述第一人脸轨迹对应的第一人脸特征；

检索模块，用于将每个所述第一人脸特征与第一检索库中已绑定临时身份的人脸特征进行匹配，得到每个所述第一时间区间内出现的访客所具有的临时身份；

所述人脸特征提取模块，还用于提取每个具有临时身份的访客的第二人脸轨迹对应的第二人脸特征；

所述检索模块，还用于将每个所述第二人脸特征与第二检索库中已绑定永久身份的人脸特征进行匹配，得到每天出现的访客所具有的永久身份。

上述方案中，所述获取模块，还用于获取每个第二时间区间对应的第三人脸轨迹；其中，所述第二时间区间的时长小于所述第一时间区间的时长；所述人脸特征提取模块，还用于提取每个所述第三人脸轨迹对应的第三人脸特征；所述检索模块，还用于将每个所述第三人脸特征与第三检索库中存储的人脸特征进行匹配，得到每个所述第二时间区间对应的客流量；所述装置还包括删除模块，用于删除所述多个第三人脸图像中质量分数小于质量分数阈值的第三人脸图像。

上述方案中，所述人脸特征提取模块，还用于对经过删除处理后剩余的多个第三人脸图像进行特征提取，得到每个所述第三人脸图像的第三人脸特征；所述装置还包括排序模块，用于按照抓拍的时间顺序对所述多个第三人脸图像的第三人脸特征进行排序，并依次确定所述排序中第一个第三人脸特征和后续的第三人脸特征之间的相似度，保留相似度大于相似度阈值的所有第三人脸特征。

上述方案中，所述装置还包括聚类模块，用于对多个所述第三人脸轨迹进行聚类处理；所述排序模块，还用于对被聚类为属于同一访客的第三人脸轨迹对应的多个第三人脸图像按照质量分数进行排序，选取出质量分数靠前的K个第三人脸图像；其中，所述K为正整数；将所述K个第三人脸图像对应的K个第三人脸特征的平均值确定为所述访客的第三人脸特征。

上述方案中，所述检索模块，还用于将每个所述访客的第三人脸特征与第三检索库中存储的人脸特征进行匹配；当匹配的最大相似度小于相似度阈值时，确定所述访客为新访客，并针对所述新访客增加对应的客流信息；当匹配的最大相似度大于相似度阈值时，确定所述访客为已出现过的访客，并将在所述第二时间区间内抓拍到的所述访客的人脸图像的第一质量分数、与在所述第三检索库中匹配到的人脸特征对应的人脸图像的第二质量分数进行比较；当所述第一质量分数大于所述第二质量分数时，使用在所述第二时间区间内抓拍到的所述访客的人脸图像替换在所述第三检索库中存储的所述访客的人脸图像。

上述方案中，所述聚类模块，还用于对多个所述第一人脸轨迹进行聚类处理；确定被聚类为属于同一访客的第一人脸轨迹对应的多个第一人脸图像的质量分数；所述排序模块，还用于当所述多个第一人脸图像中质量分数大于质量分数阈值的第一人脸图像的数量大于数量阈值时，对所述多个第一人脸图像进行质量分数排序，选取出排序靠前的L个第一人脸图像；其中，所述L为正整数；将所述L个第一人脸图像对应的L个第一人脸特征的平均值确定为所述访客的第一人脸特征；所述删除模块，还用于当所述多个第一人脸图像中质量分数大于质量分数阈值的第一人脸图像的数量小于数量阈值时，删除所述访客的第一人脸轨迹。

上述方案中，所述检索模块，还用于将每个所述访客的第一人脸特征与第一检索库中已绑定临时身份的人脸特征进行匹配；当匹配的最大相似度小于相似度阈值时，确定所述访客为新访客，并针对所述新访客增加对应的临时身份；将所述临时身份和所述新访客对应的质量分数大于质量分数阈值的M个人脸图像存储到所述第一检索库中；其中，所述M为正整数；当匹配的最大相似度大于相似度阈值时，确定所述访客为已经出现过的访客，并对在所述第一时间区间内抓拍到的所述访客的人脸图像、以及在所述第一检索库中匹配到的人脸特征对应的人脸图像进行质量分数排序；将排序靠前的N个人脸图像确定为所述访客对应的人脸图像，并将所述N个人脸图像存储到所述第一检索库中；其中，所述N为正整数。

上述方案中，所述排序模块，还用于对属于同一访客的第二人脸轨迹对应的多个第二人脸图像进行质量分数排序，选取出排序靠前的T个第二人脸图像；其中，所述T为正整数；将所述T个第二人脸图像对应的T个第二人脸特征的平均值确定为所述访客的第二人脸特征。

上述方案中，所述检索模块，还用于将每个所述访客的第二人脸特征与第二检索库中已绑定永久身份的人脸特征进行匹配；当匹配的最大相似度小于相似度阈值时，确定所述访客为新访客，并针对所述新访客增加对应的永久身份；将所述永久身份和所述新访客对应的质量分数大于质量分数阈值的S个人脸图像存储到所述第二检索库中；其中，所述S为正整数；当匹配的最大相似度大于相似度阈值时，确定所述访客为已经出现过的访客，并对在每天抓拍到的所述访客的人脸图像、以及在所述第二检索库中匹配到的人脸特征对应的人脸图像进行质量分数排序；将排序靠前的X个人脸图像确定为所述访客对应的人脸图像，并将所述X个人脸图像存储到所述第二检索库中；其中，所述X为正整数。

本发明实施例提供一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本发明实施例提供的客流信息处理方法。

本发明实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本发明实施例提供的客流信息处理方法。

本发明实施例具有以下有益效果：

通过人脸识别技术，提取出在不同时间区间出现的访客的人脸特征，并将所提取出的访客的人脸特征与第一检索库(即日档检索库)中已绑定临时身份的人脸特征进行匹配，从而确定出每个访客所具有的当日临时身份；随后，针对每个具有当日临时身份的访客，将每个访客对应的人脸特征与第二检索库(即永久档检索库)中已绑定永久身份的人脸特征进行匹配，如此，可以进一步确定出每个访客所具有的永久身份，打通了访客的当日临时身份与永久身份，从而实现了支持跨天的访客身份查询。

附图说明

图1是本发明实施例提供的客流应用***的一个可选的架构示意图；

图2是本发明实施例提供的服务器的一个可选的结构示意图；

图3是本发明实施例提供的客流信息处理方法的一个可选的流程示意图；

图4是本发明实施例提供的客流信息处理方法的另一个可选的流程示意图；

图5是本发明实施例提供的客流信息处理方法的又一个可选的流程示意图；

图6是本发明实施例提供的顾客档案(左侧)和商场特定区域客流(右侧)展示示意图；

图7是本发明实施例提供的实现客流信息处理方法的一个可选的***框架示意图；

图8是本发明实施例提供的商场特定区域的客流量计算方法的一个可选的流程示意图；

图9是本发明实施例提供的顾客当日临时身份确定方法的一个可选的流程示意图；

图10是本发明实施例提供的顾客永久身份确定方法的一个可选的流程示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本发明实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。

对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)1：N人脸检索，在大规模人脸数据库中找出与待检索人脸相似度最高的一个或多个人脸，检索性能与库规模N大小相关。

2)计算机视觉(CV，Computer Vision)，是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄像机或者计算机代替人眼对目标进行识别、跟踪和测试等机器视觉，并进一步做图像处理，用计算机处理成更适合人眼观察或者仪器检测的图像。

3)人工智能(AI，Artificial Intelligence)，研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术以应用***的一门新的技术科学。

4)行人再识别(Reid，Person Re-identification)，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，广泛被认为是一个图像检索的子问题，给定一个监控行人图像，检索跨设备下的该行人图像。旨在弥补固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。

5)枪机摄像头，因为它的外形，通常简称为枪机。其监控位置固定，只能正对某监控位置，所以监控方位有限，但是抓拍质量很好，一般用来抓拍人脸和人体。

6)球机摄像头，因为它的外形，通常简称为球机。球机的监控范围相对于固定不动的枪机要大很多，一般都可以做到360°旋转，这样下来能监控到一个很大的区域，但是抓拍质量较差，一般用来抓拍人体。

7)客流人次，基本单元是抓拍人头，例如商场特定区域抓拍到的顾客人头数。

8)客流人数，基于顾客身份的人次去重版本。基本单元是自然人，例如商场特定区域抓拍到的不同顾客身份数。

目前，人工智能技术在智慧零售领域有着广泛的应用，其中很大一部分应用于智慧零售商场场景的推广和落地，赋能线下门店，打造新零售。

然而，在本发明实施例中发现，相关技术提供的商场智慧零售方案中对于顾客身份档案的建立过程通常采用以下方式实现：首先从数据库中读取所有的人脸抓拍数据，然后基于所读取的人脸抓拍数据进行特征提取，得到对应的人脸特征，最后基于所得到的人脸特征在永久身份档案库中进行检索，从而完成顾客永久身份的增加或者更新。也就是说，相关技术提供的方案仅仅只能提供顾客永久身份这个信息，功能比较单一。

针对上述问题，本发明实施例提供了一种客流信息处理方法、装置、电子设备和计算机可读存储介质，能够同时提供访客的当日临时身份、以及访客的永久身份，且通过将访客当天的临时身份和永久身份进行打通，支持跨天的访客身份查询。

下面说明本发明实施例提供的客流信息处理设备的示例性应用，本发明实施例提供的客流信息处理设备可以为服务器或者服务器集群。

需要说明的是，上述的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器，本发明在此不做限制。

下面，将说明客流信息处理设备实施为服务器时的示例性应用。参见图1，图1是本发明实施例提供的客流应用***100的一个可选的架构示意图。其中，客流应用***100包括：服务器200、网络300、终端400和数据库500，将分别进行说明。

数据库500用于存储通过摄像头对待分析的目标区域中出现的人脸进行实时抓拍得到的视频帧图像进行人脸识别处理后得到的多个人脸轨迹数据、以及抓拍的时间、抓拍的地点等信息。在一些实施例中，待分析的目标区域可以是商场的特定区域，例如可以是商场的中庭、进出口等关键位置。

服务器200按照设定的时间区间从数据库500中读取所存储的多个人脸轨迹数据(例如可以每隔半个小时从数据库500中读取一次人脸轨迹数据)，并基于所读取的多个人脸轨迹数据确定出在不同时间区间内出现的访客的当日临时身份、以及每个访客的永久身份(将在下文具体说明确定访客的当日临时身份、以及永久身份的过程)，随后，服务器200将确定出的在不同时间区间内出现的访客所具有的当日临时身份、以及访客的永久身份信息通过网络300发送给终端400。

网络300用于作为服务器200和终端400之间通信的媒介，网络300可以是广域网或者局域网，又或者是二者的组合。

终端400上运行有客户端410，在客流端410的图形界面中展示服务器200下发的在不同时间区间内出现的访客所具有的临时身份、以及每个访客的永久身份信息。

本发明实施例提供的客流应用***可广泛应用于各种场景的客流分析，例如，在智慧零售领域中，通过分析出在不同时间区间内商场的特定区域中出现的每个访客的临时身份、以及每个访客的永久身份信息，可以帮助商场调整招商政策、进行购物导流和制定科学的租金策略等；在智慧安防领域中，通过分析出在不同时间区间内小区的公共区域中出现的每个访客的临时身份、以及每个访客的永久身份信息，可以帮助物业确定出小区中是否存在可疑的访客，进而执行对应的预防措施，保护小区的安全。

参见图2，图2是本发明实施例提供的服务器200的结构示意图，图2所示的服务器200包括：至少一个处理器210、存储器240、至少一个网络接口220。服务器200中的各个组件通过总线***230耦合在一起。可理解，总线***230用于实现这些组件之间的连接通信。总线***230除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线***230。

处理器210可以是一种集成电路芯片，具有信号的处理能力。

存储器240可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器240可选地包括在物理位置上远离处理器210的一个或多个存储设备。

存储器240包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。

在一些实施例中，存储器240能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。

操作***241，包括用于处理各种基本***服务和执行硬件相关任务的***程序；

网络通信模块242，用于经由一个或多个(有线或无线)网络接口220到达其他计算设备；

在一些实施例中，本发明实施例提供的客流信息处理装置可以采用软件方式实现，图2示出了存储在存储器240中的客流信息处理装置243，其可以是程序和插件等形式的软件，包括以下软件模块：获取模块2431、人脸特征提取模块2432和检索模块2433，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。

下面将结合本发明实施例提供的客流信息处理设备实施为服务器时的示例性应用，说明本发明实施例提供的客流信息处理方法。

参见图3，图3是本发明实施例提供的客流信息处理方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。

在步骤S101中，服务器获取每个第一时间区间对应的第一人脸轨迹。

在一些实施例中，服务器可以首先按照第一时间粒度将每天进行划分，得到多个第一时间区间，随后，分别获取每个第一时间区间对应的第一人脸轨迹。

示例的，以智慧社区为例，服务器可以首先以1个小时为第一时间粒度将每天划分成24个第一时间区间，随后，分别获取每个第一时间区间对应的第一人脸轨迹，即分别获取0:00-1:00对应的第一人脸轨迹(这里0:00-1:00对应的第一人脸轨迹是指对部署在社区中的摄像头在0:00-1:00拍摄得到的视频进行解码、人脸识别处理后得到的多个人脸轨迹)；1:00-2:00对应的第一人脸轨迹；2:00-3:00对应的第一人脸轨迹，等等。

示例的，以智慧零售商场场景为例，服务器首先将商场的营业时间按照第一时间粒度进行划分，得到多个第一时间区间，随后，获取每个第一时间区间对应的第一人脸轨迹数据。例如，假设商场的营业时间为8:00-23:00，服务器以1个小时为第一时间粒度对商场的营业时间进行划分，得到15个第一时间区间，每个第一时间区间的时长为1个小时，随后，服务器针对划分后得到的15个第一时间区间，分别获取每个第一时间区间对应的第一人脸轨迹，即分别获取8:00-9:00对应的第一人脸轨迹(这里8:00-9:00对应的第一人脸轨迹是指对部署在商场特定区域的摄像头在8:00-9:00拍摄的视频进行解码、以及人脸识别处理后得到的多个人脸轨迹)；9:00-10:00对应的第一人脸轨；10:00-11:00对应的第一人脸轨迹，等等。

本发明实施例按照第一时间粒度将每天划分成多个第一时间区间，并分别获取每个第一时间区间对应的第一人脸轨迹，以便后续基于每个第一时间区间对应的第一人脸轨迹，得到在每个第一时间区间内出现的访客所具有的临时身份信息。

在步骤S102中，服务器提取每个第一人脸轨迹对应的第一人脸特征。

在一些实施例中，服务器在提取每个第一人脸轨迹对应的第一人脸特征之前，还可以首先针对每个第一人脸轨迹进行质量分过滤。质量分过滤的具体过程如下：服务器首先确定出每个第一人脸轨迹对应的多个人脸抓拍图像中每个人脸抓拍图像的质量分数，随后通过设置阈值过滤掉质量分数小于质量分数阈值的人脸抓拍图像，如此，在不影响后续识别精度的基础上，减少了参与检索的人脸图像的数量，提升了处理性能。

例如，假设第一人脸轨迹1对应的人脸抓拍图像的数量为10，则首先需要确定出这10张人脸抓拍图像的质量分数，随后通过设置阈值过滤掉质量分数小于质量分数阈值的人脸抓拍图像。其中，确定人脸抓拍图像的质量分数可以是通过多指标评价法实现。多指标评价法的基本思想是：通过对人脸图像的对比度、明亮度、清晰度和图像中人脸位置信息等多种评价指标来综合评价人脸图像质量，得到各自的评价系数，然后再通过各系数所占的权重进行加权计算，最后确定出每张人脸图像最终的质量分数。

在一些实施例中，在经过质量分过滤后，服务器可以针对每个经过质量分过滤后的第一人脸轨迹进行特征提取，得到对应的第一人脸特征，随后服务器还可以继续对每个第一人脸轨迹进行提纯处理，以进一步减少参与后续检索的人脸抓拍图像的数量。

提纯处理的主要目的是确保同一人脸轨迹对应的是同一自然人，其具体过程如下：针对每个经过过滤处理后的第一人脸轨迹，按照抓拍的时间顺序对每个第一人脸轨迹对应的多个第一人脸特征进行排序，并依次计算排序中第一个第一人脸特征与后续的第一人脸特征之间的相似度，保留相似度大于相似度阈值的所有第一人脸特征。

例如，以第一人脸轨迹1为例，经过质量分过滤处理后第一人脸轨迹1对应的人脸图像的数量为7，接着按照抓拍的时间顺序对这7张第一人脸图像对应的7个第一人脸特征进行排序，分别记为T1、T2、…T7，并依次计算出T1和T2、T3…T7之间的相似度，假设相似度分别为98％、95％、…75％、66％，而设置的相似度阈值为70％，则对于第一人脸轨迹1仅保留T1至T6，如此，一方面保证了同一人脸轨迹对应的是同一自然人，提升了算法效果；另一方面，又进一步降低了每个第一人脸轨迹对应的人脸抓拍图像的规模，减少了后续计算的复杂度和资源消耗，提升了处理性能。

这里，承接上述实施例，服务器在对每个第一人脸轨迹进行质量分过滤、特征提取、以及提纯处理后，还可以对得到的多个第一人脸轨迹进行聚类处理，随后确定被聚类为属于同一访客的第一人脸轨迹对应的多个第一人脸图像的质量分数；当多个第一人脸图像中质量分数大于质量分数阈值的第一人脸图像的数量大于数量阈值时，对多个第一人脸图像进行质量分数排序，选取出排序靠前的L个第一人脸图像；其中，L为正整数；将L个第一人脸图像对应的L个第一人脸特征的平均值确定为访客的第一人脸特征。

示例的，以智慧零售商场场景为例，假设当前的第一时间区间为8:00-9:00，即服务器在获取8:00-9:00对应的多个第一人脸轨迹后，首先针对每个第一人脸轨迹进行质量分过滤、特征提取、以及提纯处理，随后调用人脸聚类微服务对经过上述处理后的多个第一人脸轨迹进行聚类处理，这样会有多个第一人脸轨迹被聚类到同一个簇下，这意味着这些被聚类到同一个簇下的第一人脸轨迹实际上都是同一个顾客的人脸轨迹，如此，通过聚类处理可以减小数据处理规模，提高性能。

此外，本发明实施例的目的是为了确定出每个第一时间区间内出现的访客所具有的临时身份，因此，在将多个第一人脸轨迹聚类到不同的簇后，还需要对每个簇的有效性进行验证，即针对每个簇内质量分数大于质量分数阈值的人脸抓拍图像的数量是否大于数量阈值。

示例的，仍以智慧零售商场场景为例，服务器在将8:00-9:00对应的经过质量分过滤、特征提取、以及提纯处理后的多个第一人脸轨迹聚类到不同的簇后，还需要进一步判断每个簇的有效性。例如，以簇A为例，假设簇A包括第一人脸轨迹1-8，服务器首先确定簇A包括的第一人脸轨迹1-8分别对应的人脸抓拍图像的质量分数，并设置阈值判断质量分数超过质量分数阈值的人脸抓拍图像的数量是否超过数量阈值，当超过数量阈值时，确定簇A为有效簇；当没有超过数量阈值时(即说明簇A中存在大量的低质量的人脸抓拍图像)，则删除簇A，如此，通过对聚类后形成的簇进行有效性判断，直接将无效簇进行过滤，避免后续的计算，可以进一步降低计算规模。

在步骤S103中，服务器将每个第一人脸特征与第一检索库中已绑定临时身份的人脸特征进行匹配，得到每个第一时间区间内出现的访客所具有的临时身份。

在一些实施例中，将每个第一人脸特征与第一检索库中已绑定临时身份的人脸特征进行匹配，得到每个第一时间区间内出现的访客所具有的临时身份可以通过以下方式实现：将每个访客的第一人脸特征与第一检索库中已绑定临时身份的人脸特征进行匹配；当匹配的最大相似度小于相似度阈值时，确定访客为新访客，并针对新访客增加对应的临时身份，并将该临时身份以及新访客对应的质量分数超过质量分数阈值的M个人脸图像存储到第一检索库中；其中，M为正整数；当匹配的最大相似度大于相似度阈值时，确定访客为已经出现过的访客，并将匹配到的人脸特征绑定的临时身份确定为访客的临时身份。

示例的，以智慧零售商场场景为例，例如，以有效簇A(对应顾客1)为例，将有效簇A对应的第一人脸特征与第一检索库中所有已绑定临时身份的人脸特征进行匹配，并判断返回的最大相似度是否超过相似度阈值，当超过相似度阈值时，确定有效簇A对应的顾客1是之前已经在商场特定区域中出现过的顾客，则将匹配到的人脸特征对应的临时身份确定为顾客1的临时身份；当没有超过相似度阈值时，确定有效簇A对应的顾客1是一个新顾客，则针对这个新顾客增加对应的临时身份信息，并将新增加的临时身份信息、以及新顾客对应的人脸图像存储到第一检索库中。

在一些实施例中，服务器还需要进一步保证第一检索库中存储的顾客的人脸图像的质量分数是最高的，因此，仍以上述实施例为例，当确定出返回的最大相似度超过相似度阈值后，服务器还需要进一步比较在10:00-11:00抓拍到的顾客1的人脸图像的质量分数、与在第一检索库中匹配到的人脸特征对应的人脸图像(即第一检索库中存储的顾客1的人脸图像)的质量分数之间的大小，当确定出在10:00-11:00之间抓拍到的顾客1的人脸图像的质量分数大于在第一检索库中存储的顾客1的人脸图像的质量分数时，则使用在10:00-11:00抓拍到的顾客1的人脸图像替换第一检索库中存储的顾客1的人脸图像。

需要说明的是，第一检索库中存储的已绑定临时身份的人脸特征数据是动态变化的，例如当需要确定出10:00-11:00在商场特定区域出现的顾客的临时身份，则第一检索库中存储的人脸特征数据是10:00之前所有在商场特定区域出现过的顾客的人脸特征数据；当需要确定出13:00-14:00在商场特定区域出现的顾客的临时身份，则第一检索库中存储的人脸特征数据是13:00之前所有在商场特定区域出现过的顾客的人脸特征数据。

本发明实施例通过获取每个第一时间区间对应的第一人脸轨迹，并提取出每个第一人脸轨迹对应的第一人脸特征，随后将每个第一人脸特征与第一检索库中已绑定临时身份的人脸特征进行匹配，从而可以确定出每个第一时间区间内出现的访客所具有的临时身份信息。

在一些实施例中，参见图4，图4是本发明实施例提供的客流信息处理方法的另一个可选的流程示意图，图3示出的步骤S101之前还可以包括步骤S106和步骤S107。

在步骤S106中，服务器获取每个第二时间区间对应的第三人脸轨迹；其中，第二时间区间的时长小于第一时间区间的时长。

在一些实施例中，本发明实施例提供的客流信息处理方法还可以针对待分析的目标区域在不同时间段对应的客流量进行计算。例如，服务器首先按照第二时间粒度将每天进行划分(由于客流量是个实时性要求较高的任务，因此，第二时间粒度需要较短，例如以5分钟或者10分钟为第二时间粒度)，得到多个第二时间区间，随后，获取每个第二时间区间对应的第三人脸轨迹。

示例的，以智慧零售商场场景为例，服务器首先以10分钟为第二时间粒度将商场的营业时间进行划分，得到多个第二时间区间，随后，获取每个第二时间区间对应的第三人脸轨迹数据。例如，假设当前的第二时间区间为9:00-9:10，则9:00-9:10对应的第三人脸轨迹是指对部署在商场特定区域的摄像头在9:00-9:10拍摄得到的视频进行解码、以及人脸识别处理得到的人脸轨迹。

在步骤S107中，服务器提取每个第三人脸轨迹对应的第三人脸特征。

在一些实施例中，图4示出的步骤S107可以通过图5示出的步骤S201至步骤S206

实现，将结合图5示出的步骤进行说明。

在步骤S201中，服务器对每个第三人脸轨迹进行质量分过滤。

这里，服务器对每个第三人脸轨迹进行质量分过滤的具体实现过程与步骤S102中对每个第一人脸轨迹进行质量分过滤的实现过程类似，可参照步骤S102的描述实现，本发明实施例在此不再赘述。在步骤S202中，服务器对经过过滤处理后的每个第三人脸轨迹进行特征提取。

这里，对人脸图像进行特征提取是指按照一定的算法，对人脸图像进行处理，提取出对应的特征信息，并进一步转化成特征向量的过程。例如，可以提取出人脸的几何特征，如眼睛、鼻子、嘴巴的形状和它们之间的几何关系，将这些几何关系转化成对应的特征向量，并将转化得到的特征向量确定为该人脸图像对应的人脸特征。

在步骤S203中，服务器对每个第三人脸轨迹进行提纯处理。

这里，针对每个第三人脸轨迹进行提纯处理的具体实现过程与步骤S102中针对每个第一人脸轨迹进行提纯处理的实现过程类似，可参照步骤S102的描述实现，本发明实施例在此不再赘述。

在步骤S204中，服务器对多个经过提纯处理后的第三人脸轨迹进行聚类处理。

这里，承接上述实施例，服务器在对每个第三人脸轨迹进行质量分过滤、特征提取、以及提纯处理后，对得到的多个第三人脸轨迹进行聚类处理，这样会有多个第三人脸轨迹被聚类到同一个簇下，这意味着这些被聚类到同一个簇下的第三人脸轨迹实际上都是同一个顾客的人脸轨迹，如此，通过聚类处理可以减小数据处理规模，提高性能。

在步骤S205中，服务器对被聚类为属于同一访客的第三人脸轨迹对应的多个第三人脸图像按照质量分数进行排序，并选取出质量分数靠前的K个第三人脸图像；其中，K为正整数。

示例的，以智慧零售商场场景为例，例如，以簇A为例，假设簇A包括第三人脸轨迹1-4，则服务器首先确定出簇A包括的第三人脸轨迹1-4分别对应的多个人脸图像的质量分数，随后按照质量分数对所有的人脸图像进行排序，并选取出质量分数靠前的K个人脸图像(例如可以选取出质量分数靠前的20个人脸图像，K的取值可以根据每个簇包括的人脸图像的质量分数、以及人脸图像的数量进行综合确定)。

在步骤S206中，服务器将K个第三人脸图像对应的K个第三人脸特征的平均值确定为访客的第三人脸特征。

这里，承接上述实施例，仍以簇A为例，在得到簇A中质量分数最高的K个人脸图像后，服务器将簇A内质量分数最大的K个人脸图像对应的K个人脸特征的平均值确定为簇A对应的第三人脸特征，如此，可以得到不同簇分别对应的第三人脸特征，即不同顾客分别对应的第三人脸特征。

在步骤S108中，服务器将每个第三人脸特征与第三检索库中存储的人脸特征进行匹配，得到每个第二时间区间对应的客流量。

在一些实施例中，服务器将每个第三人脸特征与第三检索库中存储的人脸特征进行匹配，得到每个第二时间区间对应的客流量可以通过以下方式实现：将每个访客的第三人脸特征与第三检索库中存储的人脸特征进行匹配；当匹配的最大相似度小于相似度阈值时，确定访客为新访客，并针对新访客增加对应的客流信息；当匹配的最大相似度大于相似度阈值时，确定访客为已出现过的访客。

示例的，承接上述实施例，仍以簇A(对应顾客1)为例，将簇A对应的第三人脸特征与第三检索库中存储的人脸特征进行匹配，并判断返回的最大相似度是否超过相似度阈值，当超过相似度阈值时，确定簇A对应的顾客1是之前已经在商场特定区域中出现过的顾客；当没有超过相似度阈值时，确定簇A对应的顾客1是一个新顾客，则针对这个新顾客增加对应的客流信息，并将新增加的客流信息更新到第三检索库中。

在一些实施例中，服务器还需要进一步保证第三检索库中存储的顾客的人脸图像的质量分数是最高的，其具体实现过程与步骤S103中保证第一检索库中存储的顾客的人脸图像的质量分数是最高的实现过程类似，可参照步骤S103的描述实现，本发明实施例在此不再赘述。

需要说明的是，由于客流量是实时性要求较高的任务，因此，第三检索库中存储的人脸特征数据需要是时效性较高的数据，例如当需要确定出10:00-10:10商场特定区域对应的客流量时，则第三检索库中存储的人脸特征数据可以是之前15分钟内的人脸特征数据，即在9:45-10:00之间所有在商场特定区域出现过的顾客的人脸特征数据；当需要确定出13:00-13:10商场特定区域对应的客流量时，则第三检索库中存储的人脸特征数据可以是12:45-13:00之间所有在商场特定区域出现过的顾客的人脸特征数据。

本发明实施例通过获取每个第二时间区间对应的第三人脸轨迹，并提取出每个第三人脸轨迹对应的第三人脸特征，随后将每个第三人脸特征与第三检索库中存储的人脸特征进行匹配，从而可以确定出每个第二时间区间对应的客流量。

在步骤S104中，服务器提取每个具有临时身份的访客的第二人脸轨迹对应的第二人脸特征。

在一些实施例中，服务器提取每个具有临时身份的访客的第二人脸轨迹对应的第二人脸特征可以通过以下方式实现：对属于同一访客的第二人脸轨迹对应的多个第二人脸图像进行质量分数排序，选取出排序靠前的T个第二人脸图像；其中，T为正整数；将T个第二人脸图像对应的T个第二人脸特征的平均值确定为访客的第二人脸特征。

示例的，以智慧零售商场场景为例，在每天商场结束营业后，例如在23:30，服务器对当天所有出现在商场特定区域中且具有临时身份的顾客进行聚类处理，将具有相同临时身份的顾客划分到同一个大簇中，并针对每个大簇执行以下操作：选取出每个大簇内质量分数靠前的T个人脸图像，将这T个人脸图像对应的T个人脸特征的平均值确定为该大簇对应的第二人脸特征。

在步骤S105中，服务器将每个第二人脸特征与第二检索库中已绑定永久身份的人脸特征进行匹配，得到每天出现的访客所具有的永久身份。

在一些实施例中，服务器将每个第二人脸特征与第二检索库中已绑定永久身份的人脸特征进行匹配，得到每天出现的访客所具有的永久身份可以通过以下方式实现：将每个访客的第二人脸特征与第二检索库中已绑定永久身份的人脸特征进行匹配；当匹配的最大相似度小于相似度阈值时，确定访客为新访客，并针对新访客增加对应的永久身份；将永久身份和新访客对应的质量分数大于质量分数阈值的S个人脸图像存储到第二检索库中；其中，S为正整数；当匹配的最大相似度大于相似度阈值时，确定访客为已经出现过的访客，并将匹配到的人脸特征绑定的永久身份确定为访客的永久身份。

示例的，以智慧零售商场场景为例，例如，以大簇A(对应顾客1)为例，将大簇A对应的第二人脸特征与第二检索库中所有已绑定永久身份的人脸特征进行匹配，并判断返回的最大相似度是否超过相似度阈值，当超过相似度阈值时，确定大簇A对应的顾客1是之前已经在商场特定区域中出现过的顾客，则将匹配到的人脸特征绑定的永久身份确定为顾客1的永久身份；当没有超过相似度阈值时，确定大簇A对应的顾客1是一个新顾客(即只在今天出现的顾客，之前并没有在商场特定区域出现过)，则针对这个新顾客增加对应的永久身份信息，并将新增加的永久身份信息、以及新顾客对应的人脸图像存储到第二检索库中。

在一些实施例中，服务器还需要进一步保证第二检索库中存储的顾客的人脸图像的质量分数是最高的，其具体实现过程与步骤S103中保证第一检索库中存储的顾客的人脸图像的质量分数是最高的实现过程类似，可参照步骤S103的描述实现，本发明实施例在此不再赘述。

需要说明的是，第二检索库中存储的已绑定永久身份的人脸特征数据也是动态变化的，例如当需要确定出2020.04.28在商场特定区域出现的顾客的永久身份，则第二检索库中存储的人脸特征数据是2020.04.28之前所有在商场特定区域出现过的顾客的人脸特征数据；当需要确定出2020.04.11在商场特定区域出现的顾客的永久身份，则第二检索库中存储的人脸特征数据是2020.04.11之前所有在商场特定区域出现过的顾客的人脸特征数据。

本发明实施例通过提取每个具有临时身份的访客的第二人脸轨迹对应的第二人脸特征，随后将每个第二人脸特征与第二检索库中已绑定永久身份的人脸特征进行匹配，从而可以确定出每天在待分析的目标区域中出现的访客所具有的永久身份，通过将访客的临时身份和永久身份进行打通，支持跨天的访客身份查询。

下面继续说明本发明实施例提供的客流信息处理装置243实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器240的客流信息处理装置243中的软件模块可以包括：获取模块2431、人脸特征提取模块2432和检索模块2433。

获取模块2431，用于获取每个第一时间区间对应的第一人脸轨迹；人脸特征提取模块2432，用于提取每个第一人脸轨迹对应的第一人脸特征；检索模块2433，用于将每个第一人脸特征与第一检索库中已绑定临时身份的人脸特征进行匹配，得到每个第一时间区间内出现的访客所具有的临时身份；人脸特征提取模块2432，还用于提取每个具有临时身份的访客的第二人脸轨迹对应的第二人脸特征；检索模块2433，还用于将每个第二人脸特征与第二检索库中已绑定永久身份的人脸特征进行匹配，得到每天出现的访客所具有的永久身份。

在一些实施例中，获取模块2431，还用于获取每个第二时间区间对应的第三人脸轨迹；其中，第二时间区间的时长小于第一时间区间的时长；人脸特征提取模块2432，还用于提取每个第三人脸轨迹对应的第三人脸特征；检索模块2433，还用于将每个第三人脸特征与第三检索库中存储的人脸特征进行匹配，得到每个第二时间区间对应的客流量；客流信息处理装置243还包括删除模块2434，用于删除多个第三人脸图像中质量分数小于质量分数阈值的第三人脸图像。

在一些实施例中，人脸特征提取模块2432，还用于对经过删除处理后剩余的多个第三人脸图像进行特征提取，得到每个第三人脸图像的第三人脸特征；客流信息处理装置243还包括排序模块2435，用于按照抓拍的时间顺序对多个第三人脸图像的第三人脸特征进行排序，并依次确定排序中第一个第三人脸特征和后续的第三人脸特征之间的相似度，保留相似度大于相似度阈值的所有第三人脸特征。

在一些实施例中，客流信息处理装置243还包括聚类模块2436，用于对多个第三人脸轨迹进行聚类处理；排序模块2435，还用于对被聚类为属于同一访客的第三人脸轨迹对应的多个第三人脸图像按照质量分数进行排序，选取出质量分数靠前的K个第三人脸图像；其中，K为正整数；将K个第三人脸图像对应的K个第三人脸特征的平均值确定为访客的第三人脸特征。

在一些实施例中，检索模块2433，还用于将每个访客的第三人脸特征与第三检索库中存储的人脸特征进行匹配；当匹配的最大相似度小于相似度阈值时，确定访客为新访客，并针对新访客增加对应的客流信息；当匹配的最大相似度大于相似度阈值时，确定访客为已出现过的访客，并将在第二时间区间内抓拍到的访客的人脸图像的第一质量分数、与在第三检索库中匹配到的人脸特征对应的人脸图像的第二质量分数进行比较；当第一质量分数大于第二质量分数时，使用在第二时间区间内抓拍到的访客的人脸图像替换在第三检索库中存储的访客的人脸图像。

在一些实施例中，聚类模块2436，还用于对多个第一人脸轨迹进行聚类处理；确定被聚类为属于同一访客的第一人脸轨迹对应的多个第一人脸图像的质量分数；排序模块2435，还用于当多个第一人脸图像中质量分数大于质量分数阈值的第一人脸图像的数量大于数量阈值时，对多个第一人脸图像进行质量分数排序，选取出排序靠前的L个第一人脸图像；其中，L为正整数；将L个第一人脸图像对应的L个第一人脸特征的平均值确定为访客的第一人脸特征；删除模块2434，还用于当多个第一人脸图像中质量分数大于质量分数阈值的第一人脸图像的数量小于数量阈值时，删除访客的第一人脸轨迹。

在一些实施例中，检索模块2433，还用于将每个访客的第一人脸特征与第一检索库中已绑定临时身份的人脸特征进行匹配；当匹配的最大相似度小于相似度阈值时，确定访客为新访客，并针对新访客增加对应的临时身份；将临时身份和新访客对应的质量分数大于质量分数阈值的M个人脸图像存储到第一检索库中；其中，M为正整数；当匹配的最大相似度大于相似度阈值时，确定访客为已经出现过的访客，并对在第一时间区间内抓拍到的访客的人脸图像、以及在第一检索库中匹配到的人脸特征对应的人脸图像进行质量分数排序；将排序靠前的N个人脸图像确定为访客对应的人脸图像，并将N个人脸图像存储到第一检索库中；其中，N为正整数。

在一些实施例中，排序模块2435，还用于对属于同一访客的第二人脸轨迹对应的多个第二人脸图像进行质量分数排序，选取出排序靠前的T个第二人脸图像；其中，T为正整数；将T个第二人脸图像对应的T个第二人脸特征的平均值确定为访客的第二人脸特征。

在一些实施例中，检索模块2433，还用于将每个访客的第二人脸特征与第二检索库中已绑定永久身份的人脸特征进行匹配；当匹配的最大相似度小于相似度阈值时，确定访客为新访客，并针对新访客增加对应的永久身份；将永久身份和新访客对应的质量分数大于质量分数阈值的S个人脸图像存储到第二检索库中；其中，S为正整数；当匹配的最大相似度大于相似度阈值时，确定访客为已经出现过的访客，并对在每天抓拍到的访客的人脸图像、以及在第二检索库中匹配到的人脸特征对应的人脸图像进行质量分数排序；将排序靠前的X个人脸图像确定为访客对应的人脸图像，并将X个人脸图像存储到所述第二检索库中；其中，X为正整数。

需要说明的是，本发明实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本发明实施例提供的客流信息处理装置中未尽的技术细节，可以根据图3-5、7-10任一附图的说明而理解。

下面说明本发明实施例在智慧零售领域中的应用。

人工智能技术目前在智慧零售领域有着广泛的应用，其中很大一部分应用于智能零售商场场景的推广和落地，赋能线下门店，打造新零售。相关技术提供的商场智慧零售方案中对于顾客身份档案的建立过程通常采用以下方式实现：首先，从数据库中读取所有的人脸抓拍数据，然后基于所读取的人脸抓拍数据进行特征提取，得到对应的人脸特征，最后基于所得到的人脸特征在永久身份档案库中进行检索，从而完成顾客永久身份的增加或者更新。可以看出，相关技术提供的方案存在以下缺点：

1)功能单一，相关技术提供的人脸建档方案仅仅提供了顾客永久身份这个信息。

2)性能较差，相关技术提供的人脸建档方案直接以大量的人脸抓拍图像作为输入，进行人脸检索这一计算量要求巨大的处理，对计算资源提出了很高的挑战。

针对上述问题，本发明实施例提供了一种客流信息处理方法，该方法专为基于计算机视觉技术的智慧零售商场解决方案的应用和落地而设计，为商场和店铺提供基于FaceID的客流数据、顾客当日临时身份、以及顾客永久身份。本发明实施例提供的客流信息处理方法包括基于人脸识别的客流处理模块、顾客当日临时身份处理模块和顾客永久身份处理模块，可适应于当期几大主流的智慧零售商场场景，为商场和店铺提供更加精细化、数字化的客流信息和顾客身份档案，以便商场和店铺根据客流变动和新老顾客变化制定更加合理的经营决策，从而助力商场和店铺的运营方营收的提高。

本发明实施例提供的客流信息处理方法相较于相关技术提供的商场智慧零售方案具有以下优势：

1、本发明实施例提出了一套完整的、可落地应用的基于人脸识别技术的智慧零售商场精准顾客档案方案，赋能进场、进店，创建顾客档案，从而掌握客流精准数据和新老顾客信息，以了解顾客的需求，为商场的招商运营和店铺的精准营销提供科学的参考数据。

2、功能丰富，本发明实施例不仅仅提供基于Face ID的顾客永久身份，还保留了顾客当日临时身份，此外，通过对在短时间内抓拍到的人脸图像进行聚类、检索等处理提供了在商场特定区域的客流人次、以及去重后的客流人数信息，从而可以提供客流量、顾客当日临时身份和顾客永久身份等丰富功能。

3、功能灵活，本发明实施例通过设计客流处理模块、当日临时身份处理模块、以及永久身份处理模块，不同模块对应不同功能，从而实现了特定区域的客流量、顾客当日临时身份、顾客永久身份功能的灵活定制化。

4、高性能，模块功能明确，彼此之间由数据库进行交互，从而实现了请求数据的削峰解耦以均衡数据资源，同时也完成了数据的持久化以及功能的解耦。此外，通过引入人脸聚类技术降低人脸检索计算的复杂度，永久身份处理逻辑可以配置在业务休息的半夜再进行，从而进一步提高了资源利用率。

本发明实施例提供的客流信息处理方法可应用于智慧零售商场诸如大卖场、百货商场、购物中心等多种商超场景，通过建立精准的顾客档案***为商场和店铺提供精确的客流数据、顾客当日临时身份、以及顾客永久身份等丰富信息。

示例的，参见图6，图6是本发明实施例提供的顾客档案(左侧)和商场特定区域客流(右侧)展示示意图。如图6所示，基于人脸识别技术提供的Face ID可以为商场和店铺提供顾客的身份档案信息和属性画像例如年龄、性别等(61)，从而有助于商场调整招商政策；有助于店铺完成精准营销和个性化推荐。同时，还可以基于Face ID完成不同时间段内商场客流、店铺客流信息人数统计(62)，从而有助于商场进行购物导流、选址招商政策优化和制定科学的租金策略；有助于店铺掌握当前销售趋势和及时调整营销策略。

下面针对实现本发明实施例提供的客流信息处理方法的***框架进行具体说明。

参见图7，图7是本发明实施例提供的实现客流信息处理方法的一个可选的***框架示意图。如图7所示，本发明实施例提供的用于实现客流信息处理方法的***框架集成了(特定区域)客流处理模块、临时身份处理模块以及永久身份处理模块。首先根据任务信息(ta sk_info)从数据库集群中读取人脸轨迹数据包括人脸轨迹ID、每个人脸轨迹对应的人脸抓拍图像、以及各个人脸抓拍图像的抓拍时间等。对于客流处理模块，其主要用于确定商场特定区域的客流量，由于客流量是实时性任务，因此从数据库集群中捞取人脸轨迹数据的频率可配置成短时间例如每5分钟从数据库集群中读取一次人脸检测跟踪后处理得到的人脸轨迹数据，以保证客流信息的实时性；对于临时身份处理模块，其主要用于确定顾客的当日临时身份，对实时性无过高的要求，因此可以根据机器资源使用情况配置一个较长的时间例如每1个小时从数据库集群中读取一次人脸轨迹数据；对于永久身份处理模块，主要用于确定顾客的永久身份，不同于客流处理模块和临时身份处理模块，其从数据库集群中读取人脸轨迹数据时还应该包括每个人脸轨迹数据对应的顾客临时身份ID，同时，该模块可以视作离线处理任务，为了充分利用夜间闲置资源可以配置在半夜进行数据捞取，以进一步提高资源的使用率。

在客流处理模块，通过调用人脸提特征、提属性、聚类、检索等计算机视觉微服务可以完成短时间内商场特定区域客流人数的计算，并更新到数据库和检索库中；在临时身份处理模块，通过调用人脸提特征、提属性、聚类、检索等计算机视觉微服务可以完成长时间内在整个商场出现的顾客的当日临时身份的计算，以更新到数据库和检索库中，并最终在晚上例如晚上11点完成当天所有在商场出现的顾客的当日临时身份的计算进而得到每个顾客的当天临时身份信息；在永久身份处理模块，通过调用聚类、检索等计算机视觉服务可以完成顾客当日临时身份到永久身份的合并。最终将计算得到的不同时间段内商场特定区域的客流量、顾客的当日临时身份、以及顾客的永久身份信息进行上报，方便后续的分析和展示。

本发明实施例提供的用于实现客流信息处理方法的***框架具有以下优点：各功能模块之间分工明确，由数据库进行数据的交互和持久化进而实现解耦；可以均衡利用中央处理器(CPU)、图像处理器(GPU)、视频处理单元(VPU)等计算资源进行计算机视觉计算；可支持中间处理结果的数据的导入导出。

下面针对本发明实施例提供的***框架中包括的客流处理模块、临时身份处理模块和永久身份处理模块分别进行具体说明。

(1)客流处理模块

参见图8，图8是本发明实施例提供的商场特定区域的客流量计算方法的一个可选的流程示意图，将结合图8示出的步骤进行说明。

在步骤S801中，服务器从数据库集群中捞取配置短时间内例如最近5分钟内的人脸轨迹数据。

这里，服务器从数据库集群中捞取的人脸轨迹数据包括人脸轨迹ID、每个人脸轨迹对应的人脸抓拍图像、每个人脸抓拍图像的抓拍时间、抓拍区域、以及人脸图像的质量分数等信息。此外，由于客流处理模块是实时性任务，故需配置成短时间例如每5分钟从数据库集群中读取一次人脸轨迹数据。

需要说明的是，在执行步骤S801之前，首先需要对通过摄像头针对商场特定区域出现的顾客的人脸进行实时抓拍得到的视频进行解码，得到包含人脸图像的视频帧图像，接着对解码后得到的视频帧图像进行人脸识别，得到多个人脸轨迹数据，随后，确定出每个人脸轨迹对应的人脸图像的质量分数，最后将人脸轨迹数据、以及每个人脸轨迹对应的人脸图像的质量分数存储到数据库集群中。

在步骤S802中，服务器根据质量分数对每个人脸轨迹对应的多个人脸图像进行过滤。

在步骤S803中，服务器对人脸轨迹对应的人脸图像进行特征提取和属性提取。

这里，在执行步骤S802的过滤处理后，服务器对每个经过过滤处理后的人脸轨迹对应的人脸图像进行特征提取，得到对应的人脸特征；以及对每个人脸轨迹对应的人脸图像进行属性提取，得到对应的属性信息包括顾客的年龄、性别等。

在步骤S804中，服务器对每个人脸轨迹进行提纯处理。

在步骤S805中，服务器对获取的多个人脸轨迹进行聚类处理。

在步骤S806中，服务器针对每个簇选取质量分数最高的K个人脸图像，并将这K个人脸图像对应的人脸特征的平均值确定为该簇对应的平均特征。

这里，在执行步骤S805得到多个不同类型的簇后，服务器针对每个簇执行以下操作：首先，将该簇包括的人脸轨迹对应的多个人脸图像按照质量分数进行排序，选取出质量分数靠前的K个人脸图像(例如可以选取出质量分数靠前的10个人脸图像)，随后计算出这K个人脸图像对应的人脸特征的平均值，将该平均值确定为该簇(即该顾客)对应的平均特征，如此，又进一步降低了人脸图像的抓拍规模。

在步骤S807中，服务器进行客流库检索。

在通过步骤S805和步骤S806完成将多个人脸轨迹合并到不同的簇、以及确定出每个簇对应的平均(人脸)特征后，服务器开始进行客流库检索(即将每个簇对应的平均人脸特征与客流检索库中预先存储的人脸特征进行匹配)。由于客流是一个实时性要求较高的任务，因此客流检索库的范围要求是最近的时间窗口例如最近15分钟的检索库数据。

在步骤S808中，服务器判断返回的最大检索分是否超过阈值，若超过阈值，则执行步骤S809，若小于阈值，则执行步骤S812。

在步骤S809中，服务器判断簇内人脸图像的质量分数是否大于客流库中存储的人脸图像的质量分数，当大于时，执行步骤S810；当不大于时，执行步骤S811。

这里，在确定出返回的最大匹配分数大于阈值时，说明该簇对应的顾客是在商场特定区域已经出现过的顾客(即是该区域一个已存在的客流人数)，故只需要保证客流库中存储的该顾客对应的簇包括的人脸图像的质量分数是最高的即可，因此，服务器执行如下的判断步骤：判断簇内人脸图像的最高质量分数是否大于客流库中存储的该顾客的人脸图像的质量分数。

在步骤S810，服务器更新关系库客流身份时间。

这里，当确定出簇内顾客的人脸图像的最高质量分数大于客流库中存储的该顾客的人脸图像的质量分数时，使用簇内顾客的人脸图像替换客流库中存储的该顾客的人脸图像，从而保证了客流库中存储的顾客的人脸图像的质量分数是最高的。

在步骤S811，服务器结束客流处理过程。

当确定出簇内顾客的人脸图像的最高质量分数小于客流库中存储的该顾客的人脸图像的质量分数时，说明客流库中存储的顾客的人脸图像已经是质量分数最高的人脸图像，因此无需再进行更新，服务器结束客流处理过程。

在步骤S812中，服务器新建客流身份ID以及时间。

这里，当确定出返回的最大匹配分数小于阈值时，说明该簇对应的顾客是在商场特定区域中未出现过的一个新顾客，因此，针对该新顾客添加一个客流ID(即flow_person_id)，同时，往数据库对应的人脸轨迹信息中新增这个客流人数信息，往客流检索库中新增一个客流ID信息和时间，其中，客流ID信息对应该新顾客的人脸图像、以及人脸轨迹数据等信息。

(2)临时身份处理模块

参见图9，图9是本发明实施例提供的顾客当日临时身份确定方法的一个可选的流程示意图，将结合图9示出的步骤进行说明。

在步骤S901中，服务器从数据库捞取配置长时间例如30分钟内的人脸轨迹数据。

这里，服务器首先按照设定的时间间隔从数据库集群中捞取人脸轨迹数据包括每个人脸轨迹对应的轨迹ID、每个人脸轨迹对应的人脸抓拍图像、人脸抓拍图像的抓拍时间、抓拍区域、以及质量分数等信息。由于临时身份处理模块主要用于确定出顾客的临时身份信息，是实时性要求不高的任务，因此可以根据机器的使用情况配置成长时间例如每30分钟从数据库集群中读取一次人脸轨迹数据。

在步骤S902中，服务器根据质量分数对人脸轨迹对应的多个人脸图像进行过滤处理。

在步骤S903中，服务器对人脸轨迹对应的人脸图像进行特征提取和属性提取。

在步骤S904中，服务器对人脸轨迹进行提纯处理。

在步骤S905中，服务器对多个人脸轨迹进行聚类处理。

在步骤S906中，服务器判断每个簇内符合条件的人脸图像的数量是否超过数量阈值，若超过，则执行步骤S907；若不超过，则执行步骤S914。

这里，不同于客流处理模块关心的是商场特定区域的客流人数，临时身份处理模块关心的是顾客的当日临时身份信息，因此这里首先需要判断每个簇的有效性，如果某个簇内存在大量的人脸抓拍图像的质量分数都低于质量分数阈值(即存在大量的低质量的人脸抓拍图像)，则将该簇确定为无效簇，直接将该簇进行过滤，避免后续的计算，进而降低计算规模。

在步骤S907中，服务器针对每个有效簇，选取该有效簇包括的质量分数最高的K个人脸图像，并将这K个人脸图像对应的人脸特征的平均值确定为该簇对应的平均人脸特征。

在步骤S908中，服务器进行日档案库检索。

在步骤S909中，服务器判断返回的最大检索分数是否超过阈值，当返回的最大检索分数超过分数阈值时，执行步骤S910；当返回的最大检索分数没有超过分数阈值时，执行步骤S916。

这里，服务器针对每个有效簇执行以下操作：将该有效簇对应的人脸平均特征与日档案库中存储的所有人脸特征进行匹配，判断返回的最大匹配分数，当最大匹配分数大于阈值时，说明该顾客是之前已经出现过的顾客；当最大匹配分数小于阈值时，说明该顾客是之前未出现过的新顾客。其中，日档案库的范围是截止目前为止所有的检索库数据，并对日档案库内存储的每个簇对应的人脸图像按照质量分数取靠前的K个人脸图像，将这K个人脸图像对应的人脸特征的平均值确定为日档案库内该簇对应的人脸特征。

在步骤S910中，服务器判断每个有效簇对应的人脸图像的最高质量分数是否大于日档案库内存储的该顾客的人脸图像的质量分数，当大于时，执行步骤S911，当不大于时，执行步骤S914。

这里，当确定出返回的最大匹配分数大于阈值时，说明该有效簇对应的顾客是商场特定区域内当日截止目前为止已经出现过的顾客，同时服务器还需要保证日档案库中该顾客对应的簇包括的人脸图像的质量分数是最高的，因此需要进一步比较该有效簇内对应的人脸图像的质量分数与日档案库中存储的该顾客的人脸图像的质量分数的大小。

示例的，保证日档案库内某个顾客对应的簇包括的人脸图像的质量分数最高的具体做法可以是：针对某个有效簇，确定该有效簇包括的人脸轨迹对应的质量分数最大的人脸图像，并以质量分数最大的人脸图像作为基准，计算出该有效簇内剩余的人脸图像与基准之间的相似度，并通过设置阈值FT3进行过滤，从而保证该有效簇严格只对应同一个顾客，合并检索到的库内簇和该有效簇的所有人脸抓拍图像，并按照质量分数进行排序形成一个新簇，保证新簇内只保留高于阈值QT3的所有人脸抓拍图像，以及更改数据库中对应的当日临时身份信息day_person_id的轨迹信息。

在步骤S911中，服务器将每个有效簇内质量分数最高的人脸图像作为基准。

在步骤S912中，服务器计算每个有效簇内质量分数最高的人脸图像与其他人脸图像之间的相似度，并通过设置阈值保留相似度大于相似度阈值的人脸图像。

在步骤S913中，服务器判断是否有人脸图像通过过滤，若是，则执行步骤S915，若否，则执行步骤S914。

在步骤S914中，服务器结束确定顾客当日临时身份的过程。

在步骤S915中，服务器按照质量分数将每个有效簇对应的人脸图像和日档案库中存储的该顾客对应的人脸图像进行排序，并在得到排序结果后，执行步骤S919。

在步骤S916中，服务器确定出该有效簇内质量分数最大的人脸图像，并针对新顾客添加一个对应的当日临时身份ID。

这里，服务器确定出该有效簇包括的人脸轨迹对应的质量分数最大的人脸图像，并将该质量分数最大的人脸图像作为基准。

在步骤S917中，服务器计算该有效簇内所有的人脸抓拍图像与质量分数最大的人脸图像之间的相似度，并通过设置阈值进行过滤处理。

在步骤S918中，服务器按照质量分数对经过过滤处理后的人脸图像进行排序。

在步骤S919中，服务器将最后一张满足质量分数的人脸抓拍图像的抓拍位置记为X。

在步骤S920中，服务器将顾客临时身份ID对应的检索照(即该顾客对应的人脸抓拍图像)替换为max[X,Ks]张，其中，Ks为原检索照的长度。

在步骤S921中，服务器针对之前未出现过的新顾客，更新或者新建该顾客的当日临时身份ID和时间。

这里，服务器针对该新顾客新建一个对应的当日临时身份ID即day_person_id，并往数据库对应的轨迹信息中新增这个当日临时身份信息，往日档案检索库中新增一个当日临时身份ID信息和时间，其中，当日临时身份ID信息包括该新访客的人脸图像、人脸轨迹等信息。

(3)永久身份处理模块

参见图10，图10是本发明实施例提供的顾客永久身份确定方法的一个可选的流程示意图，将结合图10示出的步骤进行说明。

在步骤S1001中，服务器从数据库集群中捞取经日档案库处理后的顾客的当日临时身份信息。

这里，服务器首先从数据库集群中捞取当日在商场特定区域所有出现的顾客的临时身份数据包括每个临时身份day_person_id对应的多个人脸轨迹。由于永久身份处理模块是离线任务，故可以配置在半夜进行捞取以充分利用闲置的资源。

在步骤S1002中，服务器合并相同day_person_id的所有人脸轨迹。

这里，由于同一顾客可能在同一天的不同时刻多次出现在商场特定区域内，导致临时身份处理模块可能会针对不同时刻出现的同一顾客分别建立临时身份ID，而这些临时身份I D是对应于同一个顾客的，因此，服务器首先需要合并相同临时身份ID对应的所有人脸轨迹数据。

在步骤S1003中，服务器将每个相同day_person_id下对应的所有的人脸轨迹作为一个大簇。

在步骤S1004中，服务器针对每个大簇选取出该簇下质量分数最高的K个人脸图像，并将这K个人脸图像对应的K个人脸特征的平均值确定为该簇对应的人脸平均特征。

在步骤S1005中，服务器进行永久档案库检索。

这里，服务器在完成每个临时身份对应的多个人脸轨迹合并到同一个大簇操作后，开始进行永久档案库检索。具体检索过程如下：服务器将每个大簇对应的人脸平均特征与永久档案库中已绑定永久身份的人脸特征进行匹配，其中，永久档案库中每个已绑定永久身份的人脸特征的确定过程如下：针对永久档案库内的每个簇，选取出对应簇内质量分数最高的K个人脸图像，将这K个人脸图像对应的人脸特征的平均值确定为该簇对应的人脸特征，从而得到永久档案库中已绑定永久身份的人脸特征。

在步骤S1006中，服务器判断返回的最大检索分是否超过阈值，若超过，则执行步骤S1007；若没有超过，则执行步骤S1013。

在步骤S1007中，服务器判断每个大簇对应的人脸图像的最高质量分数是否大于永久档案库内存储的该顾客的人脸图像的质量分数，若大于，则执行步骤S1008；若不大于，则执行步骤S1011。

这里，当服务器确定出返回的最大检索分大于阈值时，说明该大簇对应的顾客是之前已经在商场特定区域内出现过的顾客，此时，服务器只需保证永久档案库中该顾客对应的簇包括的人脸图像的质量分数是最高的即可，其具体实现过程与步骤S910中保证日档案库中顾客对应的簇包括的人脸图像的质量分数是最高的实现过程类似，可参照步骤S910的描述实现，本发明实施例在此不再赘述。

在步骤S1008中，服务器确定出每个大簇内质量分数最大的人脸图像，并将确定出的质量分数最大的人脸图像记为基准。

这里，服务器确定出每个大簇包括的人脸轨迹对应的质量分数最大的人脸图像，并将该质量分数最大的人脸图像作为基准。

在步骤S1009中，服务器针对每个大簇，计算对应大簇内所有的人脸抓拍图像与该大簇中质量分数最大的人脸图像之间的相似度，并通过设置阈值进行过滤处理。

在步骤S1010中，服务器判断是否有人脸图像通过过滤，若是，则执行步骤S1012，若否，则执行步骤S1011。

在步骤S1011中，服务器结束确定顾客永久身份信息的过程。

在步骤S1012中，服务器按照质量分数将每个大簇对应的人脸图像和永久档案库中存储的该顾客对应的人脸图像进行排序，并在得到排序结果后，执行步骤S1016。

在步骤S1013中，服务器确定出每个大簇内质量分数最大的人脸图像，并针对新顾客添加一个对应的永久身份ID。

这里，服务器确定出每个大簇包括的人脸轨迹对应的质量分数最大的人脸图像，并将该质量分数最大的人脸图像作为基准。

在步骤S1014中，服务器针对每个大簇，计算每个大簇内所有的人脸抓拍图像与该簇内质量分数最大的人脸图像之间的相似度，并通过设置阈值进行过滤处理。

在步骤S1015中，服务器按照质量分数对经过过滤处理后的人脸图像进行排序。

在步骤S1016中，服务器将最后一张满足质量分数的人脸抓拍图像的抓拍位置记为X。

在步骤S1017中，服务器将顾客永久身份ID对应的检索照(即该顾客对应的人脸抓拍图像)替换为max[X,Ks]张，其中，Ks为原检索照的长度。

在步骤S1018中，服务器针对之前未出现过的新顾客，更新或者新建该新顾客对应的永久身份ID和时间。

这里，服务器针对该新顾客新建一个对应的永久身份ID即person_id，并往数据库对应的轨迹信息中新增这个永久身份信息，往永久档案库中新增一个永久身份ID信息和时间，其中，永久身份ID信息包括该新访客的人脸图像、人脸轨迹等信息。

在另一些实施例中，由于本发明实施例主要是基于人脸识别技术来完成顾客身份建档，故需要商场部署价格较为昂贵的枪机摄像头，这对于对成本敏感或枪机架设条件苛刻且对顾客身份无跨天需求的商场而言吸引力大大降低。对于这种不关心跨天档案的情况下可引入基于人体REID技术完成顾客当日身份建档，由于人体REID技术只需要价格便宜和铺设方便的球机摄像头，这对于商场而言将具有更好的亲和力。

此外，需要说明的是，虽然上述实施例是以智慧零售领域为例进行说明的，但是本发明实施例提供的客流信息处理方法也可以扩展到其他行业落地应用，例如可以应用于智慧安防、智慧社区、以及智慧餐饮等领域中。

本发明实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行指令，当可执行指令被处理器执行时，将引起处理器执行本发明实施例提供的方法，例如，如图3-5示出的客流信息处理方法。

在一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件***中的文件，可以被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarku p Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

综上所述，通过本发明实施例具有以下有益效果：

1、适用性广，本发明可适用于当前主流硬件平台包括个人电脑(PC机)、服务器等；提供的功能丰富且灵活，适用于当前主要的商场场景。

2、高效，本发明涉及的各功能模块之间相互独立，彼此解耦，各模块通过数据库进行交互和持久化，保证了***的高可用性和削峰填谷。此外，引入人脸聚类技术和质量分过滤处理不断降低参与检索计算的人脸抓拍图像的规模，从而降低了资源的消耗。通过配置空闲时间将顾客的当日临时身份和永久身份进行合并，提高了资源利用率。

3、实用性强，本发明提出了一套完整的基于人脸识别技术的智慧零售精准顾客身份建档、以及确定商场特定区域不同时刻分别对应的客流量的方案。

以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

Claims (10)

1.一种客流信息处理方法，其特征在于，所述方法包括：

获取每个第一时间区间对应的第一人脸轨迹；

提取每个所述第一人脸轨迹对应的第一人脸特征；

将每个所述第一人脸特征与第一检索库中已绑定临时身份的人脸特征进行匹配，得到每个所述第一时间区间内出现的访客所具有的临时身份；

提取每个具有临时身份的访客的第二人脸轨迹对应的第二人脸特征；

将每个所述第二人脸特征与第二检索库中已绑定永久身份的人脸特征进行匹配，得到每天出现的访客所具有的永久身份。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取每个第二时间区间对应的第三人脸轨迹；其中，所述第二时间区间的时长小于所述第一时间区间的时长；

提取每个所述第三人脸轨迹对应的第三人脸特征，并将每个所述第三人脸特征与第三检索库中存储的人脸特征进行匹配，得到每个所述第二时间区间对应的客流量；

所述在提取每个所述第三人脸轨迹对应的第三人脸特征之前，所述方法还包括：

确定所述第三人脸轨迹对应的多个第三人脸图像的质量分数，删除所述多个第三人脸图像中质量分数小于质量分数阈值的第三人脸图像。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

对经过删除处理后剩余的多个第三人脸图像进行特征提取，得到每个所述第三人脸图像的第三人脸特征；

按照抓拍的时间顺序对所述多个第三人脸图像的第三人脸特征进行排序，并依次确定所述排序中第一个第三人脸特征和后续的第三人脸特征之间的相似度，保留相似度大于相似度阈值的所有第三人脸特征。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

对多个所述第三人脸轨迹进行聚类处理；

对被聚类为属于同一访客的第三人脸轨迹对应的多个第三人脸图像按照质量分数进行排序，选取出质量分数靠前的K个第三人脸图像；其中，所述K为正整数；

将所述K个第三人脸图像对应的K个人脸特征的平均值确定为所述访客的第三人脸特征。

5.根据权利要求4所述的方法，其特征在于，所述将每个所述第三人脸特征与第三检索库中存储的人脸特征进行匹配，得到每个所述第二时间区间对应的客流量，包括：

将每个所述访客的第三人脸特征与第三检索库中存储的人脸特征进行匹配；

当匹配的最大相似度小于相似度阈值时，确定所述访客为新访客，并针对所述新访客增加对应的客流信息；

当匹配的最大相似度大于相似度阈值时，确定所述访客为已出现过的访客，并将在所述第二时间区间内抓拍到的所述访客的人脸图像的第一质量分数、与在所述第三检索库中匹配到的人脸特征对应的人脸图像的第二质量分数进行比较；

当所述第一质量分数大于所述第二质量分数时，使用在所述第二时间区间内抓拍到的所述访客的人脸图像替换在所述第三检索库中存储的所述访客的人脸图像。

6.根据权利要求1所述的方法，其特征在于，所述在提取每个所述第一人脸轨迹对应的第一人脸特征之前，所述方法还包括：

确定每个所述第一人脸轨迹对应的多个第一人脸图像的质量分数，删除所述多个第一人脸图像中质量分数小于质量分数阈值的第一人脸图像；

所述方法还包括：

对多个所述第一人脸轨迹进行聚类处理；

确定被聚类为属于同一访客的第一人脸轨迹对应的多个第一人脸图像的质量分数；

当所述多个第一人脸图像中质量分数大于质量分数阈值的第一人脸图像的数量大于数量阈值时，对所述多个第一人脸图像进行质量分数排序，选取出排序靠前的L个第一人脸图像；其中，所述L为正整数；

将所述L个第一人脸图像对应的L个人脸特征的平均值确定为所述访客的第一人脸特征；

当所述多个第一人脸图像中质量分数大于质量分数阈值的第一人脸图像的数量小于数量阈值时，删除所述访客的第一人脸轨迹。

7.根据权利要求6所述的方法，其特征在于，所述将每个所述第一人脸特征与第一检索库中已绑定临时身份的人脸特征进行匹配，得到每个所述第一时间区间内出现的访客所具有的临时身份，包括：

将每个所述访客的第一人脸特征与第一检索库中已绑定临时身份的人脸特征进行匹配；

当匹配的最大相似度小于相似度阈值时，确定所述访客为新访客，并针对所述新访客增加对应的临时身份；

将所述临时身份和所述新访客对应的质量分数大于质量分数阈值的M个人脸图像存储到所述第一检索库中；其中，所述M为正整数；

当匹配的最大相似度大于相似度阈值时，确定所述访客为已经出现过的访客，并对在所述第一时间区间内抓拍到的所述访客的人脸图像、以及在所述第一检索库中匹配到的人脸特征对应的人脸图像进行质量分数排序；

将排序靠前的N个人脸图像确定为所述访客对应的人脸图像，并将所述N个人脸图像存储到所述第一检索库中；其中，所述N为正整数。

8.根据权利要求1所述的方法，其特征在于，所述提取每个具有临时身份的访客的第二人脸轨迹对应的第二人脸特征，包括：

对属于同一访客的第二人脸轨迹对应的多个第二人脸图像进行质量分数排序，选取出排序靠前的T个第二人脸图像；其中，所述T为正整数；

将所述T个第二人脸图像对应的T个第二人脸特征的平均值确定为所述访客的第二人脸特征。

9.根据权利要求8所述的方法，其特征在于，所述将每个所述第二人脸特征与第二检索库中已绑定永久身份的人脸特征进行匹配，得到每天出现的访客所具有的永久身份，包括：

将每个所述访客的第二人脸特征与第二检索库中已绑定永久身份的人脸特征进行匹配；

当匹配的最大相似度小于相似度阈值时，确定所述访客为新访客，并针对所述新访客增加对应的永久身份；

将所述永久身份和所述新访客对应的质量分数大于质量分数阈值的S个人脸图像存储到所述第二检索库中；其中，所述S为正整数；

当匹配的最大相似度大于相似度阈值时，确定所述访客为已经出现过的访客，并对在每天抓拍到的所述访客的人脸图像、以及在所述第二检索库中匹配到的人脸特征对应的人脸图像进行质量分数排序；

将排序靠前的X个人脸图像确定为所述访客对应的人脸图像，并将所述X个人脸图像存储到所述第二检索库中；其中，所述X为正整数。

10.一种客流信息处理装置，其特征在于，所述装置包括：

获取模块，用于获取每个第一时间区间对应的第一人脸轨迹；

人脸特征提取模块，用于提取每个所述第一人脸轨迹对应的第一人脸特征；

检索模块，用于将每个所述第一人脸特征与第一检索库中已绑定临时身份的人脸特征进行匹配，得到每个所述第一时间区间内出现的访客所具有的临时身份；

所述人脸特征提取模块，还用于提取每个具有临时身份的访客的第二人脸轨迹对应的第二人脸特征；

所述检索模块，还用于将每个所述第二人脸特征与第二检索库中已绑定永久身份的人脸特征进行匹配，得到每天出现的访客所具有的永久身份。

Images