CN114565963A - 一种顾客流量统计方法、装置、电子设备及存储介质 - Google Patents
一种顾客流量统计方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114565963A CN114565963A CN202210202424.0A CN202210202424A CN114565963A CN 114565963 A CN114565963 A CN 114565963A CN 202210202424 A CN202210202424 A CN 202210202424A CN 114565963 A CN114565963 A CN 114565963A
- Authority
- CN
- China
- Prior art keywords
- reid
- customer
- features
- face
- library
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007619 statistical method Methods 0.000 title abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种顾客流量统计方法、装置、电子设备及存储介质，该方法包括：获取预设区域的视频流；提取视频流中的行人重识别ReID特征；判断是否在顾客特征库中匹配到与ReID特征的相似度大于预设阈值的特征；若否，则将ReID特征存储至顾客特征库，并将顾客特征库中的ReID特征总数量确定为顾客流量总数量。通过在顾客特征库中没有匹配到与ReID特征的相似度大于预设阈值的特征的情况下，才将ReID特征加入顾客特征库，从而将顾客特征库中的ReID特征总数量作为顾客流量总数量，避免了出现重复统计、光照不均匀或者侧脸遮挡等情况，有效地提高了进行顾客流量统计的精确度。
Description
技术领域
本申请涉及图像识别、视频处理和深度学习的技术领域，具体而言，涉及一种顾客流量统计方法、装置、电子设备及存储介质。
背景技术
顾客流量统计，是指线下门店对到访的顾客数量进行统计，当顾客较多且排队进入线下门店时，会以流水线的方式来服务顾客，因此通常将统计出来的结果可以称之为顾客流量。
目前，通常采用红外线感应和人脸识别的方式来进行顾客流量统计，采用红外线感应的方式成本较低，但是会出现重复统计的情况(例如：由于忘记买其它东西的顾客重复进出线下门店等)，导致统计出来的顾客流量不精确。采用人脸识别的方式时需要顾客正对镜头和脱帽取口罩等操作，且不能出现光照不均匀或者侧脸遮挡等情况，才能使得统计出来的顾客流量精确，然而，在实践过程中很难这样操作导致这种方式统计出来的顾客流量也不精确。因此，目前采用红外线感应和人脸识别的方式统计顾客流量的精确度不高。
发明内容
本申请实施例的目的在于提供一种顾客流量统计方法、装置、电子设备及存储介质，用于改善统计顾客流量的精确度不高的问题。
第一方面，本申请实施例提供了一种顾客流量统计方法，包括：获取预设区域的视频流；提取视频流中的行人重识别ReID特征，ReID特征表征同一行人在图像中的全局特征和局部特征；判断是否在顾客特征库中匹配到与ReID特征的相似度大于预设阈值的特征；若否，则将ReID特征存储至顾客特征库，并将顾客特征库中的ReID特征总数量确定为顾客流量总数量。在上述方案的实现过程中，通过提取行人经过预设区域的视频流中的行人重识别ReID特征，并在顾客特征库中没有匹配到与ReID特征的相似度大于预设阈值的特征的情况下，才将ReID特征加入顾客特征库，从而将顾客特征库中的ReID特征总数量作为顾客流量总数量，避免了出现重复统计、光照不均匀或者侧脸遮挡等情况，有效地提高了进行顾客流量统计的精确度。
在第一方面的一种可选实现方式中，提取视频流中的行人重识别ReID特征，包括：对视频流进行人脸检测，获得人脸检测结果；若人脸检测结果是视频流中存在人脸视频帧，且确定人脸视频帧的图像质量小于预设阈值，则提取人脸视频帧中的ReID特征。在上述方案的实现过程中，通过在视频流中存在人脸视频帧，且确定人脸视频帧的图像质量小于预设阈值，才提取人脸视频帧中的ReID特征，从而避免了使用图像质量小于预设阈值的人脸视频帧来排除顾客特征库中的员工ReID特征的情况，有效地提高了进行顾客流量统计的精确度。
在第一方面的一种可选实现方式中，在获得人脸检测结果之后，还包括：若人脸检测结果是视频流中存在人脸视频帧，且确定人脸视频帧的图像质量大于预设阈值，则提取人脸视频帧中的人脸特征，并根据人脸特征更新顾客特征库。在上述方案的实现过程中，通过在人脸检测结果是视频流中存在人脸视频帧，且确定人脸视频帧的图像质量大于预设阈值的情况下，就提取人脸视频帧中的人脸特征，并根据人脸特征更新顾客特征库，从而使用图像质量小于预设阈值的人脸视频帧来排除顾客特征库中的员工ReID特征，有效地提高了进行顾客流量统计的精确度。
在第一方面的一种可选实现方式中，根据人脸特征更新顾客特征库，包括：判断在员工人脸库中是否查找到人脸特征；若否，则提取人脸视频帧的ReID特征，并将该ReID特征存储至顾客特征库中。在上述方案的实现过程中，通过在员工人脸库中没有查找到人脸特征的情况下，即在排除顾客特征库中的员工ReID特征的情况下，才提取人脸视频帧的ReID特征和更新顾客特征库，有效地提高了根据顾客特征库进行顾客流量统计的精确度。
在第一方面的一种可选实现方式中，在判断在员工人脸库中是否查找到人脸特征之后，还包括：若在员工人脸库中查找到人脸特征，则提取人脸视频帧的ReID特征，并从顾客特征库中删除与该ReID特征的相似度大于预设阈值的ReID特征。在上述方案的实现过程中，通过人脸特征确认是员工，就从顾客特征库中删除该员工的ReID特征，从而避免了将员工作为顾客的误统计问题，有效地提高了根据顾客特征库进行顾客流量统计的精确度。
在第一方面的一种可选实现方式中，在从顾客特征库中删除与该ReID特征的相似度大于预设阈值的ReID特征之后，还包括：判断是否在员工特征库中匹配到与ReID特征的相似度大于预设阈值的特征；若否，则将ReID特征存储至员工特征库中。在上述方案的实现过程中，通过在员工特征库中没有匹配到与ReID特征的情况下，就将ReID特征存储至员工特征库中，从而将员工特征库更新至最新状态，有效地维护了员工特征库，提高了根据员工特征库排除统计员工进入顾客流量的精确度。
在第一方面的一种可选实现方式中，将ReID特征存储至顾客特征库，包括：在确定没有在员工特征库中匹配到与ReID特征的相似度大于预设阈值的特征之后，将ReID特征存储至顾客特征库。在上述方案的实现过程中，通过在确定没有在员工特征库中匹配到的情况下，将ReID特征存储至顾客特征库，从而避免了将员工作为顾客的误统计问题，有效地提高了根据顾客特征库进行顾客流量统计的精确度。
第二方面，本申请实施例提供了一种顾客流量统计装置，包括：视频流获取模块，用于获取预设区域的视频流；ReID特征提取模块，用于提取视频流中的行人重识别ReID特征，ReID特征表征同一行人在图像中的全局特征和局部特征；ReID特征判断模块，用于判断是否在顾客特征库中匹配到与ReID特征的相似度大于预设阈值的特征；顾客流量统计模块，用于若没有在顾客特征库中匹配到与ReID特征的相似度大于预设阈值的特征，则将ReID特征存储至顾客特征库，并将顾客特征库中的ReID特征总数量确定为顾客流量总数量。
在第二方面的一种可选实现方式中，ReID特征提取模块，包括：检测结果获得模块，用于对视频流进行人脸检测，获得人脸检测结果；视频特征提取模块，用于若人脸检测结果是视频流中存在人脸视频帧，且确定人脸视频帧的图像质量小于预设阈值，则提取人脸视频帧中的ReID特征。
在第二方面的一种可选实现方式中，顾客流量统计装置，还包括：顾客特征库更新模块，用于若人脸检测结果是视频流中存在人脸视频帧，且确定人脸视频帧的图像质量大于预设阈值，则提取人脸视频帧中的人脸特征，并根据人脸特征更新顾客特征库。
在第二方面的一种可选实现方式中，顾客特征库更新模块，包括：人脸特征判断模块，用于判断在员工人脸库中是否查找到人脸特征；第一特征存储模块，用于若在员工人脸库中没有查找到人脸特征，则提取人脸视频帧的ReID特征，并将该ReID特征存储至顾客特征库中。
在第二方面的一种可选实现方式中，顾客特征库更新模块，还包括：ReID特征删除模块，用于若在员工人脸库中查找到人脸特征，则提取人脸视频帧的ReID特征，并从顾客特征库中删除与该ReID特征的相似度大于预设阈值的ReID特征。
在第二方面的一种可选实现方式中，顾客特征库更新模块，还包括：特征匹配判断模块，模块判断是否在员工特征库中匹配到与ReID特征的相似度大于预设阈值的特征；第二特征存储模块，用于若没有在员工特征库中匹配到与ReID特征的相似度大于预设阈值的特征，则将ReID特征存储至员工特征库中。
在第二方面的一种可选实现方式中，顾客流量统计装置，还包括：特征匹配确定模块，用于确定没有在员工特征库中匹配到与ReID特征的相似度大于预设阈值的特征。
第三方面，本申请实施例提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请实施例中的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出的本申请实施例提供的顾客流量统计方法的流程示意图；
图2示出的本申请实施例提供的提取ReID特征的流程示意图；
图3示出的本申请实施例提供的顾客流量统计装置的结构示意图；
图4示出的本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请实施例中的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请实施例的详细描述并非旨在限制要求保护的本申请实施例的范围，而是仅仅表示本申请实施例中的选定实施例。基于本申请实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。
可以理解的是，本申请实施例中的“第一”、“第二”用于区别类似的对象。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
在介绍本申请实施例提供的顾客流量统计方法之前，先介绍本申请实施例中所涉及的一些概念：
行人重识别(Person Re-IDentification，缩写为ReID)，也被称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。
人脸检测(face detection)，是一种在任意数字图像中找到人脸的位置和大小的计算机技术；人脸检测可以检测出面部特征，例如是人脸的位置和大小，并忽略诸如建筑物、树木和身体等其他任何东西。
人脸识别(Face Recognition)，是一项计算机技术研究领域，人脸识别属于生物特征识别技术，是对生物体(一般特指人)本身的生物特征来区分生物体个体；即通过人脸进行身份确认或者身份查找的技术或***。
需要说明的是，本申请实施例提供的顾客流量统计方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者服务器，设备终端例如：智能手机、个人电脑、平板电脑、个人数字助理或者移动上网设备等。服务器是指通过网络提供计算服务的设备，服务器例如：x86服务器以及非x86服务器，非x86服务器包括：大型机、小型机和UNIX服务器。
下面介绍该顾客流量统计方法适用的应用场景，这里的应用场景包括但不限于：使用该顾客流量统计方法对进入线下门店区域顾客的数量进行统计，或者，使用该顾客流量统计方法统计预设时长内(例如一天内、一周内等)到会展中心的新顾客流量，即在预设时长内多次到会展中心的顾客只计算一次等。
请参见图1示出的本申请实施例提供的顾客流量统计方法的流程示意图；该顾客流量统计方法的主要思路是，通过提取行人经过预设区域的视频流中的行人重识别ReID特征，并在顾客特征库中没有匹配到与ReID特征的相似度大于预设阈值的特征的情况下，才将ReID特征加入顾客特征库，从而将顾客特征库中的ReID特征总数量作为顾客流量总数量，避免了出现重复统计、光照不均匀或者侧脸遮挡等情况，有效地提高了进行顾客流量统计的精确度。上述顾客流量统计方法可以包括：
步骤S110：获取预设区域的视频流。
预设区域，是指顾客可以经过的区域，这个区域也是员工可以经过的区域，该区域也可以是由视频摄像头来监控拍摄的，例如：线下门店的门口，或者，顾客在进入线下门店时必经的通道处等等。
步骤S120：提取视频流中的行人重识别ReID特征，ReID特征表征同一行人在图像中的全局特征和局部特征。
ReID特征是指同一行人在图像中的全局特征(global feature)和局部特征(local feature)，即全局特征和局部特征相结合的特征，具体例如：当无法获得顾客脸部区域的局部特征时，就使用全局特征来统计流量；当可以获得局部特征时，就使用局部特征来统计。
步骤S130：判断是否在顾客特征库中匹配到与ReID特征的相似度大于预设阈值的特征。
相似度，是指两个目标对象或者两个样本数据之间相似性的程度，可以根据量化相似指标来计算两个样本数据的相似度。在具体实践过程中，可以采用的相似指标例如：余弦距离、欧氏距离(Euclidean Distance)、汉明距离(Hamming Distance)或信息熵(Information Entropy)等等；当然，在实践过程中，也可以选择上述多种组合加权参数等复杂模式来计算相似度。
步骤S140：若没有在顾客特征库中匹配到与ReID特征的相似度大于预设阈值的特征，则将ReID特征存储至顾客特征库，并将顾客特征库中的ReID特征总数量确定为顾客流量总数量。
上述的步骤S140的实施方式具体例如：若没有在顾客特征库中匹配到与ReID特征的相似度大于预设阈值的特征，且确定没有在员工特征库中匹配到与ReID特征的相似度大于预设阈值的特征之后，则将ReID特征存储至顾客特征库，并将顾客特征库中的ReID特征总数量确定为顾客流量总数量。
需要说明的是，上述的员工特征库是事先提取出员工的ReID特征，并将员工的ReID特征存储至员工特征库获得的。该员工特征库的作用是为了排除将员工统计成顾客的情况，即顾客特征库中只能存储和统计顾客的ReID特征，不能存储和统计员工的ReID特征，因此，可以使用该员工特征库避免了将员工统计成顾客的情况，能够进一步改善统计顾客流量的精确度。
作为步骤S110的一种可选实施方式，获取预设区域的视频流可以是先获取到某个顾客的所有相关视频流，具体实现方式例如：可以在视频画面的门线处画一条线，让这条线来作为是否进入线下门店的分界线，针对进入线下门店的分界线的每一个视频帧进行人体检测(body detection)和跟踪(track)，从而实现抓拍同一个顾客的所有相关视频流，这些相关视频流可以存放在队列中。
请参见图2示出的本申请实施例提供的提取ReID特征的流程示意图；作为步骤S120的一种可选实施方式，上述的提取视频流中的行人重识别ReID特征的实施方式可以包括：
步骤S121：对视频流进行人脸检测，获得人脸检测结果。
上述步骤S121的实施方式例如：使用人脸检测(face detection)的神经网络模型对视频流进行人脸检测，获得人脸检测结果，该人脸检测结果表征该视频流中是否存在人脸视频帧，两种情况：存在(例如：员工的或者顾客的)人脸视频帧和不存在人脸视频帧。在实践过程中，本申请实施例可以使用的人脸检测的神经网络模型可以包括：多任务级联卷积神经网络(Multi-task Cascaded Convolutional Networks，MTCNN)和区域卷积神经网络(Region Convolutional Neural Network，RCNN)。
步骤S122：若人脸检测结果是视频流中存在人脸视频帧，且确定人脸视频帧的图像质量小于预设阈值，则提取人脸视频帧中的ReID特征。
上述步骤S122的实施方式例如：若人脸检测结果是视频流中存在人脸视频帧，且确定人脸视频帧的图像质量小于预设阈值(例如：人脸视频帧的图像质量分数小于80)，则提取人脸视频帧中的ReID特征。本申请实施例中提取人脸视频帧中的ReID特征的具体实施方式，包括但不限于：使用卷积神经网络(Convolutional Neural Networks，CNN)或者循环神经网络(Recurrent Neural Network，RNN)提取人脸视频帧中的全局特征，使用图像切块、利用骨架关键点定位以及注意力(Attention)机制等等方式提取人脸视频帧中的局部特征，然后根据全局特征和局部特征生成ReID特征。
作为步骤S120的一种可选实施方式，在步骤S121之后，还可以包括：
步骤S123：若人脸检测结果是视频流中存在人脸视频帧，且确定人脸视频帧的图像质量大于预设阈值，则提取人脸视频帧中的人脸特征，并根据人脸特征更新顾客特征库。
上述步骤S123的实施方式例如：若人脸检测结果是视频流中存在人脸视频帧，且确定人脸视频帧的图像质量大于预设阈值(例如：人脸视频帧的图像质量分数大于80)，则对该人脸视频帧进行人脸识别，从而提取人脸视频帧中的人脸特征，并根据人脸特征更新顾客特征库。
上面步骤S123中的根据人脸特征更新顾客特征库的实施方式，可以包括：
步骤S123a：判断在员工人脸库中是否查找到人脸特征。
上述步骤S123a的实施方式例如：事先通过合法方式收集员工的人脸特征，并根据员工的人脸特征构建员工人脸库；然后，使用预设编程语言编译或者解释的可执行程序判断在员工人脸库中是否查找到人脸视频帧中提取的人脸特征；其中，可以使用的编程语言例如：C、C++、Java、BASIC、JavaScript、LISP、Shell、Perl、Ruby、Python和PHP等等。
步骤S123b：若没有在员工人脸库中是否查找到人脸特征，则提取人脸视频帧的ReID特征，并将该ReID特征存储至顾客特征库中。
上述步骤S123b的实施方式例如：若没有在员工人脸库中是否查找到人脸特征，则立即删除或消除该人脸特征，然后，再提取人脸视频帧的ReID特征，并再次确定在员工特征库中没有匹配到与ReID特征的相似度大于预设阈值的特征，才确定认为该人脸视频帧的ReID特征是新顾客的ReID特征；然后，将该ReID特征作为新顾客的ReID特征存储至顾客特征库中，通过两次排除员工的情况，能够有效地进一步改善统计顾客流量的精确度。
作为一种可选的实施方式，在步骤S123a之后，还可以包括：
步骤S123c：若在员工人脸库中查找到人脸特征，则提取人脸视频帧的ReID特征，并从顾客特征库中删除与该ReID特征的相似度大于预设阈值的ReID特征。
作为一种可选的实施方式，在步骤S123c之后，还可以包括：
步骤S123d：判断是否在员工特征库中匹配到与ReID特征的相似度大于预设阈值的特征。
步骤S123e：若没有在员工特征库中匹配到与ReID特征的相似度大于预设阈值的特征，则将ReID特征存储至员工特征库中。
上述步骤S123d和步骤S123e的实施方式例如：上述的预设阈值可以设置为70％、80％或者90％等等，假设此处设置为80％，那么可以判断是否在员工特征库中匹配到与ReID特征的相似度大于80％的特征；若没有在员工特征库中匹配到与ReID特征的相似度大于80％的特征，则将ReID特征存储至员工特征库中。在上述的实现过程中，由于不需要保存顾客的人脸特征，仅使用顾客的人脸特征判断是否是员工，在使用完成后立即消除或删除；因此，有效地保护了顾客的隐私权利，以符合有关隐私法律规范。
可选地，作为上述将ReID特征存储至顾客特征库的一种可选实施方式，该实施方式具体例如：在确定没有在员工特征库中匹配到与ReID特征的相似度大于预设阈值的特征之后，才将ReID特征存储至顾客特征库，并将顾客特征库中的ReID特征总数量确定为顾客流量总数量。当然该顾客特征库可以是统计预设时长内(例如一天内、一周内等)的顾客流量总数量，在实际过程中，如果统计的是一天内的顾客流量总数量，可以选择在当天晚上12点清空顾客特征库中的所有ReID特征，以便第二天重新统计顾客流量。
在上述方案的实现过程中，通过提取行人经过预设区域的视频流中的行人重识别ReID特征，并在顾客特征库中没有匹配到与ReID特征的相似度大于预设阈值的特征的情况下，才将ReID特征加入顾客特征库，从而将顾客特征库中的ReID特征总数量作为顾客流量总数量，避免了出现重复统计、光照不均匀或者侧脸遮挡等情况，有效地提高了进行顾客流量统计的精确度。
请参见图3示出的本申请实施例提供的顾客流量统计装置的结构示意图；本申请实施例提供了一种顾客流量统计装置200，包括：
视频流获取模块210，用于获取预设区域的视频流。
ReID特征提取模块220，用于提取视频流中的行人重识别ReID特征，ReID特征表征同一行人在图像中的全局特征和局部特征。
ReID特征判断模块230，用于判断是否在顾客特征库中匹配到与ReID特征的相似度大于预设阈值的特征。
顾客流量统计模块240，用于若没有在顾客特征库中匹配到与ReID特征的相似度大于预设阈值的特征，则将ReID特征存储至顾客特征库，并将顾客特征库中的ReID特征总数量确定为顾客流量总数量。
可选地，在本申请实施例中，ReID特征提取模块，包括：
检测结果获得模块，用于对视频流进行人脸检测，获得人脸检测结果。
视频特征提取模块，用于若人脸检测结果是视频流中存在人脸视频帧，且确定人脸视频帧的图像质量小于预设阈值，则提取人脸视频帧中的ReID特征。
可选地，在本申请实施例中，顾客流量统计装置，还包括：
顾客特征库更新模块，用于若人脸检测结果是视频流中存在人脸视频帧，且确定人脸视频帧的图像质量大于预设阈值，则提取人脸视频帧中的人脸特征，并根据人脸特征更新顾客特征库。
可选地，在本申请实施例中，顾客特征库更新模块，包括：
人脸特征判断模块，用于判断在员工人脸库中是否查找到人脸特征。
第一特征存储模块，用于若在员工人脸库中没有查找到人脸特征，则提取人脸视频帧的ReID特征，并将该ReID特征存储至顾客特征库中。
可选地，在本申请实施例中，顾客特征库更新模块，还包括：
ReID特征删除模块，用于若在员工人脸库中查找到人脸特征，则提取人脸视频帧的ReID特征，并从顾客特征库中删除与该ReID特征的相似度大于预设阈值的ReID特征。
可选地，在本申请实施例中，顾客特征库更新模块，还包括：
特征匹配判断模块，模块判断是否在员工特征库中匹配到与ReID特征的相似度大于预设阈值的特征。
第二特征存储模块，用于若没有在员工特征库中匹配到与ReID特征的相似度大于预设阈值的特征，则将ReID特征存储至员工特征库中。
可选地，在本申请实施例中，顾客流量统计装置，还包括：
特征匹配确定模块，用于确定没有在员工特征库中匹配到与ReID特征的相似度大于预设阈值的特征。
应理解的是，该装置与上述的顾客流量统计方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。该装置包括至少一个能以软件或固件(firmware)的形式存储于存储器中或固化在装置的操作***(operating system，OS)中的软件功能模块。
请参见图4示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备300，包括：处理器310和存储器320，存储器320存储有处理器310可执行的机器可读指令，机器可读指令被处理器310执行时执行如上的方法。
本申请实施例还提供了一种计算机可读存储介质330，该计算机可读存储介质330上存储有计算机程序，该计算机程序被处理器310运行时执行如上的方法。
其中，计算机可读存储介质330可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM)，可编程只读存储器(Programmable Read-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请实施例提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施例仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以和附图中所标注的发生顺序不同。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这主要根据所涉及的功能而定。
另外，在本申请实施例中的各个实施例的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上的描述，仅为本申请实施例的可选实施方式，但本申请实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请实施例的保护范围之内。
Claims (10)
1.一种顾客流量统计方法，其特征在于，包括：
获取预设区域的视频流；
提取所述视频流中的行人重识别ReID特征，所述ReID特征表征同一行人在图像中的全局特征和局部特征；
判断是否在顾客特征库中匹配到与所述ReID特征的相似度大于预设阈值的特征；
若否，则将所述ReID特征存储至所述顾客特征库，并将所述顾客特征库中的ReID特征总数量确定为顾客流量总数量。
2.根据权利要求1所述的方法，其特征在于，所述提取所述视频流中的行人重识别ReID特征，包括：
对所述视频流进行人脸检测，获得人脸检测结果；
若所述人脸检测结果是所述视频流中存在人脸视频帧，且确定所述人脸视频帧的图像质量小于预设阈值，则提取所述人脸视频帧中的所述ReID特征。
3.根据权利要求2所述的方法，其特征在于，在所述获得人脸检测结果之后，还包括：
若所述人脸检测结果是所述视频流中存在人脸视频帧，且确定所述人脸视频帧的图像质量大于预设阈值，则提取所述人脸视频帧中的人脸特征，并根据所述人脸特征更新所述顾客特征库。
4.根据权利要求3所述的方法，其特征在于，所述根据所述人脸特征更新所述顾客特征库，包括：
判断在员工人脸库中是否查找到所述人脸特征；
若否，则提取所述人脸视频帧的ReID特征，并将该ReID特征存储至所述顾客特征库中。
5.根据权利要求4所述的方法，其特征在于，在所述判断在员工人脸库中是否查找到所述人脸特征之后，还包括：
若在员工人脸库中查找到所述人脸特征，则提取所述人脸视频帧的ReID特征，并从所述顾客特征库中删除与该ReID特征的相似度大于预设阈值的ReID特征。
6.根据权利要求5所述的方法，其特征在于，在所述从所述顾客特征库中删除与该ReID特征的相似度大于预设阈值的ReID特征之后，还包括：
判断是否在员工特征库中匹配到与所述ReID特征的相似度大于预设阈值的特征；
若否，则将所述ReID特征存储至员工特征库中。
7.根据权利要求1所述的方法，其特征在于，所述将所述ReID特征存储至所述顾客特征库，包括：
在确定没有在员工特征库中匹配到与所述ReID特征的相似度大于预设阈值的特征之后，将所述ReID特征存储至所述顾客特征库。
8.一种顾客流量统计装置，其特征在于，包括：
视频流获取模块，用于获取预设区域的视频流；
ReID特征提取模块，用于提取所述视频流中的行人重识别ReID特征，所述ReID特征表征同一行人在图像中的全局特征和局部特征；
ReID特征判断模块，用于判断是否在顾客特征库中匹配到与所述ReID特征的相似度大于预设阈值的特征；
顾客流量统计模块，用于若没有在顾客特征库中匹配到与所述ReID特征的相似度大于预设阈值的特征，则将所述ReID特征存储至所述顾客特征库，并将所述顾客特征库中的ReID特征总数量确定为顾客流量总数量。
9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一所述的方法。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210202424.0A CN114565963A (zh) | 2022-03-03 | 2022-03-03 | 一种顾客流量统计方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210202424.0A CN114565963A (zh) | 2022-03-03 | 2022-03-03 | 一种顾客流量统计方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114565963A true CN114565963A (zh) | 2022-05-31 |
Family
ID=81717725
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210202424.0A Pending CN114565963A (zh) | 2022-03-03 | 2022-03-03 | 一种顾客流量统计方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114565963A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109190475A (zh) * | 2018-08-01 | 2019-01-11 | 中国计量大学 | 一种人脸识别网络与行人再识别网络协同训练方法 |
| CN110874583A (zh) * | 2019-11-19 | 2020-03-10 | 北京精准沟通传媒科技股份有限公司 | 一种客流统计的方法、装置、存储介质及电子设备 |
| CN111553288A (zh) * | 2020-04-29 | 2020-08-18 | 腾讯科技（深圳）有限公司 | 客流信息处理方法及装置 |
| CN111797691A (zh) * | 2020-06-03 | 2020-10-20 | 力引万物(深圳)科技有限公司 | 提高人脸识别准确率的方法及处理子*** |
| US20210150194A1 (en) * | 2017-07-04 | 2021-05-20 | Peking University Shenzhen Graduate School | Image feature extraction method for person re-identification |
| CN113269070A (zh) * | 2021-05-18 | 2021-08-17 | 重庆邮电大学 | 融合全局和局部特征的行人重识别方法、存储器及处理器 |
-
2022
- 2022-03-03 CN CN202210202424.0A patent/CN114565963A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210150194A1 (en) * | 2017-07-04 | 2021-05-20 | Peking University Shenzhen Graduate School | Image feature extraction method for person re-identification |
| CN109190475A (zh) * | 2018-08-01 | 2019-01-11 | 中国计量大学 | 一种人脸识别网络与行人再识别网络协同训练方法 |
| CN110874583A (zh) * | 2019-11-19 | 2020-03-10 | 北京精准沟通传媒科技股份有限公司 | 一种客流统计的方法、装置、存储介质及电子设备 |
| CN111553288A (zh) * | 2020-04-29 | 2020-08-18 | 腾讯科技（深圳）有限公司 | 客流信息处理方法及装置 |
| CN111797691A (zh) * | 2020-06-03 | 2020-10-20 | 力引万物(深圳)科技有限公司 | 提高人脸识别准确率的方法及处理子*** |
| CN113269070A (zh) * | 2021-05-18 | 2021-08-17 | 重庆邮电大学 | 融合全局和局部特征的行人重识别方法、存储器及处理器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106570465B (zh) | 一种基于图像识别的人流量统计方法及装置 | |
| US10880524B2 (en) | System and method for activity monitoring using video data | |
| JP6854881B2 (ja) | 顔画像照合システムおよび顔画像検索システム | |
| CN108256404B (zh) | 行人检测方法和装置 | |
| US20160063344A1 (en) | Long-term static object detection | |
| CN107657232B (zh) | 一种行人智能识别方法及其*** | |
| CN108647587B (zh) | 人数统计方法、装置、终端及存储介质 | |
| Almagbile | Estimation of crowd density from UAVs images based on corner detection procedures and clustering analysis | |
| CN112434566B (zh) | 客流统计方法、装置、电子设备及存储介质 | |
| CN110751021A (zh) | 图像处理方法、装置、电子设备和计算机可读介质 | |
| CN114708555A (zh) | 基于数据处理的森林防火监控方法及电子设备 | |
| CN111400550A (zh) | 一种目标运动轨迹构建方法、设备以及计算机存储介质 | |
| CN112633205A (zh) | 基于头肩检测的行人追踪方法及装置、电子设备、存储介质 | |
| CN107590431B (zh) | 一种基于图像识别的数量统计方法及装置 | |
| CN113869137A (zh) | 事件检测方法、装置、终端设备及存储介质 | |
| CN115761655A (zh) | 一种目标跟踪方法及装置 | |
| CN111881322A (zh) | 一种目标搜索方法、装置、电子设备及存储介质 | |
| CN111488779A (zh) | 视频图像超分辨率重建方法、装置、服务器及存储介质 | |
| CN112800841A (zh) | 一种行人计数方法、装置、***及计算机可读存储介质 | |
| CN114565963A (zh) | 一种顾客流量统计方法、装置、电子设备及存储介质 | |
| CN112990153A (zh) | 一种多目标行为识别方法、装置、存储介质以及电子设备 | |
| CN113822367A (zh) | 一种基于人脸的区域行为分析方法、***及介质 | |
| CN114662521A (zh) | 一种行人徘徊行为检测方法及其*** | |
| CN113592902A (zh) | 目标跟踪方法、装置、计算机设备和存储介质 | |
| CN112507972A (zh) | 基于区块链的绩效考核*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |