CN111241932A - 汽车展厅客流检测与分析***、方法及存储介质 - Google Patents
汽车展厅客流检测与分析***、方法及存储介质 Download PDFInfo
- Publication number
- CN111241932A CN111241932A CN201911394531.2A CN201911394531A CN111241932A CN 111241932 A CN111241932 A CN 111241932A CN 201911394531 A CN201911394531 A CN 201911394531A CN 111241932 A CN111241932 A CN 111241932A
- Authority
- CN
- China
- Prior art keywords
- analysis
- pedestrian
- face
- exhibition hall
- passenger flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 71
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000005206 flow analysis Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 33
- 238000012544 monitoring process Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000013526 transfer learning Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 10
- 238000010276 construction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Human Computer Interaction (AREA)
- Entrepreneurship & Innovation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种汽车展厅客流检测与分析***，包括拍摄设备、人脸人体分析服务器和存储模块，所述拍摄设备摄取汽车展厅中的图片及视频数据并发送至人脸人体分析服务器进行处理和分析，人脸人体分析服务器包括行人检测模块、行人重识别模块和分析模块，存储模块包括若干个数据库，所述人检测单元和行人重识别模块依据所述拍摄设备的图片及视频数据和所述数据库的存储数据进行处理和比对，更新所述数据库并为所述分析模块提供基础分析数据。本发明用于实现汽车展厅客流检测与分析，结合人脸识别和行人重识别各自优势，为客流分析提供了数据基础；提供多维度的客流分析方法，从顾客画像、参观轨迹、感兴趣车型、到店次数各个维度为营销决策提供依据。
Description
技术领域
本发明涉及基于计算机视觉人脸识别、行人重识别和目标识别技术领域，特别是一种适用于汽车展厅客流检测与分析的***、方法及存储介质，通过人脸识别和行人重识别识别汽车展厅中的顾客，分析顾客人群画像，顾客停留时长、顾客行动轨迹等客流指标。
背景技术
通过分析汽车展厅顾客的到店时间，停留时长，参观轨迹，到店次数等数据，洞察热点车型，潜在顾客画像，是汽车营销中获得客流信息的有效手段，在汽车销售营销决策中具有重要价值和意义。
基于监控视频或图像的行人检测、人脸识别、行人重识别是开展客流检测和分析最有效的手段。人脸识别和行人重识别是识别展厅顾客的关键技术。人脸识别作为一种基于人的脸部特征进行身份识别的生物识别技术，其具有唯一、长期有效性的优势，但人脸图像采集仍存在遮挡、光照、角度、以及分辨率的问题。在配合式人脸采集环境下，现有的人脸识别已能达到较高精度。行人重识别利用计算机视觉技术判断图像或视频中存在特定行人的技术，其利用人体全部信息实现身份识别，具有对图像采集硬件要求低，受遮挡、分辨率影响小的优势，但行人特征受服装影响大，行人服装变换会导致识别失败。
人脸识别，行人重识别都是目前基于计算机视觉技术实现汽车展厅客流检测与分析的可选方案。基于人脸识别实现汽车展厅客流检测和分析，需要在汽车展厅的入口、前台、汽车展位、洽谈室等顾客出现区域安装可抓拍人脸的摄像机，检测图像或视频中出现的人脸，通过和已知人脸库中的人脸比对，识别出顾客。不同于汽车站、火车站、机场等人脸识别应用场景，汽车展厅场景中，顾客人脸采集只能是非配合式采集方式，采集到的人脸在角度、光照、遮挡等方面都无法保障质量，导致人脸识别精度的不确定。不同于汽车站、火车站、飞机场等场景只需要在指定位置部署人脸采集摄像机就可以完成人脸识别的硬件部署，汽车展厅场景中要基于人脸识别技术实现客流检测和分析，达到通过识别顾客，检测到顾客进店时间、离开时间、顾客感兴趣车型、以及顾客参观轨迹，需要在顾客可能出现地点/位置部署人脸摄像头。目前人脸摄像头成本较高，实施方案存在成本高的问题。
行人重识别技术利用人体特征识别行人，和人脸识别技术相比，行人图像采集对设备要求不高，普通监控摄像机即可以满足图像采集要求。目前大部分的汽车展厅都安装有用于安防监控目的摄像机或摄像头，实现基于行人重识别的顾客客流检测与分析则可以利用现有监控设备，可大量节省***硬件成本。但受制于行人重识别技术无法满足服装转换下的行人身份识别问题，单纯利用行人重识别无法进行顾客二次到店的统计。
为此，本专利针对汽车展厅客流检测与分析需要，提出一种基于人脸识别和行人重识别的客流检测与分析方法、***。
发明内容
本发明上述问题，提供一种汽车展厅客流检测与分析***。本发明的技术方案为：
一种汽车展厅客流检测与分析***，包括拍摄设备、人脸人体分析服务器和存储模块，所述拍摄设备摄取汽车展厅中的图片及视频数据并发送至所述人脸人体分析服务器进行处理和分析，所述人脸人体分析服务器包括行人检测模块、行人重识别模块和分析模块，所述存储模块包括若干个数据库，所述人检测单元和行人重识别模块依据所述拍摄设备的图片及视频数据和所述数据库的存储数据进行处理和比对，更新所述数据库并为所述分析模块提供基础分析数据。
作为本发明进一步地说明，所述拍摄设备包括人脸卡口设备和监控设备。
更进一步地，所述人脸卡口设备的数量少于所述监控设备的数量，所述监控设备为汽车展厅的现有设备。
更进一步地，所述人脸人体分析服务器包括大数据分析挖掘服务器，以获得识别顾客的相应信息。
更进一步地，还包括用以获得分析模块的分析结果的业务端设备，业务端设备主要包含业务服务器、PC工作台和智能手机APP等
本发明的另一方面，提供一种利用上述***实现的汽车展厅客流检测与分析方法，包括如下步骤：
S001，搭建***的硬件组成，结合汽车展厅现有的监控设备的部署情况，将适量的人脸卡口设备设置在汽车展厅的若干个适当位置。如在展厅入口部署海康威视人脸摄像机，在展厅其他区域利用现有监控设备；
S002，搭建***的人脸人体分析服务器，训练行人检测网络模型和行人重识别网络模型；
S003，建立存储模块中相应的顾客人体库、顾客人脸库、顾客信息库、销售人员人脸库和销售人员人体库等数据库；
S004，所述拍摄设备上传图片及视频数据；
S005，人脸人体分析服务器通过所述行人检测网络模型对所述待处理图像进行行人检测，得到图像中所有满足条件的人体在图像中的坐标，裁剪得到人体图。
S006，人脸人体分析服务器通过所述行人重识别网络模型比对所述存储模块中各数据库的信息，对所述人体图进行人脸识别和行人重识别；
S007，更新顾客信息库；
S008，循环执行步骤S005-S007，选择执行步骤S009；
S009，客流分析。
作为本发明进一步地说明，所述步骤S002中，利用Caltech PedestrianDetection数据集训练SSD目标检测网络作为预训练模型；采集汽车展厅人脸卡口摄像机和普通监控摄像机的视频，提取关键帧标注行人作为训练样本，利用迁移学习方法训练SSD预训练模型，构建行人检测深度网络。
更进一步地，所述步骤S002中，训练基于全局特征和局部特征融合的行人重识别神经网络。通过ResNet50模型在共享特征图上进行水平切块池化，以此将全局特征向量和局部特征向量融合作为输出的行人特征向量，并利用hardtriplet loss、softmax loss和rang loss三种损失函数共同训练行人重识别网络；利用ImageNet预训练ResNet50模型，汇总Market1501数据集、DukeMTMC-reid数据集和CUHK03数据集和自有的汽车展厅数据集，训练行人重识别网络。
更进一步地，所述ResNet50模型为改进的ResNet50模型，改进方式为去掉全连接层和将layer_4的conv层的stride由2降为1，并添加conv3x3和BN层。
本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被计算机或者网络服务器运行结合本发明的硬件***以实现汽车展厅客流检测与分析方法。
本发明的有益效果：
1)本方案利用汽车展厅现有图像采集设备，采用少量人脸卡口和大量普通监控摄像机相结合的图像采集硬件部署方案，在满足汽车展厅客流检测与分析应用下，节省了硬件投资成本；
2)本发明结合人脸识别和行人重识别各自优势，人脸识别弥补行人重识别易受着装影响的不足，行人重识别弥补了人脸识别易受遮挡、光照、人脸姿态影响的不足，为客流分析提供了数据基础；
3)本方案提供了多维度的客流分析方法，从顾客画像、参观轨迹、感兴趣车型、到店次数各个维度为营销决策提供依据。
附图说明
图1为本发明***的硬件结构示意图；
图2为本发明方法的流程图；
图3为本发明行人重识别网络结构图。
具体实施方式
下面结合附图对本发明实施例详细的说明，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”、“第一”、“第二”等指示的方位或位置或顺序关系为基于附图所示的方位或位置或顺序关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的汽车展厅客流检测与分析***，包括拍摄设备、人脸人体分析服务器和存储模块，所述拍摄设备摄取汽车展厅中的图片及视频数据并发送至所述人脸人体分析服务器进行处理和分析，所述人脸人体分析服务器包括行人检测模块、行人重识别模块和分析模块，所述存储模块包括若干个数据库，所述人检测单元和行人重识别模块依据所述拍摄设备的图片及视频数据和所述数据库的存储数据进行处理和比对，更新所述数据库并为所述分析模块提供基础分析数据。
为达到更好地识别效果，结合人脸识别和行人重识别各自的特点及优势，本发明的汽车展厅客流检测与分析***中所述拍摄设备分为两种，一种是人脸卡口设备，另一种为监控设备，由上述两种拍摄设备的不同分配和设置来共同完成汽车展厅中的图片及视频数据的采集获取。在实际应用中，由于大部分的汽车展厅都会安装现有的监控设备，因此本发明在硬件部署方面，尽可能利用汽车展厅现有的监控设备等硬件资源可以减少投资，改造成本地，仅需在现有汽车展厅中适当位置加设少量人脸卡口设备和搭建后台的人脸人体分析服务器即可，如在展厅入口部署海康威视人脸摄像机，在展厅其他区域利用现有监控设备。
在本发明后台的人脸人体分析服务器搭建中，所述行人检测模块包含行人检测深度网络模型，在其正式运行前，利用Caltech Pedestrian Detection数据集训练SSD目标检测网络作为预训练模型；采集汽车展厅人脸卡口摄像机和普通监控摄像机的视频，提取关键帧标注行人作为训练样本，利用迁移学习方法训练SSD预训练模型，构建行人检测深度网络。在本发明实施例的具体应用中，下载Caltech Pedestrian Detection数据集训练SSD网络作为行人检测的预训练模型，利用标注的汽车展厅数据集对SSD模型进行进一步的学习，主要超参设置和模型选择为：基础网络选择MobileNet，加入FPN模式以更好的学习特征，学习率初始值为0.0079，选择指数下降模式不断降低学习率，激活函数选ReLU,损失函数选择Focal Loss,损失函数主要由分类损失和定位损失组成。
在本发明后台的人脸人体分析服务器搭建中，所述行人重识别模块包含人重识别网络模型，在其正式运行前，训练基于全局特征和局部特征融合的行人重识别神经网络。通过改进的ResNet50模型在共享特征图上进行水平切块池化，以此将全局特征向量和局部特征向量融合作为输出的行人特征向量，并利用hardtriplet loss、softmax loss和rangloss三种损失函数共同训练行人重识别网络；利用ImageNet预训练ResNet50模型，汇总Market1501数据集、DukeMTMC-reid数据集和CUHK03数据集和自有的汽车展厅数据集，训练行人重识别网络。该过程中，改进ResNet50模型的具体方式为去掉全连接层和将layer_4的conv层的stride由2降为1，并添加conv3x3和BN层。
在本发明实施例的具体应用中，利用ImageNet数据集作为训练数据集，训练1000类别的ResNet50网络，使ResNet50有理想的初始值，理想的初始值使行人重识别网络更容易收敛且不易过拟合；
改进基于ResNet50的特征融合网络；去除全连接层并将res5a的stride由2降为1，以此增加特征图的分辨率，并在之后添加conv3x3、BN和RELU层，增强提取特征的鲁棒性，之后将特征图水平分割成6部分，分别进行conv3x3、BN、RELU和水平全局池化，得到局部特征向量，将局部特征向量进行拼接得到1536维的局部特征向量。记为mid-level feature；同时，将ResNet50中的res5c也做全局平均池化，池化后展开得到长度为2048的特征向量，记为high-level feature；将mid-level feature和high-level feature拼接得到长度为3584的特征向量，记为final feature；添加hard triplet损失函数；一种基于训练批量(Batch)的在线困难样本采样方法，对于每一个训练批次，随机挑选P个ID的行人，每个行人随机挑选K张不同的图片，即一个batch含有P×K张图片；对于batch中的每一张图片a，挑选一个最难的正样本和一个最难的负样本和a组成一个三元组；定义和a为相同ID的图片集为A，剩下不同ID的图片图片集为B，则hard triplet损失表示为：
m设定为0.3；hard triplet损失会计算a和batch中的每一张图片在特征空间final feature的欧式距离，然后选出与a距离最远即最不像的正样本p和距离最近即最像的负样本n来计算三元组损失，hard triplet损失效果比传统的三元组损失要好；
添加softmax损失函数；softmax在分类问题上有非常好的表现，将每一个行人作为一个类别进行训练，Market1501训练集中共751个人，因此在final feature之后加一层全连接层，得到长度为751的fc-class；softmax loss作用于fc-class上；添加ring损失函数；一种原用于人脸识别的辅助损失函数，Ring loss将特征final feature限制到缩放后的单位圆上，同时能保持凸性，来得到更稳健的特征；其定义如下
这里λ取0.005，m为训练批次大小，即P*K，R是可训练参数，初始值为1；
预处理Market1501数据集；每一个训练批次，随机挑选P＝16个ID的行人，每个行人随机挑选K＝4张不同的图片，即一个batch含有P*K＝64张图片；图片随机裁剪成128*256大小，每张图片有概率地进行水平翻转和有概率的随机遮挡，并归一化图片像素值；
加载预训练模型参数到本发明中修改过的ResNet50中，使用预处理过的数据集，三重损失值相加为最终损失值，利用Adam算法优化模型，迭代更新神经网络权重，直至模型收敛；最终，该模型在Market1501上取得rank1为92.2％的精度。
本发明的存储模块构建了多个数据库，用于人脸人体分析服务器的数据处理比对和结果数据的存储。具体在本发明实施例的方案中搭建了顾客人体库、顾客人脸库、顾客信息库、销售人员人脸库和销售人员人体库。所述人脸人体分析服务器提取的顾客人体特征和顾客人脸特征分别存储在所述顾客人体库和顾客人脸库中，并相应分配顾客ID；所述顾客信息库中记录的顾客信息对应与所述顾客人体库和顾客人脸库，包括对应顾客人体库的ID，顾客人脸库的ID，年龄，性别，出现时间，位置等；所述销售人员人脸库通过拍摄销售人员的人体图，送入人脸识别网络提取人脸特征，以展厅ID+序号的形式命名存储；所述销售人员人体库通过拍摄销售人员的人体图，送入行人重识别网络提取人体特征，以展厅ID+序号的形式命名存储。
参见附图1，本发明的实施例中，所述人脸人体分析服务器应用到了大数据分析挖掘服务器，以获得识别顾客的相应信息。另外，在该实施例中，包含了业务端设备，用以获得分析模块的分析结果，以进行业务分析和拓展，实施例中的业务端设备主要包含业务服务器、PC工作台和智能手机APP等。
附图2为展现本发明应用上述***进行汽车展厅客流检测与分析的方法流程，该方法包括以下步骤：
S001，搭建***的硬件组成，结合汽车展厅现有的监控设备的部署情况，将适量的人脸卡口设备设置在汽车展厅的若干个适当位置。如在展厅入口部署海康威视人脸摄像机，在展厅其他区域利用现有监控设备。
S002，搭建***的人脸人体分析服务器，训练行人检测网络模型和行人重识别网络模型。
S003，建立存储模块中相应的顾客人体库、顾客人脸库、顾客信息库、销售人员人脸库和销售人员人体库等数据库。
S004，所述拍摄设备上传图片及视频数据：拍摄设备按抽帧法上传待处理图像到云服务器，上传的图像携带图像采集设备的编号、采集时间，图像保存到云服务器图像数据库中，图像文件名字采用监控设备ID+时间的命名方式。
S005，人脸人体分析服务器通过所述行人检测网络模型对所述待处理图像进行行人检测，得到图像中所有满足条件的人体在图像中的坐标，裁剪得到人体图。
S006，人脸人体分析服务器通过所述行人重识别网络模型比对所述存储模块中各数据库的信息，对所述人体图进行人脸识别和行人重识别。具体地：
人脸识别：裁剪的人体图送入人脸识别模块，如检测到人脸，则提取人脸特征，和销售人脸库比对，匹配到人脸则该人是销售，不做处理；如果匹配不成功，则和顾客人脸库比对，如匹配成功，则返回对应已有顾客人脸ID；如匹配不成功，则人脸特征加入顾客人脸库，新增顾客人脸ID，顾客人体库中加入裁剪人体的特征(行人重识别网络提取特征)；如无法检测到人脸，则转到行人重识别步骤；
行人重识别：裁剪的人体图送入行人重识别网络，提取人体特征，和销售人体库计算欧式距离，取欧式距离最小且满足阈值Tb的ID为销售人员ID，放弃该人体；如无法在销售人体库中匹配到，则和顾客人体库匹配，匹配成功则返回对应已有顾客人体ID；匹配不成功则加入顾客人体库，新增顾客人体ID。
S007，更新顾客信息库：组合人脸识别步骤的人脸ID，行人重识别步骤的人体ID，人体属性识别步骤的年龄、性别，行人检测步骤的位置坐标，待识别图像的时间信息、和监控设备编号(地点)信息为一条记录，加入顾客信息库。
S008，循环执行步骤S005-S007，选择执行步骤S009。
S009，客流分析：统计顾客信息库中记录的某个顾客出现的监控设备编号、时间信息，生成该顾客的参观路线，参观时长；统计顾客信息库中多个顾客的性别、年龄信息，生成顾客年龄、性别分布，顾客画像。
上述流程可以看出，本发明还应当包含一种计算机可读介质，其上存储有计算机程序，该程序可以被计算机或者网络服务器运行，结合本发明的硬件***以实现汽车展厅客流检测与分析方法。
以上仅就本发明较佳的实施例作了说明，但不能理解为是对权利要求的限制。本发明不仅局限于以上实施例，其具体结构允许有变化，总之，凡在本发明独立权利要求的保护范围内所作的各种变化均在本发明的保护范围内。
Claims (10)
1.一种汽车展厅客流检测与分析***，其特征在于：包括拍摄设备、人脸人体分析服务器和存储模块，所述拍摄设备摄取汽车展厅中的图片及视频数据并发送至所述人脸人体分析服务器进行处理和分析，所述人脸人体分析服务器包括行人检测模块、行人重识别模块和分析模块，所述存储模块包括若干个数据库，所述人检测单元和行人重识别模块依据所述拍摄设备的图片及视频数据和所述数据库的存储数据进行处理和比对，更新所述数据库并为所述分析模块提供基础分析数据。
2.根据权利要求1所述的汽车展厅客流检测与分析***，其特征在于：所述拍摄设备包括人脸卡口设备和监控设备。
3.根据权利要求2所述的汽车展厅客流检测与分析***，其特征在于：所述人脸卡口设备的数量少于所述监控设备的数量，所述监控设备为汽车展厅的现有设备。
4.根据权利要求2所述的汽车展厅客流检测与分析***，其特征在于：所述人脸人体分析服务器包括大数据分析挖掘服务器，以获得识别顾客的相应信息。
5.根据权利要求2所述的汽车展厅客流检测与分析***，其特征在于：还包括用以获得分析模块的分析结果的业务端设备，业务端设备主要包含业务服务器、PC工作台和智能手机APP等。
6.一种利用权利要求1-5任一所述***的汽车展厅客流检测与分析方法，其特征在于：包括如下步骤：
S001，搭建***的硬件组成，结合汽车展厅现有的监控设备的部署情况，将适量的人脸卡口设备设置在汽车展厅的若干个适当位置。如在展厅入口部署海康威视人脸摄像机，在展厅其他区域利用现有监控设备；
S002，搭建***的人脸人体分析服务器，训练行人检测网络模型和行人重识别网络模型；
S003，建立存储模块中相应的顾客人体库、顾客人脸库、顾客信息库、销售人员人脸库和销售人员人体库等数据库；
S004，所述拍摄设备上传图片及视频数据；
S005，人脸人体分析服务器通过所述行人检测网络模型对所述待处理图像进行行人检测，得到图像中所有满足条件的人体在图像中的坐标，裁剪得到人体图。
S006，人脸人体分析服务器通过所述行人重识别网络模型比对所述存储模块中各数据库的信息，对所述人体图进行人脸识别和行人重识别；
S007，更新顾客信息库；
S008，循环执行步骤S005-S007，选择执行步骤S009；
S009，客流分析。
7.根据权利要求6所述的汽车展厅客流检测与分析方法，其特征在于：所述步骤S002中，利用Caltech Pedestrian Detection数据集训练SSD目标检测网络作为预训练模型；采集汽车展厅人脸卡口摄像机和普通监控摄像机的视频，提取关键帧标注行人作为训练样本，利用迁移学习方法训练SSD预训练模型，构建行人检测深度网络。
8.根据权利要求6所述的汽车展厅客流检测与分析方法，其特征在于：所述步骤S002中，训练基于全局特征和局部特征融合的行人重识别神经网络。通过ResNet50模型在共享特征图上进行水平切块池化，以此将全局特征向量和局部特征向量融合作为输出的行人特征向量，并利用hardtriplet loss、softmax loss和rang loss三种损失函数共同训练行人重识别网络；利用ImageNet预训练ResNet50模型，汇总Market1501数据集、DukeMTMC-reid数据集和CUHK03数据集和自有的汽车展厅数据集，训练行人重识别网络。
9.根据权利要求8所述的汽车展厅客流检测与分析方法，其特征在于：所述ResNet50模型为改进的ResNet50模型，改进方式为去掉全连接层和将layer_4的conv层的stride由2降为1，并添加conv3x3和BN层。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于：该程序被计算机或者网络服务器运行以实现如权利要求6-9任一所述的汽车展厅客流检测与分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911394531.2A CN111241932A (zh) | 2019-12-30 | 2019-12-30 | 汽车展厅客流检测与分析***、方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911394531.2A CN111241932A (zh) | 2019-12-30 | 2019-12-30 | 汽车展厅客流检测与分析***、方法及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111241932A true CN111241932A (zh) | 2020-06-05 |
Family
ID=70865886
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911394531.2A Pending CN111241932A (zh) | 2019-12-30 | 2019-12-30 | 汽车展厅客流检测与分析***、方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111241932A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680638A (zh) * | 2020-06-11 | 2020-09-18 | 深圳北斗应用技术研究院有限公司 | 一种乘客路径识别方法和基于该方法的客流清分方法 |
| CN111783588A (zh) * | 2020-06-23 | 2020-10-16 | 大连中维世纪科技有限公司 | 一种分布式智能客流统计有效去重方法 |
| CN111784387A (zh) * | 2020-06-23 | 2020-10-16 | 大连中维世纪科技有限公司 | 一种基于多维度大数据的消费者品牌忠诚度分析方法 |
| CN111985367A (zh) * | 2020-08-07 | 2020-11-24 | 湖南大学 | 一种基于多尺度特征融合的行人重识别特征提取方法 |
| CN112257615A (zh) * | 2020-10-26 | 2021-01-22 | 上海数川数据科技有限公司 | 一种基于聚类的顾客数量统计方法 |
| CN112347907A (zh) * | 2020-11-05 | 2021-02-09 | 上海蜂雀网络科技有限公司 | 一种基于Reid和人脸识别技术的4S门店潜客行为分析*** |
| US20220108104A1 (en) * | 2020-10-02 | 2022-04-07 | Honda Motor Co., Ltd. | Method for recognizing recognition target person |
| CN114627434A (zh) * | 2022-03-30 | 2022-06-14 | 今日汽车信息技术有限公司 | 一种基于大数据的汽车销售展厅客流识别*** |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296307A (zh) * | 2016-08-24 | 2017-01-04 | 郑州天迈科技股份有限公司 | 基于人脸识别的电子站牌广告投放效果分析方法 |
| CN108805111A (zh) * | 2018-09-07 | 2018-11-13 | 杭州善贾科技有限公司 | 一种基于人脸识别的客流检测***及其检测方法 |
| CN109272347A (zh) * | 2018-08-16 | 2019-01-25 | 苏宁易购集团股份有限公司 | 一种门店客流量的统计分析方法及*** |
| CN109344787A (zh) * | 2018-10-15 | 2019-02-15 | 浙江工业大学 | 一种基于人脸识别与行人重识别的特定目标跟踪方法 |
| CN109492604A (zh) * | 2018-11-23 | 2019-03-19 | 北京嘉华科盈信息***有限公司 | 人脸模型特征统计分析*** |
| CN110175589A (zh) * | 2019-05-31 | 2019-08-27 | 陕西蜂狐智能家居科技有限公司 | 一种基于人脸比对摄像机的家居零售业信息共享平台 |
-
2019
- 2019-12-30 CN CN201911394531.2A patent/CN111241932A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106296307A (zh) * | 2016-08-24 | 2017-01-04 | 郑州天迈科技股份有限公司 | 基于人脸识别的电子站牌广告投放效果分析方法 |
| CN109272347A (zh) * | 2018-08-16 | 2019-01-25 | 苏宁易购集团股份有限公司 | 一种门店客流量的统计分析方法及*** |
| CN108805111A (zh) * | 2018-09-07 | 2018-11-13 | 杭州善贾科技有限公司 | 一种基于人脸识别的客流检测***及其检测方法 |
| CN109344787A (zh) * | 2018-10-15 | 2019-02-15 | 浙江工业大学 | 一种基于人脸识别与行人重识别的特定目标跟踪方法 |
| CN109492604A (zh) * | 2018-11-23 | 2019-03-19 | 北京嘉华科盈信息***有限公司 | 人脸模型特征统计分析*** |
| CN110175589A (zh) * | 2019-05-31 | 2019-08-27 | 陕西蜂狐智能家居科技有限公司 | 一种基于人脸比对摄像机的家居零售业信息共享平台 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111680638A (zh) * | 2020-06-11 | 2020-09-18 | 深圳北斗应用技术研究院有限公司 | 一种乘客路径识别方法和基于该方法的客流清分方法 |
| CN111783588A (zh) * | 2020-06-23 | 2020-10-16 | 大连中维世纪科技有限公司 | 一种分布式智能客流统计有效去重方法 |
| CN111784387A (zh) * | 2020-06-23 | 2020-10-16 | 大连中维世纪科技有限公司 | 一种基于多维度大数据的消费者品牌忠诚度分析方法 |
| CN111985367A (zh) * | 2020-08-07 | 2020-11-24 | 湖南大学 | 一种基于多尺度特征融合的行人重识别特征提取方法 |
| US20220108104A1 (en) * | 2020-10-02 | 2022-04-07 | Honda Motor Co., Ltd. | Method for recognizing recognition target person |
| CN112257615A (zh) * | 2020-10-26 | 2021-01-22 | 上海数川数据科技有限公司 | 一种基于聚类的顾客数量统计方法 |
| CN112257615B (zh) * | 2020-10-26 | 2023-01-03 | 上海数川数据科技有限公司 | 一种基于聚类的顾客数量统计方法 |
| CN112347907A (zh) * | 2020-11-05 | 2021-02-09 | 上海蜂雀网络科技有限公司 | 一种基于Reid和人脸识别技术的4S门店潜客行为分析*** |
| CN114627434A (zh) * | 2022-03-30 | 2022-06-14 | 今日汽车信息技术有限公司 | 一种基于大数据的汽车销售展厅客流识别*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111241932A (zh) | 汽车展厅客流检测与分析***、方法及存储介质 | |
| CN109934176B (zh) | 行人识别***、识别方法及计算机可读存储介质 | |
| CN109740413B (zh) | 行人重识别方法、装置、计算机设备及计算机存储介质 | |
| CN107093171B (zh) | 一种图像处理方法及装置、*** | |
| US11908238B2 (en) | Methods and systems for facial point-of-recognition (POR) provisioning | |
| US10140508B2 (en) | Method and apparatus for annotating a video stream comprising a sequence of frames | |
| CN101095149B (zh) | 图像比较设备和图像比较方法 | |
| CN105590097B (zh) | 暗视觉条件下双摄像头协同实时人脸识别安防***及方法 | |
| US20170213080A1 (en) | Methods and systems for automatically and accurately detecting human bodies in videos and/or images | |
| KR101781358B1 (ko) | 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법 | |
| CN110399835B (zh) | 一种人员停留时间的分析方法、装置及*** | |
| CN104601964A (zh) | 非重叠视域跨摄像机室内行人目标跟踪方法及*** | |
| JP2019109709A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN110796074B (zh) | 一种基于时空数据融合的行人再识别方法 | |
| CN111639616A (zh) | 一种基于深度学习的重身份识别方法 | |
| CN111985348B (zh) | 人脸识别方法和*** | |
| WO2021218671A1 (zh) | 目标跟踪方法及装置、存储介质及计算机程序 | |
| KR101943433B1 (ko) | 몽타주 인식을 통한 실시간 수배자 검출 시스템 | |
| CN113935358A (zh) | 一种行人追踪方法、设备和存储介质 | |
| CN111914762A (zh) | 基于步态信息的身份识别方法及装置 | |
| WO2023279799A1 (zh) | 对象识别方法、装置和电子*** | |
| CN116824641B (zh) | 姿态分类方法、装置、设备和计算机存储介质 | |
| CN113793362A (zh) | 基于多镜头视频的行人轨迹提取方法和装置 | |
| CN111160115B (zh) | 一种基于孪生双流3d卷积神经网络的视频行人再识别方法 | |
| CN111813995A (zh) | 一种基于时空关系的行人提取物品行为检测方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |