CN110070423A - 一种基于人脸识别及数据分析的精准营销*** - Google Patents

一种基于人脸识别及数据分析的精准营销*** Download PDF

Info

Publication number
CN110070423A
CN110070423A CN201910361380.4A CN201910361380A CN110070423A CN 110070423 A CN110070423 A CN 110070423A CN 201910361380 A CN201910361380 A CN 201910361380A CN 110070423 A CN110070423 A CN 110070423A
Authority
CN
China
Prior art keywords
face
face characteristic
characteristic
automatic
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910361380.4A
Other languages
English (en)
Inventor
文良均
刘凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910361380.4A priority Critical patent/CN110070423A/zh
Publication of CN110070423A publication Critical patent/CN110070423A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Geometry (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

一种基于人脸识别及数据分析的自动售卖机精准营销***，由自动人脸***、人脸库***、自动画像***、检索推荐***组成，自动人脸***检测人脸和人脸特征提取，人脸库***保存人脸特征及人脸特征相关信息，自动画像***依据人脸特征相关信息对其进行分析，检索推荐***根据自动画像***的分析结果进行商品的精准营销，提升了营销有效性，能有效提升自动售卖机的购物体验及商品销量；该***结构简单，硬件需求低，便于复制，适用于单机模式，***算法不受具体产品的约束，使得***使用于任何自动售卖机。

Description

一种基于人脸识别及数据分析的精准营销***
技术领域
本发明涉及精准营销***，具体涉及一种基于人脸识别及数据分析的精准营销***。
背景技术
市场经济的发展，人们生活水平的提高，购物行为越发普遍，更便民的自动售卖机也随处可见，自动售卖机商品的销量既与商品本身相关，更与制动售卖机营销推荐***息息相关；市场上普遍的营销推荐***对不同的顾客等同对待，使得营销有效性低，购物体验不理想，从而直接影响到自动售卖机的商品销量。
发明内容
本发明的目的在于提供一种基于人脸识别及数据分析的自动售卖机精准营销***，通过人脸识别的方式，完成对顾客的画像，对每位顾客进行定制化营销方案，实现精准营销。
本发明目的按如下技术方案实现：
一种基于人脸识别及数据分析的自动售卖机精准营销***，包括自动人脸***、人脸库***、自动画像***、检索推荐***；
所述自动售卖机安装高清摄像头，实时获取自动售卖机前图像；
所述自动人脸***，指通过人脸识别模型和人脸特征模型完成图像中的人脸识别和人脸特征提取；
所述人脸识别模型和人脸特征模型均为卷积神经网络模型，线下训练得到；
所述人脸库***，指对提取的人脸特征在人脸信息库中进行存储和分类，包括入库操作、记录操作、查询操作、购物习惯更新操作；
所述人脸信息库，每条信息包括人脸特征、人脸特征对应的购物信息栏及人脸特征对应的购物习惯栏，以人脸特征为索引；
所述入库操作，指对人脸特征进行人脸信息库内查找，查找失败，则新增信息，保存人脸特征；查找成功不做任何处理；
所述记录操作，指对人脸特征对应的顾客的购物信息保存于人脸信息库中人脸特征对应的购物信息栏；
所述购物信息包括顾客购物时间、购物总时长、顾客关注过商品种类及顾客购买商品种类；
所述查询操作，指使用人脸特征在人脸信息库内查找，获取人脸特征对应的购物习惯信息；若购物习惯信息为空，则获取失败；
所述购物习惯更新，指将顾客的购物习惯保存于人脸信息库中顾客的人脸特征对应的购物习惯栏；
所述人脸信息库内查找为遍历比较人脸特征间距离，距离最小且小于门限值为查找成功，反之，查找失败；所述距离计算公式：
Lij＝1+exp(-1·||(Vi-Vj)||2)
其中，人脸特征采用欧式距离
Lij为归一化欧式距离，取值范围为[0,1)；
所述自动画像***，指依据人脸特征所记录的购物信息，使用数据分析中的统计分析方法和平均法分析其购买习惯；
所述购买习惯包括习惯购物时间及兴趣商品种类；
所述检索推荐***，指通过人脸特征使用人脸库***的查询操作，获取该人脸特征对应顾客的购买习惯，结合当前的营销方案进行精准营销；
更优的，一种基于人脸识别及数据分析的自动售卖机精准营销***，其完成一次工作总体流程如下：
S101、自动人脸***监测实时图像，人脸识别模型开始检测到人脸；
S102、自动人脸***使用人脸特征模型完成人脸特征的提取；
S103、自动人脸***使用人脸库***的入库操作，完成人脸特征的存储；
S104、自动人脸***触发检索推荐***；
S105、检索推荐***通过人脸特征使用人脸库***的查询操作，获取该人脸特征对应顾客的购买习惯，如获取失败，则不进行精准营销推荐，若获取成功，则结合当前的营销方案进行精准营销；
S106、自动人脸***监测实时图像，人脸识别模型检测人脸失败；触发人脸库***的记录操作；
S107、人脸库***使用记录操作完成人脸特征对应顾客的购物信息；触发自动画像***；
S108、自动画像***依据人脸特征所记录的购物信息，分析其购物习惯，触发人脸库***的购物习惯更新操作进行存储方便下次查询。
更优的，一种基于人脸识别及数据分析的自动售卖机精准营销***，所述人脸识别模型输入为实时图像，输出实时图像及对应的人脸数、人脸位置；
所述人脸位置为人脸矩形框和关键点坐标；所述关键点坐标包括左右眼、鼻子、嘴巴位置坐标。
更优的，一种基于人脸识别及数据分析的自动售卖机精准营销***，所述人脸特征模型输入实时图像及人脸位置，输出人脸特征。
更优的，所述人脸特征为256维归一化行向量，归一化公式如下：
式中，V＝(x1,x2,...,x256)为归一化前256维人脸特征，为归一化后人脸特征；
更优的，一种基于人脸识别及数据分析的自动售卖机精准营销***，所述人脸库***的入库操作，对人脸特征进行人脸信息库内查找，查找失败，则新增信息，保存人脸特征；查找成功，替换人脸特征。
本发明具有如下有益效果：
本发明提供了一种基于人脸识别及数据分析的自动售卖机精准营销***，通过顾客的自动人脸识别和顾客信息的记录分析整理，实现了对客户的无感精准营销、不需要客户登记填写资料等等，大大地提升了营销有效性，能有效提升自动售卖机的购物体验及商品销量；***采用自动人脸***、人脸库***、自动画像***、检索推荐***五个分***，结构简单，硬件需求低，便于复制，适用于单机模式；***对顾客的画像采用统计分析方法和平均法，不受具体产品的约束，使得***使用于任何自动售卖机。
附图说明
图1：基于人脸识别及数据分析的自动售卖机精准营销***工作流程图。
具体实施方式
下面通过实施例对本发明进行具体的描述，有必要在此指出的是以下实施例只用于对本发明进行进一步说明，不能理解为对本发明保护范围的限制，该领域的技术人员可以根据上述本发明内容对本发明作出一些非本质的改进和调整。
实施例1
一种安装有高清摄像头的基于人脸识别及数据分析的自动售卖机精准营销***，能实时获取自动售卖机前图像；由自动人脸***、人脸库***、自动画像***、检索推荐***组成；
自动人脸***，含有人脸识别模型和人脸特征模型，完成图像中的人脸识别和人脸特征提取；
人脸识别模型和人脸特征模型均为卷积神经网络模型，模型参数通过线下预训练完成；人脸识别模型输入为实时图像，输出实时图像及对应的人脸数、人脸位置；人脸位置为人脸矩形框和关键点坐标；其中关键点坐标包括左右眼、鼻子、嘴巴位置坐标；人脸特征模型输入实时图像及人脸位置，输出人脸特征，人脸特征为256维归一化行向量，归一化公式如下：
式中，V＝(x1,x2,...,x256)为归一化前256维人脸特征，为归一化后人脸特征；
所述人脸位置为人脸矩形框和关键点坐标；所述关键点坐标包括左右眼、鼻子、嘴巴位置坐标。
人脸库***，负责提取的人脸特征在人脸信息库中进行存储和分类，包括入库操作、记录操作、查询操作、购物习惯更新操作；
人脸信息库以信息为基本单位进行存储，每条信息包括人脸特征、人脸特征对应的购物信息栏及人脸特征对应的购物习惯栏，并以人脸特征为索引；
入库操作，为对人脸特征进行人脸信息库内查找，查找失败，则新增信息，保存人脸特征；查找成功则替换人脸特征；记录操作，将人脸特征对应的顾客的购物信息保存于人脸信息库中人脸特征对应的购物信息栏；查询操作，指使用人脸特征在人脸信息库内查找，获取人脸特征对应的购物习惯信息；若购物习惯信息为空，则获取失败；购物习惯更新操作负责将顾客的购物习惯保存于人脸信息库中顾客的人脸特征对应的购物习惯栏；
其中购物信息包括顾客购物时间、购物总时长、顾客关注过商品种类及顾客购买商品种类；
人脸信息库内查找为使用人脸特征与人脸信息库中所有人脸特征计算距离，查找距离最小且小于门限值为查找成功，反之，查找失败；其中距离计算公式：
Lij＝1+exp(-1·||(Vi-Vj)||2)
其中，人脸特征采用欧式距离
Lij为归一化欧式距离，取值范围为[0,1)；
自动画像***依据人脸特征所记录的购物信息，使用数据分析中的统计分析方法和平均法分析其购买习惯；购买习惯包括习惯购物时间及兴趣商品种类；
在检索推荐***中，通过人脸特征使用人脸库***的查询操作，获取该人脸特征对应顾客的购买习惯，结合当前的营销方案进行精准营销；
当顾客来到自动售卖机前进行购物行为时，如图1所示，基于人脸识别及数据分析的自动售卖机精准营销***完成一次工作的流程如下：
S101、自动人脸***监测实时图像，人脸识别模型开始检测到人脸；顾客进入摄像头画面；
S102、自动人脸***使用人脸特征模型完成人脸特征的提取；
S103、自动人脸***使用人脸库***的入库操作，完成人脸特征的存储；
S104、自动人脸***触发检索推荐***；
S105、检索推荐***通过人脸特征使用人脸库***的查询操作，获取该人脸特征对应顾客的购买习惯，如获取失败，则不进行精准营销推荐，若获取成功，则结合当前的营销方案进行精准营销；如顾客的兴趣商品种类为水果，则***将当前的水果新品或者关于水果的优惠活动进行推荐，若顾客的兴趣商品种类为蔬菜，则***将当前的蔬菜相关的新品或者优惠活动进行推荐；
S106、自动人脸***监测实时图像，人脸识别模型检测人脸失败；此时顾客购物完成离开，触发人脸库***的记录操作；
S107、人脸库***使用记录操作完成人脸特征对应顾客的购物信息；触发自动画像***；
S108、自动画像***依据人脸特征所记录的购物信息，分析其购物习惯，触发人脸库***的购物习惯更新操作进行存储方便下次查询。
其中，步骤S101中，通过前一帧图像人脸检测失败，当前帧人脸检测成功可以判断顾客来临；步骤S106中，通过前一帧图像人流检测成功，当前帧人脸检测失败，可以判断顾客购物结束并离开。

Claims (6)

1.一种基于人脸识别及数据分析的自动售卖机精准营销***，其特征在于：它由自动人脸***、人脸库***、自动画像***、检索推荐***组成；
所述自动售卖机可安装高清摄像头，实时获取自动售卖机前图像；
所述自动人脸***，通过人脸识别模型和人脸特征模型完成图像中的人脸识别和人脸特征提取；
所述人脸识别模型和人脸特征模型均为卷积神经网络模型，线下训练得到；
所述人脸库***，对提取的人脸特征在人脸信息库中进行存储和分类，包括入库操作、记录操作、查询操作、购物习惯更新操作；
所述人脸信息库，每条信息包括人脸特征、人脸特征对应的购物信息栏及人脸特征对应的购物习惯栏，以人脸特征为索引；
所述入库操作，对人脸特征进行人脸信息库内查找，查找失败，则新增信息，保存人脸特征；查找成功不做任何处理；
所述记录操作，对人脸特征对应的顾客的购物信息保存于人脸信息库中人脸特征对应的购物信息栏；
所述购物信息包括顾客购物时间、购物总时长、顾客关注过商品种类及顾客购买商品种类；
所述查询操作，使用人脸特征在人脸信息库内查找，获取人脸特征对应的购物习惯信息；若购物习惯信息为空，则获取失败；
所述购物习惯更新操作，将顾客的购物习惯保存于人脸信息库中顾客的人脸特征对应的购物习惯栏；
所述人脸信息库内查找为遍历比较人脸特征间距离，距离最小且小于门限值为查找成功，反之，查找失败；所述距离计算公式：
Lij＝1+exp(-1·||(Vi-Vj)||2)
其中，人脸特征采用欧式距离
Lij为归一化欧式距离。
所述自动画像***，依据人脸特征所记录的购物信息，使用统计分析方法和平均法分析其购买习惯；所述购买习惯包括习惯购物时间及兴趣商品种类；
所述检索推荐***，通过人脸特征使用人脸库***的查询操作，获取该人脸特征对应顾客的购买习惯，结合当前的营销方案进行精准营销。
2.如权利要求1所述的精准营销***，其特征在于，它完成一次工作总体流程如下：
S101、自动人脸***监测实时图像，人脸识别模型开始检测到人脸；
S102、自动人脸***使用人脸特征模型完成人脸特征的提取；
S103、自动人脸***使用人脸库***的入库操作，完成人脸特征的存储；
S104、自动人脸***触发检索推荐***；
S105、检索推荐***通过人脸特征使用人脸库***的查询操作，获取该人脸特征对应顾客的购买习惯，如获取失败，则不进行精准营销推荐，若获取成功，则结合当前的营销方案进行精准营销；
S106、自动人脸***监测实时图像，人脸识别模型检测人脸失败；触发人脸库***的记录操作；
S107、人脸库***使用记录操作完成人脸特征对应顾客的购物信息；触发自动画像***；
S108、自动画像***依据人脸特征所记录的购物信息，分析其购物习惯，触发人脸库***的购物习惯更新操作进行存储方便下次查询。
3.如权利要求2所述的精准营销***，其特征在于：所述人脸识别模型输入为实时图像，输出实时图像及对应的人脸数、人脸位置；
所述人脸位置为人脸矩形框和关键点坐标；所述关键点坐标包括左右眼、鼻子、嘴巴位置坐标。
4.如权利要求3所述的精准营销***，其特征在于：所述人脸特征模型输入实时图像及人脸位置，输出人脸特征。
5.如权利要求4所述的精准营销***，其特征在于：所述人脸特征为256维归一化行向量，归一化公式如下：
式中，V＝(x1,x2,...,x256)为归一化前256维人脸特征，为归一化后人脸特征。
6.如权利要求5所述的精准营销***，其特征在于：所述人脸库***的入库操作，对人脸特征进行人脸信息库内查找，查找失败，则新增信息，保存人脸特征；查找成功，替换人脸特征。
CN201910361380.4A 2019-04-30 2019-04-30 一种基于人脸识别及数据分析的精准营销*** Pending CN110070423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910361380.4A CN110070423A (zh) 2019-04-30 2019-04-30 一种基于人脸识别及数据分析的精准营销***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910361380.4A CN110070423A (zh) 2019-04-30 2019-04-30 一种基于人脸识别及数据分析的精准营销***

Publications (1)

Publication Number Publication Date
CN110070423A true CN110070423A (zh) 2019-07-30

Family

ID=67369762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910361380.4A Pending CN110070423A (zh) 2019-04-30 2019-04-30 一种基于人脸识别及数据分析的精准营销***

Country Status (1)

Country Link
CN (1) CN110070423A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823378A (zh) * 2023-03-24 2023-09-29 深圳市丰宜科技有限公司 无人零售设备可视化营销方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120076422A1 (en) * 2010-09-28 2012-03-29 Futurewei Technologies, Inc. System and Method for Image Authentication
CN203773629U (zh) * 2013-11-06 2014-08-13 上海煦荣信息技术有限公司 一种智能化的自助售货***
CN106845421A (zh) * 2017-01-22 2017-06-13 北京飞搜科技有限公司 基于多区域特征与度量学习的人脸特征识别方法及***
CN107808119A (zh) * 2017-09-29 2018-03-16 嘉兴川森智能科技有限公司 自动售货机中的人脸识别***和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120076422A1 (en) * 2010-09-28 2012-03-29 Futurewei Technologies, Inc. System and Method for Image Authentication
CN203773629U (zh) * 2013-11-06 2014-08-13 上海煦荣信息技术有限公司 一种智能化的自助售货***
CN106845421A (zh) * 2017-01-22 2017-06-13 北京飞搜科技有限公司 基于多区域特征与度量学习的人脸特征识别方法及***
CN107808119A (zh) * 2017-09-29 2018-03-16 嘉兴川森智能科技有限公司 自动售货机中的人脸识别***和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116823378A (zh) * 2023-03-24 2023-09-29 深圳市丰宜科技有限公司 无人零售设备可视化营销方法

Similar Documents

Publication Publication Date Title
CN108090433B (zh) 人脸识别方法及装置、存储介质、处理器
US11790433B2 (en) Constructing shopper carts using video surveillance
Blunsden et al. The BEHAVE video dataset: ground truthed video for multi-person behavior classification
CN109165992A (zh) 一种智能导购方法、装置、***及计算机存储介质
JP2021515333A (ja) ユーザによって購入された商品を識別するための方法および装置ならびにインテリジェント棚システム
CN113674037B (zh) 一种基于购物行为的数据采集和推荐方法
CN106776619A (zh) 用于确定目标对象的属性信息的方法和装置
CN106355154B (zh) 一种监控视频中检测频繁过人的方法
KR102664008B1 (ko) 시각 정보에 기초한 고객 아이템 추천 방법 및 장치
CN111212303A (zh) 视频推荐方法、服务器和计算机可读存储介质
CN112016485A (zh) 一种基于人脸识别的客流统计方法和***
CN108230102A (zh) 一种商品关注度调整方法及装置
CN109493146A (zh) 广告投放方法及装置
CN114783037B (zh) 目标重识别方法、目标重识别装置和计算机可读存储介质
CN114692593B (zh) 一种网络信息安全监测预警方法
CN108875549A (zh) 图像识别方法、装置、***及计算机存储介质
CN110070423A (zh) 一种基于人脸识别及数据分析的精准营销***
Mohammad et al. Searching surveillance video contents using convolutional neural network
CN116777569B (zh) 基于区块链的商品大数据语音介绍和智能结账方法及***
CN105335630B (zh) 身份识别方法及身份识别装置
CN113887884A (zh) 商超服务***
CN112347907A (zh) 一种基于Reid和人脸识别技术的4S门店潜客行为分析***
CN112883775A (zh) 商铺销售数据分析方法、装置、电子设备及存储介质
CN117151826A (zh) 多模态电商商品对齐方法、装置、电子设备及存储介质
CN108830183A (zh) 一种无人超市的商品管理方法、装置以及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190730

RJ01 Rejection of invention patent application after publication