CN109767262B - 一种用于广告屏的三维人脸表情识别打分评估方法 - Google Patents

一种用于广告屏的三维人脸表情识别打分评估方法 Download PDF

Info

Publication number
CN109767262B
CN109767262B CN201811550605.2A CN201811550605A CN109767262B CN 109767262 B CN109767262 B CN 109767262B CN 201811550605 A CN201811550605 A CN 201811550605A CN 109767262 B CN109767262 B CN 109767262B
Authority
CN
China
Prior art keywords
processing unit
central processing
camera
dimensional
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811550605.2A
Other languages
English (en)
Other versions
CN109767262A (zh
Inventor
王金伟
胡步发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liming Vocational University
Original Assignee
Liming Vocational University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liming Vocational University filed Critical Liming Vocational University
Priority to CN201811550605.2A priority Critical patent/CN109767262B/zh
Publication of CN109767262A publication Critical patent/CN109767262A/zh
Application granted granted Critical
Publication of CN109767262B publication Critical patent/CN109767262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种用于广告屏的三维人脸表情识别打分评估方法，所述广告屏具有显示屏、支撑架、控制器、中央处理器、摄像机、人体红外传感器和无线通信模块，所述摄像机设置在显示屏的两侧，所述方法包括如下步骤:(1)、所述控制器根据显示屏的高度调节相机的角度；(2)、所述人体红外传感器检测到广告屏前有人通过时，控制器控制摄像机拍摄图片；(3)、所述中央处理器提取图像中的人脸区域，并进行三维人脸重建；(4)、中央处理器将重建后的三维人脸按表情进行分类，对不同类别中的表情进行评分；(5)、所述无线通信模块将评分结果发送到移动终端。本发明能够准确的判断用于对广告的喜欢程度。

Description

一种用于广告屏的三维人脸表情识别打分评估方法
技术领域
本发明所属人脸识别技术领域，涉及一种用于广告屏的三维人脸表情识别打分评估方法。
背景技术
在公共场所，游客观看显示屏上的广告，通过摄像头采集到的人脸情图像，再通过上述提出的识别方法，对游客表情进行分析，判断游客对广告的感兴趣程度。当游客出现厌恶、愤怒、中性时，表示游客对广告不感兴趣，否则为感兴趣，通过人脸表情识别对游客(顾客) 观看广告时的满意度分析。***会实时采集数据并收集，事后对收集到的信息按月进行统计分析，对投放的广告按满意度排序，可以参考该排序，合理的安排下个阶段的广告投放。这样可以有效提高广告投放的针对性和宣传效果，降低成本，提高效益。
现有技术的不足：
CN201210006449视觉广告效果评估***及方法：通过行人流量、行人观看比例以及行人观看时间数据来判断广告效果，而人流量主要受地段的影响，行人观看比例主要受广告的摆放位置和方向，行人观看时间主要受行人本身时间等其它因素的影响，虽然也可以大致的判断此广告的大致效果，但不能准确的判断此广告是否受客户喜爱程度。
CN201611027268广告质量评估方法及装置：用户的表情与预设定的表情匹配时，判断用户喜爱该广告，但人脸表情变化比较丰富，稍微变化可能就无法与预设定的表情匹配，影响广告质量评估的准确性。
发明内容
针对上述问题，本发明提供了一种用于广告屏的三维人脸表情识别打分评估方法，采用三维人脸表情识别，克服二维人脸表情受姿态、光照等因素的影响。
为实现以上目的，本发明采用下述技术方案：
一种用于广告屏的三维人脸表情识别打分评估方法，所述广告屏具有显示屏、支撑架、控制器、中央处理器、摄像机、人体红外传感器和无线通信模块，所述摄像机设置在显示屏的两侧，
所述方法包括如下步骤:
S1、所述控制器根据显示屏的高度调节相机的角度；
S2、所述人体红外传感器检测到广告屏前有人通过时，控制器控制摄像机拍摄图片；
S3、所述中央处理器提取图像中的人脸区域，并进行三维人脸重建；
S4、中央处理器将重建后的三维人脸按表情进行分类，对不同类别中的表情进行评分；
S5、所述无线通信模块将评分结果发送到移动终端。
进一步地，所述广告屏具有高度传感器，在所述步骤S1包括步骤：S11、高度传感器获取显示屏的中心距地面的高度；S12、所述控制器根据高度数值对应的调节所述摄像机的角度；所述步骤S3包括步骤：S31、所述中央处理器分别提取两个摄像机拍摄图像中的人脸部分；S32、将提取出的人脸区域拼接成一个完整的人脸图像；S33、根据人脸图像进行三维人脸重建；所述步骤S4包括步骤：S41、将三维人脸与标准三维人脸进行匹配，实现表情分类；S42、根据不同类别中的三维人脸与标准类别中的标准三维人脸的相似程度进行评分。
进一步地，所述控制器控制显示屏上广告显示。
进一步地，所述中央处理器通过拍摄的图像识别观看者的性别，所述中央处理器按性别将广告的进行分类评分。
进一步地，所述步骤S3中，如未能进行完整的三维人脸重建，则判断观看者不喜欢该广告，评分为0。
进一步地，所述步骤S4中的类别包括喜爱、厌烦和不感兴趣。
进一步地，所述步骤S4中是通过支持向量机实现表情分类。
进一步地，所述用户根据移动终端的提示进行广告的设计。
进一步地，所述摄像机通过支撑座设置在显示屏的两侧，所述支撑座与控制器连接，在检测到显示屏前出现人体活动时，所述摄像机拍摄多张图片，所述中央处理器根据拍摄的多张图片处理判断人体的移动方向，同时控制器控制支撑座旋转调整相机的视角，所述中央处理器选取重建的最为完整的三维人脸进行分类、评分。
本发明采用三维人脸表情识别，克服二维人脸表情受姿态、光照等因素的影响。对收集到的人脸表情信息按月进行统计分析，并进行打分，通过分数判断，可以准确判断用户对广告的喜欢程度。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种用于广告屏的三维人脸表情识别打分评估方法，所述广告屏具有显示屏、支撑架、控制器、中央处理器、摄像机、人体红外传感器和无线通信模块，所述摄像机设置在显示屏的两侧，所述方法包括如下步骤:
S1、所述控制器根据显示屏的高度调节相机的角度；
S2、所述人体红外传感器检测到广告屏前有人通过时，控制器控制摄像机拍摄图片；
S3、所述中央处理器提取图像中的人脸区域，并进行三维人脸重建；
S4、中央处理器将重建后的三维人脸按表情进行分类，对不同类别中的表情进行评分；
S5、所述无线通信模块将评分结果发送到移动终端。
所述广告屏具有高度传感器，在所述步骤S1包括步骤：S11、高度传感器获取显示屏的中心距地面的高度；S12、所述控制器根据高度数值对应的调节所述摄像机的角度；所述步骤S3包括步骤：S31、所述中央处理器分别提取两个摄像机拍摄图像中的人脸部分；S32、将提取出的人脸区域拼接成一个完整的人脸图像；S33、根据人脸图像进行三维人脸重建；所述步骤S4包括步骤：S41、将三维人脸与标准三维人脸进行匹配，实现表情分类；S42、根据不同类别中的三维人脸与标准类别中的标准三维人脸的相似程度进行评分。
所述控制器控制显示屏上广告显示。所述中央处理器通过拍摄的图像识别观看者的性别，所述中央处理器按性别将广告的进行分类评分。所述步骤S3中，如未能进行完整的三维人脸重建，则判断观看者不喜欢该广告，评分为0。所述步骤S4中的类别包括喜爱、厌烦和不感兴趣。所述步骤S4中是通过支持向量机实现表情分类。所述用户根据移动终端的提示进行广告的设计。所述摄像机通过支撑座设置在显示屏的两侧，所述支撑座与控制器连接，在检测到显示屏前出现人体活动时，所述摄像机拍摄多张图片，所述中央处理器根据拍摄的多张图片处理判断人体的移动方向，同时控制器控制支撑座旋转调整相机的视角，所述中央处理器选取重建的最为完整的三维人脸进行分类、评分。
本发明采用三维人脸表情识别，克服二维人脸表情受姿态、光照等因素的影响。对收集到的人脸表情信息按月进行统计分析，并进行打分，通过分数判断，可以准确判断用户对广告的喜欢程度。
本发明的识别方式工作如下：当用户观看广告时，两个摄像头对人脸进行采集(在采集模块进行)，两个摄像头分别采集到的两张人脸表情图像通过中央处理器中的控制***进行三维人脸重建和预处理工作，再进行三维人脸表情识别，识别后对表情进行分类，分类后再对应进行打分，分数越高说明用户对广告越喜欢。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (2)

1.一种用于广告屏的三维人脸表情识别打分评估方法，所述广告屏具有显示屏、支撑架、控制器、中央处理器、摄像机、人体红外传感器和无线通信模块，所述摄像机设置在显示屏的两侧，其特征在于：
所述方法包括如下步骤:
S1、所述控制器根据显示屏的高度调节摄像机的角度；
S2、所述人体红外传感器检测到广告屏前有人通过时，控制器控制摄像机拍摄图片；
S3、所述中央处理器提取图像中的人脸区域，并进行三维人脸重建；
S4、中央处理器将重建后的三维人脸按表情进行分类，对不同类别中的表情进行评分；
S5、所述无线通信模块将评分结果发送到移动终端；
所述广告屏具有高度传感器，
在所述步骤S1包括步骤：
S11、高度传感器获取显示屏的中心距地面的高度；
S12、所述控制器根据高度数值对应的调节所述摄像机的角度；
所述步骤S3包括步骤：
S31、所述中央处理器分别提取两个摄像机拍摄图像中的人脸部分；
S32、将提取出的人脸区域拼接成一个完整的人脸图像；
S33、根据人脸图像进行三维人脸重建；
所述步骤S4包括步骤：
S41、将三维人脸与标准三维人脸进行匹配，实现表情分类；
S42、根据不同类别中的三维人脸与标准类别中的标准三维人脸的相似程度进行评分；
所述控制器控制显示屏上广告显示，所述中央处理器通过拍摄的图像识别观看者的性别，所述中央处理器按性别将广告的进行分类评分；
所述步骤S3中，如未能进行完整的三维人脸重建，则判断观看者不喜欢该广告，评分为0；
所述步骤S4中的类别包括喜爱、厌烦和不感兴趣；
所述步骤S4中是通过支持向量机实现表情分类；
所述用户根据移动终端的提示进行广告的设计。
2.如权利要求1所述的一种用于广告屏的三维人脸表情识别打分评估方法，其特征在于：所述摄像机通过支撑座设置在显示屏的两侧，所述支撑座与控制器连接，在检测到显示屏前出现人体活动时，所述摄像机拍摄多张图片，所述中央处理器根据拍摄的多张图片处理判断人体的移动方向，同时控制器控制支撑座旋转调整相机的视角，所述中央处理器选取重建的最为完整的三维人脸进行分类、评分。
CN201811550605.2A 2018-12-18 2018-12-18 一种用于广告屏的三维人脸表情识别打分评估方法 Active CN109767262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811550605.2A CN109767262B (zh) 2018-12-18 2018-12-18 一种用于广告屏的三维人脸表情识别打分评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811550605.2A CN109767262B (zh) 2018-12-18 2018-12-18 一种用于广告屏的三维人脸表情识别打分评估方法

Publications (2)

Publication Number Publication Date
CN109767262A CN109767262A (zh) 2019-05-17
CN109767262B true CN109767262B (zh) 2021-12-31

Family

ID=66450264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811550605.2A Active CN109767262B (zh) 2018-12-18 2018-12-18 一种用于广告屏的三维人脸表情识别打分评估方法

Country Status (1)

Country Link
CN (1) CN109767262B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378736B (zh) * 2019-07-23 2023-01-03 中国科学院东北地理与农业生态研究所 通过人脸表情识别评价游客对自然资源体验满意度的方法
CN110490656A (zh) * 2019-08-21 2019-11-22 深圳市易云数字科技有限责任公司 一种线下广告的效果量化方法和***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890777A (zh) * 2011-07-21 2013-01-23 爱国者电子科技(天津)有限公司 可识别面部表情的电脑***
CN104598869A (zh) * 2014-07-25 2015-05-06 北京智膜科技有限公司 基于人脸识别装置的智能广告推送方法
CN105243374A (zh) * 2015-11-02 2016-01-13 湖南拓视觉信息技术有限公司 三维人脸识别方法、***及应用其的数据处理装置
CN108009531A (zh) * 2017-12-28 2018-05-08 北京工业大学 一种多策略防欺诈的人脸识别方法
CN108734518A (zh) * 2018-05-22 2018-11-02 缪涵澄 一种使用图像识别技术统计广告效果的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102881239A (zh) * 2011-07-15 2013-01-16 鼎亿数码科技(上海)有限公司 基于图像识别的广告投播***及方法
CN107977439A (zh) * 2017-12-07 2018-05-01 宁波亿拍客网络科技有限公司 一种人脸图像库构建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890777A (zh) * 2011-07-21 2013-01-23 爱国者电子科技(天津)有限公司 可识别面部表情的电脑***
CN104598869A (zh) * 2014-07-25 2015-05-06 北京智膜科技有限公司 基于人脸识别装置的智能广告推送方法
CN105243374A (zh) * 2015-11-02 2016-01-13 湖南拓视觉信息技术有限公司 三维人脸识别方法、***及应用其的数据处理装置
CN108009531A (zh) * 2017-12-28 2018-05-08 北京工业大学 一种多策略防欺诈的人脸识别方法
CN108734518A (zh) * 2018-05-22 2018-11-02 缪涵澄 一种使用图像识别技术统计广告效果的方法

Also Published As

Publication number Publication date
CN109767262A (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
CN107798653B (zh) 一种图像处理的方法和一种装置
US20160086023A1 (en) Apparatus and method for controlling presentation of information toward human object
US20120140069A1 (en) Systems and methods for gathering viewership statistics and providing viewer-driven mass media content
US8919955B2 (en) Virtual glasses try-on method and apparatus thereof
US20100253778A1 (en) Media displaying system and method
CN107146096B (zh) 一种智能视频广告展示方法及装置
CN104112209A (zh) 显示终端的受众统计方法和***
CN109767262B (zh) 一种用于广告屏的三维人脸表情识别打分评估方法
CN110298231A (zh) 一种用于篮球比赛视频进球判定的方法及***
US20170249670A1 (en) Targeted advertising and facial extraction and analysis
JP6498900B2 (ja) 広告評価システム、広告評価方法
CN109543652B (zh) 一种智慧滑雪训练器及其训练结果显示方法、云服务器
WO2020020022A1 (zh) 视觉识别方法及其***
CN108694627A (zh) 移动广告展示机器人***
US20190213634A1 (en) Method and system for dynamically adjusting displayed content based on analysis of viewer attributes
CN107481067B (zh) 一种智能广告***及其交互方法
CN107615368A (zh) 利用智能银幕的广告显示***
CN103914691A (zh) 基于人脸识别的目标群体分析***、方法及身高识别方法
CN108615296A (zh) 无人售货方法和无人售货机
CN109194952B (zh) 头戴式眼动追踪设备及其眼动追踪方法
CN115599219A (zh) 一种显示屏的护眼控制方法、***、设备及存储介质
KR101187773B1 (ko) 동작인식 맞춤형 광고시스템
US20130018735A1 (en) System and Method for interaction specific advertising media distribution
KR20170050034A (ko) 광고시청자 시선추적에 의한 디지털 사이니지 광고시청 분석장치 및 그 방법
KR20140068634A (ko) 지능형 광고를 위한 얼굴 영상 분석시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant