CN109829364A - 一种表情识别方法、装置和推荐方法、装置 - Google Patents
一种表情识别方法、装置和推荐方法、装置 Download PDFInfo
- Publication number
- CN109829364A CN109829364A CN201811554862.3A CN201811554862A CN109829364A CN 109829364 A CN109829364 A CN 109829364A CN 201811554862 A CN201811554862 A CN 201811554862A CN 109829364 A CN109829364 A CN 109829364A
- Authority
- CN
- China
- Prior art keywords
- expression
- time
- preset period
- recognition
- expression recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 324
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000012549 training Methods 0.000 claims abstract description 145
- 230000001815 facial effect Effects 0.000 claims abstract description 88
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 31
- 238000013434 data augmentation Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000009499 grossing Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 11
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 206010028813 Nausea Diseases 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008693 nausea Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000035479 physiological effects, processes and functions Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000013065 commercial product Substances 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000192 social effect Effects 0.000 description 1
- 230000010473 stable expression Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种表情识别方法、装置和推荐方法、装置，在预设时间周期内获取多张同一对象的人脸图像；根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到；根据所述识别结果确定所述对象在预设时间周期内的表情。本发明通过特定的表情识别模型识别某个预设时间周期内的多张同一对象的人脸图像对应的表情来确定所述对象在所述预设时间周期内的表情，从而提高了表情识别的准确率。
Description
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种表情识别方法、装置和推荐方法、装置。
背景技术
随着机器学习和深度神经网络两个领域的迅速发展以及智能设备的普及，人脸识别技术正在经历前所未有的发展，人脸表情识别(facial expresson recognition,后面会简称表情识别为FER)作为人脸识别技术中的重要组成部分,今年来在人机交互、商业、医疗、通信以及驾驶领域得到了广泛的关注，成为研究的热点。面部表情是人体(形体)语音的一部分，是一种生理以及心理的反应，通常用于传递情感，精确的识别人的表情，具有巨大的商业价值和社会意义，同时人的表情往往是一瞬间的行为，需要快速的识别。但是表情识别往往带有很强的主观性，而且不同人表达情感的方式不同，例如同一个表情在不同人的脸上会有多种呈现方式，这对快速准确的识别表情带来了一定的难度，可见，现有的人脸表情识别技术存在识别准确率低的问题。
发明内容
本发明实施例提供一种表情识别方法、装置和推荐方法、装置。
第一方面，本发明实施例提供一种表情识别方法，所述表情识别方法包括：
在预设时间周期内获取多张同一对象的人脸图像；
根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到；
根据所述识别结果确定所述对象在预设时间周期内的表情。
可选的，所述识别结果包括所述多张同一对象的人脸图像对应的多张表情；所述根据所述识别结果确定所述对象在预设时间周期内的表情的步骤包括：
根据所述识别结果消除所述多张同一对象的人脸图像中不稳定的表情，得到所述对象在预设时间周期内的表情。
可选的，所述根据识别结果消除多张同一对象的人脸图像中不稳定的表情的步骤包括：
根据所述识别结果统计多张同一对象的人脸图像中不同表情的数量；
将不同表情中数量最多的表情确定为所述对象在所述预设时间周期内的表情。
可选的，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到，所述表情识别方法还包括：
获取训练图像；
从所述训练图像中提取训练数据集；
对所述训练数据集进行数据增广处理；
将所述经过数据增广处理的训练数据集输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
可选的，所述获取训练图像之后，所述表情识别方法包括：
对所述训练图像进行平滑处理；
将所述经过平滑处理后的训练图像输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
可选的，所述获取训练图像之后，所述表情识别方法还包括：
对所述训练图像进行锐化处理；
将所述经过锐化处理后的训练图像输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
第二方面，本发明实施例还提供一种表情识别装置，包括：
图像采集模块，用于在预设时间周期内获取多张同一对象的人脸图像；
识别模块，用于根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到；
确定模块，用于根据所述识别结果确定所述对象在预设时间周期内的表情。
可选的，所述确定模块还用于根据所述识别结果消除所述多张同一对象的人脸图像中不稳定的表情，得到所述对象在预设时间周期内的表情。
第三方面，本发明实施例还提供一种推荐方法，所述推荐方法包括：
在预设时间周期内获取多张同一对象的人脸图像；
根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到；
根据所述识别结果确定所述对象在预设时间周期内的表情；
根据识别到的所述对象在预设时间周期内的表情做出合理的推荐。
第四方面，本发明实施例还提供一种推荐装置，包括：
图像采集模块，用于在预设时间周期内获取多张同一对象的人脸图像；
识别模块，用于根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别；其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到；
确定模块，用于根据所述识别结果确定所述对象在预设时间周期内的表情；
推荐模块，用于根据识别到的所述对象在预设时间周期内的表情做出合理的推荐。
第五方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的表情识别方法中的步骤。
第六方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例提供的表情识别方法中的步骤。
本发明实施例中，在预设时间周期内获取多张同一对象的人脸图像；根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是通过卷积神经网络模型进行训练获得；根据所述识别结果确定所述对象在预设时间周期内的表情。本发明通过特定的表情识别模型识别某个预设时间周期内的多张同一对象的人脸图像对应的表情来确定所述对象在所述预设时间周期内的表情，从而提高了表情识别的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种表情识别方法的流程示意图；
图2是本发明实施例提供的另一种表情识别方法的流程示意图；
图3是本发明实施例提供的另一种表情识别方法的流程示意图；
图4是本发明实施例提供的一种表情识别装置的模块示意图；
图5是本发明实施例提供的另一种表情识别装置的模块示意图；
图6是本发明实施例提供的一种推荐方法流程图；
图7是本发明实施例提供的一种推荐装置的模块示意图；
图8是本发明实施例提供的一种电子设备的模块示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种表情识别方法的流程示意图，如图1所示，所述表情识别方法包括：
101、在预设时间周期内获取多张同一对象的人脸图像。
其中，上述预设时间周期可以是预先设置好的时间周期，该时间周期可以是上述对象的一个表情周期，人的表情往往是一瞬间的行为，可以预先根据一个表情保持的时间长度作为一个表情周期，比如，将一个表情周期设置为1s，也就是说，一个表情能够保持的时间长度为1s，所述时间周期可以根据实际情况进行设置。上述对象可以是消费者，可以称为顾客、客户等。上述人脸图像可以是该消费者的人脸图像，也可以是上述顾客、客户的人脸图像。上述在预设时间周期内获取多张同一对象的人脸图像可以是通过摄像头对同一个人脸进行多次拍照获取，比如，摄像头在1s内对同一人脸进行8次拍照，这样就是在1s内获取到8张同一对象的人脸图像，摄像头拍照的次数还可以是10次、15次等，可根据实际需要进行设置，在这里就不再赘述。该摄像头可以安装在商场、门店中的商品展示区，也可以是安装在商显屏中，这里对摄像头的安装位置不做限定。上述表情包括：开心，惊讶，愤怒，悲伤，恶心，恐惧，正常等。
102、根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到。
其中，上述预设的表情识别模型可以是在表情识别之前就设置好的，该表情识别模型可以是通过提高训练图像质量的方法使用卷积神经网络模型进行表情识别训练得到的，其中，该训练图像为人脸图像。比如，提高训练图像的像素使得训练图像上的人脸更清晰，再将该训练图像输入卷积神经网络模型进行表情识别，进而提高卷积神经网络模型的表情识别准确率，表情识别效果更佳。该卷积神经网络模型包含3个卷积层，能够对单张人脸图像做到快速识别表情。该卷积神经网络模型可以通过包含且不限于深度学习、机器学习以及传统图像识别算法识别表情。上述对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，可以是通过上述卷积神经网模型对同一对象的多张人脸图像中的每一张人脸图像进行识别，并获得每张人脸图像的表情，该表情也可以称为表情类型，比如，开心，惊讶，愤怒，悲伤，恶心，恐惧，正常等。
103、根据所述识别结果确定所述对象在预设时间周期内的表情。
其中，上述根据所述识别结果确定所述对象在预设时间周期内的表情可以是根据上述表情识别模型对在预设的表情周期内拍摄到的多张同一对象的人脸图像进行识别，获得每张人脸图像对应的表情，结合多张人脸图像的表情确定该对象在预设时间周期内的表情类型。比如，摄像头在1s内拍到同一对象的8张人脸图像，上述表情识别模型分别对这8张人脸图像进行表情识别，获得8张人脸图像对应的8个表情，那就可以结合这8个表情来确定该对象在预设时间周期内表情。
本发明实施例，通过在预设时间周期内获取多张同一对象的人脸图像；根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到；根据所述识别结果确定所述对象在预设时间周期内的表情。本发明通过特定的表情识别模型识别某个预设时间周期内的多张同一对象的人脸图像对应的表情来确定所述对象在所述预设时间周期内的表情，从而提高了表情识别的准确率。
参见图2，图2是本发明实施例提供的另一种表情识别方法的流程图，如图2所示，包括以下步骤：
201、在预设时间周期内获取多张同一对象的人脸图像。
202、根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到。
203、根据所述识别结果消除所述多张同一对象的人脸图像中不稳定的表情，得到所述对象在预设时间周期内的表情，其中，所述识别结果包括所述多张同一对象的人脸图像对应的多张表情。
其中，上述不稳定的表情可以是在识别的过程中识别到个别不同的表情，也就是与大部分表情不同的表情。上述根据所述识别结果消除所述多张同一对象的人脸图像中不稳定的表情，得到所述对象在预设时间周期内的表情可以是将不同与大部分表情的表情消除，留下的大部分表情即为该对象在预设时间周期内的表情。比如，在1s的预设时间周期内的8个表情中，有7个开心的表情，1个惊讶的表情，则认为该1个惊讶的表情为不稳定的表情，将上述1个惊讶的表情忽略掉，剩下的就是该对象在1s预设时间周期内的表情，则将7个开心的表情认为该对象在1s的时间周期内为开心的。
该实施方式中，通过在预设时间周期内获取多张同一对象的人脸图像；根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是通过卷积神经网络模型进行训练获得；根据所述识别结果消除所述多张同一对象的人脸图像中不稳定的表情，得到所述对象在预设时间周期内的表情；这样通过去除所述对象在预设时间周期内不稳定的表情，进而提高表情识别的准确率。
参见图3，图3是本发明实施例提供的另一种表情识别方法的流程示意图；如图3所示，所示表情识别方法包括：
301、在预设时间周期内获取多张同一对象的人脸图像。
302、根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到。
303、根据所述识别结果统计多张同一对象的人脸图像中不同表情的数量。
其中，识别出多张同一对象的人脸图像对应的表情后，分别对上述多张同一对象的人脸图像对应的表情进行分类，并分别统计不同表情的个数，并获取统计结果，比如，在一个表情周期内的8张人脸图像对应的八个表情中有开心、正常、惊讶三种表情，其中，表示开心的表情有6个，表示正常的表情有1个，表示惊讶的表情有1个。还可以是4个为愤怒，3个为恐惧，1个为恶心等。表情种类的多少可根据摄像头实时对消费者拍摄，且通过表情识别模型进行识别得到的。
304、将不同表情中数量最多的表情确定为所述对象在所述预设时间周期内的表情。
其中，上述将不同表情中数量最多的表情确定为所述对象在所述预设时间周期内的表情可以是根据上述统计结果，将不同表情类型中表情数量最多的确定为该对象在预设时间周期内的表情。比如，8张人脸图像对应的八个表情中有开心、正常、惊讶三种表情，4个为开心，3个为正常，1个为惊讶，那么不同的三个表情的数量的统计结果为，4个为开心，3个为正常，1个为惊讶，且表情为开心的数量最多，则将个数为4的表情作为该对象在预设时间周期内的表情，即该对象在预设时间周期1s内的表情为开心。
进一步地，上述周期内获取的数量最多的表情不限于一个或多个。
在上述实施方式中，进一步的对所述识别到的预设时间周期内多张同一对象的人脸图像中每张人脸图像对应的表情进行筛选，选择最能代表该预设时间周期的表情，更进一步提高表情识别的准确率。
可选的，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到，所述表情识别方法还包括：
获取训练图像；
从所述训练图像中提取训练数据集；
对所述训练数据集进行数据增广处理；
将所述经过数据增广处理的训练数据集输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
其中，上述获取训练图像可以是通过摄像头等图像采集设备进行图像采集得到训练图像；也可以是通过人为提供的现有的图像作为训练图像。该现训练图像包括人脸图像。上述从所述训练图像中提取训练数据集可以是通过图像数据提取技术提取训练图像中的图像数据，并将所述图像数据合并为训练图像数据集。上述对所述训练数据集进行数据增广处理可以是在不改变图像类别的情况下，增加数据量。图像的数据增广方式包括很多，比如，从几何角度来看，常用的有水平翻转(也就通常说的镜像)，一定程度的位移、裁剪、旋转等；从像素变换来看，常用的有：颜色抖动(color jittering)等。上述将所述经过数据增广处理的训练数据集对所述卷积神经网络模型进行训练，从而得到表情识别模型中的表情识别模型可以是通过将所述训练数据集对所述卷积神经网络模型进行多次训练得到的。
在上述实施方式中，对训练图像进行数据增广处理来提高所述训练图像的质量，通过训练卷积神经网络模型识别人脸图像表情的方式得到识别准确率高的表情识别模型。
可选的，所述获取训练图像之后，所述表情识别方法还包括：
对所述训练图像进行平滑处理；
将所述经过平滑处理后的训练图像输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
其中，平滑处理是为了减少图片的噪声，可通过领域平均法(均值滤波器)来实现；所谓的均值滤波是指在图像上对待处理的像素给一个模板，该模板包括了其周围的邻近像素。将模板中的全体像素的均值来替代原来的像素值的方法。
在上述实施方式中，对训练图像进行平滑处理来提高所述训练图像的质量，通过训练卷积神经网络模型识别人脸图像表情的方式得到识别准确率高的表情识别模型。
可选的，所述获取训练图像之后，所述表情识别方法还包括：
对所述训练图像进行锐化处理；
将所述经过锐化处理后的训练图像输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
对训练图像进行锐化处理是为了增强训练图像边缘及灰度跳变部分；锐化处理可以通过拉普拉斯算法来实现。
在上述实施方式中，对训练图像进行平滑锐化预处理来提高所述训练图像的质量，通过训练卷积神经网络模型识别人脸图像表情的方式得到识别准确率高的表情识别模型。
参见图4，图4是本发明实施例中提供的一种表情识别装置的模块示意图，如图4所示，包括：
图像采集模块401，用于在预设时间周期内获取多张同一对象的人脸图像；
识别模块402，用于根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到；
确定模块403，用于根据所述识别结果确定所述对象在预设时间周期内的表情，其中，所述识别结果包括所述多张同一对象的人脸图像对应的多张表情。
可选的，所述确定模块403还用于根据所述识别结果消除所述多张同一对象的人脸图像中不稳定的表情，得到所述对象在预设时间周期内的表情。
可选的，如图5所示，所述确定模块403包括：
统计单元4031，用于根据所述识别结果统计多张同一对象的人脸图像中不同表情的数量；
确定单元4032，用于将不同表情中数量最多的表情确定为所述对象在所述预设时间周期内的表情。
可选的，所述表情识别装置还包括：
获取模块，用于获取训练图像；
提取模块，用于从所述训练图像中提取训练数据集；
第一处理模块，用于对所述训练数据集进行数据增广处理；
第一模型获取模块，用于将所述经过数据增广处理的训练数据集对所述卷积神经网络模型进行训练，从而得到表情识别模型。
可选的，所述表情识别装置还包括：
第二处理模块，用于对所述训练图像进行平滑处理；
第二模型获取模块，用于将所述经过平滑处理后的训练图像输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
可选的，所述表情识别装置还包括
第三处理模块、用于对所述训练图像进行锐化处理；
第三模型获取模块，用于将所述经过锐化处理后的训练图像输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
本发明实施例提供的表情识别装置能够实现实施例中的表情识别方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
参见图6，图6是本发明实施例提供的一种推荐方法，所述推荐方法包括：
501、在预设时间周期内获取多张同一对象的人脸图像。
502、根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到。
503、根据所述识别结果确定所述对象在预设时间周期内的表情。
504、根据识别到的所述对象在预设时间周期内的表情做出合理的推荐。
具体的，比如，顾客在观看商品时，被图像采集模块在预设的时间周期内采集到多张该顾客的人脸图像，并通过所述识别模块以及确定模块最终确定所述顾客当前的表情，那么所述推荐装置就可以根据识别到的表情获取到所述顾客当前的生理或心理的反应，若该顾客的表情是开心的，就可以将该顾客正在观看的商品或者类似的商品推荐给顾客，这样顾客就可以看到自己喜欢的商品，体验更好，提高顾客的购买欲，也就提高购物中心的利润；如果顾客的表情是愤怒的，那么该推荐模块就可以不将该商品作为推荐商品。其中，所述推荐装置中的推荐模块可以是移动终端，比如手机、平板等，也可以是AI(ArtificialIntelligence)智能商显屏。若是手机、平板等可以是通过销售员将给推荐商品推荐给顾客，若果是商显屏，可以是直接将推荐商品显示到该商显屏中，供顾客观看。
在上述实施方式中，该推荐装置能够实现上述表情识别方法中的各个步骤，且该推荐装置中的推荐模块根据识别到的所述对象在预设时间周期内的表情做出合理的推荐，也就是说能够将识别到的所述对象在一个时间周期内的表情作为该对象的实时表情，然后根据所述实时表情作为消费推荐的重要参照因子，能够通过准确的识别顾客的表情分析出顾客的心情以及状态，并对他做出准确合理的消费推荐，让顾客能够有更好的消费体验，同时给购物中心带来利润，实现双赢。
可选的，所述识别结果包括所述多张同一对象的人脸图像对应的多张表情；所述根据所述识别结果确定所述对象在预设时间周期内的表情的步骤包括：
根据所述识别结果消除所述多张同一对象的人脸图像中不稳定的表情，得到所述对象在预设时间周期内的表情。
可选的，所述根据识别结果消除多张同一对象的人脸图像中不稳定的表情的步骤包括：
根据所述识别结果统计多张同一对象的人脸图像中不同表情的数量；
将不同表情中数量最多的表情确定为所述对象在所述预设时间周期内的表情。
可选的，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到，所述推荐方法还包括：
获取训练图像；
从所述训练图像中提取训练数据集；
对所述训练数据集进行数据增广处理；
将所述经过数据增广处理的训练数据集输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
可选的，所述获取训练图像之后，所述推荐方法包括：
对所述训练图像进行平滑处理；
将所述经过平滑处理后的训练图像输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
可选的，所述获取训练图像之后，所述推荐方法还包括：
对所述训练图像进行锐化处理；
将所述经过锐化处理后的训练图像输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
在上述实施方式中，在上述实施例方式中，能够提供一个识别准确率高的表情识别模型，能够快速的识别采集得到的对象的表情，进而提高推荐装置的推荐效果。
参见图7，图7是本发明实施例提供的一种推荐装置，包括：
图像采集模块401，用于在预设时间周期内获取多张同一对象的人脸图像；
识别模块402，用于根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别；其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到；
确定模块403，用于根据所述识别结果确定所述对象在预设时间周期内的表情；推荐模块，用于根据识别到的表情做出合理的推荐；
推荐模块404，用于根据识别到的所述对象在预设时间周期内的表情做出合理的推荐。
本发明实施例提供的推荐装置能够实现实施例中的推荐方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
可选的，确定模块403还包括：
统计单元4031，用于根据所述识别结果统计多张同一对象的人脸图像中不同表情的数量；
确定单元4032，用于将不同表情中数量最多的表情确定为所述对象在所述预设时间周期内的表情。
可选的，所述推荐装置还包括：
获取模块，用于获取训练图像；
提取模块，用于从所述训练图像中提取训练数据集；
第一处理模块，用于对所述训练数据集进行数据增广处理；
第一模型获取模块，用于将所述经过数据增广处理的训练数据集对所述卷积神经网络模型进行训练，从而得到表情识别模型。
可选的，所述推荐装置还包括：
第二处理模块，用于对所述训练图像进行平滑处理；
第二模型获取模块，用于将所述经过平滑处理后的训练图像对所述卷积神经网络模型进行训练，从而得到表情识别模型。
可选的，所述推荐装置还包括
第三处理模块、用于对所述训练图像进行锐化处理；
第三模型获取模块，用于将所述经过锐化处理后的训练图像输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
本发明实施例提供的推荐装置能够实现实施例中的推荐方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
参见图8，图8是本发明实施例提供的一种电子设备的结构示意图，如图7所示，包括：存储器602、处理器601及存储在所述存储器602上并可在所述处理器601上运行的计算机程序，其中：
处理器601用于调用存储器602存储的计算机程序，执行如下步骤：
在预设时间周期内获取多张同一对象的人脸图像；
根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到；
根据所述识别结果确定所述对象在预设时间周期内的表情。
可选的，所述存储器601执行的所述识别结果包括所述多张同一对象的人脸图像对应的多张表情；所述根据所述识别结果确定所述对象在预设时间周期内的表情的步骤包括：
根据所述识别结果消除所述多张同一对象的人脸图像中不稳定的表情，得到所述对象在预设时间周期内的表情。
可选的，所述处理器601执行的所述根据识别结果消除多张同一对象的人脸图像中不稳定的表情的步骤包括：
根据所述识别结果统计多张同一对象的人脸图像中不同表情的数量；
将不同表情中数量最多的表情确定为所述对象在所述预设时间周期内的表情。
可选的，所述处理器601执行的所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到，所述表情识别方法还包括：
获取训练图像；
从所述训练图像中提取训练数据集；
对所述训练数据集进行数据增广处理；
将所述经过数据增广处理的训练数据集对所述卷积神经网络模型进行训练，从而得到表情识别模型。
可选的，所述处理器601执行的所述获取训练图像之后，所述表情识别方法还包括：
对所述训练图像进行平滑锐化预处理；
将所述经过平滑锐化预处理后的训练图像对所述卷积神经网络模型进行训练，从而得到表情识别模型。
可选的，所述处理器601执行的所述获取训练图像之后，所述表情识别方法还包括：
对所述训练图像进行锐化处理；
将所述经过锐化处理后的训练图像输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
本发明实施例提供的电子设备能够实现上述表情识别方法实施例中的各个实施方式，以及相应有益效果。还能够实现上述推荐装置中的推荐功能，为避免重复，这里不再赘述。
本发明实施例中，所述存储器602还存储有实现上述推荐装置功能的计算机程序，且所述处理器601可以执行该推荐装置中的推荐功能，所述处理器601还执行根据识别到的所述对象在预设时间周期内的表情做出合理的推荐。
提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器601执行时实现本发明实施例提供的表情识别方法中的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
所述计算机程序被处理器601执行时还实现本发明实施例提供的推荐方法中的步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器602(RandomAccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (12)
1.一种表情识别方法，其特征在于，所述表情识别方法包括：
在预设时间周期内获取多张同一对象的人脸图像；
根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到；
根据所述识别结果确定所述对象在预设时间周期内的表情。
2.根据权利要求1所述的表情识别方法，其特征在于，所述识别结果包括所述多张同一对象的人脸图像对应的多张表情；所述根据所述识别结果确定所述对象在预设时间周期内的表情的步骤包括：
根据所述识别结果消除所述多张同一对象的人脸图像中不稳定的表情，得到所述对象在预设时间周期内的表情。
3.根据权利要求2所述的表情识别方法，其特征在于，所述根据识别结果消除多张同一对象的人脸图像中不稳定的表情的步骤包括：
根据所述识别结果统计多张同一对象的人脸图像中不同表情的数量；
将不同表情中数量最多的表情确定为所述对象在所述预设时间周期内的表情。
4.根据权利要求3所述的表情识别方法，其特征在于，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到，所述表情识别方法还包括：
获取训练图像；
从所述训练图像中提取训练数据集；
对所述训练数据集进行数据增广处理；
将所述经过数据增广处理的训练数据集输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
5.根据权利要求4所述的表情识别方法，其特征在于，所述获取训练图像之后，所述表情识别方法还包括：
对所述训练图像进行平滑处理；
将所述经过平滑处理后的训练图像输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
6.根据权利要求4所述的表情识别方法，其特征在于，所述获取训练图像之后，所述表情识别方法还包括：
对所述训练图像进行锐化处理；
将所述经过锐化处理后的训练图像输入所述卷积神经网络模型进行训练，从而得到表情识别模型。
7.一种表情识别装置，其特征在于，包括：
图像采集模块，用于在预设时间周期内获取多张同一对象的人脸图像；
识别模块，用于根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到；
确定模块，用于根据所述识别结果确定所述对象在预设时间周期内的表情。
8.如权利要求7所述的表情识别装置，其特征在于，所述确定模块还用于根据所述识别结果消除所述多张同一对象的人脸图像中不稳定的表情，得到所述对象在预设时间周期内的表情。
9.一种推荐方法，其特征在于，所述推荐方法包括：
在预设时间周期内获取多张同一对象的人脸图像；
根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别，并获取识别结果，其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到；
根据所述识别结果确定所述对象在预设时间周期内的表情；
根据识别到的所述对象在预设时间周期内的表情做出合理的推荐。
10.一种推荐装置，其特征在于，包括：
图像采集模块，用于在预设时间周期内获取多张同一对象的人脸图像；
识别模块，用于根据预设的表情识别模型，对在预设时间周期内获取的所述多张同一对象的人脸图像进行表情识别；其中，所述表情识别模型是利用卷积神经网络模型预先通过训练图像进行训练获得，所述训练图像经过质量提升预处理得到；
确定模块，用于根据所述识别结果确定所述对象在预设时间周期内的表情；
推荐模块，用于根据识别到的所述对象在预设时间周期内的表情做出合理的推荐。
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的表情识别方法中的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的表情识别方法中的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811554862.3A CN109829364A (zh) | 2018-12-18 | 2018-12-18 | 一种表情识别方法、装置和推荐方法、装置 |
| PCT/CN2019/114334 WO2020125217A1 (zh) | 2018-12-18 | 2019-10-30 | 一种表情识别方法、装置和推荐方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811554862.3A CN109829364A (zh) | 2018-12-18 | 2018-12-18 | 一种表情识别方法、装置和推荐方法、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109829364A true CN109829364A (zh) | 2019-05-31 |
Family
ID=66859198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811554862.3A Pending CN109829364A (zh) | 2018-12-18 | 2018-12-18 | 一种表情识别方法、装置和推荐方法、装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109829364A (zh) |
| WO (1) | WO2020125217A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020125217A1 (zh) * | 2018-12-18 | 2020-06-25 | 深圳云天励飞技术有限公司 | 一种表情识别方法、装置和推荐方法、装置 |
| CN111523501A (zh) * | 2020-04-27 | 2020-08-11 | 阳光保险集团股份有限公司 | 体重指数预测方法及装置 |
| CN112183336A (zh) * | 2020-09-28 | 2021-01-05 | 平安科技（深圳）有限公司 | 表情识别模型训练方法、装置、终端设备及存储介质 |
| CN112637487A (zh) * | 2020-12-17 | 2021-04-09 | 四川长虹电器股份有限公司 | 一种基于时间栈表情识别的电视智能拍照方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980811A (zh) * | 2016-10-21 | 2017-07-25 | 商汤集团有限公司 | 人脸表情识别方法和人脸表情识别装置 |
| CN107636684A (zh) * | 2015-03-18 | 2018-01-26 | 阿凡达合并第二附属有限责任公司 | 视频会议中的情绪识别 |
| CN108564007A (zh) * | 2018-03-27 | 2018-09-21 | 深圳市智能机器人研究院 | 一种基于表情识别的情绪识别方法和装置 |
| CN109002766A (zh) * | 2018-06-22 | 2018-12-14 | 北京邮电大学 | 一种表情识别方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013109537A (ja) * | 2011-11-21 | 2013-06-06 | Nippon Hoso Kyokai <Nhk> | 関心度推定装置及びそのプログラム |
| KR101906827B1 (ko) * | 2012-04-10 | 2018-12-05 | 삼성전자주식회사 | 연속 사진 촬영 장치 및 방법 |
| CN106384083A (zh) * | 2016-08-31 | 2017-02-08 | 上海交通大学 | 一种自动面部表情识别并进行信息推荐的方法 |
| CN107977634A (zh) * | 2017-12-06 | 2018-05-01 | 北京飞搜科技有限公司 | 一种针对视频的表情识别方法、装置及设备 |
| CN108182624A (zh) * | 2017-12-26 | 2018-06-19 | 努比亚技术有限公司 | 商品推荐方法、服务器及计算机可读存储介质 |
| CN109829364A (zh) * | 2018-12-18 | 2019-05-31 | 深圳云天励飞技术有限公司 | 一种表情识别方法、装置和推荐方法、装置 |
-
2018
- 2018-12-18 CN CN201811554862.3A patent/CN109829364A/zh active Pending
-
2019
- 2019-10-30 WO PCT/CN2019/114334 patent/WO2020125217A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107636684A (zh) * | 2015-03-18 | 2018-01-26 | 阿凡达合并第二附属有限责任公司 | 视频会议中的情绪识别 |
| CN106980811A (zh) * | 2016-10-21 | 2017-07-25 | 商汤集团有限公司 | 人脸表情识别方法和人脸表情识别装置 |
| CN108564007A (zh) * | 2018-03-27 | 2018-09-21 | 深圳市智能机器人研究院 | 一种基于表情识别的情绪识别方法和装置 |
| CN109002766A (zh) * | 2018-06-22 | 2018-12-14 | 北京邮电大学 | 一种表情识别方法及装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020125217A1 (zh) * | 2018-12-18 | 2020-06-25 | 深圳云天励飞技术有限公司 | 一种表情识别方法、装置和推荐方法、装置 |
| CN111523501A (zh) * | 2020-04-27 | 2020-08-11 | 阳光保险集团股份有限公司 | 体重指数预测方法及装置 |
| CN111523501B (zh) * | 2020-04-27 | 2023-09-15 | 阳光保险集团股份有限公司 | 体重指数预测方法及装置 |
| CN112183336A (zh) * | 2020-09-28 | 2021-01-05 | 平安科技（深圳）有限公司 | 表情识别模型训练方法、装置、终端设备及存储介质 |
| WO2022062403A1 (zh) * | 2020-09-28 | 2022-03-31 | 平安科技（深圳）有限公司 | 表情识别模型训练方法、装置、终端设备及存储介质 |
| CN112637487A (zh) * | 2020-12-17 | 2021-04-09 | 四川长虹电器股份有限公司 | 一种基于时间栈表情识别的电视智能拍照方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020125217A1 (zh) | 2020-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102416558B1 (ko) | 영상 데이터 처리 방법, 장치 및 판독 가능 저장 매체 | |
| Talebi et al. | NIMA: Neural image assessment | |
| CN109829364A (zh) | 一种表情识别方法、装置和推荐方法、装置 | |
| CN107330750B (zh) | 一种推荐产品配图方法及装置，电子设备 | |
| US8897604B2 (en) | Image quality analysis for searches | |
| CN111738243B (zh) | 人脸图像的选择方法、装置、设备及存储介质 | |
| US20190205629A1 (en) | Behavior predicton method, behavior predicton system, and non-transitory recording medium | |
| CN105956150B (zh) | 一种生成用户发型及妆容搭配建议的方法及装置 | |
| CN110263215B (zh) | 一种视频情感定位方法及*** | |
| CN106650795B (zh) | 酒店房型图像的排序方法 | |
| CN108198177A (zh) | 图像获取方法、装置、终端及存储介质 | |
| CN110852360A (zh) | 图像情感识别方法、装置、设备及存储介质 | |
| CN111814620A (zh) | 人脸图像质量评价模型建立方法、优选方法、介质及装置 | |
| CN109558892A (zh) | 一种基于神经网络的目标识别方法及*** | |
| CN107341762A (zh) | 拍照处理方法、装置和终端设备 | |
| CN107590460A (zh) | 人脸分类方法、装置及智能终端 | |
| CN108875516A (zh) | 人脸识别方法、装置、***、存储介质和电子设备 | |
| CN107767358A (zh) | 一种图像中物体模糊度确定方法和装置 | |
| CN105979283A (zh) | 视频转码方法和装置 | |
| CN112036209A (zh) | 一种人像照片处理方法及终端 | |
| CN110363814A (zh) | 一种视频处理方法、装置、电子装置和存储介质 | |
| CN109348287A (zh) | 视频摘要生成方法、装置、存储介质和电子设备 | |
| CN112233102A (zh) | 图像样本集中噪声的识别方法、装置、设备及存储介质 | |
| CN114360018A (zh) | 三维人脸表情的渲染方法及装置、存储介质及电子装置 | |
| CN112016548B (zh) | 一种封面图展示方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190531 |