CN109766461A - 基于微表情的照片管理方法、装置、计算机设备及介质 - Google Patents
基于微表情的照片管理方法、装置、计算机设备及介质 Download PDFInfo
- Publication number
- CN109766461A CN109766461A CN201811537427.XA CN201811537427A CN109766461A CN 109766461 A CN109766461 A CN 109766461A CN 201811537427 A CN201811537427 A CN 201811537427A CN 109766461 A CN109766461 A CN 109766461A
- Authority
- CN
- China
- Prior art keywords
- photo
- satisfaction
- expression
- micro
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于微表情的照片管理方法、装置、计算机设备及介质,所述方法包括:若检测到当前照片处于被浏览状态,获取当前照片的照片标识和与照片标识对应的面部图像;使用预设的微表情识别模型对面部图像进行面部情绪识别,得到表情单元;采用预设的计算公式对表情单元进行计算,得到当前照片的用户满意度;根据用户满意度,从预设的满意度等级集合中,获取用户满意度对应的满意度等级,作为目标满意度等级;获取目标满意度等级对应的预设文件夹标识,作为目标文件夹标识;对当前照片进行归类,并将归类后照片存入目标文件夹标识对应的文件夹中。上述照片管理方法通过根据微表情进行照片管理减少了用户操作的复杂度,提高了照片管理效率。
Description
技术领域
本发明涉及微表情识别领域,尤其涉及一种基于微表情的照片管理方法、装置、计算机设备及介质。
背景技术
随着移动终端摄像技术的发展,越来越多的用户利用移动终端拍摄照片。用户会在移动终端存储大量照片。通常需要对大批量的照片进行管理以减少照片数据在用户设备上占据的内存,也方便用户对照片进行更好的管理。
传统地,在对大批量照片进行管理时,如果用户仅仅通过人工对照片进行一一查看处理,必然浪费用户的时间,导致照片的归类整理效率较低。
发明内容
本发明实施例提供一种基于微表情的照片管理方法、装置、计算机设备及介质以解决照片管理效率不高的问题。
一种基于微表情的照片管理方法,包括:
若检测到当前照片处于被浏览状态,则获取所述当前照片的照片标识和与所述照片标识对应的面部图像;
使用预设的微表情识别模型对所述面部图像进行面部情绪识别,得到所述面部图像的N个表情单元,N为正整数;
采用预设的计算公式对N个所述表情单元进行计算,得到所述当前照片的用户满意度;
从预设的满意度等级集合中,获取所述用户满意度对应的满意度等级,作为目标满意度等级,其中,所述预设的满意度等级集合中的每个满意度等级对应一个预设文件夹标识;
获取所述目标满意度等级对应的预设文件夹标识,作为目标文件夹标识;
根据所述用户满意度,对所述当前照片进行归类,并将归类后照片存入所述目标文件夹标识对应的文件夹中。
一种基于微表情的照片管理装置,包括:
面部图像获取模块,用于在检测到当前照片处于被浏览状态时,则获取所述当前照片的照片标识和与所述照片标识对应的面部图像;
表情单元获取模块,用于使用预设的微表情识别模型对所述面部图像进行面部情绪识别,得到所述面部图像的N个表情单元,N为正整数;
用户满意度计算模块,用于采用预设的计算公式对N个所述表情单元进行计算,得到所述当前照片的用户满意度;
目标满意度等级获取模块,用于从预设的满意度等级集合中,获取所述用户满意度对应的满意度等级,作为目标满意度等级,其中,所述预设的满意度等级集合中的每个满意度等级对应一个预设文件夹标识;
目标文件夹标识获取模块,用于获取所述目标满意度等级对应的预设文件夹标识,作为目标文件夹标识;
照片整理模块,用于根据所述用户满意度,对所述当前照片进行归类,并将归类后照片存入所述目标文件夹标识对应的文件夹中。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于微表情的照片管理方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于微表情的照片管理方法的步骤。
上述基于微表情的照片管理方法、装置、计算机设备及介质中,首先获取当前照片的照片标识和与当前照片标识对应的面部图像。然后,使用预设的微表情识别模型对面部图像进行面部情绪识别,得到面部图像的N个表情单元。接着,采用预设的计算公式对N个表情单元进行计算,得到当前照片的用户满意度,充分发挥了微表情在照片管理中的作用,并且实现了对照片的智能管理。接下来,从预设的满意度等级集合中,获取用户满意度对应的满意度等级,作为目标满意度等级。获取目标满意度等级对应的预设文件夹标识,作为目标文件夹标识。最后,根据用户满意度,对当前照片进行归类,并将归类后照片存入目标文件夹标识对应的文件夹中。免去了对每一张照片进行一一挑选的过程,减少了用户对照片的操作,实现了对图片及时处理,节省客户端空间,提高了用户对照片的管理效率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于微表情的照片管理方法方法的应用环境示意图;
图2是本发明实施例提供的基于微表情的照片管理方法一示例图;
图3是本发明实施例提供的基于微表情的照片管理方法的另一示例图;
图4是本发明实施例提供的基于微表情的照片管理方法的另一示例图;
图5是本发明实施例提供的基于微表情的照片管理方法的另一示例图;
图6是本发明实施例提供的基于微表情的照片管理方法的另一示例图;
图7是本发明实施例提供的基于微表情的照片管理装置的一原理框图;
图8是本发明实施例提供的基于微表情的照片管理装置的另一原理框图;
图9是本发明实施例提供的基于微表情的照片管理装置的另一原理框图;
图10是本发明实施例提供的计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请提供的基于微表情的照片管理方法,可应用在如图1的应用环境中,其中,客户端通过网络与服务端进行通信,服务端接收客户端发送的照片和面部图像,然后使用预设的微表情识别模型对面部图像进行面部情绪识别,得到面部图像的表情单元,根据表情单元计算用户满意度,接下来,从预设的满意度等级集合中,获取用户满意度对应的满意度等级,作为目标满意度等级。获取目标满意度等级对应的预设文件夹标识,作为目标文件夹标识。进而根据用户满意度对当前照片进行归类管理,并将归类后照片存入目标文件夹标识对应的文件夹中。其中,客户端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,以该方法应用于图1中的服务端为例进行说明,包括如下步骤:
S10:若检测到当前照片处于被浏览状态,则获取当前照片的照片标识和与照片标识对应的面部图像。
具体地,服务端安装的照片检测程序通过检测照片的状态,若检测到当前照片处于被浏览状态,则获取当前照片的照片标识和与照片标识对应的面部图像。其中的照片检测程序是指用于对照片进行检测的应用程序。可选地,被浏览状态可以为当前照片在客户端的界面上显示。
其中,面部图像可以通过客户端的拍摄工具拍摄采集得到,例如可以通过客户端(例如:手机)自带的相机进行拍摄获得。可选地,本实施例中的面部图像的获取可以通过一个应用程序来实现,例如手机中的APP。照片标识是指客户端用于区分不同照片的标识,例如照片拍摄时间、编号或照片名称等。可选地,当启动应用程序时,服务端通过客户端发送用户登录验证指令,当用户输入账号和密码登录后,服务端获取照片标识,同时服务端通过客户端的拍摄工具获取与该照片标识对应的面部图像,通过获取面部图像,以便后续根据面部图像的微表情进行进一步地处理。
可选地,获取与照片标识对应面部图像的频率可以是实时获取,也可以是每隔固定的时间间隔进行定期获取。
S20:使用预设的微表情识别模型对面部图像进行面部情绪识别,得到面部图像的N个表情单元,N为正整数。
其中,预设微表情识别模型主要用于基于人脸识别技术,根据眉毛、眼睛、嘴唇或脸上肌肉等的细微变化识别来获取人脸图像的表情单元。表情单元是指组成面部表情的单元,可选地,可以将人脸上的一个部位的状态作为表情单元,即一个表情单元对应面部行为编码***(Facial Action Coding System,FACS)的一个AU动作单元,例如内眉上扬的表情单元对应AU1的动作单元,嘴角下拉的表情单元对应AU15的动作单元等。具体地,微表情识别模型通过捕捉目标图像中的人物面部的表情特征,并根据表情特征识别目标图像中人物的情绪。具体地,预设的微表情识别模型的输入为待识别的面部图像,经过微表情识别模型的分析,输出该面部图像的N个表情单元,即N个AU动作单元,具体地,AU动作单元的数量具体不做限制。
其中,预设的微表情包括喜怒哀乐等各种细微表情,例如:喜笑颜开、兴高采烈、疑惑不解、怒火中烧、大吃一惊和疲惫不堪等相互具有细微差别的微表情。在一具体实施方式中,预设微表情识别模型的获取可以通过预先采集的样本图像,然后对样本图像进行表情单元的批注,最后根据批注的表情单元的样本图像对神经网络模型进行训练,从而得到预设微表情识别模型。需要说明的是,微表情识别模型可以是基于深度学习的神经网络识别模型,还可以是基于局部二值模式(Local Binary Pattern,LBP)的局部情绪识别模型,其具体可以根据实际应用的需要进行选择,此处不做限制。
在一个具体实施方式中,预设微表情识别模型主要用于获取如表1所示的国际通过的19种表情单元(AU):
表1表情单元表
具体地,当获取到面部图像后,将面部图像输入到预设微表情识别模型中,从微表情识别模型输出中获取与当前照片标识对应的面部图像的N个表情单元。其中,表情单元可以用表1中的AU标号进行表示,例如AU25,表示对应的表情为上下嘴唇分开。
例如,当面部图像对应的表情为一般高兴时,其面部的表情单元会包括:嘴角上扬、脸颊抬起、眼睑收紧动作单元,将面部图像输入到预设微表情识别模型中,则可以得到3个表情单元为AU12、AU6和AU7。又例如,当面部图像对应的表情为非常高兴时,将面部图像输入到预设微表情识别模型中,则可以得到5个表情单元为AU6,AUl2,AU25,AU26和AUl6,即不同的微表情对应的表情单元不同。
S30:采用预设的计算公式对N个表情单元进行计算,得到当前照片的用户满意度。
其中,预设的计算公式是预先设置的用于对N个表情单元按照一定规则进行变换的公式,将N个表情单元转化成用户满意度。该预设的计算公式包括但不限于:叠加计算、加权求和计算或者加权平均计算。具体地,叠加计算即直接对N个表情单元对应的数值进行累加计算;加权求和计算即赋予每一表情单元一个权重,将N个表情单元对应的数值乘以权重后进行累加的计算;加权平均计算也即将加权求和后的结果除以加数项的个数的计算。优选地,本实施例中采用叠加计算来得到当前照片的用户满意度,由于本实施例中的表情单元都对作为微表情影响因素并进行累加计算,使得该计算方法不仅简单快捷,并且准确度高。
具体地,用户满意度是指评估与照片标识对应的当前照片满意程度的数值。可选地,可以根据表情单元综合得到的表情来获取用户满意度,即将获得的面部图像的所有表情单元与现有表情包括的表情单元进行匹配,将相似度达到相似度阈值的表情作为用户表情,将表情对应的心情值作为用户满意度。例如,若相似度阈值为80%,高兴的表情包括5个表情单元,而获取的人脸图像对应的表情单元中有4个表情单元与高兴的表情单元相符合,即相似度为80%,则可以将高兴的表情作为用户表情;若高兴的表情对应的心情值为9,而用户满意度也为9。通过采用预设的计算公式对N个表情单元进行变换,从而将面部图像的表情单元量化为用户满意度,从而将面部图像的微表情转化为用户满意度,充分发挥了微表情在照片管理中的作用,并且实现了对照片的智能管理。
S40:从预设的满意度等级集合中,获取用户满意度对应的满意度等级,作为目标满意度等级,其中,预设的满意度等级集合中的每个满意度等级对应一个预设文件夹标识。
其中,满意度等级集合是指包含多个不同满意度等级的集合,用于作为不同用户满意度大小的当前照片进行分类标准。目标满意度等级是指与用户满意度对应的满意度等级。预设的文件夹标识是用于区分不同文件夹的标识。
在一具体实施方式中,预设的满意度等级集合中,包含的满意度等级分别为A级、B级等满意度等级,A级的满意度等级对应的文件夹标识为“ID0A”,B级的满意度等级对应的文件夹标识为“ID0B”,且A级的用户满意度的范围为[10,20],B级的用户满意度的范围为[20,30],当某一用户满意度为15时,通过判断用户满意度所在的满意度等级对应的用户满意度的范围,确定用户满意度对应的满意度等级为A级,即用户满意度为15的当前照片的目标满意度等级为A级,且该当前照片对应的文件夹标识为“ID0A”。
S50:获取目标满意度等级对应的预设文件夹标识,作为目标文件夹标识。
其中,目标文件夹是指与目标满意度等级对应的预设文件夹,用于存放与目标满意度对应的当前照片的文件夹。目标文件夹标识是用于标识目标文件夹。具体地,通过比较用户满意度与满意度等级对应的满意度范围,获取目标满意度等级,即该用户满意度在目标满意度等级范围内。根据目标满意度等级,获取与该目标满意度等级对应的预设文件夹标识,也即目标文件夹标识。
S60:根据用户满意度,对当前照片进行归类,并将归类后照片存入目标文件夹标识对应的文件夹中。
其中,归类是指对不同照片进行分类整理,用于更加高效地管理照片。对当前照片进行归类后,能够优化客户端内存空间。并将归类后照片存入目标文件夹标识对应的文件夹中,使得当前照片得到更准确的分类,以便用户对照片进行管理。具体地,服务端获取到用户满意度后,根据用户满意度数值的大小,对每一用户满意度对应的照片进行归类整理,并将归类后照片存入目标文件夹标识对应的文件夹中,免去了对每一张照片进行一一挑选的过程,实现了对图片及时处理,节省客户端内存空间,减少了用户对照片的操作,提高了用户对照片的管理效率。
本实施例中,首先获取当前照片的照片标识和与当前照片标识对应的面部图像。然后,使用预设的微表情识别模型对面部图像进行面部情绪识别,得到面部图像的N个表情单元。接着,采用预设的计算公式对N个表情单元进行计算,得到当前照片的用户满意度,充分发挥了微表情在照片管理中的作用,并且实现了对照片的智能管理。最后,根据用户满意度,对当前照片进行归类,免去了对每一张照片进行一一挑选的过程,减少了用户对照片的操作,实现了对图片及时处理,优化客户端空间,提高了用户对照片的管理效率。
在一实施例中,如图3所示,步骤S30中,采用预设的计算公式对N个表情单元进行计算,得到当前照片的用户满意度,包括:
S31:根据预设的微表情评分标准获取每一表情单元对应的情绪值。
可选地,可以预先设置表情单元对应的情绪值,将表情单元对应的情绪值作为预设的微表情评分标准,示例性地,如表2所示:
表2微表情评分标准表
AU标号 | AU描述 | 情绪值 |
AU1 | 内眉上扬 | 2 |
AU2 | 外眉上扬 | 1 |
AU4 | 眉毛下压 | 1 |
AU5 | 上眼脸上扬 | 3 |
AU6 | 脸颊抬起 | 1 |
AU7 | 眼睑收紧 | 4 |
AU9 | 鼻子蹙皱 | 2 |
AU10 | 上唇上扬 | 3 |
AU12 | 嘴角上扬 | 3 |
AU14 | 收紧嘴角 | 1 |
AU15 | 嘴角下拉 | -1 |
AU16 | 下嘴唇下压 | 1 |
AU17 | 下巴缩紧 | 2 |
AU18 | 嘴唇褶皱 | 3 |
AU20 | 嘴唇伸展 | 2 |
AU23 | 嘴唇收缩 | 1 |
AU24 | 嘴唇压紧 | 1 |
AU25 | 上下嘴唇分开 | 2 |
AU26 | 下颚下拉 | 4 |
具体地,在获取到面部图像的N个表情单元后,根据上表的预设的微表情评分标准,可以获取到每个表情单元对应的情绪值。可以理解地,上述表2中表情单元对应的情绪值仅是一个具体的示例性地说明,并不构成对本实施例的限制,具体可以根据实际需要来设置,在此不再赘述。
S32:采用如下预设的计算公式计算得到用户满意度:
其中,Xi为第i个表情单元对应的情绪值,Y为用户满意度。
式中,Xi为第i个表情单元对应的情绪值,Y为用户满意度,具体地,预设的计算公式表示用户满意度的计算结果为:N个表情单元对应的情绪值的累加的总和。可以理解地,该计算过程得到的用户满意度充分考虑了每个表情单元对应的情绪值对用户满意度的影响,从而保证了用户满意度评估的准确性和合理性,保证后续根据用户满意度对照片进行管理的准确度和合理性。
本实施例中,首先根据预设的微表情评分标准获取每一表情单元对应的情绪值,然后采用预设的计算公式计算得到用户满意度,该计算过程得到的用户满意度充分考虑了每个表情单元对应的情绪值对用户满意度的影响,从而保证了用户满意度评估的准确性和合理性,保证后续根据用户满意度对照片进行管理的准确度和合理性。
在一实施例中,如图4所示,步骤S60中,根据用户满意度,对当前照片进行归类,具体包括如下步骤:
S61:将用户满意度与满意度阈值进行比较,当用户满意度大于或等于满意度阈值时,则将当前照片归类到满意一类。
其中,满意度阈值是指评估对当前照片满意程度的临界值,用于作为判断用户对当前照片进行分类的标准。例如,照片标识为20180912的当前照片的满意度为12,满意度阈值为10,那么该当前照片满意度大于阈值,则将该当前照片归为满意一类。可以理解地,当照片归为满意一类时,可以一次性对该满意一类的照片进行批量处理,如用作封面照片或者选为海报等,减少了用户对该满意一类的每一张照片进行重复的操作,提高了照片的管理效率。
S62:当用户满意度小于不满意度阈值时,则将当前照片归类到不满意一类。
其中,不满意度阈值是指评估对当前照片不满意程度的临界值,用于作为判断用户对当前照片进行分类的标准。该不满意度阈值小于或者等于步骤S61中的满意度阈值,容易理解地,当不满意度阈值与满意度阈值相等时,当前照片被分为两类。
可以理解地,当用户满意度小于不满意度阈值时,表明面部图像对应的照片效果不理想。当照片归为不满意一类时,可以一次性对该不满意一类的照片进行批量处理,如进行删除操作或者进行照片美化操作等,减少了用户对该不满意一类的每一张照片进行重复的操作,提高了照片的管理效率。
本实施例中,将用户满意度与不满意度阈值进行比较,当用户满意度大于或等于满意度阈值时,则将当前照片归类到满意一类。当用户满意度小于不满意度阈值时,则将当前照片归类到不满意一类,减少了用户对该两类照片中的每一张照片进行重复的操作,提高了照片的管理效率。
在一实施例中,如图5所示,在将当前照片归类到满意一类的步骤之后,基于微表情的照片管理方法还包括:
S611:对满意一类中的适合照片按照用户满意度由大到小的顺序进行排序,得到第一满意度序列。
其中,适合照片是指被归为满意一类中的照片,即适合照片对应的用户满意度数值较大,并且大于或者等于满意度阈值。第一满意度序列是指将一系列用户满意度数值作为元素按照预定顺序排列形成的一组数据。在一具体实施方式中,第一满意度序列是对M个用户满意度值按照由大到小的顺序进行排序得到的,M为正整数。具体地,通过数组sort方法按照用户满意度值从大到小顺序进行排序,得到第一满意度序列。容易理解地,如果满意度数值越大,用户对该照片的越满意,因此,将用户满意度值大的排在越靠前位置,算法的性能越好,并且方便获取更为准确的满意照片。通过得到第一满意度序列,方便用户快速获取满意照片。
例如,某一满意一类中的当前照片的用户满意度分别为10,13,15,17,12,23,那么,该满意一类中的当前照片第一满意度序列为{23,17,15,13,12},可以理解地,用户满意度为12和13的照片虽然在满意一类的照片里,但是与用户满意度为23和17照片的差距较大,因此,在实际应用中,用户满意度为23和17照片,用户的关注度更高。可以理解地,本实施例中,对满意一类中的适合照片按照用户满意度由大到小的顺序进行排序,得到第一满意度序列,以便用户根据第一满意度序列快速获取理想照片,进而方便对该理想照片进行进一步地处理。
需要说明的是,当第一满意度序列中存在用户满意度相等的适合照片时,可以随机排列该适合照片,并筛选出用户满意度相等的适合照片发送给客户端,提示用户对该适合照片进行挑选和管理。通过用户的二次确认,保证照片管理的合理性。
S612:获取第一满意度序列中第一个元素对应的适合照片,作为封面照片。
其中,封面照片是指用于作为相册或者海报封面的照片。具体地,第一满意度序列中第一个元素对应的适合照片即为用户满意度数值最大的照片,当将该照片作为封面照片时,免去了用户对照片的操作,降低了用户操作的复杂度,给用户提供了较好的体验。
本实施例中,首先,对满意一类中的适合照片按照用户满意度由大到小的顺序进行排序,得到第一满意度序列,以便用户根据第一满意度序列快速获取理想照片,进而方便对该理想照片进行进一步地处理。然后,获取第一满意度序列中第一个元素对应的适合照片,作为封面照片,免去了用户对照片的操作,降低了用户操作的复杂度,给用户提供了较好的体验。
在一实施例中,如图6所示,在将当前照片归类到不满意一类的步骤之后,基于微表情的照片管理方法还包括:
S621:对不满意一类中的失当照片按照用户满意度由小到大的顺序进行排序,得到第二满意度序列。
其中,失当照片是指被归为不满意一类中的照片,即失当照片对应的用户满意度数值较小,并且小于不满意度阈值。第二满意度序列是指将一系列用户满意度数值作为元素按照预定顺序排列形成的一组数据。在一具体实施方式中,第二满意度序列是对K个用户满意度值按照由小到大的顺序进行排序得到的,K为正整数。具体地,通过数组sort方法按照用户满意度值从小到大顺序进行排序,得到第二满意度序列。容易理解地,如果满意度数值越小,用户对该失当照片越不满意,因此,将用户满意度值小的排在越靠前位置,算法的性能越好,并且方便获取更为准确的不满意照片。通过得到第二满意度序列,方便用户快速获取不满意照片。
例如,某一不满意一类中的失当照片的用户满意度分别为2,4,7,8,5,6,那么该不满意一类中的当前照片第二满意度序列为{2,4,5,6,7,8},可以理解地,用户满意度为7和8的照片虽然在不满意一类的照片里,但是与用户满意度为2和4照片的差距较大,因此,在实际应用中,用户不满意度为2和4照片,用户更倾向对该类照片进行删除操作,以便节省客户端的内存空间。可以理解地,本实施例中,对不满意一类中的失当照片按照用户满意度由小到大的顺序进行排序,得到第二满意度序列,以便用户根据第二满意度序列快速获取需要处理的照片,以便对该需要处理的照片进行及时处理。
需要说明的是,当第二满意度序列中存在用户满意度相等的失当照片时,可以随机排列该失当照片,并筛选出用户满意度相等的失当照片发送给客户端,提示用户对该失当照片进行挑选和管理。通过用户的二次确认,保证照片管理的合理性。
S622:获取第二满意度序列中第一个元素对应的失当照片,作为待删除照片。
其中,待删除照片是指需要进行删除操作的照片,用来提高客户端的内存空间。具体地,第二满意度序列中第一个元素对应的失当照片即为用户满意度数值最小的照片,当将该照片作为待删除照片时,可以提示用户对该照片进行删除操作,以便提高客户端的内存空间,降低了用户操作的复杂度,给用户提供了较好的体验。
本实施例中,首先,对不满意一类中的失当照片按照用户满意度由小到大的顺序进行排序,得到第二满意度序列,以便用户根据第二满意度序列快速获取需要处理的照片,以便对该需要处理的照片进行及时处理。然后,获取第二满意度序列中第一个元素对应的失当照片,作为待删除照片。可以提示用户对照片进行删除操作,以便提高客户端的内存空间,降低了用户操作的复杂度,给用户提供了较好的体验。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种基于微表情的照片管理装置,该基于微表情的照片管理装置与上述实施例中基于微表情的照片管理方法一一对应。如图7所示,该基于微表情的照片管理装置包括面部图像获取模块10、表情单元获取模块20、用户满意度计算模块30、目标满意度等级获取模块40、目标文件夹标识获取模块50和照片整理模块60。各功能模块详细说明如下:
面部图像获取模块10,用于在检测到当前照片处于被浏览状态时,则获取当前照片的照片标识和与照片标识对应的面部图像;
表情单元获取模块20,用于使用预设的微表情识别模型对面部图像进行面部情绪识别,得到面部图像的N个表情单元,N为正整数;
用户满意度计算模块30,用于采用预设的计算公式对N个表情单元进行计算,得到当前照片的用户满意度;
目标满意度等级获取模块40,用于从预设的满意度等级集合中,获取用户满意度对应的满意度等级,作为目标满意度等级,其中,预设的满意度等级集合中的每个满意度等级对应一个预设文件夹标识;
目标文件夹标识获取模块50,用于获取目标满意度等级对应的预设文件夹标识,作为目标文件夹标识;
照片整理模块60,用于根据用户满意度,对当前照片进行归类,并将归类后照片存入所述目标文件夹标识对应的文件夹中。
优选地,如图8所示,用户满意度计算模块30包括情绪值获取单元31和用户满意度获取单元32。
情绪值获取单元31,用于根据预设的微表情评分标准获取每一表情单元对应的情绪值;
用户满意度获取单元32,用于采用如下预设的计算公式计算得到用户满意度:
其中,Xi为第i个表情单元对应的情绪值,Y为用户满意度。
优选地,如图9所示,照片整理模块60包括第一照片类获取单元61和第二照片类获取单元62。
第一照片类获取单元61,用于将用户满意度与满意度阈值进行比较,当用户满意度大于或等于满意度阈值时,则将当前照片归类到满意一类;
第二照片类获取单元62,用于当用户满意度小于不满意度阈值时,则将当前照片归类到不满意一类。
优选地,第一照片类获取单元还包括第一满意度序列获取子单元和封面照片获取子单元。
第一满意度序列获取子单元,用于对满意一类中的适合照片按照用户满意度由大到小的顺序进行排序,得到第一满意度序列;
封面照片获取子单元,用于获取第一满意度序列中第一个元素对应的适合照片,作为封面照片。
优选地,第二照片类获取单元还包括第二满意度序列获取子单元和待删除照片获取子单元。
第二满意度序列获取子单元,用于对不满意一类中的失当照片按照用户满意度由小到大的顺序进行排序,得到第二满意度序列;
待删除照片获取子单元,用于获取第二满意度序列中第一个元素对应的失当照片,作为待删除照片。
关于基于微表情的照片管理装置的具体限定可以参见上文中对于基于微表情的照片管理方法的限定,在此不再赘述。上述基于基于微表情的照片管理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储基于微表情的照片管理方法中使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于微表情的照片管理方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
若检测到当前照片处于被浏览状态,则获取所述当前照片的照片标识和与所述照片标识对应的面部图像;
使用预设的微表情识别模型对所述面部图像进行面部情绪识别,得到所述面部图像的N个表情单元,N为正整数;
采用预设的计算公式对N个所述表情单元进行计算,得到所述当前照片的用户满意度;
从预设的满意度等级集合中,获取所述用户满意度对应的满意度等级,作为目标满意度等级,其中,所述预设的满意度等级集合中的每个满意度等级对应一个预设文件夹标识;
获取所述目标满意度等级对应的预设文件夹标识,作为目标文件夹标识;
根据所述用户满意度,对所述当前照片进行归类,并将归类后照片存入所述目标文件夹标识对应的文件夹中。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
若检测到当前照片处于被浏览状态,则获取所述当前照片的照片标识和与所述照片标识对应的面部图像;
使用预设的微表情识别模型对所述面部图像进行面部情绪识别,得到所述面部图像的N个表情单元,N为正整数;
采用预设的计算公式对N个所述表情单元进行计算,得到所述当前照片的用户满意度;
从预设的满意度等级集合中,获取所述用户满意度对应的满意度等级,作为目标满意度等级,其中,所述预设的满意度等级集合中的每个满意度等级对应一个预设文件夹标识;
获取所述目标满意度等级对应的预设文件夹标识,作为目标文件夹标识;
根据所述用户满意度,对所述当前照片进行归类,并将归类后照片存入所述目标文件夹标识对应的文件夹中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于微表情的照片管理方法,其特征在于,所述基于微表情的照片管理方法包括:
若检测到当前照片处于被浏览状态时,则获取所述当前照片的照片标识和与所述照片标识对应的面部图像;
使用预设的微表情识别模型对所述面部图像进行面部情绪识别,得到所述面部图像的N个表情单元,N为正整数;
采用预设的计算公式对N个所述表情单元进行计算,得到所述当前照片的用户满意度;
从预设的满意度等级集合中,获取所述用户满意度对应的满意度等级,作为目标满意度等级,其中,所述预设的满意度等级集合中的每个满意度等级对应一个预设文件夹标识;
获取所述目标满意度等级对应的预设文件夹标识,作为目标文件夹标识;
根据所述用户满意度,对所述当前照片进行归类,并将归类后照片存入所述目标文件夹标识对应的文件夹中。
2.如权利要求1所述的基于微表情的照片管理方法,其特征在于,所述采用预设的计算公式对N个所述表情单元进行计算,得到用户满意度,包括:
根据预设的微表情评分标准获取每一所述表情单元对应的情绪值;
采用如下预设的计算公式计算得到所述用户满意度:
其中,Xi为第i个表情单元对应的情绪值,Y为所述用户满意度。
3.如权利要求1所述的基于微表情的照片管理方法,其特征在于,根据所述用户满意度,对所述当前照片进行归类,包括:
将所述用户满意度与满意度阈值进行比较,当所述用户满意度大于或等于满意度阈值时,则将所述当前照片归类到满意一类;
当所述用户满意度小于不满意度阈值时,则将所述当前照片归类到不满意一类。
4.如权利要求3所述的基于微表情的照片管理方法,其特征在于,在所述将所述当前照片归类到满意一类的步骤之后,所述基于微表情的照片管理方法还包括:
对所述满意一类中的适合照片按照所述用户满意度由大到小的顺序进行排序,得到第一满意度序列;
获取所述第一满意度序列中第一个元素对应的所述适合照片,作为封面照片。
5.如权利要求3所述的基于微表情的照片管理方法,其特征在于,在所述将所述当前照片归类到不满意一类的步骤之后,所述基于微表情的照片管理方法还包括:
对所述不满意一类中的失当照片按照所述用户满意度由小到大的顺序进行排序,得到第二满意度序列;
获取所述第二满意度序列中第一个元素对应的所述失当照片,作为待删除照片。
6.一种基于微表情的照片管理装置,其特征在于,所述基于微表情的照片管理装置包括:
面部图像获取模块,用于在检测到当前照片处于被浏览状态时,则获取所述当前照片的照片标识和与所述照片标识对应的面部图像;
表情单元获取模块,用于使用预设的微表情识别模型对所述面部图像进行面部情绪识别,得到所述面部图像的N个表情单元,N为正整数;
用户满意度计算模块,用于采用预设的计算公式对N个所述表情单元进行计算,得到所述当前照片的用户满意度;
目标满意度等级获取模块,用于从预设的满意度等级集合中,获取所述用户满意度对应的满意度等级,作为目标满意度等级,其中,所述预设的满意度等级集合中的每个满意度等级对应一个预设文件夹标识;
目标文件夹标识获取模块,用于获取所述目标满意度等级对应的预设文件夹标识,作为目标文件夹标识;
照片整理模块,用于根据所述用户满意度,对所述当前照片进行归类,并将归类后照片存入所述目标文件夹标识对应的文件夹中。
7.如权利要求6所述的基于微表情的照片管理装置,其特征在于,所述用户满意度计算模块,包括:
情绪值获取单元,用于根据预设的微表情评分标准获取每一所述表情单元对应的情绪值;
用户满意度获取单元,用于采用如下预设的计算公式计算得到所述用户满意度:
其中,Xi为第i个表情单元对应的情绪值,Y为所述用户满意度。
8.如权利要求6所述的基于基于微表情的照片管理装置,其特征在于,所述照片整理模块,包括:
第一照片类获取单元,用于将所述用户满意度与满意度阈值进行比较,当所述用户满意度大于或等于满意度阈值时,则将所述当前照片归类到满意一类;
第二照片类获取单元,用于当所述用户满意度小于满意度阈值时,则将所述当前照片归类到不满意一类。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述基于微表情的照片管理方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于微表情的照片管理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811537427.XA CN109766461A (zh) | 2018-12-15 | 2018-12-15 | 基于微表情的照片管理方法、装置、计算机设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811537427.XA CN109766461A (zh) | 2018-12-15 | 2018-12-15 | 基于微表情的照片管理方法、装置、计算机设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109766461A true CN109766461A (zh) | 2019-05-17 |
Family
ID=66450687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811537427.XA Pending CN109766461A (zh) | 2018-12-15 | 2018-12-15 | 基于微表情的照片管理方法、装置、计算机设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109766461A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110378736A (zh) * | 2019-07-23 | 2019-10-25 | 中国科学院东北地理与农业生态研究所 | 通过人脸表情识别评价游客对自然资源体验满意度的方法 |
CN112820072A (zh) * | 2020-12-28 | 2021-05-18 | 深圳壹账通智能科技有限公司 | 危险驾驶预警方法、装置、计算机设备及存储介质 |
CN113703565A (zh) * | 2020-05-21 | 2021-11-26 | 北京百度网讯科技有限公司 | 一种用户交互方法、装置、设备及介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463100A (zh) * | 2014-11-07 | 2015-03-25 | 重庆邮电大学 | 基于面部表情识别模式的智能轮椅人机交互***及方法 |
CN107194347A (zh) * | 2017-05-19 | 2017-09-22 | 深圳市唯特视科技有限公司 | 一种基于面部动作编码***进行微表情检测的方法 |
CN107292778A (zh) * | 2017-05-19 | 2017-10-24 | 华中师范大学 | 一种基于认知情感感知的云课堂学习评价方法及其装置 |
US20170311863A1 (en) * | 2015-02-13 | 2017-11-02 | Omron Corporation | Emotion estimation device and emotion estimation method |
CN107437052A (zh) * | 2016-05-27 | 2017-12-05 | 深圳市珍爱网信息技术有限公司 | 基于微表情识别的相亲满意度计算方法和*** |
CN108197225A (zh) * | 2017-12-28 | 2018-06-22 | 广东欧珀移动通信有限公司 | 图像的分类方法、装置、存储介质及电子设备 |
CN108537160A (zh) * | 2018-03-30 | 2018-09-14 | 平安科技(深圳)有限公司 | 基于微表情的风险识别方法、装置、设备及介质 |
CN108897757A (zh) * | 2018-05-14 | 2018-11-27 | 平安科技(深圳)有限公司 | 一种照片存储方法、存储介质和服务器 |
-
2018
- 2018-12-15 CN CN201811537427.XA patent/CN109766461A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104463100A (zh) * | 2014-11-07 | 2015-03-25 | 重庆邮电大学 | 基于面部表情识别模式的智能轮椅人机交互***及方法 |
US20170311863A1 (en) * | 2015-02-13 | 2017-11-02 | Omron Corporation | Emotion estimation device and emotion estimation method |
CN107437052A (zh) * | 2016-05-27 | 2017-12-05 | 深圳市珍爱网信息技术有限公司 | 基于微表情识别的相亲满意度计算方法和*** |
CN107194347A (zh) * | 2017-05-19 | 2017-09-22 | 深圳市唯特视科技有限公司 | 一种基于面部动作编码***进行微表情检测的方法 |
CN107292778A (zh) * | 2017-05-19 | 2017-10-24 | 华中师范大学 | 一种基于认知情感感知的云课堂学习评价方法及其装置 |
CN108197225A (zh) * | 2017-12-28 | 2018-06-22 | 广东欧珀移动通信有限公司 | 图像的分类方法、装置、存储介质及电子设备 |
CN108537160A (zh) * | 2018-03-30 | 2018-09-14 | 平安科技(深圳)有限公司 | 基于微表情的风险识别方法、装置、设备及介质 |
CN108897757A (zh) * | 2018-05-14 | 2018-11-27 | 平安科技(深圳)有限公司 | 一种照片存储方法、存储介质和服务器 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110378736A (zh) * | 2019-07-23 | 2019-10-25 | 中国科学院东北地理与农业生态研究所 | 通过人脸表情识别评价游客对自然资源体验满意度的方法 |
CN113703565A (zh) * | 2020-05-21 | 2021-11-26 | 北京百度网讯科技有限公司 | 一种用户交互方法、装置、设备及介质 |
CN112820072A (zh) * | 2020-12-28 | 2021-05-18 | 深圳壹账通智能科技有限公司 | 危险驾驶预警方法、装置、计算机设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Wow! you are so beautiful today! | |
CN107122375B (zh) | 基于图像特征的图像主体的识别方法 | |
CN106326288B (zh) | 图像搜索方法及装置 | |
CN104239858B (zh) | 一种人脸特征验证的方法和装置 | |
CN111028305A (zh) | 表情生成方法、装置、设备及存储介质 | |
CN110472082B (zh) | 数据处理方法、装置、存储介质及电子设备 | |
CA3000955C (en) | Automatic image product creation for user accounts comprising large number of images | |
CN102938065B (zh) | 基于大规模图像数据的人脸特征提取方法及人脸识别方法 | |
CN109299344A (zh) | 排序模型的生成方法、搜索结果的排序方法、装置及设备 | |
CN109697434A (zh) | 一种行为识别方法、装置和存储介质 | |
CN109766461A (zh) | 基于微表情的照片管理方法、装置、计算机设备及介质 | |
CN109815873A (zh) | 基于图像识别的商品展示方法、装置、设备及介质 | |
EP3044731A1 (en) | Image searching method and apparatus | |
CN107967461A (zh) | Svm 差分模型训练及人脸验证方法、装置、终端及存储介质 | |
CN110175990A (zh) | 人脸图像质量判定方法、装置及计算机设备 | |
CN112613555A (zh) | 基于元学习的目标分类方法、装置、设备和存储介质 | |
CN109800319A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
Salihbašić et al. | Development of android application for gender, age and face recognition using opencv | |
CN110705489A (zh) | 目标识别网络的训练方法、装置、计算机设备和存储介质 | |
CN112685635A (zh) | 基于分类标签的项目推荐方法、装置、服务器和存储介质 | |
CN110580507B (zh) | 一种城市肌理分类识别方法 | |
CN112306829A (zh) | 性能信息的确定方法及装置、存储介质、终端 | |
CN109783678B (zh) | 一种图像搜索的方法及装置 | |
CN105512119A (zh) | 一种实现图片排序的方法及终端 | |
CN109345184A (zh) | 基于微表情的节点信息处理方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190517 |
|
WD01 | Invention patent application deemed withdrawn after publication |