CN105956059A - 基于情绪识别的信息推荐方法和装置 - Google Patents

Abstract

本发明实施例提供一种基于情绪识别的信息推荐方法和装置，用以根据用户情绪为用户推荐多媒体内容，提高多媒体内容推荐的准确率，改善用户体验。所述基于情绪识别的信息推荐方法，包括：获取用户提供的图像；从所述图像中提取表征用户情绪的特征信息；根据提取的特征信息识别用户情绪类型；根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。

Description

基于情绪识别的信息推荐方法和装置

技术领域

本发明实施例涉及终端应用技术领域，尤其涉及一种基于情绪识别的信息推荐方法和装置。

背景技术

随着移动通信技术的飞速发展和移动多媒体时代的到来，手机等移动终端作为人们必备的移动通信工具，已从简单的通话工具向智能化发展，通过在移动终端中安装不同的应用客户端可以为用户提供丰富的互联网应用。其中，多媒体播放是其中的热门应用之一。

内容提供商通过多媒体播放应用客户端可以向用户提供海量的多媒体内容。用户可以利用关键词查找自己喜欢的多媒体内容，也可以由内容提供商为用户推荐多媒体内容。后一种方式下，内容提供商通常为用户推荐访问频率高的多媒体内容，或者根据用户自身的访问数据预测用户喜欢什么类型的多媒体内容并据此进行推荐等等。

但是，由于用户对于多媒体内容的需求在不同的情境下是有区别的，例如，用户在兴奋时喜欢快节奏的音乐，在失落时需要平淡的音乐，而现有的多媒体内容推荐方式中并没有考虑到用户情绪，如果用户高兴，却给用户推荐一些悲伤的多媒体内容，或者用户情绪低落，却给用户推荐一些搞笑或者欢乐的多媒体内容，在一定程度上影响了用户体验。

发明内容

本发明实施例提供一种基于情绪识别的信息推荐方法和装置，用以根据用户情绪为用户推荐多媒体内容，提高多媒体内容推荐的准确率，改善用户体验。

本发明实施例提供一种基于情绪识别的信息推荐方法，包括：

获取用户提供的图像；

从所述图像中提取表征用户情绪的特征信息；

根据提取的特征信息识别用户情绪类型；

根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。

本发明实施例提供一种基于情绪识别的信息推荐装置，包括：

获取单元，用于获取用户提供的图像；

提取单元，用于从所述图像中提取表征用户情绪的特征信息；

情绪识别单元，用于根据提取的特征信息识别用户情绪类型；

信息推荐单元，用于根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。

本发明实施例还提供另外一种基于情绪识别的信息推荐装置，例如，可以包括存储器和处理器，其中，处理器可以用于读取存储器中的程序，执行下列过程：获取用户提供的图像；从所述图像中提取表征用户情绪的特征信息；根据提取的特征信息识别用户情绪类型；根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。

本发明实施例还提供了一种程序产品，其包括程序代码，当所述程序代码被执行时，所述程序代码用于执行以下过程：获取用户提供的图像；从所述图像中提取表征用户情绪的特征信息；根据提取的特征信息识别用户情绪类型；根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。

本发明实施例提供的基于情绪识别的信息推荐方法和装置，通过对用户提取的图像进行分析确定用户当前的情绪类型，并根据用户当前的情绪类型为其推荐对应类型的信息，由此，实现了根据用户情绪向用户推荐信息，提高了信息推荐的精准度，改善了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中基于情绪识别的信息推荐方法实施例流程图；

图2为本发明中从获取的图像中提取表征用户情绪的特征信息的实施例流程示意图；

图3为本发明中对得到的局部图像进行姿态矫正的实施例流程示意图；

图4为本发明中移动终端和网络侧配合实施基于情绪识别的信息推荐方法实施例流程图；

图5为本发明中基于情绪识别的信息推荐装置实施例示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供的基于情绪识别的信息推荐方法可以由安装于移动终端中的情绪识别客户端实施，可以由情绪识别客户端与网络侧服务器共同实施，或者还可以将本发明实施例提供的情绪识别的信息推荐方法嵌入其他应用客户端中，当需要为用户推荐信息时根据本发明实施例提供的方法对用户情绪进行识别，并根据情绪识别结果进行信息推荐，以下详细介绍之。

如图1所示，为本发明实施例提供的基于情绪识别的信息推荐方法实施例流程图，可以包括以下步骤：

S11、获取用户提供的图像。

本步骤中，当本发明实施例提供的基于情绪识别的信息推荐方法被触发时，指示用户提供相应的图像。该图像可以为调用移动移动终端自带的***相机实时进行拍摄用户当前图像得到的，也可以为用户从移动终端的***相册中选择的，本发明实施例对此不进行限定，只要能够体现用户当前的情绪即可。

S12、从获取的图像中提取表征用户情绪的特征信息。

S13、根据提取的特征信息识别用户情绪类型。

S14、根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。

具体实施时，步骤S12中，可以按照图2所示的流程实施：

S121、检测用户面部在获取的图像中的位置得到相应的位置信息。

具体的，在获取到用户提供的图像后，可以启动移动终端内置的人脸检测程序，检测用户提供的图像中包含的用户面部，根据检测到的用户面部确定其在获取的图像中的位置得到相应的位置信息。具体实施时，用户面部的位置信息可以使用矩形框(x,y,width,height)表示，其中，(x,y)表示矩形框左上角在获取的图像中的坐标(以获取的图像左上角的顶点为原点)，width表示矩形框的宽，height表示矩形框的长，或者具体实施时，也可以用圆形框(x,y,r)表示，其中(x,y)表示矩形框左上角在获取的图像中的坐标(以获取的图像左上角的顶点为原点)，r表示圆形框的半径等。

S122、根据得到的位置信息确定包含用户面部图像的局部图像。

具体实施时，即确定矩形框或者圆形框内的图像为包含用户面部图像的局部图像。

S123、从确定出的局部图像中提取表征用户情绪的特征信息。

具体实施时，为了保证步骤S123中提取的特征信息的准确性，还可以对步骤S122中得到的局部图像进行姿态矫正，例如，用户头部旋转一定角度拍摄的话，可能会对步骤S123的提取结果造成一定的影响，为了尽可能降低用户面部图像姿态不正对识别结果的影响，本发明实施例中，在执行步骤S123之前，还可以按照图3所示的流程对步骤S122得到的局部图像进行姿态矫正，以获得用户的正面面部图像：

S31、检测得到的局部图像中的关键特征点。

具体实施时，可以对获得的局部图像中包含的用户嘴巴、眼睛、鼻子。脸部轮廓灯等部位进行检测，每一部位在局部图像中的边缘可以使用多个关键特征点进行表示。

S32、根据检测到的关键特征点对局部图像进行姿态矫正得到用户的正面面部图像。

本步骤中，根据检测到的关键特征点确定关键部位旋转的角度，并根据确定出的角度将上述的关键部位进行一定角度的旋转以得到用户正面面部图像。基于此，步骤S123中可以基于得到的用户正面面部图像提取表征用户情绪的特征信息。

更佳的，为了减少图像噪声或者光线强度等对识别结果的影响，本发明实施例中，在执行步骤S123之前，还可以对得到的局部图像进行归一化处理，以提高识别结果的准确性。

具体实施时，还可以将得到的局部图像适配到固定图像尺寸，该固定尺寸可以根据实际需要进行设置，例如，可以但不限于设置为200*200大小。

在进行了上述一系列处理后，步骤S123中可以利用深度神经网络算法从正面面部图像中提取表征用户情绪的特征得到正面面部图像的特征向量，具体实施时，该特征向量为可以1*256的一维矩阵，将得到的特征向量输入到情绪分类器中得到对应的用户情绪类型，其中，情绪分配器可以为通过样本训练得到的。

本发明实施例中，可以将用户情绪分为高兴、平静、愤怒、害怕、沮丧等五种类型，相应的，可以将数据库中的信息划分为五种类型，每一种信息类型分别对应不同的情绪类型，具体实施时，向用户推荐的信息可以为多媒体内容，例如视频文件、音乐文件等，如表1所示，其为情绪类型与信息类型之间的对应关系示意：

表1

基于步骤S123中确定出的用户情绪类型，结合表1所示的对应关系，向用户推荐对应类型的信息。例如，步骤S123中确定用户情绪类型为高兴，则可以向用户推荐体育集锦、快节奏音乐、段子手主播等视频文件。

具体实施时，由于情绪识别是比较耗时的操作，如果在移动终端侧执行的话，受限于移动终端的计算能力，通常响应速度较慢(1-3秒)，为了保证用户流畅的体验，情绪识别操作可以由云端服务器执行，在云端服务器的强大计算能力下，计算时间可以缩短为200ms。基于此，具体实施时，步骤S12和步骤S13可以由移动终端执行，也可以由云端服务器执行。如果步骤S12由云端服务器执行，则在步骤S11中获取了用户提供的图像后，移动终端需要将获取的用户图像发送给云端服务器，云端服务器通过执行步骤S12和步骤S13识别出用户情绪类型后发送给移动终端，由移动终端执行步骤S14。

为了更好的理解本发明实施例，以下以由云端服务器进行情绪识别为例对本发明实施例的具体实施流程进行详细说明。如图4所示，可以包括以下步骤：

S41、移动终端获取用户提供的图像。

该图像可以为用户从本地相册中选择的图像，也可以为用户实时拍摄的图像。

S42、移动终端检测用户面部在获取的图像中的位置得到相应的位置信息。

具体的，移动终端启动人脸检测程序，检测到用户面部图像所在位置，利用矩形框(x,y,width,height)表示。

S43、移动终端根据得到的位置信息确定包含用户面部图像的局部图像。

S44、移动终端检测局部图像中的关键特征点。

移动终端可以针对脸部的关键部位如嘴唇、鼻子、眉毛和脸部轮廓灯进行检测，每一部位可以使用多个关键特征点进行表示，根据检测到的关键特征点确定用户拍摄图像时面部旋转的角度。

S45、移动终端根据检测到的关键特征点对局部图像进行姿态矫正得到用户的正面面部图像。

本步骤中，可以根据步骤S44中得到的检测结果进行姿态调整以得到用户的正面面部图像。

S46、移动终端对得到的用户正面面部图像进行归一化处理。

S47、移动终端将用户正面面部图像适配到统一尺寸。

S48、移动终端将统一尺寸的用户正面面部图像发送给云端服务器。

S49、云端服务器从接收到的正面面部图像中提取表征用户情绪的特征，将接收到的图像转换为特征向量。

S410、云端服务器将得到的特征输入情绪分类器得到相应的用户情绪类型。

S411、云端服务器将得到用户情绪类型发送给移动终端。

S412、移动终端根据云端服务器识别出的用户情绪类型为用户推荐相应类型的信息。

具体的，移动终端根据表1所示的用户情绪类型与信息类型之间的对应关系，向用户推荐信息类型与识别出的用户情绪类型对应的信息。

本发明实施例提供的基于用户情绪的信息推荐方法，通过识别用户提供的图像确定用户当前情绪，根据识别出的用户情绪类型可以为用户推荐相应类型的信息，以使得推荐的信息能够满足用户在不同的情境下的需求，提高推荐信息的准确性，改善了用户体验。

基于同一发明构思，本发明实施例中还提供了一种基于情绪识别的信息推荐装置，由于该装置解决问题的原理与上述基于情绪识别的信息推荐方法相似，因此该装置的实施可以参见上述方法的实施，重复之处不再赘述。

如图5所示，其为本发明实施例提供的基于情绪识别的信息推荐装置实施例示意图，可以包括：

获取单元51，用于获取用户提供的图像；

提取单元52，用于从所述图像中提取表征用户情绪的特征信息；

情绪识别单元53，用于根据提取的特征信息识别用户情绪类型；

信息推荐单元54，用于根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。

其中，所述提取单元，具体包括：

第一检测子单元，用于检测用户面部在所述图像中的位置得到相应的位置信息；

截取子单元，用于根据所述位置信息截取包含用户面部图像的局部图像；

提取子单元，用于从所述局部图像中提取表征用户情绪的特征信息。

所述提取单元，还包括第二检测子单元和姿态矫正子单元，其中：

所述第二检测子单元，用于检测所述局部图像中的关键特征点；

所述姿态矫正子单元，用于根据所述关键特征点对所述局部图像进行姿态矫正得到所述用户的正面面部图像；

所述提取子单元，具体用于从所述正面面部图像中提取表征用户情绪的特征信息。

较佳的，所述提取子单元，具体用于利用深度神经网络算法从所述正面面部图像中提取表征用户情绪的特征得到所述正面面部图像的特征向量；

所述情绪识别单元53，具体用于将得到的特征向量输入情绪分类器中得到对应的用户情绪类型，所述情绪分类器为通过样本训练得到的。

可选地，本发明实施例提供的基于情绪识别的信息推荐装置，还可以包括：

图像处理单元，用于在所述提取子单元从所述正面面部图像中提取表征用户情绪的特征信息之前，对所述局部图像进行归一化处理。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于情绪识别的信息推荐方法，其特征在于，包括：

获取用户提供的图像；

从所述图像中提取表征用户情绪的特征信息；

根据提取的特征信息识别用户情绪类型；

根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。

2.根据权利要求1所述的方法，其特征在于，从所述图像中提取表征用户情绪的特征信息，具体包括：

检测用户面部在所述图像中的位置得到相应的位置信息；

根据所述位置信息确定包含用户面部图像的局部图像；

从所述局部图像中提取表征用户情绪的特征信息。

3.根据权利要求2所述的方法，其特征在于，在从所述局部图像中提取表征用户情绪的特征信息之前，还包括：

检测所述局部图像中的关键特征点；

根据所述关键特征点对所述局部图像进行姿态矫正得到所述用户的正面面部图像；以及

从所述局部图像中提取表征用户情绪的特征信息，具体包括：

从所述正面面部图像中提取表征用户情绪的特征信息。

4.根据权利要求3所述的方法，其特征在于，在从所述正面面部图像中提取表征用户情绪的特征信息之前，还包括：

对所述局部图像进行归一化处理。

5.根据权利要求3所述的方法，其特征在于，从所述正面面部图像中提取表征用户情绪的特征信息，具体包括：

利用深度神经网络算法从所述正面面部图像中提取表征用户情绪的特征得到所述正面面部图像的特征向量；以及

根据提取的特征信息识别用户情绪类型，具体包括：

将得到的特征向量输入情绪分类器中得到对应的用户情绪类型，所述情绪分类器为通过样本训练得到的。

6.一种基于情绪识别的信息推荐装置，其特征在于，包括：

获取单元，用于获取用户提供的图像；

提取单元，用于从所述图像中提取表征用户情绪的特征信息；

情绪识别单元，用于根据提取的特征信息识别用户情绪类型；

信息推荐单元，用于根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。

7.根据权利要求6所述的装置，其特征在于，所述提取单元，具体包括：

第一检测子单元，用于检测用户面部在所述图像中的位置得到相应的位置信息；

截取子单元，用于根据所述位置信息截取包含用户面部图像的局部图像；

提取子单元，用于从所述局部图像中提取表征用户情绪的特征信息。

8.根据权利要求7所述的装置，其特征在于，所述提取单元，还包括第二检测子单元和姿态矫正子单元，其中：

所述第二检测子单元，用于检测所述局部图像中的关键特征点；

所述姿态矫正子单元，用于根据所述关键特征点对所述局部图像进行姿态矫正得到所述用户的正面面部图像；

所述提取子单元，具体用于从所述正面面部图像中提取表征用户情绪的特征信息。

9.根据权利要求8所述的装置，其特征在于，还包括：

图像处理单元，用于在所述提取子单元从所述正面面部图像中提取表征用户情绪的特征信息之前，对所述局部图像进行归一化处理。

10.根据权利要求8所述的装置，其特征在于，

所述提取子单元，具体用于利用深度神经网络算法从所述正面面部图像中提取表征用户情绪的特征得到所述正面面部图像的特征向量；

所述情绪识别单元，具体用于将得到的特征向量输入情绪分类器中得到对应的用户情绪类型，所述情绪分类器为通过样本训练得到的。