CN106815264B - 一种信息处理方法及*** - Google Patents

Abstract

本发明实施例公开了一种信息处理方法及***。所述方法包括：获得操作信息和图像数据；其中，所述操作信息为移动终端中的第一应用处于激活状态下、检测到针对所述第一应用的显示界面的触发操作获得的操作信息；所述图像数据为所述移动终端的图像采集单元采集获得的图像数据；所述图像采集单元与显示单元在同一平面上；分析所述图像数据，识别所述图像数据中的面部特征数据，基于所述面部特征数据获得面部表情信息；基于所述面部表情信息和所述操作信息生成第一反馈信息。

Description

一种信息处理方法及***

技术领域

本发明涉及信息处理技术，具体涉及一种信息处理方法及***。

背景技术

随着互联网技术的飞速发展，涌现出大量的移动终端应用(APP)。这些应用非常注重用户体验，十分关注用户的交互体验和应用的功能是否能够切实满足用户的需求，用户对应用的反馈及评价是数据运营、产品经理、设计师、软件工程师优化程序的重要依据。

现有技术中，收集应用的反馈的方式主要有以下几种：1、用户通过应用商店主动进行评分或评论；2、用户通过网站或论坛主动进行评论或评分的反馈；3、指定的参数信息的收集。其中，上述方式1和方式2占据了大部分比例。在用户使用应用的过程中，应用会不定期的提示用户去应用商店评分或评论，这种反馈的收集方式不够方便灵活，用户体验较差。方式3指定的参数信息并不能直观地对应用户的具体反馈体验，不能针对用户具体的使用过程。

发明内容

为解决现有存在的技术问题，本发明实施例提供一种信息处理方法及***，能够直接获得用户的使用反馈情况。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种信息处理方法，所述方法包括：

获得操作信息和图像数据；其中，所述操作信息为移动终端中的第一应用处于激活状态下、检测到针对所述第一应用的显示界面的触发操作获得的操作信息；所述图像数据为所述移动终端的图像采集单元采集获得的图像数据；所述图像采集单元与显示单元在同一平面上；

识别所述图像数据中的面部特征数据，基于所述面部特征数据获得面部表情信息；

基于所述面部表情信息和所述操作信息生成第一反馈信息。

上述方案中，所述基于所述面部表情信息和所述操作信息生成第一反馈信息，包括：

基于所述面部表情信息和/或所述操作信息获得对应的第一用户体验参数，基于所述第一用户体验参数生成所述操作信息对应操作位置的第一反馈信息。

上述方案中，所述分析所述图像数据，识别所述图像数据中的面部特征数据之后，所述方法还包括：

获得移动终端自身的相对位置信息和方向信息；

将所述面部特征数据中的眼部特征数据、所述相对位置信息和所述方向信息进行关联，获得关注点信息；所述关注点信息表征眼睛在移动终端上的聚焦位置信息。

上述方案中，所述方法还包括：基于所述关注点信息和所述操作信息生成第二反馈信息。

上述方案中，所述基于所述关注点信息和所述操作信息生成第二反馈信息，包括：

基于预设时间段内的关注点信息和所述预设时间段内的操作信息获得对应的第二用户体验参数，基于所述第二用户体验参数生成所述操作信息对应操作位置的第二反馈信息。

上述方案中，所述基于所述面部表情信息和所述操作信息生成第一反馈信息，包括：

基于所述面部表情信息、所述关注点信息和所述操作信息生成第一反馈信息。

上述方案中，所述基于所述面部表情信息、所述关注点信息和所述操作信息生成第一反馈信息，包括：

基于预设时间段内的所述面部表情信息和所述关注点信息，结合所述预设时间段内的操作信息获得对应的第三用户体验参数，基于所述第三用户体验参数生成所述操作信息对应操作位置的第一反馈信息。

本发明实施例还提供了一种信息处理***，所述***包括：获取单元、图像处理单元和信息生成单元；其中，

所述获取单元，用于获得操作信息和图像数据；其中，所述操作信息为移动终端中的第一应用处于激活状态下、检测到针对所述第一应用的显示界面的触发操作获得的操作信息；所述图像数据为所述移动终端的图像采集单元采集获得的图像数据；所述图像采集单元与显示单元在同一平面上；

所述图像处理单元，用于识别所述图像数据中的面部特征数据，基于所述面部特征数据获得面部表情信息；

所述信息生成单元，用于基于所述图像处理单元获得的面部表情信息和所述获取单元获得的操作信息生成第一反馈信息。

上述方案中，所述信息生成单元，用于基于所述面部表情信息和/或所述操作信息获得对应的第一用户体验参数，基于所述第一用户体验参数生成所述操作信息对应操作位置的第一反馈信息。

上述方案中，所述获取单元，还用于获得移动终端自身的相对位置信息和方向信息；

所述图像处理单元，还用于将所述面部特征数据中的眼部特征数据、所述获取单元获得的所述移动终端自身的相对位置信息和所述方向信息进行关联，获得关注点信息；所述关注点信息表征眼睛在移动终端上的聚焦位置信息。

上述方案中，所述信息生成单元，还用于基于所述关注点信息和所述操作信息生成第二反馈信息。

上述方案中，所述信息生成单元，用于基于预设时间段内的关注点信息和所述预设时间段内的操作信息获得对应的第二用户体验参数，基于所述第二用户体验参数生成所述操作信息对应操作位置的第二反馈信息。

上述方案中，所述信息生成单元，用于基于所述面部表情信息、所述关注点信息和所述操作信息生成第一反馈信息。

上述方案中，所述信息生成单元，用于基于预设时间段内的所述面部表情信息和所述关注点信息，结合所述预设时间段内的操作信息获得对应的第三用户体验参数，基于所述第三用户体验参数生成所述操作信息对应操作位置的第一反馈信息。

本发明实施例的信息处理方法及***，所述方法包括：获得操作信息和图像数据；其中，所述操作信息为移动终端中的第一应用处于激活状态下、检测到针对所述第一应用的显示界面的触发操作获得的操作信息；所述图像数据为所述移动终端的图像采集单元采集获得的图像数据；所述图像采集单元与显示单元在同一平面上；识别所述图像数据中的面部特征数据，基于所述面部特征数据获得面部表情信息；基于所述面部表情信息和所述操作信息生成第一反馈信息。采用本发明实施例的技术方案，通过在用户使用第一应用的过程中，识别表征用户的面部表情信息、获得操作信息，基于所述面部表情信息和所述操作信息生成第一反馈信息，从而作为进一步对所述第一应用进行优化修改的依据，如此，一方面实现了用户反馈信息的直接、主动的获取，无需用户登录应用商店或网站进行评论或评分，大大提升了用户的操作体验；另一方面，本发明实施例的技术方案在用户的使用过程中进行信息的采集和识别，以便于获知所述第一应用中用户体验不佳的具***置，便于后续运行维护过程中能够对具体问题进行完善或优化，为应用的运行维护提供了详实的依据。

附图说明

图1为本发明实施例的信息处理方法的应用场景示意图；

图2为本发明实施例一的信息处理方法的流程示意图；

图3为本发明实施例二的信息处理方法的流程示意图；

图4为本发明实施例三的信息处理方法的流程示意图；

图5为本发明实施例的信息处理***的组成结构示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

图1为本发明实施例的信息处理方法的应用场景示意图；如图1所示，包括作为服务器11以及移动终端12；所述移动终端12与所述服务器11之间可通过网络(如有线网络和/或无线网络)连接。所述移动终端12中预先安装有至少一个应用(APP)。所述服务器11可以为所述至少一个应用所述服务器或服务器集群；所述服务器11也可以为第三方用户体验信息统计平台所属服务器或服务器集群。

本发明各实施例的技术方案应用于上述服务器11和移动终端12中；通过所述移动终端12在运行一应用时，获得用户针对所述应用显示界面的操作信息，同时获得用户的面部特征数据，将所述操作信息和所述面部特征数据发送至服务器11进行分析处理，以使所述服务器11根据所述面部特征数据识别出用户的面部表情信息，再基于所述面部表情信息和所述操作信息获得第一反馈信息，所述第一反馈信息表明在所述操作信息包含位置处，用户的面部表情是愉悦、或平静、或不满等，从而获知所述操作信息包含位置是否造成用户操作体验不佳，即是否需要进行优化改进。

上述图1的例子只是实现本发明实施例的一个应用架构实例，本发明实施例并不限于上述图1所述的应用结构，基于该应用架构，提出本发明各个实施例。

实施例一

本发明实施例提供了一种信息处理方法。图2为本发明实施例一的信息处理方法的流程示意图；如图2所示，所述信息处理方法包括：

步骤201：获得操作信息和图像数据；其中，所述操作信息为移动终端中的第一应用处于激活状态下、检测到针对所述第一应用的显示界面的触发操作获得的操作信息；所述图像数据为所述移动终端的图像采集单元采集获得的图像数据；所述图像采集单元与显示单元在同一平面上。

本实施例所述的信息处理方法应用于信息处理***中；所述信息处理***在本实施方式中可通过服务器实现，当然在其他实施方式中，可通过移动终端和服务器共同实现。则本步骤中，所述获得操作信息和图像数据，包括：服务器获得移动终端的操作信息和图像数据。

具体的，当移动终端激活第一应用时，输出表征所述第一应用的显示界面，检测针对所述显示界面的触发操作，获得操作信息；所述操作信息包括操作手势信息和操作位置信息；其中，所述操作手势信息包括：单击手势、双击手势、滑动手势、拖动手势、缩放手势、旋转手势、参数(例如音量参数、亮度参数等)调节手势等等；所述操作位置信息为所述操作手势的操作位置信息；所述操作位置信息可针对一功能按键。进一步地，所述操作信息还可为在一段时间内的连续的操作信息。

当检测到针对所述显示界面的触发操作时，所述移动终端生成第一指令，基于所述第一指令使能所述移动终端的图像采集单元；在其他实施方式中，所述移动终端也可在激活所述第一应用时使能所述移动终端的图像采集单元，或者，所述移动终端也可基于检测到的触发指令使能所述移动终端的图像采集单元，本实施例中不做具体限定。本实施例中，所述图像采集单元与所述移动终端的显示单元在同一平面上，可以理解为，所述图像采集单元可通过所述移动终端的前置摄像头实现。

本实施例中，所述移动终端将获得的操作信息和对应的图像数据发送至信息处理***。

步骤202：识别所述图像数据中的面部特征数据，基于所述面部特征数据获得面部表情信息。

本步骤中，所述信息处理***分析所述图像数据，首先对所述图像数据进行预处理(例如去噪、像素位置或光照变量的标准化)，以及面部的分割、定位或追踪等等。进一步地，对所述图像数据进行面部特征数据的提取，包括将像素数据转化为面部及其组成部分的外形、运动、颜色、肌肉和空间结构的表示，提取出的面部特征数据用于进行后续的表情分类。进一步地，所述信息处理***中预先表情分类器，所述表情分类器中包括多组面部特征数据与表情信息的对应关系，或者所述表情分类器中包括一表情分类模型，将所述面部特征数据输入所述表情分类器，输出所述面部特征数据对应的表情信息，也即基于所述面部特征数据获得面部表情信息。本步骤中所述的面部分析方法以及表情信息的识别可参照现有技术中的任何分析识别方法，本实施例中不作具体描述。

当然，在其他实施方式中，本步骤也可由移动终端实现，即移动终端根据获得的图像数据进行分析识别，获得所述面部表情信息，再将所述面部表情信息发送至信息处理***。具体的实现方式可参照上述描述，这里不再赘述。

步骤203：基于所述面部表情信息和所述操作信息生成第一反馈信息。

这里，所述基于所述面部表情信息和所述操作信息生成第一反馈信息，包括：基于所述面部表情信息和/或所述操作信息获得对应的第一用户体验参数，基于所述第一用户体验参数生成所述操作信息对应操作位置的第一反馈信息。

具体的，所述信息处理***中预先存储有多组面部表情信息与第一用户体验参数的对应关系。例如，当所述面部表情信息为愉悦时，对应的第一用户体验参数为5；当所述面部表情信息为平静时，对应的第一用户体验参数为3；当所述面部表情信息为不满时，对应的第一用户体验参数为0。当然，在其他实施方式中，所述面部表情信息以及第一用户体验参数也可按照其他对应方式预先设置，本实施例中不做详细描述。也就是说，所述面部表情信息能够表征用户的体验度，从而当所述面部表情信息表征的用户体验度达到第一预设阈值时，即表明用户体验度佳，依据所述面部表情信息对应的操作信息(包括操作位置信息)生成所述操作信息(包括操作位置信息)对应的第一反馈信息，此时，所述第一反馈信息表明所述第一应用在所述操作位置处给用户带来较佳体验，所述操作位置处的操作功能或提供的内容值得推荐；相应的，当所述面部表情信息表征的用户体验度未达到第二预设阈值时，所述第二预设阈值小于所述第一预设阈值，即表明用户体验度差，依据所述面部表情信息对应的操作信息(包括操作位置信息)生成所述操作信息(包括操作位置信息)对应的第一反馈信息，此时，所述第一反馈信息表明所述第一应用在所述操作位置处给用户带来较差体验，所述操作位置处的操作功能或提供的内容需进一步进行优化或改善。

作为另一种实施方式，所述信息处理***基于所述面部表情信息和所述操作信息的组合获得对应的第一用户体验参数。例如，当所述面部表情信息为愉悦，且所述操作信息包含的操作次数小于低于第一阈值时，对应的第一用户体验参数为5；当所述面部表情信息为平静，且所述操作信息包含的操作次数大于第一阈值小于第二阈值时，对应的第一用户体验参数为3；当所述面部表情信息为不满，且所述操作信息包含的操作次数大于第二阈值时，对应的第一用户体验参数为0。当然，在其他实施方式中，所述面部表情信息以及第一用户体验参数也可按照其他对应方式预先设置，本实施例中不做详细描述。也就是说，所述面部表情信息和操作信息的组合能够表征用户的体验度，如在一场景中，用户通过输入操作想找到一功能入口，可通过多次的滑动操作才看到，此时的用户会面露不悦的表情；则在这种场景下，所述信息处理***获得表征不悦表情的面部表情信息和包含有多次滑动操作的操作信息，结合上述两个信息获得对应的第一用户体验参数为0，即表明在所述操作信息对应的操作位置下，用户的体验度较差，需要进行优化或改进。

采用本发明实施例的技术方案，通过在用户使用第一应用的过程中，识别用户的面部表情信息、获得操作信息，基于所述面部表情信息和所述操作信息生成第一反馈信息，从而作为进一步对所述第一应用进行优化修改的依据，如此，一方面实现了用户反馈信息的直接、主动的获取，无需用户登录应用商店或网站进行评论或评分，大大提升了用户的操作体验；另一方面，本发明实施例的技术方案在用户的使用过程中进行信息的采集和识别，以便于获知所述第一应用中用户体验不佳的具***置，便于后续运行维护过程中能够对具体问题进行完善或优化，为应用的运行维护提供了详实的依据。

实施例二

本发明实施例提供了一种信息处理方法。图3为本发明实施例二的信息处理方法的流程示意图；如图3所示，所述信息处理方法包括：

步骤301：获得操作信息和图像数据；其中，所述操作信息为移动终端中的第一应用处于激活状态下、检测到针对所述第一应用的显示界面的触发操作获得的操作信息；所述图像数据为所述移动终端的图像采集单元采集获得的图像数据；所述图像采集单元与显示单元在同一平面上。

本实施例所述的信息处理方法应用于信息处理***中；所述信息处理***在本实施方式中可通过服务器实现，当然在其他实施方式中，可通过移动终端和服务器共同实现。则本步骤中，所述获得操作信息和图像数据，包括：信息处理***获得移动终端的操作信息和图像数据。

具体的，当移动终端激活第一应用时，输出表征所述第一应用的显示界面，检测针对所述显示界面的触发操作，获得操作信息；所述操作信息包括操作手势信息和操作位置信息；其中，所述操作手势信息包括：单击手势、双击手势、滑动手势、拖动手势、缩放手势、旋转手势、参数(例如音量参数、亮度参数等)调节手势等等；所述操作位置信息为所述操作手势的操作位置信息；所述操作位置信息可针对一功能按键。进一步地，所述操作信息还可为在一段时间内的连续的操作信息。

当检测到针对所述显示界面的触发操作时，所述移动终端生成第一指令，基于所述第一指令使能所述移动终端的图像采集单元；在其他实施方式中，所述移动终端也可在激活所述第一应用时使能所述移动终端的图像采集单元，或者，所述移动终端也可基于检测到的触发指令使能所述移动终端的图像采集单元，本实施例中不做具体限定。本实施例中，所述图像采集单元与所述移动终端的显示单元在同一平面上，可以理解为，所述图像采集单元可通过所述移动终端的前置摄像头实现。

本实施例中，所述移动终端将获得的操作信息和对应的图像数据发送至信息处理***。

步骤302：识别所述图像数据中的面部特征数据；以及获得移动终端自身的相对位置信息和方向信息。

本步骤中，所述信息处理***分析所述图像数据，首先对所述图像数据进行预处理(例如去噪、像素位置或光照变量的标准化)，以及面部的分割、定位或追踪等等。进一步地，对所述图像数据进行面部特征数据的提取，包括将像素数据转化为面部及其组成部分的外形、运动、颜色、肌肉和空间结构的表示；具体的面部特征数据的提取方式可参照现有技术中的任何面部识别方式，本实施例中不作具体描述。

本实施例中，所述信息处理***获得所述移动终端的相对位置信息和方向信息；所述相对位置信息为所述移动终端与持有者之间的相对位置关系。具体的，所述移动终端中设置有以下传感单元的至少之一：重力感应单元、加速度传感单元、距离传感单元、虹膜识别单元等等，具体的，所述移动终端可通过所述重力感应单元或所述加速度传感单元获得方向信息，所述方向信息可以为所述移动终端的重心方向相对于所述移动终端的长边方向或短边方向的夹角，所述方向信息也即所述移动终端的姿态变化信息。所述移动终端还可以通过所述距离传感单元或所述虹膜识别单元获得所述移动终端与持有者之间的相对位置信息，其中，所述距离传感单元和所述虹膜识别单元通常设置于所述移动终端显示单元的同一面上，当用户持握所述移动终端时，可通过所述距离传感单元检测到与用户之间的距离，或者可通过所述虹膜识别单元识别出所述移动终端与所述用户的眼睛之间的相对方位。

步骤303：将所述面部特征数据中的眼部特征数据、所述相对位置信息和所述方向信息进行关联，获得关注点信息；所述关注点信息表征眼睛在移动终端上的聚焦位置信息。

本实施例中，所述信息处理***基于所述面部特征数据中包含的眼部特征数据以及所述移动终端自身的相对位置信息和所述方向信息进行关联，获得关注点信息，所述关注点信息表征所述移动终端的持有用户的眼睛在所述移动终端的聚焦位置信息，也可以理解为所述持有用户的眼睛浏览的内容所在的位置信息。具体的，所述信息处理***可基于所述眼部特征数据获得所述持有用户的眼睛的视线方向信息，进一步的，基于所述移动终端自身的相对位置信息和所述方向信息确定所述移动终端和所述持有用户的相对位置关系，基于所述视线方向信息和所述相对位置关系获得所述持有用户的眼睛聚焦在移动终端上的聚焦范围，基于所述聚焦范围生成所述关注点信息。

步骤304：基于所述关注点信息和所述操作信息生成第二反馈信息。

这里，所述基于所述关注点信息和所述操作信息生成第二反馈信息，包括：基于预设时间段内的关注点信息和所述预设时间段内的操作信息获得对应的第二用户体验参数，基于所述第二用户体验参数生成所述操作信息对应操作位置的第二反馈信息。

具体的，所述信息处理***基于预设时间段内的关注点信息和操作信息的组合获得对应的第二用户体验参数。例如，当预设时间段t内，当所述关注点信息(即持有用户的眼睛在移动终端上的聚焦位置)变化的范围比例大于第一阈值，且所述操作信息包含的操作次数大于第二阈值时，对应的第二用户体验参数为0；当所述关注点信息(即持有用户的眼睛在移动终端上的聚焦位置)变化的范围比例大于第三阈值小于第一阈值(所述第一阈值小于所述第三阈值)，且所述操作信息包含的操作次数小于第二阈值大于第四阈值(所述第四阈值小于所述第二阈值)时，对应的第二用户体验参数为3；当所述关注点信息(即持有用户的眼睛在移动终端上的聚焦位置)未出现变化，或者变化的范围比例小于第三阈值，且所述操作信息包含的操作次数小于第四阈值时，对应的第二用户体验参数为5。当然，在其他实施方式中，所述信息处理***基于眼部特征数据、所述相对位置信息和所述方向信息进行关联得到关注点信息的方式也可参照其他实施方式，即所述信息处理***可根据眼部特征数据、所述相对位置信息和所述方向信息得到持有用户的眼睛在所述移动终端的聚焦位置信息可参照现有技术中的任何图像识别结合建模技术，本实施例中不做详细描述。如在一场景中，用户通过输入操作想找到一功能入口，则用户会四处寻找所述功能入口的位置；则所述信息处理***获得的用户的关注点信息变化的范围比例会大于第一阈值；相应的，在用户寻找所述功能入口的位置过程中，伴随着多次的触发操作，也即所述信息处理***获得操作信息包含的操作次数大于第二阈值；在这种场景下，用户需要很长时间才能找到所述功能入口，表明所述应用在当前操作位置给用户带来较差的操作体验，需要进行优化或改进。

采用本发明实施例的技术方案，通过在用户使用第一应用的过程中，识别用户的关注点信息、以及获得操作信息，基于所述关注点信息和所述操作信息生成第二反馈信息，从而作为进一步对所述第一应用进行优化修改的依据，如此，一方面实现了用户反馈信息的直接、主动的获取，无需用户登录应用商店或网站进行评论或评分，大大提升了用户的操作体验；另一方面，本发明实施例的技术方案在用户的使用过程中进行信息的采集和识别，以便于获知所述第一应用中用户体验不佳的具***置，便于后续运行维护过程中能够对具体问题进行完善或优化，为应用的运行维护提供了详实的依据。

实施例三

本发明实施例提供了一种信息处理方法。图4为本发明实施例三的信息处理方法的流程示意图；如图4所示，所述信息处理方法包括：

步骤401：获得操作信息和图像数据；其中，所述操作信息为移动终端中的第一应用处于激活状态下、检测到针对所述第一应用的显示界面的触发操作获得的操作信息；所述图像数据为所述移动终端的图像采集单元采集获得的图像数据；所述图像采集单元与显示单元在同一平面上。

本实施例所述的信息处理方法应用于信息处理***中；所述信息处理***在本实施方式中可通过服务器实现，当然在其他实施方式中，可通过移动终端和服务器共同实现。则本步骤中，所述获得操作信息和图像数据，包括：信息处理***获得移动终端的操作信息和图像数据。

具体的，当移动终端激活第一应用时，输出表征所述第一应用的显示界面，检测针对所述显示界面的触发操作，获得操作信息；所述操作信息包括操作手势信息和操作位置信息；其中，所述操作手势信息包括：单击手势、双击手势、滑动手势、拖动手势、缩放手势、旋转手势、参数(例如音量参数、亮度参数等)调节手势等等；所述操作位置信息为所述操作手势的操作位置信息；所述操作位置信息可针对一功能按键。进一步地，所述操作信息还可为在一段时间内的连续的操作信息。

当检测到针对所述显示界面的触发操作时，所述移动终端生成第一指令，基于所述第一指令使能所述移动终端的图像采集单元；在其他实施方式中，所述移动终端也可在激活所述第一应用时使能所述移动终端的图像采集单元，或者，所述移动终端也可基于检测到的触发指令使能所述移动终端的图像采集单元，本实施例中不做具体限定。本实施例中，所述图像采集单元与所述移动终端的显示单元在同一平面上，可以理解为，所述图像采集单元可通过所述移动终端的前置摄像头实现。

本实施例中，所述移动终端将获得的操作信息和对应的图像数据发送至信息处理***。

步骤402：识别所述图像数据中的面部特征数据，基于所述面部特征数据获得面部表情信息。

本步骤中，所述信息处理***分析所述图像数据，首先对所述图像数据进行预处理(例如去噪、像素位置或光照变量的标准化)，以及面部的分割、定位或追踪等等。进一步地，对所述图像数据进行面部特征数据的提取，包括将像素数据转化为面部及其组成部分的外形、运动、颜色、肌肉和空间结构的表示，提取出的面部特征数据用于进行后续的表情分类。进一步地，所述信息处理***中预先表情分类器，所述表情分类器中包括多组面部特征数据与表情信息的对应关系，或者所述表情分类器中包括一表情分类模型，将所述面部特征数据输入所述表情分类器，输出所述面部特征数据对应的表情信息，也即基于所述面部特征数据获得面部表情信息。本步骤中所述的面部分析方法以及表情信息的识别可参照现有技术中的任何分析识别方法，本实施例中不作具体描述。

当然，在其他实施方式中，本步骤也可由移动终端实现，即移动终端根据获得的图像数据进行分析识别，获得所述面部表情信息，再将所述面部表情信息发送至信息处理***。具体的实现方式可参照上述描述，这里不再赘述。

步骤403：获得移动终端自身的相对位置信息和方向信息；将所述面部特征数据中的眼部特征数据、所述相对位置信息和方向信息进行关联，获得关注点信息；所述关注点信息表征眼睛在移动终端上的聚焦位置信息。

本实施例中，所述信息处理***获得所述移动终端的相对位置信息和方向信息；所述相对位置信息为所述移动终端与持有者之间的相对位置关系。具体的，所述移动终端中设置有以下传感单元的至少之一：重力感应单元、加速度传感单元、距离传感单元、虹膜识别单元等等，具体的，所述移动终端可通过所述重力感应单元或所述加速度传感单元获得方向信息，所述方向信息可以为所述移动终端的重心方向相对于所述移动终端的长边方向或短边方向的夹角，所述方向信息也即所述移动终端的姿态变化信息。所述移动终端还可以通过所述距离传感单元或所述虹膜识别单元获得所述移动终端与持有者之间的相对位置信息，其中，所述距离传感单元和所述虹膜识别单元通常设置于所述移动终端显示单元的同一面上，当用户持握所述移动终端时，可通过所述距离传感单元检测到与用户之间的距离，或者可通过所述虹膜识别单元识别出所述移动终端与所述用户的眼睛之间的相对方位。

进一步地，所述信息处理***基于所述面部特征数据中包含的眼部特征数据、所述移动终端自身的相对位置信息和所述方向信息进行关联，获得关注点信息，所述关注点信息表征所述移动终端的持有用户的眼睛在所述移动终端的聚焦位置信息，也可以理解为所述持有用户的眼睛浏览的内容所在的位置信息。具体的，所述信息处理***可基于所述眼部特征数据获得所述持有用户的眼睛的视线方向信息，进一步的，基于所述移动终端自身的相对位置信息和所述方向信息确定所述移动终端和所述持有用户的相对位置关系，基于所述视线方向信息和所述相对位置关系获得所述持有用户的眼睛聚焦在移动终端上的聚焦范围，基于所述聚焦范围生成所述关注点信息。

步骤404：基于所述面部表情信息、所述关注点信息和所述操作信息生成第一反馈信息。

这里，所述基于所述面部表情信息、所述关注点信息和所述操作信息生成第一反馈信息，包括：

基于预设时间段内的所述面部表情信息和所述关注点信息，结合所述预设时间段内的操作信息获得对应的第三用户体验参数，基于所述第三用户体验参数生成所述操作信息对应操作位置的第一反馈信息。

具体的，所述信息处理***基于预设时间段内的面部的表情信息，以及所述预设时间段内的关注点信息，结合操作信息获得对应的第三用户体验参数。例如，在预设时间段t内，获得的面部表情信息为愉悦，所述关注点信息(即持有用户的眼睛在移动终端上的聚焦位置)未出现变化，或者变化的范围比例小于第三阈值，且所述操作信息包含的操作次数小于第四阈值时，对应的第二用户体验参数为5；或者，获得的面部表情信息为平静，所述关注点信息(即持有用户的眼睛在移动终端上的聚焦位置)变化的范围比例大于第三阈值小于第一阈值(所述第一阈值小于所述第三阈值)，且所述操作信息包含的操作次数小于第二阈值大于第四阈值(所述第四阈值小于所述第二阈值)时，对应的第二用户体验参数为3；或者，获得的面部表情信息为不满，所述关注点信息(即持有用户的眼睛在移动终端上的聚焦位置)变化的范围比例大于第一阈值，且所述操作信息包含的操作次数大于第二阈值时，对应的第二用户体验参数为0。当然，所述信息处理***获得第三用户体验参数的方式也可参照其他方式，本实施例中不做赘述。如在一场景中，用户通过输入操作想找到一功能入口，则用户会四处寻找所述功能入口的位置；则所述信息处理***获得的用户的关注点信息变化的范围比例会大于第一阈值；相应的，在用户寻找所述功能入口的位置过程中，伴随着多次的触发操作，也即所述信息处理***获得操作信息包含的操作次数大于第二阈值；相应的，在用户花费了较长时间寻找所述功能入口的位置的场景下，用户会面露不悦的表情；在这种场景下，所述信息处理***基于对获得的所述面部表情信息、所述关注点信息以及所述操作信息的分析，确定当前用户体验较差，也即用户需要很长时间才能找到所述功能入口，表明所述应用在当前操作位置给用户带来较差的操作体验，需要进行优化或改进。

采用本发明实施例的技术方案，通过在用户使用第一应用的过程中，识别用户的面部表情信息、用户的关注点信息、以及获得操作信息，基于所述面部表情信息、所述关注点信息和所述操作信息生成第一反馈信息，从而作为进一步对所述第一应用进行优化修改的依据，如此，一方面实现了用户反馈信息的直接、主动的获取，无需用户登录应用商店或网站进行评论或评分，大大提升了用户的操作体验；另一方面，本发明实施例的技术方案在用户的使用过程中进行信息的采集和识别，以便于获知所述第一应用中用户体验不佳的具***置，便于后续运行维护过程中能够对具体问题进行完善或优化，为应用的运行维护提供了详实的依据。

实施例四

本发明实施例还提供了一种信息处理***。图5为本发明实施例的信息处理***的组成结构示意图；如图5所示，所述***包括：获取单元51、图像处理单元52和信息生成单元53；其中，

所述获取单元51，用于获得操作信息和图像数据；其中，所述操作信息为移动终端中的第一应用处于激活状态下、检测到针对所述第一应用的显示界面的触发操作获得的操作信息；所述图像数据为所述移动终端的图像采集单元采集获得的图像数据；所述图像采集单元与显示单元在同一平面上；

所述图像处理单元52，用于识别所述获取单元51获得的图像数据中的面部特征数据，基于所述面部特征数据获得面部表情信息；

所述信息生成单元53，用于基于所述图像处理单元52获得的面部表情信息和所述获取单元51获得的操作信息生成第一反馈信息。

其中，所述信息生成单元53，用于基于所述面部表情信息获得对应的第一用户体验参数，基于所述第一用户体验参数生成所述操作信息对应操作位置的第一反馈信息。

本实施例中，当移动终端激活第一应用时，输出表征所述第一应用的显示界面，检测针对所述显示界面的触发操作，获得操作信息；所述操作信息包括操作手势信息和操作位置信息；其中，所述操作手势信息包括：单击手势、双击手势、滑动手势、拖动手势、缩放手势、旋转手势、参数(例如音量参数、亮度参数等)调节手势等等；所述操作位置信息为所述操作手势的操作位置信息；所述操作位置信息可针对一功能按键。进一步地，所述操作信息还可为在一段时间内的连续的操作信息。

当检测到针对所述显示界面的触发操作时，所述移动终端生成第一指令，基于所述第一指令使能所述移动终端的图像采集单元；在其他实施方式中，所述移动终端也可在激活所述第一应用时使能所述移动终端的图像采集单元，或者，所述移动终端也可基于检测到的触发指令使能所述移动终端的图像采集单元，本实施例中不做具体限定。本实施例中，所述图像采集单元与所述移动终端的显示单元在同一平面上，可以理解为，所述图像采集单元可通过所述移动终端的前置摄像头实现。进一步地，所述移动终端将获得的操作信息和对应的图像数据发送至信息处理***。

本实施例中，所述图像处理单元52分析所述图像数据，首先对所述图像数据进行预处理(例如去噪、像素位置或光照变量的标准化)，以及面部的分割、定位或追踪等等。进一步地，对所述图像数据进行面部特征数据的提取，包括将像素数据转化为面部及其组成部分的外形、运动、颜色、肌肉和空间结构的表示，提取出的面部特征数据用于进行后续的表情分类。进一步地，所述信息处理***中预先表情分类器，所述表情分类器中包括多组面部特征数据与表情信息的对应关系，或者所述表情分类器中包括一表情分类模型，将所述面部特征数据输入所述表情分类器，输出所述面部特征数据对应的表情信息，也即基于所述面部特征数据获得面部表情信息。本实施例中所述的面部分析方法以及表情信息的识别可参照现有技术中的任何分析识别方法，本实施例中不作具体描述。

本实施例中，所述信息生成单元53中预先存储有多组面部表情信息与第一用户体验参数的对应关系。例如，当所述面部表情信息为愉悦时，对应的第一用户体验参数为5；当所述面部表情信息为平静时，对应的第一用户体验参数为3；当所述面部表情信息为不满时，对应的第一用户体验参数为0。当然，在其他实施方式中，所述面部表情信息以及第一用户体验参数也可按照其他对应方式预先设置，本实施例中不做详细描述。也就是说，所述面部表情信息能够表征用户的体验度，从而当所述面部表情信息表征的用户体验度达到第一预设阈值时，即表明用户体验度佳，依据所述面部表情信息对应的操作信息(包括操作位置信息)生成所述操作信息(包括操作位置信息)对应的第一反馈信息，此时，所述第一反馈信息表明所述第一应用在所述操作位置处给用户带来较佳体验，所述操作位置处的操作功能或提供的内容值得推荐；相应的，当所述面部表情信息表征的用户体验度未达到第二预设阈值时，所述第二预设阈值小于所述第一预设阈值，即表明用户体验度差，依据所述面部表情信息对应的操作信息(包括操作位置信息)生成所述操作信息(包括操作位置信息)对应的第一反馈信息，此时，所述第一反馈信息表明所述第一应用在所述操作位置处给用户带来较差体验，所述操作位置处的操作功能或提供的内容需进一步进行优化或改善。

作为另一种实施方式，所述信息生成单元53基于所述面部表情信息和所述操作信息的组合获得对应的第一用户体验参数。例如，当所述面部表情信息为愉悦，且所述操作信息包含的操作次数小于低于第一阈值时，对应的第一用户体验参数为5；当所述面部表情信息为平静，且所述操作信息包含的操作次数大于第一阈值小于第二阈值时，对应的第一用户体验参数为3；当所述面部表情信息为不满，且所述操作信息包含的操作次数大于第二阈值时，对应的第一用户体验参数为0。当然，在其他实施方式中，所述面部表情信息以及第一用户体验参数也可按照其他对应方式预先设置，本实施例中不做详细描述。也就是说，所述面部表情信息和操作信息的组合能够表征用户的体验度，如在一场景中，用户通过输入操作想找到一功能入口，可通过多次的滑动操作才看到，此时的用户会面露不悦的表情；则在这种场景下，所述信息处理***获得表征不悦表情的面部表情信息和包含有多次滑动操作的操作信息，结合上述两个信息获得对应的第一用户体验参数为0，即表明在所述操作信息对应的操作位置下，用户的体验度较差，需要进行优化或改进。

本领域技术人员应当理解，本发明实施例的信息处理***中各处理模块的功能，可参照前述信息处理方法的相关描述而理解，本发明实施例的信息处理***中各处理模块，可通过实现本发明实施例所述的功能的模拟电路而实现，也可以通过执行本发明实施例所述的功能的软件在智能终端上的运行而实现。

实施例五

本发明实施例还提供了一种信息处理***，参照图5所示，所述***包括：获取单元51、图像处理单元52和信息生成单元53；其中，

所述获取单元51，用于获得操作信息和图像数据；其中，所述操作信息为移动终端中的第一应用处于激活状态下、检测到针对所述第一应用的显示界面的触发操作获得的操作信息；所述图像数据为所述移动终端的图像采集单元采集获得的图像数据；所述图像采集单元与显示单元在同一平面上；还用于获得移动终端自身的位置信息和方向信息；

所述图像处理单元52，用于识别所述获取单元51获得的图像数据中的面部特征数据，将所述面部特征数据中的眼部特征数据和所述获取单元51获得的所述移动终端自身的位置信息和方向信息进行关联，获得关注点信息；所述关注点信息表征眼睛在移动终端上的聚焦位置信息；

所述信息生成单元53，用于基于所述图像处理单元52获得的关注点信息和所述获取单元51获得的操作信息生成第二反馈信息。

其中，所述信息生成单元53，用于基于预设时间段内的关注点信息和所述预设时间段内的操作信息获得对应的第二用户体验参数，基于所述第二用户体验参数生成所述操作信息对应操作位置的第二反馈信息。

本实施例中，当移动终端激活第一应用时，输出表征所述第一应用的显示界面，检测针对所述显示界面的触发操作，获得操作信息；所述操作信息包括操作手势信息和操作位置信息；其中，所述操作手势信息包括：单击手势、双击手势、滑动手势、拖动手势、缩放手势、旋转手势、参数(例如音量参数、亮度参数等)调节手势等等；所述操作位置信息为所述操作手势的操作位置信息；所述操作位置信息可针对一功能按键。进一步地，所述操作信息还可为在一段时间内的连续的操作信息。当检测到针对所述显示界面的触发操作时，所述移动终端生成第一指令，基于所述第一指令使能所述移动终端的图像采集单元；在其他实施方式中，所述移动终端也可在激活所述第一应用时使能所述移动终端的图像采集单元，或者，所述移动终端也可基于检测到的触发指令使能所述移动终端的图像采集单元，本实施例中不做具体限定。本实施例中，所述图像采集单元与所述移动终端的显示单元在同一平面上，可以理解为，所述图像采集单元可通过所述移动终端的前置摄像头实现。

所述图像处理单元52分析所述图像数据，首先对所述图像数据进行预处理(例如去噪、像素位置或光照变量的标准化)，以及面部的分割、定位或追踪等等。进一步地，对所述图像数据进行面部特征数据的提取，包括将像素数据转化为面部及其组成部分的外形、运动、颜色、肌肉和空间结构的表示；具体的面部特征数据的提取方式可参照现有技术中的任何面部识别方式，本实施例中不作具体描述。

本实施例中，所述获取单元51获得所述移动终端的相对位置信息和方向信息；所述相对位置信息为所述移动终端与持有者之间的相对位置关系。具体的，所述移动终端中设置有以下传感单元的至少之一：重力感应单元、加速度传感单元、距离传感单元、虹膜识别单元等等，具体的，所述移动终端可通过所述重力感应单元或所述加速度传感单元获得方向信息，所述方向信息可以为所述移动终端的重心方向相对于所述移动终端的长边方向或短边方向的夹角，所述方向信息也即所述移动终端的姿态变化信息。所述移动终端还可以通过所述距离传感单元或所述虹膜识别单元获得所述移动终端与持有者之间的相对位置信息，其中，所述距离传感单元和所述虹膜识别单元通常设置于所述移动终端显示单元的同一面上，当用户持握所述移动终端时，可通过所述距离传感单元检测到与用户之间的距离，或者可通过所述虹膜识别单元识别出所述移动终端与所述用户的眼睛之间的相对方位。

本实施例中，所述图像处理单元52基于所述面部特征数据中包含的眼部特征数据以及所述移动终端自身的相对位置信息和所述方向信息进行关联，获得关注点信息，所述关注点信息表征所述移动终端的持有用户的眼睛在所述移动终端的聚焦位置信息，也可以理解为所述持有用户的眼睛浏览的内容所在的位置信息。具体的，所述信息处理***可基于所述眼部特征数据获得所述持有用户的眼睛的视线方向信息，进一步的，基于所述移动终端自身的相对位置信息和所述方向信息确定所述移动终端和所述持有用户的相对位置关系，基于所述视线方向信息和所述相对位置关系获得所述持有用户的眼睛聚焦在移动终端上的聚焦范围，基于所述聚焦范围生成所述关注点信息。

本实施例中，所述信息生成单元53基于预设时间段内的关注点信息和操作信息的组合获得对应的第二用户体验参数。例如，当预设时间段t内，当所述关注点信息(即持有用户的眼睛在移动终端上的聚焦位置)变化的范围比例大于第一阈值，且所述操作信息包含的操作次数大于第二阈值时，对应的第二用户体验参数为0；当所述关注点信息(即持有用户的眼睛在移动终端上的聚焦位置)变化的范围比例大于第三阈值小于第一阈值(所述第一阈值小于所述第三阈值)，且所述操作信息包含的操作次数小于第二阈值大于第四阈值(所述第四阈值小于所述第二阈值)时，对应的第二用户体验参数为3；当所述关注点信息(即持有用户的眼睛在移动终端上的聚焦位置)未出现变化，或者变化的范围比例小于第三阈值，且所述操作信息包含的操作次数小于第四阈值时，对应的第二用户体验参数为5。当然，在其他实施方式中，所述信息处理***基于眼部特征数据、所述移动终端自身的相对位置信息和所述方向信息进行关联得到关注点信息的方式也可参照其他实施方式，即所述信息处理***可根据眼部特征数据、所述移动终端自身的相对位置信息和所述方向信息得到持有用户的眼睛在所述移动终端的聚焦位置信息可参照现有技术中的任何图像识别结合建模技术，本实施例中不做详细描述。如在一场景中，用户通过输入操作想找到一功能入口，则用户会四处寻找所述功能入口的位置；则所述信息处理***获得的用户的关注点信息变化的范围比例会大于第一阈值；相应的，在用户寻找所述功能入口的位置过程中，伴随着多次的触发操作，也即所述信息处理***获得操作信息包含的操作次数大于第二阈值；在这种场景下，用户需要很长时间才能找到所述功能入口，表明所述应用在当前操作位置给用户带来较差的操作体验，需要进行优化或改进。

本领域技术人员应当理解，本发明实施例的信息处理***中各处理模块的功能，可参照前述信息处理方法的相关描述而理解，本发明实施例的信息处理***中各处理模块，可通过实现本发明实施例所述的功能的模拟电路而实现，也可以通过执行本发明实施例所述的功能的软件在智能终端上的运行而实现。

实施例六

本发明实施例还提供了一种信息处理***，参照图5所示，所述***包括：获取单元51、图像处理单元52和信息生成单元53；其中，

所述获取单元51，用于获得操作信息和图像数据；其中，所述操作信息为移动终端中的第一应用处于激活状态下、检测到针对所述第一应用的显示界面的触发操作获得的操作信息；所述图像数据为所述移动终端的图像采集单元采集获得的图像数据；所述图像采集单元与显示单元在同一平面上；还用于获得移动终端自身的位置信息和方向信息；

所述图像处理单元52，用于识别所述获取单元51获得的图像数据中的面部特征数据，基于所述面部特征数据获得面部表情信息；还用于将所述面部特征数据中的眼部特征数据和所述获取单元51获得的所述移动终端自身的位置信息和方向信息进行关联，获得关注点信息；所述关注点信息表征眼睛在移动终端上的聚焦位置信息；

所述信息生成单元53，用于基于所述图像处理单元52获得的面部表情信息、所述关注点信息和所述获取单元51获得的操作信息生成第一反馈信息。

其中，所述信息生成单元53，用于基于预设时间段内的所述面部表情信息和所述关注点信息，结合所述预设时间段内的操作信息获得对应的第三用户体验参数，基于所述第三用户体验参数生成所述操作信息对应操作位置的第一反馈信息。

本实施例中，当移动终端激活第一应用时，输出表征所述第一应用的显示界面，检测针对所述显示界面的触发操作，获得操作信息；所述操作信息包括操作手势信息和操作位置信息；其中，所述操作手势信息包括：单击手势、双击手势、滑动手势、拖动手势、缩放手势、旋转手势、参数(例如音量参数、亮度参数等)调节手势等等；所述操作位置信息为所述操作手势的操作位置信息；所述操作位置信息可针对一功能按键。进一步地，所述操作信息还可为在一段时间内的连续的操作信息。当检测到针对所述显示界面的触发操作时，所述移动终端生成第一指令，基于所述第一指令使能所述移动终端的图像采集单元；在其他实施方式中，所述移动终端也可在激活所述第一应用时使能所述移动终端的图像采集单元，或者，所述移动终端也可基于检测到的触发指令使能所述移动终端的图像采集单元，本实施例中不做具体限定。本实施例中，所述图像采集单元与所述移动终端的显示单元在同一平面上，可以理解为，所述图像采集单元可通过所述移动终端的前置摄像头实现。

本实施例中，所述图像处理单元52分析所述图像数据，首先对所述图像数据进行预处理(例如去噪、像素位置或光照变量的标准化)，以及面部的分割、定位或追踪等等。进一步地，对所述图像数据进行面部特征数据的提取，包括将像素数据转化为面部及其组成部分的外形、运动、颜色、肌肉和空间结构的表示，提取出的面部特征数据用于进行后续的表情分类。进一步地，所述信息处理***中预先表情分类器，所述表情分类器中包括多组面部特征数据与表情信息的对应关系，或者所述表情分类器中包括一表情分类模型，将所述面部特征数据输入所述表情分类器，输出所述面部特征数据对应的表情信息，也即基于所述面部特征数据获得面部表情信息。本实施例中所述的面部分析方法以及表情信息的识别可参照现有技术中的任何分析识别方法，本实施例中不作具体描述。

本实施例中，所述获取单元51获得所述移动终端的相对位置信息和方向信息；所述相对位置信息为所述移动终端与持有者之间的相对位置关系。具体的，所述移动终端中设置有以下传感单元的至少之一：重力感应单元、加速度传感单元、距离传感单元、虹膜识别单元等等，具体的，所述移动终端可通过所述重力感应单元或所述加速度传感单元获得方向信息，所述方向信息可以为所述移动终端的重心方向相对于所述移动终端的长边方向或短边方向的夹角，所述方向信息也即所述移动终端的姿态变化信息。所述移动终端还可以通过所述距离传感单元或所述虹膜识别单元获得所述移动终端与持有者之间的相对位置信息，其中，所述距离传感单元和所述虹膜识别单元通常设置于所述移动终端显示单元的同一面上，当用户持握所述移动终端时，可通过所述距离传感单元检测到与用户之间的距离，或者可通过所述虹膜识别单元识别出所述移动终端与所述用户的眼睛之间的相对方位。

进一步地，所述图像处理单元52基于所述面部特征数据中包含的眼部特征数据以及所述移动终端的相对位置信息和所述方向信息进行关联，获得关注点信息，所述关注点信息表征所述移动终端的持有用户的眼睛在所述移动终端的聚焦位置信息，也可以理解为所述持有用户的眼睛浏览的内容所在的位置信息。具体的，所述信息处理***可基于所述眼部特征数据获得所述持有用户的眼睛的视线方向信息，进一步的，基于所述移动终端的相对位置信息和所述方向信息确定所述移动终端和所述持有用户的相对位置关系，基于所述视线方向信息和所述相对位置关系获得所述持有用户的眼睛聚焦在移动终端上的聚焦范围，基于所述聚焦范围生成所述关注点信息。

本实施例中，所述信息生成单元53基于预设时间段内的面部表情信息，以及所述预设时间段内的关注点信息，结合操作信息获得对应的第三用户体验参数。例如，在预设时间段t内，获得的面部表情信息为愉悦，所述关注点信息(即持有用户的眼睛在移动终端上的聚焦位置)未出现变化，或者变化的范围比例小于第三阈值，且所述操作信息包含的操作次数小于第四阈值时，对应的第二用户体验参数为5；或者，获得的面部表情信息为平静，所述关注点信息(即持有用户的眼睛在移动终端上的聚焦位置)变化的范围比例大于第三阈值小于第一阈值(所述第一阈值小于所述第三阈值)，且所述操作信息包含的操作次数小于第二阈值大于第四阈值(所述第四阈值小于所述第二阈值)时，对应的第二用户体验参数为3；或者，获得的面部表情信息为不满，所述关注点信息(即持有用户的眼睛在移动终端上的聚焦位置)变化的范围比例大于第一阈值，且所述操作信息包含的操作次数大于第二阈值时，对应的第二用户体验参数为0。当然，所述信息处理***获得第三用户体验参数的方式也可参照其他方式，本实施例中不做赘述。如在一场景中，用户通过输入操作想找到一功能入口，则用户会四处寻找所述功能入口的位置；则所述信息处理***获得的用户的关注点信息变化的范围比例会大于第一阈值；相应的，在用户寻找所述功能入口的位置过程中，伴随着多次的触发操作，也即所述信息处理***获得操作信息包含的操作次数大于第二阈值；相应的，在用户花费了较长时间寻找所述功能入口的位置的场景下，用户会面露不悦的表情；在这种场景下，所述信息处理***基于对获得的所述面部表情信息、所述关注点信息以及所述操作信息的分析，确定当前用户体验较差，也即用户需要很长时间才能找到所述功能入口，表明所述应用在当前操作位置给用户带来较差的操作体验，需要进行优化或改进。

本领域技术人员应当理解，本发明实施例的信息处理***中各处理模块的功能，可参照前述信息处理方法的相关描述而理解，本发明实施例的信息处理***中各处理模块，可通过实现本发明实施例所述的功能的模拟电路而实现，也可以通过执行本发明实施例所述的功能的软件在智能终端上的运行而实现。

本发明实施例四至实施例六中，所述信息处理***中的图像处理单元52和信息生成单元53，在实际应用中可由所述***中的中央处理器(CPU，Central Processing Unit)、数字信号处理器(DSP，Digital Signal Processor)或可编程门阵列(FPGA，Field－Programmable Gate Array)实现；所述信息处理***中的获取单元51，在实际应用中，可由所述***中的收发天线或收发机实现。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个***，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种信息处理方法，其特征在于，所述方法包括：

获得操作信息和图像数据；其中，所述操作信息为移动终端中的第一应用处于激活状态下、检测到针对所述第一应用的显示界面的触发操作获得的操作信息；所述图像数据为所述移动终端的图像采集单元采集获得的图像数据；所述图像采集单元与显示单元在同一平面上；

识别所述图像数据中的面部特征数据，基于所述面部特征数据获得面部表情信息；

获得移动终端自身的相对位置信息和方向信息；

将所述面部特征数据中的眼部特征数据、所述相对位置信息和所述方向信息进行关联，获得关注点信息；具体基于所述眼部特征数据获得眼睛的视线方向信息，基于所述相对位置信息和所述方向信息确定所述移动终端和眼睛的相对位置关系，基于所述视线方向信息和所述相对位置关系获得眼睛聚焦在移动终端上的聚焦范围，基于所述聚焦范围生成所述关注点信息；所述关注点信息表征眼睛在移动终端上的聚焦位置信息；

基于所述面部表情信息、所述关注点信息变化的范围和所述操作信息生成第一反馈信息。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述关注点信息和所述操作信息生成第二反馈信息。

3.根据权利要求2所述的方法，其特征在于，所述基于所述关注点信息和所述操作信息生成第二反馈信息，包括：

基于预设时间段内的关注点信息和所述预设时间段内的操作信息获得对应的第二用户体验参数，基于所述第二用户体验参数生成所述操作信息对应操作位置的第二反馈信息。

4.根据权利要求1所述的方法，其特征在于，所述基于所述面部表情信息、所述关注点信息和所述操作信息生成第一反馈信息，包括：

基于预设时间段内的所述面部表情信息和所述关注点信息，结合所述预设时间段内的操作信息获得对应的第三用户体验参数，基于所述第三用户体验参数生成所述操作信息对应操作位置的第一反馈信息。

5.一种信息处理***，其特征在于，所述***包括：获取单元、图像处理单元和信息生成单元；其中，

所述获取单元，用于获得操作信息和图像数据；其中，所述操作信息为移动终端中的第一应用处于激活状态下、检测到针对所述第一应用的显示界面的触发操作获得的操作信息；所述图像数据为所述移动终端的图像采集单元采集获得的图像数据；所述图像采集单元与显示单元在同一平面上；还用于获得移动终端自身的相对位置信息和方向信息；

所述图像处理单元，用于识别所述图像数据中的面部特征数据，基于所述面部特征数据获得面部表情信息；还用于将所述面部特征数据中的眼部特征数据、所述获取单元获得的所述移动终端自身的相对位置信息和所述方向信息进行关联，获得关注点信息；具体基于所述眼部特征数据获得眼睛的视线方向信息，基于所述相对位置信息和所述方向信息确定所述移动终端和眼睛的相对位置关系，基于所述视线方向信息和所述相对位置关系获得眼睛聚焦在移动终端上的聚焦范围，基于所述聚焦范围生成所述关注点信息；所述关注点信息表征眼睛在移动终端上的聚焦位置信息；

所述信息生成单元，用于基于所述图像处理单元获得的面部表情信息、所述关注点信息变化的范围和所述获取单元获得的操作信息生成第一反馈信息。

6.根据权利要求5所述的***，其特征在于，所述信息生成单元，还用于基于所述关注点信息和所述操作信息生成第二反馈信息。

7.根据权利要求6所述的***，其特征在于，所述信息生成单元，用于基于预设时间段内的关注点信息和所述预设时间段内的操作信息获得对应的第二用户体验参数，基于所述第二用户体验参数生成所述操作信息对应操作位置的第二反馈信息。

8.根据权利要求5所述的***，其特征在于，所述信息生成单元，用于基于预设时间段内的所述面部表情信息和所述关注点信息，结合所述预设时间段内的操作信息获得对应的第三用户体验参数，基于所述第三用户体验参数生成所述操作信息对应操作位置的第一反馈信息。

Images