CN106709400A - 一种感官张闭状态的识别方法、装置及客户端 - Google Patents

Abstract

本申请实施例公开了一种感官张闭状态的识别方法、装置及客户端。该方法包括：获取当前帧图片中人脸区域的感官的第一特征信息，根据所述感官的第一特征信息计算得到第一特征参数；根据预设选取规则从所述当前帧图片所在的帧序列获取预设数量的参考帧图片；获取所述参考帧图片中人脸区域的感官的第二特征信息，根据所述感官的第二特征信息计算得到所述参考帧图片的第二特征参数；将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值；比较所述第一特征参数与所述参考阈值的数值大小；根据比较结果识别感官张闭状态。利用本申请实施例提供的技术方案可以提高张闭嘴状态识别的准确率，改善用户体验。

Description

一种感官张闭状态的识别方法、装置及客户端

技术领域

本申请涉及计算机图像信息处理技术领域，特别涉及一种感官张闭状态的识别方法、装置及客户端。

背景技术

随着计算机图像信息处理技术领域的快速发展，人脸图像处理技术在人机交互方面得到了广泛的应用。

现有技术中识别人感官张闭状态的方法主要包括通过人脸检测技术定位出人脸，识别出人脸中的感官特征点。然后，可以根据感官特征点的位置识别感官张闭状态。所述感官可以包括嘴巴、眼睛等。具体的例如，需要识别人感官中的嘴巴的张闭状态时，可以对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有人脸，如果存在，则从该图像中定位出人脸区域。进一步的，可以定位出所述人脸区域中的嘴巴特征点获取当前人脸嘴巴的上下左右轮廓图像。现有技术中可以通过对已知嘴巴张闭图像样本进行标定，得到训练样本的嘴巴张闭状态。然后，可以通过这些样本训练出嘴巴张闭的分类器，利用所述分类器匹配所述获取的嘴巴的上下左右轮廓图像来识别当前嘴巴张闭状态。

但是，现有技术中通过分类器来识别感官张闭状态的方法中，由于感官的形状、大小、以及个人习惯等差异，往往导致无法获取统一标准的理想样本。同时，这种方法对特征点定位的准确性要求较高，如果特征点定位不准确，获取的图像就会有偏差，导致分类器的识别准确率降低。因此，现有技术中的方法识别感官张闭状态仍然存在较大的错误率，导致无法满足部分用户或设计需求。

发明内容

本申请实施例的目的是提供一种感官张闭状态的识别方法、装置及客户端，以提高感官张闭状态识别的准确率，改善用户体验。

为解决上述技术问题，本申请实施例提供一种感官张闭状态的识别方法、装置及客户端是这样实现的：

一种感官张闭状态的识别方法，所述方法包括：

获取当前帧图片中人脸区域的感官的第一特征信息，根据所述感官的第一特征信息计算得到第一特征参数；

根据预设选取规则从所述当前帧图片所在的帧序列获取预设数量的参考帧图片；

获取所述参考帧图片中人脸区域的感官的第二特征信息，根据所述感官的第二特征信息计算得到所述参考帧图片的第二特征参数；

将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值；

比较所述第一特征参数与所述参考阈值的数值大小；

根据比较结果识别感官张闭状态。

一种感官张闭状态的识别一种感官张闭状态的识别装置，所述装置包括：

第一位置获取模块，用于获取当前帧图片中人脸区域的感官的第一特征信息；

第一计算模块，用于根据所述感官的第一特征信息计算得到第一特征参数；

第一数据处理模块，用于根据预设选取规则从所述当前帧图片所在的帧序列获取预设数量的参考帧图片；

第二位置获取模块，用于获取所述参考帧图片中人脸区域的感官的第二特征信息；

第二计算模块，用于根据所述感官的第二特征信息计算得到所述参考帧图片的第二特征参数；

第二数据处理模块，用于将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值；

第一比较模块，用于比较所述第一特征参数与所述参考阈值的数值大小；

识别模块，用于根据比较结果识别感官张闭状态。

一种感官张闭状态的识别客户端，所述客户端被设置成，包括：

信息获取单元，用于获取包括人脸区域的帧图片信息；

第一处理单元，用于获取当前帧图片中人脸区域的感官的第一特征信息，计算得到第一特征参数；还用于根据预设选取规则从所述当前帧图片所在的帧序列中获取预设数量的参考帧图片；还用于获取所述参考帧图片中人脸区域的感官的第二特征信息，计算得到所述参考帧图片的第二特征参数；还用于将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值；还用于比较所述第一特征参数与所述参考阈值的数值大小；还用于根据比较结果识别出感官张闭状态；

第二处理单元，用于根据所述第一处理单元得到的感官张闭状态执行相应的操作处理。

由以上本申请实施例提供的技术方案可见，本申请实施例通过当前帧图片中记录的用户感官的第一特征信息计算出第一特征参数；以及根据预设选取规则从所述当前帧图片所在的帧序列获取预设数量的参考帧图片，根据所述参考帧图片中的记录的感官第二特征信息计算出所述参考帧图片的第二特征参数，并将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值；接着，比较第一特征参数与所述参考阈值的数值大小；最后，通过比较结果来识别感官张闭状态。与现有技术相比，本申请实施例针对每个用户都记录了相应的感官张闭状态对应的第二特征参数，克服了每个人感官的形状、大小、以及个人习惯等差异导致的感官张闭状态标准不一的问题，可以有效提高感官张闭状态识别的准确率，改善了用户体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种感官张闭状态的识别方法的流程示意图；

图2是本申请实施例提供的计算出第一特征参数过程的流程示意图；

图3是本申请实施例提供的一种嘴巴的第一特征信息的位置示意图；

图4是本申请实施例提供的一种眼睛的第一特征信息的位置示意图；

图5是本申请实施例提供的一种感官张闭状态的识别一种感官张闭状态的识别装置的一种示意图；

图6是本申请实施例提供的一种感官张闭状态的识别一种感官张闭状态的识别装置的另一种示意图；

图7是本申请实施例提供的一种感官张闭状态的识别一种感官张闭状态的识别装置的另一种示意图；

图8是本申请实施例提供的一种感官张闭状态的识别一种感官张闭状态的识别装置的另一种示意图。

具体实施方式

本申请实施例提供一种感官张闭状态的识别方法、装置及客户端。该识别感官张闭状态的方法可以应用在任何一种可以记录摄帧序列的电子设备中，例如移动智能电话、平板电子设备、便携式计算机(例如笔记本电脑等)、个人数字助理(PDA)、桌面型计算机等可以通过摄像装置记录帧图片的设备等。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

以下以几个具体的例子详细说明本申请实施例的具体实现。需要说明的是，一般的，感官张闭状态的识别多用于利用摄像装置拍摄的视频流信息处理中，例如监控设备，或者用户使用手机摄像头视频拍摄等。本申请提供的识别感官张闭状态的方法可以包括但不限于视频流的信息处理，在其他的一些图像序列中感官张闭状态的应用场景中连续图画或电影胶片数字信息中的感官张闭状态等仍然可以使用本申请方案。为便于清楚的描述本申请方案，本实施例中可以以用户使用手机前置摄像头进行自拍的应用场景进行说明。

以下首先介绍本申请一种感官张闭状态的识别方法的实施例。图1是说明根据本申请某些实施例提供的识别感官张闭状态的方法的流程示意图，虽然下文描述流程包括以特定顺序出现的多个操作，但是应该清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。在一个具体的实施例中，该方法包括：

S110：获取当前帧图片中人脸区域的感官的第一特征信息，根据所述感官的第一特征信息计算得到第一特征参数。

在实际应用中，在识别感官张闭状态时，用户可以使用手机前置摄像头录制一段视频，利用该视频记录当前用户一段时间内感官张闭状态的情况，视频录制结束时的帧图片可以作为当前帧图片。所述获取当前帧图片中人脸区域的感官的第一特征信息，根据所述感官的第一特征信息计算得到第一特征参数，具体的，结合附图2，图2是计算出第一特征参数过程的流程示意图，该过程可以包括：

S111：采集当前帧图片，确定所述当前帧图片中的人脸区域。

在一些实施例中，可以采集当前帧图片，确定所述当前帧图片中的人脸区域。具体的，为了减少计算量可以在采集所述当前帧图片之后，对所述当前帧图片进行灰度化处理；然后，可以采用人脸检测技术确定所述当前帧图片中的人脸区域，比如利用Adaboost算法检测所述当前帧图片中的人脸区域。

在一些实施例中，在采用Adaboost算法检测之前，可以根据人脸跟踪的结果缩小检测范围，且在检测的过程中，可以根据计算或设计需求减少Adaboost分类器的级联个数，达到减少计算量的效果。

需要说明的是，本申请实施例中人脸检测技术并不仅限于上述的Adaboost算法，在实际应用中，还可以包括其他方式，本申请实施例并不以此为限。

S112：在所述当前帧图片中的人脸区域定位出感官的第一特征信息。

在一些实施例中，在确定所述当前帧图片中的人脸区域之后，可以在所述当前帧图片中的人脸区域定位出感官的第一特征信息。具体的，可以采用的特征点定位方法定位出感官的特征点，将定位出的所述感官的特征点作为感官的特征信息。采用的特征点定位方法可以包括Supervised Descent Method and its Applications to Face Alignment论文中的SDM方法和/或Face Alignment by Explicit Shape Regression论文中提到的ESR方法。

需要说明的是，本申请实施例中所述的特征点定位方法不限于上述的SDM方法和ESR方法，在实际应用中，还可以包括其他方法，本申请实施例并不以此为限。

此外，所述感官的第一特征信息可以预先设置。可以根据面对不同的应用场景确定需要处理的感官，具体的例如，所述感官可以包括下述中的至少一种：嘴巴，眼睛。本申请所述的感官张闭状态的识别方法可以实现对人脸中眼睛或嘴巴的张闭状态的识别。具体的应用场景中，例如当所述感官为嘴巴时，所述感官的第一特征信息可以至少包括下述之一：所述感官的第一特征信息可以包括所述当前帧图片中检测到的人脸区域中嘴巴左右嘴角的位置信息、所述嘴巴上嘴唇的上边界位置信息和所述嘴巴下嘴唇的下边界位置信息；所述感官的第一特征信息可以包括所述当前帧图片中检测到的人脸区域中嘴巴上嘴唇的下边界位置信息和所述嘴巴下嘴唇的上边界位置信息。如图3所示，图3是一种嘴巴的第一特征信息的位置示意图，其中包括嘴巴的左嘴角位置A,嘴巴的右嘴角位置B，嘴巴上嘴唇的上边界位置C，嘴巴下嘴唇的下边界位置D，嘴巴上嘴唇的下边界位置E，嘴巴下嘴唇的上边界位置F。

当所述感官为眼睛时，所述感官的第一特征信息可以至少包括下述之一：所述感官的第一特征信息可以包括所述当前帧图片中检测到的人脸区域中至少一只眼睛的左右眼角位置信息和所述眼睛的眼皮上下边界位置信息；所述感官的第一特征信息可以包括所述当前帧图片中检测到的人脸区域中至少一只眼睛的眼皮上下边界位置信息。如图4所示，图4是一种眼睛的第一特征信息的位置示意图，其中包括眼睛的左眼角位置G，眼睛的右眼角位置H，眼睛的眼皮上边界位置I，眼睛的眼皮下边界位置J。

需要说明的是，本申请实施例中所述感官的第一特征信息并不仅限与上述的情况，在实际应用中，还可以根据具体的应用情况做相应的调整，本申请实施例并不以此为限。

S113：根据所述感官的第一特征信息计算得到第一特征参数。

在一些实施例中，可以根据所述感官的第一特征信息计算得到第一特征参数。具体的，当所述感官为嘴巴时，所述第一特征参数可以至少包括下述之一：所述第一特征参数可以包括所述当前帧图片中检测到的人脸区域中嘴巴上嘴唇的上边界位置和所述嘴巴下嘴唇的下边界位置的距离差与所述嘴巴的左右嘴角距离差的比值；所述第一特征参数可以包括所述当前帧图片中检测到的人脸区域中嘴巴上嘴唇的下边界位置和所述嘴巴下嘴唇的上边界位置的差值。当所述感官为眼睛时，所述第一特征参数可以至少包括下述之一：所述第一特征参数可以包括所述当前帧图片中检测到的人脸区域中眼睛眼皮上下边界位置距离差与所述眼睛左右眼角距离差的比值；所述第一特征参数可以包括所述当前帧图片中检测到的人脸区域中眼睛的眼皮下边界位置和所述眼睛的眼皮上边的差值。

需要说明的是，本申请实施例中所述第一特征参数并不仅限与上述的计算方法得到的结果，在实际应用中，还可以根据具体的应用情况做相应的调整，本申请实施例并不以此为限。

S120：根据预设选取规则从所述当前帧图片所在的帧序列获取预设数量的参考帧图片。

在一些实施例，可以根据预设选取规则从所述当前帧图片所在的帧序列获取预设数量的参考帧图片。具体的，所述预设数量的参考帧图片可以包括从所述当前帧图片所在帧序列获取的预设数量的帧图片。

在一些实施例中，根据预设选取规则从所述当前帧图片所在的帧序列获取预设数量的参考帧图片可以包括等间隔从所述当前帧图片所在帧序列获取预设数量的参考帧图片。根据预设选取规则从所述当前帧图片所在的帧序列获取预设数量的参考帧图片可以包括从所述当前帧图片所在帧序列的预设视频段获取预设数量的参考帧图片。

S130：获取所述参考帧图片中人脸区域的感官的第二特征信息，根据所述感官的第二特征信息计算得到所述参考帧图片的第二特征参数。

在一些实施例中，在步骤S120获取所述预设数量的参考帧图片之后，可以获取所述参考帧图片中人脸区域的感官的第二特征信息，根据所述感官的第二特征信息计算得到所述参考帧图片的第二特征参数。具体的，可以包括确定所述参考帧图片中的人脸区域；在所述参考帧图片中的人脸区域定位出感官的第二特征信息；根据所述感官的第二特征信息计算得到所述参考帧图片的第二特征参数。

此外，所述感官的第二特征信息可以预先设置，具体的，所述感官的第二特征信息可以包括所述参考帧图片中检测到的人脸区域中嘴巴左右嘴角的位置信息、所述嘴巴上嘴唇的上边界位置信息和所述嘴巴下嘴唇的下边界位置信息；所述感官的第二特征信息还可以包括所述参考帧图片中检测到的人脸区域中嘴巴上嘴唇的下边界位置信息和所述嘴巴下嘴唇的上边界位置信息。所述感官的第二特征信息还可以包括所述参考帧图片中检测到的人脸区域中至少一只眼睛的左右眼角位置信息和所述眼睛的眼皮上下边界位置信息；所述感官的第二特征信息还可以包括所述参考帧图片中检测到的人脸区域中至少一只眼睛的眼皮上下边界位置信息。

需要说明的是，本申请实施例中所述感官的第二特征信息并不仅限与上述的情况，在实际应用中，还可以根据具体的应用情况做相应的调整，本申请实施例并不以此为限。

此外，所述第二特征参数可以包括所述参考帧图片中检测到的人脸区域中嘴巴上嘴唇的上边和所述嘴巴下嘴唇的下边距离差与所述嘴巴左右嘴角距离差的比值；所述第二特征参数还可以包括所述参考帧图片中检测到的人脸区域中嘴巴上嘴唇的下边和所述嘴巴下嘴唇的上边的差值；所述第二特征参数还可以包括所述参考帧图片中检测到的人脸区域中眼睛眼皮上下边距离差与所述眼睛左右眼角距离差的比值；所述第二特征参数还可以包括所述参考帧图片中检测到的人脸区域中眼睛的眼皮下边和所述眼睛的眼皮上边的差值。

需要说明的是，本申请实施例中所述第二特征参数并不仅限与上述的计算方法得到的结果，在实际应用中，还可以根据具体的应用情况做相应的调整，本申请实施例并不以此为限。

进一步的，在实际应用中，拍摄过程中可能出现当前用户中途离开摄像头或者换了用户进入摄像头拍摄范围的情况。为了避免这种情况导致获得的第二特征参数对当前帧图片中用户感官张闭状态不一定具有参考性的问题，所述方法还可以包括：在当前帧图片之前的指定帧图片中检测是否存在人脸区域；具体的，所述指定帧图片可以包括所述当前帧图片之前的预设帧的帧图片。比如在所述当前帧图片之前的第五帧图片中检测是否存在人脸区域。

进一步的，基于在所述指定帧图片中检测到人脸区域的检测结果，可以将所述第二特征参数作为当前帧图片中用户的感官的历史记录参数，执行步骤S140。

进一步的，当判断出在所述当前帧图片之前的指定帧图片没有检测到人脸区域时，可以确定拍摄过程中可能出现人中途离开摄像头或者换了一个人进入摄像头拍摄范围的情况，那么可以删除上述计算得到的第二特征参数。优选的，还可以提示用户重新拍摄视频以进行识别感官张闭状态的操作。

S140：将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值。

在一些实施例中，在步骤S130之后，可以将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值。具体的，可以将预设数量的所述参考帧图片的第二特征参数按数值由小到大排序，也可以将预设数量的所述参考帧图片的第二特征参数按数值由大到小排序。

在一个具体的实施例中，以将预设数量的所述参考帧图片的第二特征参数按数值由小到大排序为例，靠前部分的第二特征参数可能是感官闭状态下的数据，后面部分的第二特征参数可能是感官张状态下的数据，本实施例中可以预先设置第10％的感官闭状态下的数据作为参考阈值。所述参考阈值可以作为用户感官张闭状态的临界值。

S150：比较所述第一特征参数与所述参考阈值的数值大小。

在一些实施例中，在步骤S140之后，可以比较所述第一特征参数与所述参考阈值的数值大小。

S160：根据比较结果识别人感官张闭状态。

在一些实施例中，当步骤S150中的比较结果为所述第一特征参数大于所述参考阈值时，确定感官状态为张；当步骤S150中的比较结果为所述第一特征参数小于等于所述参考阈值时，确定感官状态为闭。

进一步的，在一些实施例中，在步骤S130之后，还可以包括：

S170：比较所述参考阈值与预先设置的预设阈值的数值大小，当比较结果为所述参考阈值小于等于所述预设阈值时，将所述参考阈值作为第一参考阈值；否则，将所述预设阈值作为第一参考阈值。

在实际应用中，可能出现在视频录制的一开始用户就保持张嘴状态的情况，那么所述参考阈值可能偏大，导致直接利用所述第一特征参数与所述参考阈值比较的时候，无法识别出感官闭的状态。因此，可以预先设定一个根据符合常规情况的预设阈值作为感官张闭状态的临界值。例如本实施例中所述预设阈值可以设置为1.2。

由此可见，可以比较所述参考阈值与预先设置的预设阈值的数值大小，将所述参考阈值与所述预设阈值中数值较小的值作为第一参考阈值。

相应的，步骤S150中所述比较所述第一特征参数与所述参考阈值的数值大小可以包括比较所述第一特征参数与所述第一参考阈值的数值大小。

此外，步骤S160中所述根据比较结果识别人感官张闭状态可以包括当比较结果为所述第一特征参数大于所述第一参考阈值时，确定感官状态为张；当比较结果为所述第一特征参数小于等于所述第一参考阈值时，确定感官状态为闭。

进一步的，在一些实施例中，在步骤S130之后，还可以包括：

S180：比较所述参考阈值与预先设置的预设阈值的数值大小，当比较结果为所述参考阈值小于等于所述预设阈值时，将所述参考阈值与预设的调整系数的乘积结果作为第二参考阈值；否则，将所述预设阈值与预设的调整系数的乘积结果作为第二参考阈值。

在实际应用中，可能出现在视频录制的一开始用户就保持张嘴状态的情况，也可能出现在视频录制的一开始用户就保持张嘴状态等情况。那么比较所述参考阈值与预先设置的预设阈值的数值大小，将所述参考阈值与所述预设阈值中数值较小值的乘以预设的调整系数，将乘积结果作为第二参考阈值。这里通过将所述参考阈值与所述预设阈值中数值较小值的乘以预设的调整系数的方式，可以避免在视频录制的一开始用户就保持张嘴状态的情况而导致的预设阈值过小的问题。例如本实施例中所述预设的调整系数可以设置为1.8。

相应的，步骤S150中所述比较所述第一特征参数与所述参考阈值的数值大小可以包括比较所述第一特征参数与所述第二参考阈值的数值大小。

此外，步骤S160中所述根据比较结果识别人感官张闭状态可以包括当比较结果为所述第一特征参数大于所述第二参考阈值时，确定感官状态为张；当比较结果为所述第一特征参数小于等于所述第二参考阈值时，确定感官状态为闭。

进一步的，在一些实施例中，所述方法还可以包括：

S190：基于识别出的所述感官张闭状态执行相应的操作处理。

在一些实施例中，可以设置一个或多个指定应用基于上述识别出的感官张闭状态来执行相应的操作处理。例如，可以设置影音播放应用可以根据识别出的嘴巴张的状态执行点击的操作，或者根据一只眼睛张的状态，一只眼睛闭的状态执行点击的操作等。

由此可见，本申请一种感官张闭状态的识别方法的实施例通过当前帧图片中记录的用户感官的第一特征信息计算出第一特征参数；以及根据预设选取规则从所述当前帧图片所在的帧序列获取预设数量的参考帧图片，根据所述参考帧图片中的记录的感官第二特征信息计算出所述参考帧图片的第二特征参数，并将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值；接着，比较第一特征参数与所述参考阈值的数值大小；最后，通过比较结果来识别感官张闭状态。与现有技术相比，本申请实施例针对每个用户都记录了相应的感官张闭状态对应的第二特征参数，克服了每个人感官的形状、大小、以及个人习惯等差异导致的感官张闭状态标准不一的问题，可以有效提高感官张闭状态识别的准确率，改善了用户体验。

以下介绍本申请一种感官张闭状态的识别一种感官张闭状态的识别装置的实施例，图5是本申请实施例提供的一种感官张闭状态的识别一种感官张闭状态的识别装置的一种示意图，结合附图5，该装置500可以包括：

第一位置获取模块510，可以用于获取当前帧图片中人脸区域的感官的第一特征信息；

第一计算模块520，可以用于根据所述感官的第一特征信息计算得到第一特征参数；

第一数据处理模块530，可以根据预设选取规则从所述当前帧图片所在的帧序列获取预设数量的参考帧图片；

第二位置获取模块540，可以用于获取所述参考帧图片中人脸区域的感官的第二特征信息；

第二计算模块550，可以用于根据所述感官的第二特征信息计算得到所述参考帧图片的第二特征参数；

第二数据处理模块560，可以用于将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值；

第一比较模块570，可以用于比较所述第一特征参数与所述参考阈值的数值大小；

识别模块580，可以用于根据比较结果识别感官张闭状态。

本申请提供的感官张闭状态的识别装置针对每个用户都记录了相应的感官张闭状态对应的第二特征参数，克服了每个人感官的形状、大小、以及个人习惯等差异导致的感官张闭状态标准不一的问题，可以有效提高感官张闭状态识别的准确率，改善了用户体验。

图6是本申请实施例提供的一种感官张闭状态的识别一种感官张闭状态的识别装置的另一种示意图，在一种实施例中，结合附图6，该装置500还可以包括：

检测模块590，可以用于在当前帧图片之前的指定帧图片中检测是否存在人脸区域；

相应地，所述第二数据处理模块560包括：基于在所述指定帧图片中检测到人脸区域的检测结果，执行将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值的操作。

所述检测模块590通过判断在所述当前帧图片之前的指定帧图片中是否检测到人脸区域的方法可以有效避免拍摄过程中出现的当前用户中途离开摄像头或者换了一个用户进入摄像头拍摄范围的情况导致的获得的第二特征参数对感官张闭状态不一定具有参考性的问题，大大增加识别感官张闭状态的准确率。

图7是本申请实施例提供的一种感官张闭状态的识别一种感官张闭状态的识别装置的另一种示意图，一种实施例中，结合附图7，该装置500还可以包括：

第三数据处理模块591，可以用于在第二数据处理模块560将在预设位的第二特征参数作为参考阈值之后，比较所述参考阈值与预先设置的预设阈值的数值大小，当比较结果为所述参考阈值小于等于所述预设阈值时，将所述参考阈值作为第一参考阈值；否则，将所述预设阈值作为第一参考阈值；

相应的，所述第一比较模块570可以包括比较所述第一特征参数与所述第一参考阈值的数值大小。

所述第三数据处理模块591通过比较所述参考阈值与预先设置的预设阈值的数值大小，当比较结果为所述参考阈值小于等于所述预设阈值时，将所述参考阈值与预设的调整系数的乘积结果作为第二参考阈值；否则，将所述预设阈值与预设的调整系数的乘积结果作为第二参考阈值的方法可以解决因视频录制的一开始用户就保持张嘴状态的导致所述参考阈值可能偏大而无法识别出感官闭的状态的问题，大大增加识别感官张闭状态的准确率。

图8是本申请实施例提供的一种感官张闭状态的识别一种感官张闭状态的识别装置的另一种示意图，一种实施例中，结合附图8，该装置500还可以包括：

第四数据处理模块592，可以用于在第二数据处理模块560将在预设位的第二特征参数作为参考阈值之后，比较所述参考阈值与预先设置的预设阈值的数值大小，当比较结果为所述参考阈值小于等于所述预设阈值时，将所述参考阈值与预设的调整系数的乘积结果作为第二参考阈值；否则，将所述预设阈值与预设的调整系数的乘积结果作为第二参考阈值；

相应的，所述第一比较模块570可以包括比较所述第一特征参数与所述第二参考阈值的数值大小。

所述第四数据处理模块592通过比较所述参考阈值与预先设置的预设阈值的数值大小，将所述参考阈值与所述预设阈值中数值较小的乘以预设的调整系数，将乘积结果作为第二参考阈值。可以避免在视频录制的一开始用户就保持张嘴状态的情况，或在视频录制的一开始用户就保持张嘴状态等情况导致的不能准确识别感官张闭状态问题，大大增加识别感官张闭状态的准确率。

一种实施例中，当所述感官为嘴巴时，所述感官的第一特征信息可以至少包括下述之一：

所述当前帧图片中检测到的人脸区域中嘴巴左右嘴角的位置信息、所述嘴巴上嘴唇的上边界位置信息和所述嘴巴下嘴唇的下边界位置信息；

所述当前帧图片中检测到的人脸区域中嘴巴上嘴唇的下边界位置信息和所述嘴巴下嘴唇的上边界位置信息。

一种实施例中，当所述感官为眼睛时，所述感官的第一特征信息可以至少包括下述之一：

所述当前帧图片中检测到的人脸区域中至少一只眼睛的左右眼角位置信息和所述眼睛的眼皮上下边界位置信息；

所述当前帧图片中检测到的人脸区域中至少一只眼睛的眼皮上下边界位置信息。

一种实施例中，当所述感官为嘴巴时，所述第一特征参数可以至少包括下述之一：

所述当前帧图片中检测到的人脸区域中嘴巴上嘴唇的上边界位置和所述嘴巴下嘴唇的下边界位置的距离差与所述嘴巴的左右嘴角距离差的比值；

所述当前帧图片中检测到的人脸区域中嘴巴上嘴唇的下边界位置和所述嘴巴下嘴唇的上边界位置的差值。

一种实施例中，当所述感官为眼睛时，所述第一特征参数可以至少包括下述之一：

所述当前帧图片中检测到的人脸区域中眼睛眼皮上下边界位置距离差与所述眼睛左右眼角距离差的比值；

所述当前帧图片中检测到的人脸区域中眼睛的眼皮下边界位置和所述眼睛的眼皮上边的差值。

一种实施例中，所述第一数据处理模块可以至少包括下述单元之一：

第一图片获取单元，可以用于等间隔从所述当前帧图片所在帧序列获取预设数量的参考帧图片；

第二图片获取单元，可以用于从所述当前帧图片所在帧序列的预设视频段获取预设数量的参考帧图片。

一种实施例中，所述识别模块580可以包括：

第一确定单元，可以用于当第一比较模块570的比较结果为所述第一特征参数大于所述参考阈值时，确定所述感官状态为张；

第二确定单元，可以用于当第一比较模块570的比较结果为所述第一特征参数小于等于所述参考阈值时，确定所述感官状态为闭；

或，

第三确定单元，可以用于当第一比较模块570的比较结果为所述第一特征参数大于所述第一参考阈值时，确定所述感官状态为张；

第四确定单元，可以用于当第一比较模块570的比较结果为所述第一特征参数小于等于所述第一参考阈值时，确定所述感官状态为闭；

或，

第五确定单元，可以用于当第一比较模块570的比较结果为所述第一特征参数大于所述第二参考阈值时，确定感官状态为张；

第六确定单元，可以用于当第一比较模块570的比较结果为所述第一特征参数小于等于所述第二参考阈值时，确定所述感官状态为闭。

一种实施例中，所述装置500还可以包括：

执行模块，可以用于基于识别出的所述感官张闭状态执行相应的操作处理。

本申请所述的装置中，可以设置一个或多个指定应用基于上述识别出的感官张闭状态来执行相应的操作处理。例如，可以设置影音播放应用可以根据识别出的嘴巴张的状态执行点击的操作，或者根据一只眼睛张的状态，一只眼睛闭的状态执行点击的操作等。所述指定应用可以包括在本申请装置的执行模块中。一些实施例中也可以为其他的第三方模块中的应用，如其他设备模块或同一终端不同功能模块中的应用。此时本申请所述装置的执行模块可以向所述第三方模块中的应用发送基于识别出的所述感官张闭状态执行相应的操作处理，所述第三方模块中的应用可以进行相应的操作。

本申请实施例另一方面还提供一种感官张闭状态的识别客户端，所述客户端被设置成，包括：

信息获取单元，可以用于获取包括人脸区域的帧图片信息；

第一处理单元，可以用于获取当前帧图片中人脸区域的感官的第一特征信息，计算得到第一特征参数；还可以用于根据预设选取规则从所述当前帧图片所在的帧序列中获取预设数量的参考帧图片；还可以用于获取所述参考帧图片中人脸区域的感官的第二特征信息，计算得到所述参考帧图片的第二特征参数；还可以用于将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值；还可以用于比较所述第一特征参数与所述参考阈值的数值大小；还可以用于根据比较结果识别出感官张闭状态；

第二处理单元，可以用于根据所述第一处理单元得到的感官张闭状态执行相应的操作处理。

由此可见，本申请一种感官张闭状态的识别方法、装置及客户端的实施例通过当前帧图片中记录的用户感官的第一特征信息计算出第一特征参数；以及根据预设选取规则从所述当前帧图片所在的帧序列获取预设数量的参考帧图片，根据所述参考帧图片中的记录的感官第二特征信息计算出所述参考帧图片的第二特征参数，并将预设数量的出所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值；接着，比较第一特征参数与所述参考阈值的数值大小；最后，通过比较结果来识别感官张闭状态。与现有技术相比，本申请实施例针对每个用户都记录了相应的感官张闭状态对应的第二特征参数，克服了每个人感官的形状、大小、以及个人习惯等差异导致的感官张闭状态标准不一的问题，可以有效提高感官张闭状态识别的准确率，改善了用户体验。

尽管本申请内容中提到图片信息数据处理的描述，但是，本申请并不局限于必须是完全标准或者所提及的数据处理应用环境的情况。本申请中各个实施例中所涉及的上述描述仅是本申请中的一些实施例中的应用，在某些其他的框架中也可以实行上述本申请各实施例的方案。当然，在符合本申请上述各实施例的中所述的处理方法步骤的其他无创造性的变形，仍然可以实现相同的申请，在此不再赘述。

虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

上述实施例阐明装置或模块，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，例如第一图片获取单元和第二图片获取单元可以是同一CPU进行处理。也可以将实现同一功能的模块由多个子模块或子单元的组合实现。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、移动通信终端、多处理器***、基于微处理器的***、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。

虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (23)

1.一种感官张闭状态的识别方法，其特征在于，所述方法包括：

获取当前帧图片中人脸区域的感官的第一特征信息，根据所述感官的第一特征信息计算得到第一特征参数；

根据预设选取规则从所述当前帧图片所在的帧序列中获取预设数量的参考帧图片；

获取所述参考帧图片中人脸区域的感官的第二特征信息，根据所述感官的第二特征信息计算得到所述参考帧图片的第二特征参数；

将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值；

比较所述第一特征参数与所述参考阈值的数值大小；

根据比较结果识别感官张闭状态。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在当前帧图片之前的指定帧图片中检测是否存在人脸区域；

相应地，所述将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值包括：基于在所述指定帧图片中检测到人脸区域的检测结果，执行将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值的操作。

3.根据权利要求1所述的方法，其特征在于，在将在预设位的第二特征参数作为参考阈值之后，所述方法还包括：

比较所述参考阈值与预先设置的预设阈值的数值大小，当比较结果为所述参考阈值小于等于所述预设阈值时，将所述参考阈值作为第一参考阈值；否则，将所述预设阈值作为第一参考阈值；

相应的，所述比较所述第一特征参数与所述参考阈值的数值大小包括：比较所述第一特征参数与所述第一参考阈值的数值大小。

4.根据权利要求1所述的方法，其特征在于，在将在预设位的第二特征参数作为参考阈值之后，所述方法还包括：

比较所述参考阈值与预先设置的预设阈值的数值大小，当比较结果为所述参考阈值小于等于所述预设阈值时，将所述参考阈值与预设的调整系数的乘积结果作为第二参考阈值；否则，将所述预设阈值与预设的调整系数的乘积结果作为第二参考阈值；

相应的，所述比较所述第一特征参数与所述参考阈值的数值大小包括：比较所述第一特征参数与所述第二参考阈值的数值大小。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，当所述感官为嘴巴时，所述感官的第一特征信息至少包括下述之一：

所述当前帧图片中检测到的人脸区域中嘴巴左右嘴角的位置信息、所述嘴巴上嘴唇的上边界位置信息和所述嘴巴下嘴唇的下边界位置信息；

所述当前帧图片中检测到的人脸区域中嘴巴上嘴唇的下边界位置信息和所述嘴巴下嘴唇的上边界位置信息。

6.根据权利要求1至4中任意一项所述的方法，其特征在于，当所述感官为眼睛时，所述感官的第一特征信息至少包括下述之一：

所述当前帧图片中检测到的人脸区域中至少一只眼睛的左右眼角位置信息和所述眼睛的眼皮上下边界位置信息；

所述当前帧图片中检测到的人脸区域中至少一只眼睛的眼皮上下边界位置信息。

7.根据权利要求1至4中任意一项所述的方法，其特征在于，当所述感官为嘴巴时，所述第一特征参数至少包括下述之一：

所述当前帧图片中检测到的人脸区域中嘴巴上嘴唇的上边界位置和所述嘴巴下嘴唇的下边界位置的距离差与所述嘴巴的左右嘴角距离差的比值；

所述当前帧图片中检测到的人脸区域中嘴巴上嘴唇的下边界位置和所述嘴巴下嘴唇的上边界位置的差值。

8.根据权利要求1至4中任意一项所述的方法，其特征在于，当所述感官为眼睛时，所述第一特征参数至少包括下述之一：

所述当前帧图片中检测到的人脸区域中眼睛眼皮上下边界位置距离差与所述眼睛左右眼角距离差的比值；

所述当前帧图片中检测到的人脸区域中眼睛的眼皮下边界位置和所述眼睛的眼皮上边的差值。

9.根据权利要求1至4中任意一项所述的方法，其特征在于，所述根据预设选取规则从所述当前帧图片所在的帧序列获取预设数量的参考帧图片至少包括下述之一：

等间隔从所述当前帧图片所在帧序列获取预设数量的参考帧图片；

从所述当前帧图片所在帧序列的预设视频段获取预设数量的参考帧图片。

10.根据权利要求1至4中任意一项所述的方法，其特征在于，所述根据比较结果识别感官张闭状态包括：

当比较结果为所述第一特征参数大于所述参考阈值时，确定所述感官状态为张；否则，确定所述感官状态为闭；

或，

当比较结果为所述第一特征参数大于所述第一参考阈值时，确定所述感官状态为张；否则，确定所述感官状态为闭；

或，

当比较结果为所述第一特征参数大于所述第二参考阈值时，确定所述感官状态为张；否则，确定所述感官状态为闭。

11.根据权利要求1至4中任意一项所述的方法，其特征在于，所述方法还包括：

基于识别出的所述感官张闭状态执行相应的操作处理。

12.一种感官张闭状态的识别装置，其特征在于，所述装置包括：

第一位置获取模块，用于获取当前帧图片中人脸区域的感官的第一特征信息；

第一计算模块，用于根据所述感官的第一特征信息计算得到第一特征参数；

第一数据处理模块，用于根据预设选取规则从所述当前帧图片所在的帧序列获取预设数量的参考帧图片；

第二位置获取模块，用于获取所述参考帧图片中人脸区域的感官的第二特征信息；

第二计算模块，用于根据所述感官的第二特征信息计算得到所述参考帧图片的第二特征参数；

第二数据处理模块，用于将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值；

第一比较模块，用于比较所述第一特征参数与所述参考阈值的数值大小；

识别模块，用于根据比较结果识别感官张闭状态。

13.根据权利要求12所述的装置，其特征在于，所述装置还包括：

检测模块，用于在当前帧图片之前的指定帧图片中检测是否存在人脸区域；

相应地，所述第二数据处理模块包括：基于在所述指定帧图片中检测到人脸区域的检测结果，执行将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值的操作。

14.根据权利要求12所述的装置，其特征在于，所述装置还包括：

第三数据处理模块，用于在第二数据处理模块将在预设位的第二特征参数作为参考阈值之后，比较所述参考阈值与预先设置的预设阈值的数值大小，当比较结果为所述参考阈值小于等于所述预设阈值时，将所述参考阈值作为第一参考阈值；否则，将所述预设阈值作为第一参考阈值；

相应的，所述第一比较模块包括比较所述第一特征参数与所述第一参考阈值的数值大小。

15.根据权利要求12所述的装置，其特征在于，所述装置还包括：

第四数据处理模块，用于在第二数据处理模块将在预设位的第二特征参数作为参考阈值之后，比较所述参考阈值与预先设置的预设阈值的数值大小，当比较结果为所述参考阈值小于等于所述预设阈值时，将所述参考阈值与预设的调整系数的乘积结果作为第二参考阈值；否则，将所述预设阈值与预设的调整系数的乘积结果作为第二参考阈值；

相应的，所述第一比较模块包括比较所述第一特征参数与所述第二参考阈值的数值大小。

16.根据权利要求12至15中任意一项所述的装置，其特征在于，当所述感官为嘴巴时，所述感官的第一特征信息至少包括下述之一：

所述当前帧图片中检测到的人脸区域中嘴巴左右嘴角的位置信息、所述嘴巴上嘴唇的上边界位置信息和所述嘴巴下嘴唇的下边界位置信息；

所述当前帧图片中检测到的人脸区域中嘴巴上嘴唇的下边界位置信息和所述嘴巴下嘴唇的上边界位置信息。

17.根据权利要求12至15中任意一项所述的装置，其特征在于，当所述感官为眼睛时，所述感官的第一特征信息至少包括下述之一：

所述当前帧图片中检测到的人脸区域中至少一只眼睛的左右眼角位置信息和所述眼睛的眼皮上下边界位置信息；

所述当前帧图片中检测到的人脸区域中至少一只眼睛的眼皮上下边界位置信息。

18.根据权利要求12至15中任意一项所述的装置，其特征在于，当所述感官为嘴巴时，所述第一特征参数至少包括下述之一：

所述当前帧图片中检测到的人脸区域中嘴巴上嘴唇的上边界位置和所述嘴巴下嘴唇的下边界位置的距离差与所述嘴巴的左右嘴角距离差的比值；

所述当前帧图片中检测到的人脸区域中嘴巴上嘴唇的下边界位置和所述嘴巴下嘴唇的上边界位置的差值。

19.根据权利要求12至15中任意一项所述的装置，其特征在于，当所述感官为眼睛时，所述第一特征参数至少包括下述之一：

所述当前帧图片中检测到的人脸区域中眼睛眼皮上下边界位置距离差与所述眼睛左右眼角距离差的比值；

所述当前帧图片中检测到的人脸区域中眼睛的眼皮下边界位置和所述眼睛的眼皮上边的差值。

20.根据权利要求12至15中任意一项所述的装置，其特征在于，所述第一数据处理模块至少包括下述单元之一：

第一图片获取单元，用于等间隔从所述当前帧图片所在帧序列获取预设数量的参考帧图片；

第二图片获取单元，用于从所述当前帧图片所在帧序列的预设视频段获取预设数量的参考帧图片。

21.根据权利要求12至15中任意一项所述的装置，其特征在于，所述识别模块包括：

第一确定单元，用于当第一比较模块的比较结果为所述第一特征参数大于所述参考阈值时，确定所述感官状态为张；

第二确定单元，用于当第一比较模块的比较结果为所述第一特征参数小于等于所述参考阈值时，确定所述感官状态为闭；

或，

第三确定单元，用于当第一比较模块的比较结果为所述第一特征参数大于所述第一参考阈值时，确定所述感官状态为张；

第四确定单元，用于当第一比较模块的比较结果为所述第一特征参数小于等于所述第一参考阈值时，确定所述感官状态为闭；

或，

第五确定单元，用于当第一比较模块的比较结果为所述第一特征参数大于所述第二参考阈值时，确定感官状态为张；

第六确定单元，用于当第一比较模块的比较结果为所述第一特征参数小于等于所述第二参考阈值时，确定所述感官状态为闭。

22.根据权利要求12至15中任意一项所述的装置，其特征在于，所述装置还包括：

执行模块，用于基于识别出的所述感官张闭状态执行相应的操作处理。

23.一种感官张闭状态的识别客户端，其特征在于，所述客户端被设置成，包括：

信息获取单元，用于获取包括人脸区域的帧图片信息；

第一处理单元，用于获取当前帧图片中人脸区域的感官的第一特征信息，计算得到第一特征参数；还用于根据预设选取规则从所述当前帧图片所在的帧序列中获取预设数量的参考帧图片；还用于获取所述参考帧图片中人脸区域的感官的第二特征信息，计算得到所述参考帧图片的第二特征参数；还用于将预设数量的所述参考帧图片的第二特征参数按数值大小排序，将在预设位的第二特征参数作为参考阈值；还用于比较所述第一特征参数与所述参考阈值的数值大小；还用于根据比较结果识别出感官张闭状态；

第二处理单元，用于基于所述第一处理单元得到的感官张闭状态执行相应的操作处理。