CN107392844A - 一种修正人像视线的方法和设备 - Google Patents

Abstract

本申请公开了一种修正人像视线的方法，用于对照片中的人像视线进行修正，该方法包括：调整照片中人像的头部状态，使人像的双眼直视前方；对进行头部状态调整后的人像采用特征点进行视线修正，得到视线修正后的照片。本申请还公开了一种修正人像视线的设备。应用本申请公开的技术方案，能够修正人像的头部姿态和眼睛视线，从而美化照片，使得成像更加自然，提高相机的用户体验。

Description

一种修正人像视线的方法和设备

技术领域

本申请涉及智能终端技术领域，特别涉及一种修正人像视线的方法和设备。

背景技术

随着智能终端和拍照摄像头的发展，自拍分享已经越来越流行。我们在自拍时，期待手机能将我们拍的更美更自然。但是在用前置摄像头拍照时，因为用户习惯于看着手机屏幕实时预览自己当前的姿势，而不是朝向前置摄像头，再加上手机和眼睛相距较近，故成像时，造成了自拍照片中头部以及眼睛视线朝下这一普遍现象。这无疑影响了自拍照片的整体效果和我们的自拍体验。

发明内容

本申请提供了一种修正人像视线的方法，旨在通过修正头部姿态和眼睛视线，来美化照片，使得成像更加自然，提高相机的用户体验。

本申请公开了一种修正人像视线的方法，用于对照片中的人像视线进行修正，包括：

调整照片中人像的头部状态，使人像的双眼直视前方；

对进行头部状态调整后的人像采用特征点进行视线修正，得到视线修正后的照片。

较佳的，所述调整照片中人像的头部状态包括：

检测头部姿态，如果头部姿态不正立，则使用图割技术将照片中的头部区域与背景进行分离；

将头部区域按照上下方向进行调整，直至人像的双眼直视前方；

将调整后的头部区域与背景进行融合。

较佳的，所述对进行头部状态调整后的人像采用特征点进行视线修正包括：

预先进行人像特征点的标定和训练；

根据训练出的样本模型，对所述照片进行特征点获取，得到双眼的特征点位置信息；

根据得到的双眼的特征点位置信息，对所述照片进行双眼的逼近模拟和视线判定；

如果视线判定的结果为视线不正，则对双眼进行视线修正。

较佳的，所述根据得到的双眼的特征点位置信息，对所述照片进行双眼的逼近模拟和视线判定包括：

根据双眼的特征点位置信息，分别对左右眼的外轮廓的N个位置点进行无限逼近，并模拟成椭圆形；

对所述椭圆形的上半部分或下半部分的斜率α进行计算，如果斜率α小于设定阈值，则判定视线不正，如果斜率α大于或者等于设定阈值，则判定视线是正常的。

较佳的，该方法还包括：在相机设置中进行视线修正功能的配置，或者，在照片预览的选项中进行视线修正功能的配置。

本申请还公开了一种修正人像视线的设备，用于对照片中的人像视线进行修正，包括：智能处理模块和显示保存模块，其中：

所述智能处理模块，用于调整照片中人像的头部状态，使人像的双眼直视前方；并用于对进行头部状态调整后的人像采用特征点进行视线修正，得到视线修正后的照片；

所述显示保存模块，用于对视线修正后的照片进行显示和保存。

较佳的，所述智能处理模块在调整照片中人像的头部状态时用于执行以下处理：

检测头部姿态，如果头部姿态不正立，则使用图割技术将照片中的头部区域与背景进行分离；

将头部区域按照上下方向进行调整，直至人像的双眼直视前方；

将调整后的头部区域与背景进行融合。

较佳的，所述智能处理模块在对进行头部状态调整后的人像采用特征点进行视线修正时用于执行以下处理：

预先进行人像特征点的标定和训练；

根据训练出的样本模型，对所述照片进行特征点获取，得到双眼的特征点位置信息；

根据得到的双眼的特征点位置信息，对所述照片进行双眼的逼近模拟和视线判定；

如果视线判定的结果为视线不正，则对双眼进行视线修正。

较佳的，所述根据得到的双眼的特征点位置信息，对所述照片进行双眼的逼近模拟和视线判定包括：

根据双眼的特征点位置信息，分别对左右眼的外轮廓的N个位置点进行无限逼近，并模拟成椭圆形；

对所述椭圆形的上半部分或下半部分的斜率α进行计算，如果斜率α小于设定阈值，则判定视线不正，如果斜率α大于或者等于设定阈值，则判定视线是正常的。

较佳的，该设备还包括：修正配置模块；

所述修正配置模块，用于在相机设置中进行视线修正功能的配置，或者，在照片预览的选项中进行视线修正功能的配置。

由上述技术方案可见，本申请修正人像视线的方法首先通过调整照片中人像的头部状态，使人像的双眼直视前方；然后通过对进行头部状态调整后的人像采用特征点进行视线修正，从而能够得到视线修正后的照片，使得成像更加自然，提高了相机的用户体验。

附图说明

图1为视线朝下的照片；

图2为采用本发明处理后视线正常的照片；

图3为自拍照时双眼看屏幕导致视线向下的示意图；

图4为本发明整体移动头部调整头部姿态的示意图；

图5为本发明调整头部姿态的流程图图；

图6为本发明人脸转动的三个方向示意图；

图7为本发明特征点修正的步骤示意图；

图8为本发明双眼特征点标定示意图；

图9为本发明根据特征点位置，模拟椭圆示意图；

图10为本发明修正上眼睑弧线的弧度示意图；

图11为本发明上移瞳孔和虹膜位置示意图；

图12为本发明视线向下的双眼修正前后对比示意图；

图13为本发明打开菜单选项，选择“视线修正”示意图；

图14为本发明视线修正后的终端显示示意图。

具体实施方式

为使本申请的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本申请作进一步详细说明。

本发明提出了一种修正人像视线的方法，该方法较常见的应用场景是用于修正自拍照中视线不正的问题，也可用于其他视线不正的照片。并且，本发明视线修正不仅限于对视线朝下的情况进行修正，对于其他视线不正的情况亦可进行修正处理。在本发明实施例的描述中，主要以自拍照和视线朝下为例进行说明。该方法可用软件***实现，所述软件***可包括三个模块：修正设置模块、智能处理模块和显示保存模块。下面对各个功能模块进行详细说明。

一、修正配置模块

一种修正配置模块，是在相机自拍设置中，增加对视线修正功能的打开或者关闭的选项，如果视线修正功能是打开的状态，本发明将对自拍照片进行视线修正处理。准许终端用户对这个功能进行选择并记录，下次相机的启动继续维持以前的配置选择。

另一种修正配置模块，是允许设置在预览图片的选项中。终端用户没有在相机自拍选项中选择视线修正打开功能(即第一种配置方式)，在自拍后预览图片时，在图片选项中增加视线修正功能按钮，以打开该功能选项并进行修正。

二、智能处理模块

本发明智能处理模块的处理分为两部分：

第一部分是调整头部姿态，采用的是整体仰抬头部的方法。针对自拍时视线向下等情况，对头部区域进行检测并与其他区域进行分割，然后对头部进行整体抬起，让视线自然正对，再对头部区域和背景区域进行融合。

第二部分是采用特征点进行视线修正。采集大量人脸图片进行特征点标注，并形成数据训练集。自拍后，对自拍照进行特征点提取，对眼睛的轮廓进行逼近模拟，得到轮廓的形状并计算视线。如若判断视线向下，则向上调节上眼睑，并相应向上移动瞳孔和虹膜的位置，再相应调节下眼睑的位置，最后对整体做平滑自然处理。

智能处理模块对自拍照进行视线修正采取的方法是：先进行头部姿态的调整，然后再采用特征点相关方法对视线进行修正。下面就这两大部分进行详细说明。

本发明智能处理模块对自拍照进行视线修正的前后对比如图1和图2所示。图1是视线朝下的照片，图2是经过本发明智能处理修正后的视线正常的照片。

上述第一部分调整头部姿态的前后对比如图3和图4所示。图3为自拍照时双眼看屏幕导致视线向下的示意图，图4为本发明整体移动头部调整头部姿态的示意图。

图5为本发明调整头部姿态的流程示意图，包括以下步骤：

第1步：使用相机的自拍功能进行自拍。

如前所述，本发明也可用于非自拍场景，因此，本步骤也可以是使用相机的后置摄像头进行拍摄。

第2步：判断视线修正是否开启，如果开启，进入第3步，否则，判定不需要进行视线校正，结束本流程。

如前所述，可以在修正配置中读取是否开启；或者可以在自拍后预览图像时，在选项中重新打开“视线修正”按钮进行修正。视线修正功能也可以作为一个默认开启的功能，这样，可以不进行本步骤的判断，而直接进行第3步。

第3步：检测头部姿态，如果头部姿态有左右偏移(图6中Roll方向)，则不需要处理；如果头部姿态不正立，且打开了视线修正功能，则使用图割技术将自拍照中的头部区域与背景进行分离。

对于判定需要修正视线的自拍照，用人脸检测和GraphCut等图割技术，将人脸区域和背景分离开。人脸检测可以使用HAAR和LBP分类器，HAAR和LBP分类器能够正确有效地识别正脸区域。GraphCut等技术在人脸检测输出矩形的基础上，可以更加有效的分割出人脸轮廓。

第4步：将头部区域整体向上抬起或向下放低，具体而言，将分割出来的人脸区域按照上下方向(图6所示Pitch方向)进行修正，直到双眼直视前方为止。

第5步：将抬起后的头部区域与背景进行融合。

由于修正了人脸方向，修正后人脸区域的边界与分割之前的边界已部分改变。本步骤中，在边界不能有效吻合的地方，使用图像融合技术进行修复，还原成自然的人脸和背景区域。

至此，调整头部姿态处理流程结束。

上述第二部分采用特征点进行视线修正的流程图如图7所示，包括以下步骤：

第1步：预先进行人像特征点的标定和训练。

具体而言，首先，采集多张人脸图片，对其特征点进行标定。特别针对眼睛轮廓、虹膜、瞳孔等区域加强标定点的数量，这样有助于更精确的定位眼睛等重点部位。图8为本发明一较佳双眼特征点标定

然后，将标定结果作为输入，利用卷积神经网络模型进行训练。对标定结果的图片分成两组，作为训练数据和测试数据。在对训练数据得到模型结果后，再用测试数据检验模型效果误差值。

第2步：进行自拍照特征点获取。

将自拍照作为输入，使用上一步骤训练出的样本模型进行分析检测，可以得到双眼等标志物的特征点位置信息。

第3步：进行双眼的逼近模拟和视线判定。具体地：

首先，根据双眼特征点的位置分布信息，分别对左右眼的外轮廓的若干个位置点(本实施例以10个为例进行说明)进行无限逼近，并模拟成椭圆的形状，如图9所示。

然后，对如图9所示的椭圆的上半部分的斜率α进行计算。如果斜率α小于某个经验值(比如30°)，则判定此状态下视线是朝下的，需要进行修正。如果斜率α比较大(比如大于或者等于30°)，则判定此状态下视线是正常的，不需要进行后续处理。

第4步：对双眼进行视线修正。

如果在上一步骤判定需要对此状态下的双眼进行修正处理，则需要进行本步骤的视线修正处理，具体方法如下：

首先，对上眼睑的特征点区域进行整体拉伸和上移，如图10所示。

由于需要被修正的双眼的上眼睑的弧线的斜率是比较低的，大致是小于30°。因此，需要对上眼睑进行修正将斜率加大，扩大弧度。

然后，部分拉伸虹膜和瞳孔区域，并对虹膜和瞳孔区域进行上移，同时将待修正双眼的下眼睑的特征点区域整体上移，如图11所示。

图7所示处理流程，通过检测双眼特征点位置信息，对双眼的椭圆模拟以进行视线向下的判定；通过对上眼睑、瞳孔虹膜等特征物的上移拉伸修正，可以使视线不正的状态得以修复。图12为采用本发明进行视线向下的双眼修正的前后对比示意图。

三、显示保存模块

在智能处理模块对视线向下的自拍照进行修正后，将图像保存在本地终端中。

下面通过五个实施例对本发明的应用进行举例说明。

实施例一：

本实施例假设终端自拍时，没有预先对视线修正进行配置。

终端在自拍后，发现人物视线向下而影响整个照片的自然美感。在“菜单”选项中选择“视线修正”进行修复，如图13所示。照片经过本发明智能处理模块进行视线修正后，显示在终端屏幕，由用户选择保存或分享等，如图14所示。

实施例二：

本实施例假设终端自拍时，已经预先对视线修正进行配置并打开此项功能。

终端在自拍后，自动检测视线是否向下；若是，则自动启动视线修正功能。

照片经过智能处理模块进行修复后，显示在终端屏幕，由用户选择保存或者分享等。

实施例三：

本实施例假设终端自拍时，预先已经打开视线修正功能。

终端自拍时，眼睛是眯着的，或者抓拍时眨眼了。视线修正功能打开且检测到视线不正，智能处理模块对眯眼进行处理，得到视线修正后的照片。

实施例四：

本实施例假设终端自拍时，自拍照中有多人。

终端在自拍时，检测到多人状态。智能处理模块对每张人脸进行视线修正智能处理并最终显示在终端屏幕上。

对于人脸中有左右偏转的头像，将不进行处理。

实施例五：

本实施例假设终端在自拍时，有后处理和实时显示两种方式。

终端自拍后，在预览时进行智能处理后，最终显示在屏幕上，这是后处理模式。

终端自拍时，对每帧图像进行智能处理后，显示在预览画面上，每帧实时显示，这是实时显示模式。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种修正人像视线的方法，用于对照片中的人像视线进行修正，其特征在于，包括：

调整照片中人像的头部状态，使人像的双眼直视前方；

对进行头部状态调整后的人像采用特征点进行视线修正，得到视线修正后的照片。

2.根据权利要求1所述的方法，其特征在于，所述调整照片中人像的头部状态包括：

检测头部姿态，如果头部姿态不正立，则使用图割技术将照片中的头部区域与背景进行分离；

将头部区域按照上下方向进行调整，直至人像的双眼直视前方；

将调整后的头部区域与背景进行融合。

3.根据权利要求1所述的方法，其特征在于，所述对进行头部状态调整后的人像采用特征点进行视线修正包括：

预先进行人像特征点的标定和训练；

根据训练出的样本模型，对所述照片进行特征点获取，得到双眼的特征点位置信息；

根据得到的双眼的特征点位置信息，对所述照片进行双眼的逼近模拟和视线判定；

如果视线判定的结果为视线不正，则对双眼进行视线修正。

4.根据权利要求3所述的方法，其特征在于，所述根据得到的双眼的特征点位置信息，对所述照片进行双眼的逼近模拟和视线判定包括：

根据双眼的特征点位置信息，分别对左右眼的外轮廓的N个位置点进行无限逼近，并模拟成椭圆形；

对所述椭圆形的上半部分或下半部分的斜率α进行计算，如果斜率α小于设定阈值，则判定视线不正，如果斜率α大于或者等于设定阈值，则判定视线是正常的。

5.根据权利要求1至4任一项所述的方法，其特征在于，该方法还包括：

在相机设置中进行视线修正功能的配置，或者，在照片预览的选项中进行视线修正功能的配置。

6.一种修正人像视线的设备，用于对照片中的人像视线进行修正，其特征在于，包括：智能处理模块和显示保存模块，其中：

所述智能处理模块，用于调整照片中人像的头部状态，使人像的双眼直视前方；并用于对进行头部状态调整后的人像采用特征点进行视线修正，得到视线修正后的照片；

所述显示保存模块，用于对视线修正后的照片进行显示和保存。

7.根据权利要求6所述的设备，其特征在于，所述智能处理模块在调整照片中人像的头部状态时用于执行以下处理：

检测头部姿态，如果头部姿态不正立，则使用图割技术将照片中的头部区域与背景进行分离；

将头部区域按照上下方向进行调整，直至人像的双眼直视前方；

将调整后的头部区域与背景进行融合。

8.根据权利要求6所述的设备，其特征在于，所述智能处理模块在对进行头部状态调整后的人像采用特征点进行视线修正时用于执行以下处理：

预先进行人像特征点的标定和训练；

根据训练出的样本模型，对所述照片进行特征点获取，得到双眼的特征点位置信息；

根据得到的双眼的特征点位置信息，对所述照片进行双眼的逼近模拟和视线判定；

如果视线判定的结果为视线不正，则对双眼进行视线修正。

9.根据权利要求8所述的设备，其特征在于，所述根据得到的双眼的特征点位置信息，对所述照片进行双眼的逼近模拟和视线判定包括：

根据双眼的特征点位置信息，分别对左右眼的外轮廓的N个位置点进行无限逼近，并模拟成椭圆形；

对所述椭圆形的上半部分或下半部分的斜率α进行计算，如果斜率α小于设定阈值，则判定视线不正，如果斜率α大于或者等于设定阈值，则判定视线是正常的。

10.根据权利要求6至9任一项所述的设备，其特征在于，该设备还包括：修正配置模块；

所述修正配置模块，用于在相机设置中进行视线修正功能的配置，或者，在照片预览的选项中进行视线修正功能的配置。