CN106651978A - 人脸图像预测方法及*** - Google Patents

Abstract

本发明公开了一种人脸图像预测方法及***，该方法包括：获取待预测的人脸图像及预测人脸图像的时间点；从所述人脸图像中提取人脸属性特征；利用所述人脸属性特征确定对应的人脸图像预测模型；将所述人脸图像的像素点输入所述人脸预测模型，得到预测的人脸图像。利用本发明，可以使预测得到的人脸图像与待预测的人脸图像更具相关性，大大提高了用户体验。

Description

人脸图像预测方法及***

技术领域

本发明涉及图像处理领域，具体涉及一种人脸图像预测方法及***。

背景技术

随着现代生活水平的不断提高和科技的不断进步，人们对于娱乐化、信息化的需求也越来越多样化。为了适应人们日益增长的物质文化需求和高科技辅助社会管理的需要，通过图像处理技术预测一个人以前或以后的长相等需求越发强烈，尤其是输入一张用户照片预测用户在相应时间的长相在娱乐方面有广泛应用，所述相应时间如20岁或30岁或20年后等，具体应用如电影的摄制中可以用于预测某明星的幼年或老年时的长相，搜索相应替身演员；又如在手机的应用中预测用户自己相应时间的照片，增加手机应用的娱乐性；当然在其它领域也有相应需求，如公共安全领域，对犯罪嫌疑人在多年后的长相进行预测，帮助警方进行破案等。

现有的人脸图像预测方法一般是基于人脸合成技术，预测人脸图像时，使用三维重建方法合成相应年龄段的人脸图像，所述三维重建指对人脸进行关键点检测后，对输入图像进行三维建模，将图像中人脸纹理贴到三维模型上，对检测到的关键点进行三维形变，对三维贴图进行插值处理；最后将预先生成的相应年龄段的皱纹添加到处理后的三维模型上，并进行平滑处理，从而得到重建的相应年龄段的人脸图像，所述皱纹需要预先收集大量数据进行模型训练，利用训练得到的模型模拟出来的。然而，由于每个人的人脸纹理变化存在较大差异，现有方法在合成相应年龄段的人脸图像时，使用预先生成好的相应年龄段的皱纹添加到所述三维模型上，而预先生成的皱纹与当前用户输入的人脸图像并不相关，添加皱纹后的人脸图像与用户提供的人脸图像往往差异性较大，尤其是添加皱纹的边缘差异更明显，从而使合成后的人脸图像看起来较奇怪，真实感较差，用户体验度较低。

发明内容

本发明实施例提供一种人脸图像预测方法及***，以提高预测得到的人脸图像的真实感，提升用户体验度。

为此，本发明提供如下技术方案：

一种人脸图像预测方法，包括：

获取待预测的人脸图像及预测人脸图像的时间点；

从所述人脸图像中提取人脸属性特征；

利用所述人脸属性特征确定对应的人脸图像预测模型；

将所述人脸图像的像素点输入所述人脸预测模型，得到预测的人脸图像。

优选地，所述人脸图像预测模型包括时光顺流模型和/或时光逆流模型，所述时光顺流模型用于预测人脸未来的长相情况，所述时光逆流模型用于预测人脸过去的长相；

所述方法还包括按以下方式构建人脸图像预测模型：

收集大量人脸图像，构建时光变换数据库；

从所述时光变换数据库中的人脸图像中提取人脸属性特征；

对所述时光变换数据库中的人脸图像进行规整，得到规整后的人脸图像；

根据提取的人脸属性特征对所述规整后的人脸图像进行聚类，得到聚类后的人脸图像；

根据聚类后的人脸图像，构建人脸预测模型。

优选地，所述人脸属性特征包括以下任意一种或多种：性别、表情、是否戴眼镜、地域、职业；

所述从所述时光变换数据库中的人脸图像中提取人脸属性特征包括：

对人脸图像进行人脸检测及人脸特征点定位，得到图像中人脸的局部特征点的位置；

根据各局部特征点的位置及预先训练的分类模型提取各人脸图像的人脸属性特征。

优选地，所述对所述时光变换数据库中的人脸图像进行规整包括：

对所述时光变换数据库中的人脸图像中人脸的坐标及尺度进行规整。

优选地，所述根据提取的人脸属性特征对所述规整后的人脸图像进行聚类包括：

(1)选择一种人脸属性特征作为决策树的根节点，根据所选择的人脸属性特征的取值确定所述根节点的各条边，并将人脸图像划分为多类；

(2)利用提取的人脸属性特征，计算每类人脸图像中剩余的各人脸属性特征取值的最小方差；

(3)判断所述最小方差是否大于设定值；如果是，执行步骤(4)；否则执行步骤(5)；

(4)将所述最小方差对应的类所属的节点作为叶子节点，不再继续划分；然后执行步骤(6)；

(5)将每类中所述最小方差对应的属性特征作为每类人脸图像的上层节点，并根据所述上层节点的取值得到所述上层节点的边，将每类人脸图像继续划分为多类；

(6)判断是否还有属性特征未添加到决策树中；如果有，执行步骤(2)；否则，执行步骤(7)；

(7)统计每个叶子节点下的人脸图像数量，如果叶子节点中的人脸图像数量小于设定的数量阈值，则删除该叶子节点及其兄弟节点，并将该叶子节点及其兄弟节点中的人脸图像添加到该叶子节点的父节点，决策树构建完成。

优选地，所述根据聚类后的人脸图像，构建人脸预测模型包括：

针对所述决策树中的每个叶子节点，构建对应该叶子节点的人脸预测模型，具体包括：

对时光变换数据库中人脸图像进行排序，同一人的人脸图像按照年龄先后进行排序；

利用排序后的数据对人脸预测模型进行初始化，得到初始化的人脸预测模型；

对所述初始化的人脸预测模型进行增量训练，得到最终的人脸预测模型。

优选地，所述利用所述人脸属性特征确定对应的人脸图像预测模型包括：

根据所述人脸属性特征，遍历所述决策树，找到对应的叶子节点；

获取所述叶子节点对应的人脸预测模型。

优选地，所述方法还包括：

根据所述人脸属性特征，对所述预测的人脸图像进行还原，得到还原后的人脸图像。

优选地，所述方法还包括：

将所述预测的人脸图像或所述还原后的人脸图像与所述待预测的人脸图像的背景进行合成，得到合成后的人脸图像。

优选地，所述方法还包括：

将所述预测的人脸图像、或还原后的人脸图像、或合成后的人脸图像反馈给用户。

一种人脸图像预测***，包括：

接收模块，用于获取待预测的人脸图像及预测人脸图像的时间点；

特征提取模块，用于从所述人脸图像中提取人脸属性特征；

模型选择模块，用于利用所述人脸属性特征确定对应的人脸图像预测模型；

预测模块，将所述人脸图像的像素点输入所述人脸预测模型，得到预测的人脸图像。

优选地，所述人脸图像预测模型包括时光顺流模型和/或时光逆流模型，所述时光顺流模型用于预测人脸未来的长相情况，所述时光逆流模型用于预测人脸过去的长相；

所述***还包括，预测模型构建模块，所述预测模型构建模块包括：

图像收集单元，用于收集大量人脸图像，构建时光变换数据库；

特征提取单元，用于从所述时光变换数据库中的人脸图像中提取人脸属性特征；

规整单元，用于对所述时光变换数据库中的人脸图像进行规整，得到规整后的人脸图像；

聚类单元，用于根据提取的人脸属性特征对所述规整后的人脸图像进行聚类，得到聚类后的人脸图像；

模型构建单元，用于根据聚类后的人脸图像，构建人脸预测模型。

优选地，所述人脸属性特征包括以下任意一种或多种：性别、表情、是否戴眼镜、地域、职业；

所述特征提取单元包括：

定位子单元，用于对人脸图像进行人脸检测及人脸特征点定位，得到图像中人脸的局部特征点的位置；

提取子单元，用于根据各局部特征点的位置及预先训练的分类模型提取各人脸图像的人脸属性特征。

优选地，所述规整单元，具体用于对所述时光变换数据库中的人脸图像中人脸的坐标及尺度进行规整。

优选地，所述聚类单元具体用于按以下方式对所述规整后的人脸图像进行聚类：

(1)选择一种人脸属性特征作为决策树的根节点，根据所选择的人脸属性特征的取值确定所述根节点的各条边，并将人脸图像划分为多类；

(2)利用提取的人脸属性特征，计算每类人脸图像中剩余的各人脸属性特征取值的最小方差；

(3)判断所述最小方差是否大于设定值；如果是，执行步骤(4)；否则执行步骤(5)；

(4)将所述最小方差对应的类所属的节点作为叶子节点，不再继续划分；然后执行步骤(6)；

(5)将每类中所述最小方差对应的属性特征作为每类人脸图像的上层节点，并根据所述上层节点的取值得到所述上层节点的边，将每类人脸图像继续划分为多类；

(6)判断是否还有属性特征未添加到决策树中；如果有，执行步骤(2)；否则，执行步骤(7)；

(7)统计每个叶子节点下的人脸图像数量，如果叶子节点中的人脸图像数量小于设定的数量阈值，则删除该叶子节点及其兄弟节点，并将该叶子节点及其兄弟节点中的人脸图像添加到该叶子节点的父节点，决策树构建完成。

优选地，所述模型构建单元，具体用于针对所述决策树中的每个叶子节点，构建对应该叶子节点的人脸预测模型；所述模型构建单元具体包括：

排序子单元，用于对时光变换数据库中人脸图像进行排序，同一人的人脸图像按照年龄先后进行排序；

初始化子单元，用于利用排序后的数据对人脸预测模型进行初始化，得到初始化的人脸预测模型；

增量训练子单元，用于对所述初始化的人脸预测模型进行增量训练，得到最终的人脸预测模型。

优选地，所述模型选择模块包括：

遍历单元，用于根据所述人脸属性特征，遍历所述决策树，找到对应的叶子节点；

模型获取单元，用于获取所述叶子节点对应的人脸预测模型。

优选地，所述***还包括：

还原模块，用于根据所述人脸属性特征，对所述预测的人脸图像进行还原，得到还原后的人脸图像。

优选地，所述***还包括：

合成模块，用于将所述预测的人脸图像或所述还原后的人脸图像与所述待预测的人脸图像的背景进行合成，得到合成后的人脸图像。

优选地，所述***还包括：

反馈模块，用于将所述预测的人脸图像、或还原后的人脸图像、或合成后的人脸图像反馈给用户。

本发明实施例提供的人脸图像预测方法及***，预先构建人脸图像预测模型，所述人脸图像预测模型可以包括：时光顺流模型和/或时光逆流模型，其中，所述时光顺流模型用于预测人脸未来的长相情况，所述时光逆流模型用于预测人脸过去的长相。对待预测的人脸图像，提取与人脸长相或人脸变化相关的人脸属性特征，然后利用提取的人脸属性特征确定对应的人脸预测模型，然后将所述人脸图像的像素点输入所述人脸预测模型，得到所述时间点的人脸图像，从而使预测得到的人脸图像与待预测的人脸图像的相关性较大，真实感较强，给用户一种代入感，大大提高了用户体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本发明实施例中构建人脸图像预测模型的流程图；

图2是本发明实施例中利用决策树对人脸图像进行聚类的流程图；

图3是本发明实施例中每个叶子节点对应的人脸预测模型构建流程图；

图4是本发明实施例提供的人脸图像预测方法的流程图；

图5是本发明实施例人脸图像预测***的一种结构示意图；

图6是本发明实施例中预测模型构建模块的结构示意图；

图7是本发明实施例人脸图像预测***的另一种结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

本发明实施例提供的人脸图像预测方法及***，预先构建人脸图像预测模型，具体构建时，利用决策树对大量图像提取的人脸属性特征进行聚类，根据聚类后落到决策树中每个叶子节点的人脸图像属性特征构建人脸图像预测模型。所述人脸图像预测模型可以包括：时光顺流模型和/或时光逆流模型，其中，所述时光顺流模型用于预测人脸未来的长相情况，所述时光逆流模型用于预测人脸过去的长相。对待预测的人脸图像，提取人脸属性特征，然后利用提取的人脸属性特征获取相应的人脸预测模型，利用该人脸预测模型预测指定时间点的人脸图像。

下面首先对本发明实施例中人脸图像预测模型的构建过程进行详细说明。

如图1所示，是本发明实施例中构建人脸图像预测模型的流程图，包括以下步骤：

步骤101，收集大量人脸图像，构建时光变换数据库。

具体地，收集同一人脸图像在不同年龄的多张人脸图像，不同人脸的多张不同年龄的人脸图像构成时光变换数据库。需要说明的是，在构建时光变换数据库时，可以通过人脸检测技术将收集的人脸图像中大面积缺失的人脸图像丢弃，以免影响人脸图像预测模型参数的准确性。

步骤102，从所述时光变换数据库中的人脸图像中提取人脸属性特征。

首先，对人脸图像进行人脸检测及人脸特征点定位，以得到图像中人脸的局部特征点的位置；然后，根据各局部特征点的位置及预先训练的分类模型提取各人脸图像的人脸属性特征。

其中，所述人脸检测主要是为了找到图像中人脸所在位置，具体做法与现有技术相同，如通过预先收集大量包含人脸的图像，提取SIFT(Scale-invariant featuretransform，尺度不变特征变换)特征，训练人脸与非人脸的分类模型，利用所述分类模型对数据库中人脸图像进行人脸检测。所述人脸特征点定位主要是为了在人脸检测的基础上，进一步确定脸部的局部位置，如眼睛、眉毛、鼻子、嘴巴、脸部外轮廓等，具体定位时，主要通过人脸的纹理特征和各特征点之间的位置约束结合，如可以采用ASM(Active ShapeModel，主动形状模型)或AAM(Active Appreance Model，主动外观模型)算法进行人脸特征点定位，得到图像中人脸的局部特征点位置。

在本发明实施例中，所述人脸属性特征主要指与人脸长相或人脸变化相关的属性特征，提取的人脸属性特征可以包括以下任意一种或多种：年龄、性别、人脸表情、是否戴眼镜、地域、职业等。各属性特征的取值如下：

年龄：以固定年份为跨度，将年龄划分为多个区间，如以5年为跨度，0到99岁的年龄可以划分为20个区间，提取年龄特征时，直接给出人脸图像所属的年龄区间；

性别：男性、女性；

表情：可以将人脸表情大致划分为喜、怒、哀、乐；

是否戴眼镜：是、否；

地域：可以将地域按照省份划分，预测得到图像中人脸所属的省份；

职业：可以划分几种不同的职业，如一种划分为婴幼儿、学生、农民、办公人员等。

具体提取时，可以预先为每种特征训练一个分类模型，利用所述分类模型对每种特征的属性取值进行预测。所述分类模型可以采用深度神经网络描述，具体提取方法与现有技术相同，在此不再详述。

步骤103，对所述时光变换数据库中的人脸图像进行规整，得到规整后的人脸图像。

所述规整主要包括对人脸图像中人脸的坐标及尺度的规整，如按照鼻尖点为中心点，双眼连线为x轴，以经过鼻尖点与x轴垂直的直线为y轴，对人脸坐标及尺度进行规整；同时对于存在遮挡或戴眼镜的人脸图像，使用图像平滑技术预测出无遮挡、无眼镜的图像，将预测后的图像代替数据库中原来的图像，所述平滑技术如基于深度神经网络的图像重构，或基于稀疏表达的求解方法。

步骤104，根据提取的人脸属性特征对所述规整后的人脸图像进行聚类，得到聚类后的人脸图像。

在本发明实施例中，可以利用决策树对所述规整后的人脸图像进行聚类，决策树的节点表示每种人脸属性特征，每条边表示人脸属性特征的具体取值，具体聚类过程将在后面详细描述。当然，也可以利用现有技术中的一些其它聚类方法对所述规整后的人脸图像进行聚类，对此本发明实施例不做限定。

步骤105，根据聚类后的人脸图像，构建人脸预测模型。

人脸图像聚类完成后，得到完整的决策树，每张人脸图像根据其人脸属性特征的取值情况，落到决策树的叶子节点中，落到同一叶子节点的人脸图像共享同一模型，不同叶子节点的人脸图像分别训练不同的人脸预测模型。所述人脸预测模型具体可以采用深度神经网络的结构进行模型训练，模型训练时采用增量式训练的方法，具体构建过程将在后面详细描述。

如图2所示，是本发明实施例中利用决策树对人脸图像进行聚类的流程图，包括以下步骤：

步骤201，选择一种人脸属性特征作为决策树的根节点，根据所选择的人脸属性特征的取值确定所述根节点的各条边，并将人脸图像划分为多类。

决策树的节点表示每种属性特征，每条边表示属性特征的具体取值。具体地，可以将区分性较强的人脸属性特征作为决策树的根节点，根据该人脸属性特征的取值得到根节点的各条边，从而将人脸图像划分为多个类。比如，根据性别属性特征的取值即男或女，将人脸图像划分成两类，即分别为男人脸图像和女人脸图像。

步骤202，利用提取的人脸属性特征，计算每类人脸图像中剩余的各人脸属性特征取值的最小方差。

具体地，针对每类人脸图像，先针对每个人计算其各人脸图像的剩余人脸属性特征取值的方差；然后针对每类中的所有人计算每个剩余人脸属性特征取值的方差和(每个属性对应一个方差和)；最后再选这些属性取值的方差和中的一个最小方差和作为该类中的属性取值最小方差。

例如，将性别属性特征作为根节点，则剩余的人脸属性特征分别为年龄、表情、是否戴眼镜、地域、及职业。针对每个人的多个不同人脸图像，分别计算各图像的剩余各人脸属性特征取值的方差，即得到每个人的不同人脸图像的剩余人脸属性特征取值的方差。例如，对应张三，有4个图像，则分别计算这4个图像在年龄、表情、是否戴眼镜、地域、及职业这5个属性特征上取值的方差(为了描述方便，将其称为属性方差)；同样，对应李四，有3个图像，则分别计算这3个图像在年龄、表情、是否戴眼镜、地域、及职业这5个属性特征上取值的方差。然后，针对每类中，所有人的每种人脸属性特征，将得到的所有人的人脸图像的相应属性特征取值的方差求和，即得到每类中所有人的剩余各人脸属性特征取值的方差和。

需要说明的是，考虑到方差较大，则对应的人脸属性特征的取值偏差较大，即特征提取时，预测的偏差较大。因此，如果计算得到某人的属性方差大于设定阈值，则在计算该人所属类的最小方差时，可以不考虑该人相应人脸属性特征的取值。

步骤203，判断所述最小方差是否大于设定值。如果是，则执行步骤204；否则，执行步骤205。

步骤204，将所述最小方差对应的类所属的节点作为叶子节点，不再继续划分；然后执行步骤206。

步骤205，将每类中所述最小方差对应的属性特征作为每类人脸图像的上层节点，根据每类上层节点的取值得到每类上层节点相应的边，将每类人脸图像继续划分为多类。

步骤206，判断是否还有属性特征未添加到决策树中；如果是，执行步骤202；否则，执行步骤207。

步骤207，统计每个叶子节点下的人脸图像数量，如果叶子节点中的人脸图像数量小于设定的数量阈值，则删除该叶子节点及其兄弟节点，并将该叶子节点及其兄弟节点中的的人脸图像添加到该叶子节点的父节点中，决策树构建完成，同时人脸图像聚类结束。

如图3所示，是本发明实施例中每个叶子节点对应的人脸预测模型构建过程，包括以下步骤：

步骤301，对时光变换数据库中人脸图像进行排序，同一人的人脸图像按照年龄先后进行排序。

步骤302，利用排序后的数据对人脸预测模型进行初始化，得到初始化的人脸预测模型。

对于时光顺流模型的训练，将最低年龄区间人脸图像作为输入，如以5年作为一个年龄区间，将下一年龄区间内的人脸图像作为输出，进行模型的训练，得到具有短时预测重构功能的时光顺流模型；

对于时光逆流模型的训练，将最低年龄区间人脸图像作为模型的输出，将下一年龄区间内的人脸图像作为输入，进行模型的训练，得到具有短时回推重构功能的时光逆流模型。

步骤303，对所述初始化的人脸预测模型进行增量训练，得到最终的人脸预测模型。

依次增加年龄区间的人脸图像，对步骤302中时光顺流模型和时光逆流模型进行增量训练，具体地如下所述：

对于时光顺流模型，首先将最低年龄区间的人脸图像作为输入，预测得到下一年龄区间的人脸图像，再将预测得到的下一年龄区间的人脸图像作为输入，预测得到第三年龄区间的人脸图像，最小化预测得到的第三年龄区间的人脸图像与真实第三年龄区间的人脸图像的误差，对时光顺流模型参数进行更新训练，所述真实第三年龄区间的人脸图像为时光转换数据库中人脸图像；依次增加人脸图像的年龄区间，每次增加一个或多个年龄区间，对时光顺流模型进行训练，每增加一次年龄区间，对时光顺流模型进行一次更新，直到所有年龄区间增加结束，得到最终的时光顺流模型；

对于时光逆流模型，首先将增加年龄区间后的人脸图像作为输入，如将第三年龄区间的人脸图像作为输入，利用时光逆流模型回推重构得到的前一年龄区间的人脸图像，再将回推重构的前一年龄区间作为时光逆流模型的输入，回推重构最低年龄区间的人脸图像，最小化回推重构的最低年龄区间的人脸图像与真实最低年龄区间的人脸图像之间的误差，对时光逆流模型参数进行更新训练，所述真实最低年龄区间的人脸图像为时光转换数据库中人脸图像，依次人脸图像的增加年龄区间，每次增加一个或多个年龄区间，对时光逆流模型进行训练，每增加一次年龄区间，对时光逆流模型进行一次更新，直到所有年龄区间增加结束，得到最终的时光逆流模型。

利用上述人脸预测模型，本发明实施例提供的人脸图像预测方法的流程图如图4所示，包括以下步骤：

步骤401，获取待预测的人脸图像及预测人脸图像的时间点。

所述图像可以为用户直接上传的图像，也可以是直接通过摄像头拍摄得到的图像。

所述预测人脸图像的时间点指用户想预测得到的人脸图像的时间点，具体可以使用年龄表示，如当前人脸图像预测得到的年龄为20岁，用户想得到30岁时的人脸图像。所述时间点可以由用户输入或选择。

步骤402，从所述人脸图像中提取人脸属性特征。

所述人脸属性特征可以包括以下任意一种或多种：性别、表情、是否戴眼镜、地域、职业。人脸属性特征的提取方法可以参考前面人脸图像模型构建时，对大量人脸图像提取人脸属性特征的方法，即，首先，对人脸图像进行人脸检测及人脸特征点定位，以得到图像中人脸的局部特征点的位置；然后，根据各局部特征点的位置及预先训练的分类模型提取各人脸图像的人脸属性特征。当然，如果用户提供的图像上不仅有人脸，还带有背景以及与人脸无关的附加信息(比如耳环、眼镜等)，则需要先去除背景及这些无关信息。

步骤403，利用所述人脸属性特征确定对应的人脸图像预测模型。

具体地，可以根据所述人脸属性特征，遍历决策树，找到这些人脸属性特征对应的叶子节点位置，然后获取所述叶子节点对应的人脸预测模型。

步骤404，将所述人脸图像的像素点输入所述人脸预测模型，得到预测的人脸图像。

如果所述时间点在当前接收人脸图像的时间点之后，则使用时光顺流模型进行预测，如果所述时间点在当前图像的时间点之前，则使用时光逆流模型对图像进行回推重构。如用户输入20年后，则在当前人脸图像对应的时间点之后，如果用户输入20年前，则在当前人脸图像对应的时间点之前，或者用户直接输入当前年龄和预测后的年龄。比如当前人脸图像的年龄为30岁，用户想得到30到99岁时的任意时间点对应的人脸图像，则使用时光顺流模型对当前图像进行预测，用户想得到0到29岁时的任意时间点对应的人脸图像，则使用时光逆流模型对当前图像进行回推重构。

具体预测时，可以根据预划分的年龄区间，确定当前人脸图像所属年龄区间与用户想得到人脸图像的年龄区间；然后将当前人脸图像作为人脸预测模型的输入，每次预测或重构一个年龄区间的人脸图像，随后将预测或重构的人脸图像作为输入继续预测或重构下一年龄区间的人脸图像，直到用户想得到的人脸图像所在年龄区间；最后将预测或重构的人脸图像作为最终生成人脸图像。

在得到预测的人脸图像后，可以将该人脸图像直接反馈给用户。

前面提到，用户提供的待预测的人脸图像中除了包含人脸信息外，还可能会包含与人脸无关的附加信息，因此，针对这类人脸图像，还需要根据提取的人脸属性特征，对预测的人脸图像进行相应属性特征的还原，比如，表情、是否配戴眼镜等。具体地，可以利用边缘信息检测出接收图像中眼镜等附属物，并将该眼睛区域像素直接替换到生成的人脸图像对应位置上；对于表情特征，可以利用人脸关键点控制生成的人脸图像面部区域的形变，拟合接收图像对应的人脸表情，具体方法与现有技术相同，在此不再详述。通过还原处理，可以使还原后的人脸图像更具真实感，将还原后的人脸图像反馈给用户，可以进一步提高用户体验。

另外，如果用户提供的待预测的人脸图像中还包括背景，则还需要将预测的人脸图像与所述待预测的人脸图像的背景进行合成，生成与待预测的人脸图像相同背景的图像。具体地，首先对预测的人脸图像进行尺度规整，即根据待预测人脸图像的面部朝向信息对后所述预测的人脸图像进行缩放，得到缩放后的人脸图像；然后将缩放后的人脸图像与待预测的人脸图像的背景进行插值，得到合成后的人脸图像，具体方法与现有技术相同，在此不再详述。通过合成处理，可以使合成后的人脸图像画面更丰富，将合成后的人脸图像反馈给用户，可以进一步提高用户体验。

本发明实施例提供的人脸图像预测方法，预先构建人脸图像预测模型，所述人脸图像预测模型可以包括：时光顺流模型和/或时光逆流模型，其中，所述时光顺流模型用于预测人脸未来的长相情况，所述时光逆流模型用于预测人脸过去的长相。对待预测的人脸图像，提取与人脸长相或人脸变化相关的人脸属性特征，然后利用提取的人脸属性特征确定对应的人脸预测模型，然后将所述人脸图像的像素点输入所述人脸预测模型，得到所述时间点的人脸图像，从而使预测得到的人脸图像与待预测的人脸图像的相关性较大，真实感较强，给用户一种代入感，大大提高了用户体验。

相应地，本发明实施例还提供一种人脸图像预测***，如图5所示，是本发明实施例人脸图像预测***的一种结构示意图，包括以下各模块：

接收模块501，用于获取待预测的人脸图像及预测人脸图像的时间点；

特征提取模块502，用于从所述人脸图像中提取人脸属性特征；

模型选择模块503，用于利用所述人脸属性特征确定对应的人脸图像预测模型；

预测模块504，将所述人脸图像的像素点输入所述人脸预测模型，得到预测的人脸图像。

上述待预测的人脸图像及预测人脸图像的时间点可以是用户直接输入的，所述人脸属性特征可以包括以下任意一种或多种：性别、表情、是否戴眼镜、地域、职业。相应地，特征提取模块502可以先对人脸图像进行人脸检测及人脸特征点定位，以得到图像中人脸的局部特征点的位置；然后，根据各局部特征点的位置及预先训练的分类模型提取各人脸图像的人脸属性特征。

所述模型选择模块503可以根据人脸图像预测模型训练时构建的决策树来获取相应的人脸图像预测模型，该模块具体可以包括以下两个单元：

遍历单元，用于根据所述人脸属性特征，遍历所述决策树，找到对应的叶子节点；

模型获取单元，用于获取所述叶子节点对应的人脸预测模型。

本发明实施例的人脸图像预测***利用预先构建的人脸图像预测模型进行人脸图像预测，所述人脸图像预测模型可以包括：时光顺流模型和/或时光逆流模型，其中，所述时光顺流模型用于预测人脸未来的长相情况，所述时光逆流模型用于预测人脸过去的长相。所述人脸图像预测模型可以由相应的预测模型构建模块来构建，对应于不同的人脸属性特征，需要构建相应的人脸图像预测模型。在实际应用中，所述预测模型构建模块可以通过聚类的方法来构建针对各种不同人脸属性特征的人脸预测模型。而且，所述预测模型构建模块可以作为本发明***的一部分，也可以独立于本发明***，即作为一个独立的实体，对此本发明实施例不做限定。

如图6所示，是本发明实施例中预测模型构建模块的结构示意图，包括以下各单元：

图像收集单元61，用于收集大量人脸图像，构建时光变换数据库，具体地，可以收集同一人脸图像在不同年龄的多张人脸图像，不同人脸的多张不同年龄的人脸图像构成时光变换数据库；

特征提取单元62，用于从所述时光变换数据库中的人脸图像中提取人脸属性特征；

规整单元63，用于对所述时光变换数据库中的人脸图像进行规整，得到规整后的人脸图像，具体可以对所述时光变换数据库中的人脸图像中人脸的坐标及尺度进行规整；

聚类单元64，用于根据提取的人脸属性特征对所述规整后的人脸图像进行聚类，得到聚类后的人脸图像；

模型构建单元65，用于根据聚类后的人脸图像，构建人脸预测模型。

上述特征提取单元62可以包括：定位子单元和提取子单元，其中，定位子单元用于对人脸图像进行人脸检测及人脸特征点定位，得到图像中人脸的局部特征点的位置；提取子单元用于根据各局部特征点的位置及预先训练的分类模型提取各人脸图像的人脸属性特征。

上述聚类单元64具体可以按照图2所示方式对规整后的人脸图像进行聚类。

上述模型构建单元65需要针对所述决策树中的每个叶子节点，构建对应该叶子节点的人脸预测模型；所述模型构建单元65的一种具体结构可以包括以下各子单元：

排序子单元，用于对时光变换数据库中人脸图像进行排序，同一人的人脸图像按照年龄先后进行排序；

初始化子单元，用于利用排序后的数据对人脸预测模型进行初始化，得到初始化的人脸预测模型；

增量训练子单元，用于对所述初始化的人脸预测模型进行增量训练，得到最终的人脸预测模型。

如图7所示，在本发明人脸图像预测***的另一实施例中，所述***还可包括：

还原模块701，用于根据所述人脸属性特征，对所述预测的人脸图像进行还原，得到还原后的人脸图像。

进一步地，所述***还可包括：

合成模块702，用于将所述预测的人脸图像或所述还原后的人脸图像与所述待预测的人脸图像的背景进行合成，得到合成后的人脸图像。

进一步地，所述***还可包括：

反馈模块703，用于将所述预测的人脸图像、或还原后的人脸图像、或合成后的人脸图像反馈给用户。

需要说明的是，在实际应用中，根据用户提供的待预测图像中是否带有背景、以及图像中是否还包含与人脸无关的一些附加信息等，上述还原模块701和合成模块702可以根据需要来选择。而且，反馈模块703也可以通过多种方式将最终得到的人脸图像反馈给用户，比如，在屏幕上直接展现、或者将图像保存在相应的文件中等，对此本发明实施例不做限定。

本发明实施例提供的人脸图像预测***，预先构建人脸图像预测模型，所述人脸图像预测模型可以包括：时光顺流模型和/或时光逆流模型，其中，所述时光顺流模型用于预测人脸未来的长相情况，所述时光逆流模型用于预测人脸过去的长相。对待预测的人脸图像，提取与人脸长相或人脸变化相关的人脸属性特征，然后利用提取的人脸属性特征确定对应的人脸预测模型，然后将所述人脸图像的像素点输入所述人脸预测模型，得到所述时间点的人脸图像，从而使预测得到的人脸图像与待预测的人脸图像的相关性较大，真实感较强，给用户一种代入感，大大提高了用户体验。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本发明实施例进行了详细介绍，本文中应用了具体实施方式对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及***；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (20)

1.一种人脸图像预测方法，其特征在于，包括：

获取待预测的人脸图像及预测人脸图像的时间点；

从所述人脸图像中提取人脸属性特征；

利用所述人脸属性特征确定对应的人脸图像预测模型；

将所述人脸图像的像素点输入所述人脸预测模型，得到预测的人脸图像。

2.根据权利要求1所述的方法，其特征在于，所述人脸图像预测模型包括时光顺流模型和/或时光逆流模型，所述时光顺流模型用于预测人脸未来的长相情况，所述时光逆流模型用于预测人脸过去的长相；

所述方法还包括按以下方式构建人脸图像预测模型：

收集大量人脸图像，构建时光变换数据库；

从所述时光变换数据库中的人脸图像中提取人脸属性特征；

对所述时光变换数据库中的人脸图像进行规整，得到规整后的人脸图像；

根据提取的人脸属性特征对所述规整后的人脸图像进行聚类，得到聚类后的人脸图像；

根据聚类后的人脸图像，构建人脸预测模型。

3.根据权利要求2所述的方法，其特征在于，所述人脸属性特征包括以下任意一种或多种：性别、表情、是否戴眼镜、地域、职业；

所述从所述时光变换数据库中的人脸图像中提取人脸属性特征包括：

对人脸图像进行人脸检测及人脸特征点定位，得到图像中人脸的局部特征点的位置；

根据各局部特征点的位置及预先训练的分类模型提取各人脸图像的人脸属性特征。

4.根据权利要求2所述的方法，其特征在于，所述对所述时光变换数据库中的人脸图像进行规整包括：

对所述时光变换数据库中的人脸图像中人脸的坐标及尺度进行规整。

5.根据权利要求2所述的方法，其特征在于，所述根据提取的人脸属性特征对所述规整后的人脸图像进行聚类包括：

(1)选择一种人脸属性特征作为决策树的根节点，根据所选择的人脸属性特征的取值确定所述根节点的各条边，并将人脸图像划分为多类；

(2)利用提取的人脸属性特征，计算每类人脸图像中剩余的各人脸属性特征取值的最小方差；

(3)判断所述最小方差是否大于设定值；如果是，执行步骤(4)；否则执行步骤(5)；

(4)将所述最小方差对应的类所属的节点作为叶子节点，不再继续划分；然后执行步骤(6)；

(5)将每类中所述最小方差对应的属性特征作为每类人脸图像的上层节点，并根据所述上层节点的取值得到所述上层节点的边，将每类人脸图像继续划分为多类；

(6)判断是否还有属性特征未添加到决策树中；如果有，执行步骤(2)；否则，执行步骤(7)；

(7)统计每个叶子节点下的人脸图像数量，如果叶子节点中的人脸图像数量小于设定的数量阈值，则删除该叶子节点及其兄弟节点，并将该叶子节点及其兄弟节点中的人脸图像添加到该叶子节点的父节点，决策树构建完成。

6.根据权利要求5所述的方法，其特征在于，所述根据聚类后的人脸图像，构建人脸预测模型包括：

针对所述决策树中的每个叶子节点，构建对应该叶子节点的人脸预测模型，具体包括：

对时光变换数据库中人脸图像进行排序，同一人的人脸图像按照年龄先后进行排序；

利用排序后的数据对人脸预测模型进行初始化，得到初始化的人脸预测模型；

对所述初始化的人脸预测模型进行增量训练，得到最终的人脸预测模型。

7.根据权利要求5所述的方法，其特征在于，所述利用所述人脸属性特征确定对应的人脸图像预测模型包括：

根据所述人脸属性特征，遍历所述决策树，找到对应的叶子节点；

获取所述叶子节点对应的人脸预测模型。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：

根据所述人脸属性特征，对所述预测的人脸图像进行还原，得到还原后的人脸图像。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

将所述预测的人脸图像或所述还原后的人脸图像与所述待预测的人脸图像的背景进行合成，得到合成后的人脸图像。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

将所述预测的人脸图像、或还原后的人脸图像、或合成后的人脸图像反馈给用户。

11.一种人脸图像预测***，其特征在于，包括：

接收模块，用于获取待预测的人脸图像及预测人脸图像的时间点；

特征提取模块，用于从所述人脸图像中提取人脸属性特征；

模型选择模块，用于利用所述人脸属性特征确定对应的人脸图像预测模型；

预测模块，将所述人脸图像的像素点输入所述人脸预测模型，得到预测的人脸图像。

12.根据权利要求11所述的***，其特征在于，所述人脸图像预测模型包括时光顺流模型和/或时光逆流模型，所述时光顺流模型用于预测人脸未来的长相情况，所述时光逆流模型用于预测人脸过去的长相；

所述***还包括，预测模型构建模块，所述预测模型构建模块包括：

图像收集单元，用于收集大量人脸图像，构建时光变换数据库；

特征提取单元，用于从所述时光变换数据库中的人脸图像中提取人脸属性特征；

规整单元，用于对所述时光变换数据库中的人脸图像进行规整，得到规整后的人脸图像；

聚类单元，用于根据提取的人脸属性特征对所述规整后的人脸图像进行聚类，得到聚类后的人脸图像；

模型构建单元，用于根据聚类后的人脸图像，构建人脸预测模型。

13.根据权利要求12所述的***，其特征在于，所述人脸属性特征包括以下任意一种或多种：性别、表情、是否戴眼镜、地域、职业；

所述特征提取单元包括：

定位子单元，用于对人脸图像进行人脸检测及人脸特征点定位，得到图像中人脸的局部特征点的位置；

提取子单元，用于根据各局部特征点的位置及预先训练的分类模型提取各人脸图像的人脸属性特征。

14.根据权利要求12所述的***，其特征在于，

所述规整单元，具体用于对所述时光变换数据库中的人脸图像中人脸的坐标及尺度进行规整。

15.根据权利要求12所述的***，其特征在于，所述聚类单元具体用于按以下方式对所述规整后的人脸图像进行聚类：

(1)选择一种人脸属性特征作为决策树的根节点，根据所选择的人脸属性特征的取值确定所述根节点的各条边，并将人脸图像划分为多类；

(2)利用提取的人脸属性特征，计算每类人脸图像中剩余的各人脸属性特征取值的最小方差；

(3)判断所述最小方差是否大于设定值；如果是，执行步骤(4)；否则执行步骤(5)；

(4)将所述最小方差对应的类所属的节点作为叶子节点，不再继续划分；然后执行步骤(6)；

(5)将每类中所述最小方差对应的属性特征作为每类人脸图像的上层节点，并根据所述上层节点的取值得到所述上层节点的边，将每类人脸图像继续划分为多类；

(6)判断是否还有属性特征未添加到决策树中；如果有，执行步骤(2)；否则，执行步骤(7)；

(7)统计每个叶子节点下的人脸图像数量，如果叶子节点中的人脸图像数量小于设定的数量阈值，则删除该叶子节点及其兄弟节点，并将该叶子节点及其兄弟节点中的人脸图像添加到该叶子节点的父节点，决策树构建完成。

16.根据权利要求15所述的***，其特征在于，

所述模型构建单元，具体用于针对所述决策树中的每个叶子节点，构建对应该叶子节点的人脸预测模型；所述模型构建单元具体包括：

排序子单元，用于对时光变换数据库中人脸图像进行排序，同一人的人脸图像按照年龄先后进行排序；

初始化子单元，用于利用排序后的数据对人脸预测模型进行初始化，得到初始化的人脸预测模型；

增量训练子单元，用于对所述初始化的人脸预测模型进行增量训练，得到最终的人脸预测模型。

17.根据权利要求15所述的***，其特征在于，所述模型选择模块包括：

遍历单元，用于根据所述人脸属性特征，遍历所述决策树，找到对应的叶子节点；

模型获取单元，用于获取所述叶子节点对应的人脸预测模型。

18.根据权利要求11-17任一项所述的***，其特征在于，所述***还包括：

还原模块，用于根据所述人脸属性特征，对所述预测的人脸图像进行还原，得到还原后的人脸图像。

19.根据权利要求18所述的***，其特征在于，所述***还包括：

合成模块，用于将所述预测的人脸图像或所述还原后的人脸图像与所述待预测的人脸图像的背景进行合成，得到合成后的人脸图像。

20.根据权利要求19所述的***，其特征在于，所述***还包括：

反馈模块，用于将所述预测的人脸图像、或还原后的人脸图像、或合成后的人脸图像反馈给用户。