CN107886558A - 一种基于RealSense的人脸表情动画驱动方法 - Google Patents

Abstract

本发明公开了一种基于RealSense的人脸表情动画驱动方法，涉及计算机图形学领域；其包括步骤：1)获取深度图像后预处理得到深度信息灰度图；2)基于深度信息灰度图提取样本得到深度信息训练集，并从其中提取Haar‑like特征集后进行Adaboost训练得到级联人脸分类器，并追踪人脸位置；3)将追踪的人脸位置映射至彩色图像得到的彩色图像人脸位置，并将其通过算法提取人脸特征；4)将人脸特征和彩色图像人脸位置进行处理后与人脸模型AU匹配，完成表情动画驱动；本发明解决了现有表演驱动的人脸表情虚拟显示技术因采用普通摄像头实现捕捉和特征提取不能适用于复杂背景导致精度差、效率低、处理复杂的问题，达到了提高人脸表情动画驱动的效率、准确性和鲁棒性的效果。

Description

一种基于RealSense的人脸表情动画驱动方法

技术领域

本发明涉及计算机图形学领域，尤其是一种基于RealSense的人脸表情动画驱动方法。

背景技术

计算机人脸表情动画技术包括人脸的建模技术以及模拟真实人脸的动画技术，而真实感的计算机人脸显示是计算机图形学研究领域最基本的问题之一，由于人脸的生理结构的复杂性以及人们对人脸的细节变化的高要求，它成为最困难和最具挑战性的问题之一，同时其应用广泛：电影和计算机游戏等娱乐行业是计算机人脸动画的主要推动力量，它不仅可以制作虚拟现实环境中的各种虚拟人物，还可应用于虚拟主持人、可视电话、远程网络会议等多媒体的制作和传输；另外还可以应用于科学可视化的领域，如医学辅助治疗、医学美容、法庭辅助辨认分析等，在人机交互等日益增长的信息通信技术领域也有着很好的应用前景。

目前人脸表情动画驱动技术主要可以分为两类：基于几何学方法和基于图像处理的人脸表情虚拟显示技术；其中基于图像处理的人脸虚拟显示技术包括Morphing方法、表演驱动方法及人脸表情编码***驱动方法；基于表演驱动的人脸表情虚拟显示技术首先对人脸表情进行捕捉，然后驱动人脸模型产生对应的人脸表情，是当下最流行的人脸表情合成技术之一。传统的人脸表情捕捉方式是基于人脸特征点标记技术，为保证精度，往往需要在表演者贴上稀疏的物理标记，此种方法对演员有侵入性并且设备昂贵，操作复杂；在基于视频处理技术的表演型人脸动画驱动方法之中，过去的研究方法都是利用基于普通摄像头的2D图像，追踪人脸表情提取特征点，而对于三维空间的人脸来说，2D图像所含有信息量不足以精确描述特征，尤其是复杂背景下，需要花费大量的时间对图像进行各种形态学操作以增强图像质量，效率低下。

发明内容

本发明的目的在于：本发明提供了一种基于RealSense的人脸表情动画驱动方法，解决了现有表演驱动的人脸表情虚拟显示技术因采用普通摄像头实现捕捉和特征提取不能适用于复杂背景导致精度差、效率低、处理复杂的问题。

本发明采用的技术方案如下：

一种基于RealSense的人脸表情动画驱动方法，包括如下步骤：

步骤1：获取深度图像后对其进行预处理得到深度信息灰度图；

步骤2：基于深度信息灰度图提取人脸特征集与非人脸特征集样本得到深度信息训练集，并从其中提取Haar-like特征集后进行Adaboost训练得到级联人脸分类器，并根据其追踪人脸位置；

步骤3：将追踪的人脸位置映射至获取的彩色图像的位置后得到的彩色图像人脸位置，并将其通过算法提取人脸特征；

步骤4：将人脸特征和彩色图像人脸位置进行处理后与人脸模型AU匹配，完成表情动画驱动。

优选地，所述步骤1包括如下步骤：

步骤1.1：初始化RealSense参数，启动设备获取640*480彩色图与深度信息图像后，设置合理深度阈值范围去除背景噪声，输出待检测像素矩形目标区域I即深度图像区域I；

步骤1.2：将深度图像转换为深度灰度图，并对深度灰度图归一化处理。

优选地，所述步骤2包括如下步骤：

步骤2.1：按照步骤1.1采集数千张人脸与非人脸深度灰度图作为训练样本；

步骤2.2：将训练样本归一化到同样大小，利用“积分图”快速计算每个样本的Haar-like特征值得到深度信息训练集；

步骤2.3：选择特征并生成弱分类器：利用Adaboost算法从深度信息训练集的Haar-like特征中选择出那些使人脸分类错误率最低的特征，并生成弱分类器；

步骤2.4：将弱分类器组合成强分类器后并将其进行处理得到级联分类器：将强分类器级联的每一层级分类器都尽可能的剔除负样本，保留正样本，并出发下一层分类器，以此类推，形成级联分类器；

步骤2.5：对步骤1.1中的深度图像区域I利用金字塔采样，对金字塔上每层图像使用训练好的级联分类器检测得到深度图中目标人脸所在矩形区域face1(x1,y1,width1,height1)即人脸位置。

优选地，所述步骤3包括如下步骤：

步骤3.1：将深度图中的目标人脸位置映射到彩色图像中得到彩色图像人脸位置，其坐标位置与face1区域相同，记为face2(x2,y2,width2,height2)，其中x2＝x1，y2＝y1，width2＝width1，height2＝height1；

步骤3.2：将彩色图像人脸位置即face2通过AAM算法或者ASM算法提取人脸特征。

优选地，所述步骤4包括如下步骤：

步骤4.1：将人脸特征解构成具体的动作单元即AU，并归一化AU权重；

步骤4.2：结合彩色图像人脸位置把步骤4.1所得结果与人脸模型AU匹配，完成控制人脸表情即完成表情动画驱动。

优选地，所述AU包括打开嘴巴、抬起左边嘴角、抬起右边嘴角、向左移动嘴巴、向右移动嘴巴、抬起左眉、抬起右眉、放下左眉、放下右眉、向中间皱眉、闭上左眼睑、闭上右眼睑、睁开右眼、睁开左眼和移动两个眼球。

优选地，所述归一化采用公式。

优选地，所述步骤3.2采用AAM算法包括如下步骤：

步骤3.21：样本选取后对其进行几何变换、对齐旋转等操作得到平均脸集合模型，对样本进行三角划分及纹理映射等操作得到平均脸纹理模型，最终形成训练好的AAM模型；

步骤3.22：将彩色图像人脸位置即face2使用训练好的AAM模型进行迭代匹配，输出人脸特征的信息。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明通过对深度信息预处理，选取合适的图像训练集，利用深度信息进行Adaboost算法，有效降低了背景噪声及衣服噪声等影响，减少了不必要的彩色像图转换灰度图的过程，防止过拟合，提高效率，解决了现有表演驱动的人脸表情虚拟显示技术因采用普通摄像头实现捕捉和特征提取不能适用于复杂背景导致精度差、效率低、处理复杂的问题，达到了提高人脸表情动画驱动的效率、准确性和鲁棒性的效果；

2.本发明通过采集单一深度值的深度信息，利用获取的深度图像提取人脸与非人脸特征集作为训练样本训练分类器，检测人脸后映射至彩色图像，有效提高了Adaboost算法的时间效率，提高了人脸表情动画驱动的实时性；

3.本发明通过结合捕获的人脸特征点的深度信息，有效弥补了二维特征点信息不足的缺点，从而提高了人脸表情动画驱动的鲁棒性。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明的流程图；

图2是本发明的Adaboost算法人脸检测的框图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

下面结合图1-2对本发明作详细说明。

实施例1

一种基于RealSense的人脸表情动画驱动方法，包括如下步骤：

步骤1：获取深度图像后对其进行预处理得到深度信息灰度图；

步骤2：基于深度信息灰度图提取人脸特征集与非人脸特征集样本得到深度信息训练集，并从其中提取Haar-like特征集后进行Adaboost训练得到级联人脸分类器，并根据其追踪人脸位置；

步骤3：将追踪的人脸位置映射至获取的彩色图像的位置后得到的彩色图像人脸位置，并将其通过算法提取人脸特征；

步骤4：将人脸特征和彩色图像人脸位置进行处理后与人脸模型AU匹配，完成表情动画驱动。

实施例2

步骤1：获取深度图像后对其进行预处理得到深度信息灰度图；

初始化RealSense参数，启动设备获取640*480彩色图像与深度信息图像，其中深度图像深度值d范围是0.2米至2米，按照深度信息设置合理深度阈值范围，去除背景噪声，输出待检测像素矩形目标区域I，其中矩形区域左上方顶点坐标为(x0,y0)及矩形长度值记为width0，宽度值记为height0；将深度图像转换为深度灰度图，像素点p转换p＝255-0.255*(d-200)，对灰度图像归一化处理；

步骤2：基于深度信息灰度图提取人脸特征集与非人脸特征集样本得到深度信息训练集，并从其中提取Haar-like特征集后进行Adaboost训练得到级联人脸分类器，并根据其追踪人脸位置；

搜集训练人脸与非人脸样本，提取方形Haar-like特征；采集人脸与非人脸深度灰度图数千张作为训练样本，并把它们归一化到同样大小，利用“积分图”快速计算每个样本的Haar-like特征值得到深度信息训练集；

Adaboost是一种迭代算法，其核心是针对同一个训练集训练不同的弱分类器，然后把弱分类器集合起来，构成强分类器；它根据每次训练样本集中每个样本是否正确，以及上次的总体分类的准确率，来确定每个样本的权值，然后将每次训练得到的分类器融合在一起作为最后的决策分类器；下面对算法的过程进行说明：

(1)使用Haar-like特征表示人脸，使用积分图实现特征数值的快速计算；

(2)使用一维特征对样本分类，形成弱分类器h_j(x)：

其中f_j特征变量，θ_j为阈值，p_j为正负校验。

(3)已知共有n副训练图(x₁,y₁)，…，(x_n,y_n)，其中y_i＝0，1分别表示负样本和正样本，负样本和正样本分别m个和l个，n＝m+l

(4)初始化负样本权重为ω_l,i＝1/2m，正样本权重初始化为ω_l,i＝1/2l，并归一化为

(5)利用先前得到的弱分类器，对于特征f_j，估计错误率

(6)根据错误率更新权重为：其中当xl分类正确时，ei＝0；否则ei＝1不断迭代；

(7)强分类器其中其选择的特征误差在0.4和0.5之间；

(8)利用多尺度分析对人脸检测，对分类器的尺度进行伸缩，同时改变弱分类器的阈值得到级联分类器；

对步骤1.1中的深度图像区域I利用金字塔采样，对金字塔上每层图像使用训练好的级联分类器检测得到深度图中目标人脸所在矩形区域face1(x1,y1,width1,height1)即人脸位置。

步骤3：将追踪的人脸位置映射至获取的彩色图像的位置后得到的彩色图像人脸位置，并将其通过算法提取人脸特征；

将深度图中的目标人脸位置映射到彩色图像中得到彩色图像人脸位置，其坐标位置与face1区域相同，记为face2(x2,y2,width2,height2)，其中x2＝x1，y2＝y1，width2＝width1，height2＝height1；

将彩色图像人脸位置即face2通过AAM算法或者ASM算法提取人脸特征。

采用AAM算法，算法说明如下：

形状建模：

(1)选取样本，并将样本点位置(x,y)保存为向量的格式S＝[x₀,y₀,x₁,y₁,…x₇₈,y₇₈]，是m1到mn这n个向量作为输入数据；

(2)对样本的对象两两进行Procrustes变换，将所有样本对齐到原点，对训练集中的N个样本，任选一个样本S1作为参考样本，使其他样本通过旋转、平移或缩放与它对齐，得到集合{S₁,S′₂,…,S′_N}；计算变换形状后的平均值将平均形状经旋转、缩放和平移后与样本S₁对其；如果平均形状已经收敛则对其完成，否则继续迭代；

其中使用Frobenius函数作为尺度函数消除各个样本的尺度影响，为所有横坐标与纵坐标的平均值：

消除旋转因素的影响，使用奇异分解法。

(3)对得到的78*2*n个参数利用PCA算法降低模型维度

纹理建模：利用Delaunay三角划分将模型空间点连接为三角形，对样本的三角区域纹理通过分片仿射投影到同一个样本上，然后把这n个样本求平均得到平均样本模型：

(1)将平均形状和训练集中的所有人脸形状三角化；

(2)利用分段仿射方法将训练集中的所有人脸形状中的纹理映射到平均形状，实现纹理归一化；

(3)对归一化的纹理PCA变换，得到平均纹理和纹理主元素；

(4)任何归一化到平均形状的纹理都可以用平均纹理和纹理主元素表示；经过

形状建模和纹理建模得到训练好的AAM模型，将彩色图像人脸位置即face2使用训练好的AAM模型进行迭代匹配，输出人脸特征的信息；

步骤4：将人脸特征和彩色图像人脸位置进行处理后与人脸模型AU匹配，完成表情动画驱动；

面部表情参数化：从RealSense获取人脸方位及朝向后，将人脸特征解构成具体的动作单元即AU，其包括打开嘴巴、抬起左边嘴角、抬起右边嘴角、向左移动嘴巴、向右移动嘴巴、抬起左眉、抬起右眉、放下左眉、放下右眉、向中间皱眉、闭上左眼睑、闭上右眼睑、睁开右眼、睁开左眼、移动两个眼球；通过公式计算第k个AU的位移Dk，公式：(其中是当前表情中的第k个AU状态，是中性人脸表情的第k个AU状态，N_k是第k个AU状态的归一化因子)；

归一化AU权重：

(1)计算AU权重

(2)利用中间插值来平滑AU权重w_i,k＝w_i-1,k·(1-α_i,k)+w_i,k·α_i,k，其中α_i,k为根据丢失的跟踪率和偏离中立姿势的脸部角度来评估脸部跟踪置信度。结合彩色图像人脸位置把归一化权重与人脸模型AU匹配，完成控制人脸表情即完成表情动画驱动；本发明通过对深度信息预处理，选取合适的图像训练集，利用深度信息进行Adaboost算法，有效降低了背景噪声及衣服噪声等影响，减少了不必要的彩色像图转换灰度图的过程，防止过拟合，提高效率，解决了现有表演驱动的人脸表情虚拟显示技术因采用普通摄像头实现捕捉和特征提取不能适用于复杂背景导致精度差、效率低、处理复杂的问题，达到了提高人脸表情动画驱动的效率、准确性和鲁棒性的效果。

Claims (8)

1.一种基于RealSense的人脸表情动画驱动方法，其特征在于：包括如下步骤：

步骤1：获取深度图像后对其进行预处理得到深度信息灰度图；

步骤2：基于深度信息灰度图提取人脸特征集与非人脸特征集样本得到深度信息训练集，并从其中提取Haar-like特征集后进行Adaboost训练得到级联人脸分类器，并根据其追踪人脸位置；

步骤3：将追踪的人脸位置映射至获取的彩色图像的位置后得到的彩色图像人脸位置，并将其通过算法提取人脸特征；

步骤4：将人脸特征和彩色图像人脸位置进行处理后与人脸模型AU匹配，完成表情动画驱动。

2.根据权利要求1所述的一种基于RealSense的人脸表情动画驱动方法，其特征在于：所述步骤1包括如下步骤：

步骤1.1：初始化RealSense参数，启动设备获取640*480彩色图与深度信息图像后，设置合理深度阈值范围去除背景噪声，输出待检测像素矩形目标区域I即深度图像区域I；

步骤1.2：将深度图像转换为深度灰度图，并对深度灰度图归一化处理。

3.根据权利要求2所述的一种基于RealSense的人脸表情动画驱动方法，其特征在于：所述步骤2包括如下步骤：

步骤2.1：按照步骤1.1采集数千张人脸与非人脸深度灰度图作为训练样本；

步骤2.2：将训练样本归一化到同样大小，利用“积分图”快速计算每个样本的Haar-like特征值得到深度信息训练集；

步骤2.3：选择特征并生成弱分类器：利用Adaboost算法从深度信息训练集的Haar-like特征中选择出那些使人脸分类错误率最低的特征，并生成弱分类器；

步骤2.4：将弱分类器组合成强分类器后并将其进行处理得到级联分类器：将强分类器级联的每一层级分类器都尽可能的剔除负样本，保留正样本，并出发下一层分类器，以此类推，形成级联分类器；

步骤2.5：对步骤1.1中的深度图像区域I利用金字塔采样，对金字塔上每层图像使用训练好的级联分类器检测得到深度图中目标人脸所在矩形区域face1(x1,y1,width1,height1)即人脸位置。

4.根据权利要求3所述的一种基于RealSense的人脸表情动画驱动方法，其特征在于：所述步骤3包括如下步骤：

步骤3.1：将深度图中的目标人脸位置映射到彩色图像中得到彩色图像人脸位置，其坐标位置与face1区域相同，记为face2(x2,y2,width2,height2)，其中x2＝x1，y2＝y1，width2＝width1，height2＝height1；

步骤3.2：将彩色图像人脸位置即face2通过AAM算法或者ASM算法提取人脸特征。

5.根据权利要求4所述的一种基于RealSense的人脸表情动画驱动方法，其特征在于：所述步骤4包括如下步骤：

步骤4.1：将人脸特征解构成具体的动作单元即AU，并归一化AU权重；

步骤4.2：结合彩色图像人脸位置把步骤4.1所得结果与人脸模型AU匹配，完成控制人脸表情即完成表情动画驱动。

6.根据权利要求5所述的一种基于RealSense的人脸表情动画驱动方法，其特征在于：所述AU包括打开嘴巴、抬起左边嘴角、抬起右边嘴角、向左移动嘴巴、向右移动嘴巴、抬起左眉、抬起右眉、放下左眉、放下右眉、向中间皱眉、闭上左眼睑、闭上右眼睑、睁开右眼、睁开左眼和移动两个眼球。

7.根据权利要求6所述的一种基于RealSense的人脸表情动画驱动方法，其特征在于：所述归一化采用公式。

8.根据权利要求7所述的一种基于RealSense的人脸表情动画驱动方法，其特征在于：所述步骤3.2中采用AAM算法包括如下步骤：

步骤3.21：样本选取后对其进行几何变换、对齐旋转等操作得到平均脸集合模型，对样本进行三角划分及纹理映射等操作得到平均脸纹理模型，最终形成训练好的AAM模型；

步骤3.22：将彩色图像人脸位置即face2使用训练好的AAM模型进行迭代匹配，输出人脸特征的信息。