CN108629294A - 基于变形图的人体与人脸网格模板拟合方法 - Google Patents

Abstract

本发明公开了一种基于变形图的人体与人脸网格模板拟合方法，不需要作任何事前准备，亦可快速将标准人体或人脸模板向扫描数据变形并得到良好的拟合效果。该方法是首先对目标的扫描数据进行特征点检测，辅以人工校正，然后进行刚性对齐及变形图配准两种稀疏配准方法实现标准模板与扫描数据在空间上的统一以及姿态的变换，最后再作非刚性稠密配准来进行形状的拟合以及表面细节的还原。本发明采用变形图配准取替骨架驱动技术进行人体姿态或人脸表情的初步拟合，在姿态或表情基本一致的情况下再使用有对应点关系的非刚性稠密配准进行表面细节还原。具有事前准备简单、拟合效果好且效率高的优点，具有很好的推广利用前景。

Description

基于变形图的人体与人脸网格模板拟合方法

技术领域

本发明涉及计算机图形学和三维网格模型重构的技术领域，尤其是指一种基于变形图的人体与人脸网格模板拟合方法。

背景技术

近年来深度学习和数据驱动方法的应用越来越火热，其算法背后需要大量的数据库进行支撑，使用Kinect或者RGB-D摄像头扫描获得的模型数据具有噪声而且会出现大量缺口，不能直接用于搭建数据库，一般是使用一个标准人体或人脸模板模型对扫描数据进行拟合来获得一批具有相同拓扑结构而姿势形态不一的三维网格模型，因此快速实现标准人体与人脸模型向扫描数据拟合变形的方法日益显得迫切。

关于三维模型建模的研究已经发展了很长一段时间。早期的网格模型变形算法是将物体嵌入一个空间中,通过控制空间的变形来控制网格模型的变形,如Sederberg在提出的FFD算法，这种变形方式能对复杂的网格进行粗略的快速变形，但是在细节的处理上显得不足；后来为了在动画技术上实现模型姿态的快速变形，1988年Catmull提出了线性混合蒙皮技术，亦即骨架驱动的变形技术：骨骼的运动是单根骨头绕点旋转的刚性运动，皮肤表面的顶点受到所有骨头的影响，根据距离影响权重不一，顶点的运动即为各影响骨的不同权重的旋转变换的线性混合。骨骼驱动技术使姿态变换的效率提高，但是对皮肤表面形状的还原效果不理想；为了同时对模型的姿态以及形状作有语义的描述，出现了SCAPE和SMPL两种著名的参数化模型，通过对大量的人体与人脸模型进行主成分分析构建参数化空间，姿态以及形状均由高维向量表达，但这个方法同样需要大量数据库作支撑，而分析大量的模型也需要花很长的时间，因此参数化模型的方法所需的事前准备过于繁琐。

发明内容

本发明的目的在于克服现有技术的缺点和不足，提供一种行之有效、科学合理的基于变形图的人体与人脸网格模板拟合方法，使得无需任何事前准备便可快速构建拓扑结构统一的人体与人脸三维模型数据库。

为实现上述目的，本发明所提供的技术方案为：基于变形图的人体与人脸网格模板拟合方法，包括以下步骤：

1)使用马尔可夫(Markov)随机场检测人体扫描数据的73个特征点，或使用回归树的方法检测人脸扫描数据的68个特征点；

2)根据标准模板与扫描数据的对应特征点位置，实施从扫描数据到标准模板的刚性对齐粗配准；

3)以标准模板的简化网格为节点构建变形图，实施从标准模板到刚性对齐后的扫描数据的变形图粗配准；

4)使用最近邻算法找到变形后的标准模板与扫描数据的对应点关系，以此实施从标准模板到扫描数据的非刚性稠密配准得到最终结果。

在步骤1)之后，若认为检测的某些特征点位置还达不到要求，则能够手动对部分特征点进行重新标定，即人工修正。

在步骤1)中，人体直接使用基于Markov随机场的三维模型特征点检测方法，本质为根据一个包含节点与边的概率信息的无向图，计算73个特征点的联合概率最大化，其算法步骤如下：

1.1a)挑选人体轮廓和形状数据库(CAESAR)中数个已标注好73个特征点的人体模型，计算特征点形状描述子及其均值与方差；

1.2a)计算1.1a)中数个人体模型特征点的平均位置，以此为球心预设半径作球形候选区，预测特征点位置限制在落入该区域的扫描数据的点集中；

1.3a)根据1.1a)计算得到的参数及1.2a)得到的候选区域，使用贝叶斯信任传递方法计算73个特征点的联合概率最大化，公式如下：

其中，Z是归一化因子，φ(x_i)表示x_i落在人体表面上某一个点的概率,ψ(x_i,x_j)描述当x_i和x_j的取值构成一条边的联合概率；

人脸特征点检测先使用基于回归树算法的二维图像特征点检测方法，将特征点检测视为一个回归过程，再投影回三维网格模型上，其算法步骤如下：

1.1b)截取三维人脸网格模型的正前、左、右、下四个角度的二维图像，使用人脸识别工具包(dlib)训练好的回归器分别对四个图像进行特征点检测，回归过程公式如下：

其中为第t次特征点估计结果，I为输入的二维图片，r^t为回归器；

1.2b)将1.1b)检测出的二维特征点正射投影回三维网格模型上，部分模型在眼睛、嘴巴、鼻子处存在空洞使得特征点穿过空洞投影到另一边的表面上，需要通过三维深度判断并修正，向远离空洞的方向查找邻近像素点并计算其深度，直到找到一个候选顶点满足深度要求作为新的特征点；

1.3b)将1.2b)投影完成的四个角度的部分三维特征点集整合为完整的脸部三维特征点集。

在步骤2)中，对扫描数据作刚性对齐使其空间位置、尺度、朝向与标准模板一致，即对整个扫描数据作用一组平移、缩放、旋转变换，该变换由两者的特征点决定，具体计算如下：

2.1)平移向量计算公式如下：

其中分别为标准模板与扫描数据特征点坐标的平均值；

2.2)缩放尺度计算公式如下：

s＝s_tp/s_sc

其中s_tp和s_sc分别为标准模板与扫描数据的模型尺度，n_tp和n_SC分别为对应特征点数量，s为缩放尺度；

2.3)旋转矩阵计算公式如下：

TS^T＝UΣV^T

R＝UV^T

其中记R^3×3为旋转矩阵，T^3×k和S^3×k分别为标准模板和扫毛数据的特征点坐标矩阵，U和V^T分别为对TS^T奇异值分解后的左、右矩阵。

在步骤3)中，以标准模板的简化网格为节点{g_j:j＝1,…,m}构建变形图，通过标准模板与扫描数据的对应特征点坐标约束，为每个g_j计算出一个旋转矩阵R_j与平移向量t_j，标准模板的顶点v_i的坐标变换由其到每一个节点g_j的位移及对应g_j的旋转与平移变换的加权线性混合所得，具体公式如下：

其中为v_i变换后的坐标，w_ji为gj对v_i的影响权重。

在步骤4)中，首先对扫描数据的顶点建立KD树，以步骤3)变形后的标准模板顶点为查询点，使用最近邻算法找到每一个顶点在扫描数据上的对应点作为目标位置；

然后对标准模板实施非刚性稠密配准，即对标准模板的每一个顶点p_i施加一个4×4的仿射变换矩阵A_i，目的是使每一个顶点尽可能贴合到其目标位置而又保持整体平滑，A_i通过求解一个能量方程的最小化得到，其公式如下：

E＝ω_dataE_data+ω_lndE_lnd+ω_smoothE_smooth

其中E_data、E_lnd、E_smooth分别是数据项、特征项、平滑项，ω_data、ω_lnd、ω_smooth为对应的权重，下面分别给出三项的具体公式：

数据项公式如下：

其中n_TP是顶点数，NN_i(S)表示顶点p_i的对应点，若p_i与NN_i(S)的法向量夹角小于给定阈值则ω_i取1，否则取0；

特征项公式如下：

其中K为特征点数量，l_i为扫描数据上与特征点p_index(i)对应的特征点；

平滑项公式如下：

其中p_i与p_j为相邻的两个顶点；

在每一次变换迭代计算出A_i后，进行下一次最近邻算法找对应点前，对该步变换后的标准模板作一次拉普拉斯平滑以求更好的拟合效果；定义一个误差为对应点间欧式距离的平均值作为终止条件，当该误差小于给定阈值时，非刚性稠密配准停止并输出标准模板最终的拟合结果。

本发明与现有技术相比，具有如下优点与有益效果：

1、与现有的网格控制变形方法及混合线性蒙皮方法相比，本发明的拟合效果更好。人体与人脸模型往往含有上万个网格，难以通过控制网格伸缩变形的方式使标准模板贴合扫描数据，网格控制变形算法更多用于简单的用户交互***；而混合线性蒙皮算法虽然能快速地改变标准模板的姿态，但因其顶点旋转矩阵是简单地由骨骼旋转矩阵线性混合所得，皮肤表面的细节得不到还原。本发明将人体姿态或人脸表情的拟合与皮肤表面细节还原分开处理，通过特征点构建的变形图使姿态或表情达到大概一致，再使每一个顶点都有其目标位置进行非刚性稠密配准，得到的拟合效果比较理想。

2、与现有的参数化模型方法相比，本发明的事前准备工作少且不需要数据库作支持。参数化模型的方法需要花长时间对数据库中的模型进行特征分析才能学习获得参数空间，而其建模过程实际上是获取目标的参数组后在数据库中找到最匹配的模型再作处理，离不开其参数空间对应的数据库；本发明仅在特征点识别模块中需要作一些预计算，而建模过程仅依赖一个标注好特征点的标准模板模型，非常简约方便。

附图说明

图1为本发明方法的流程图(细箭头表示该步骤的操作对象)。

图2为本发明对人体与人脸扫描数据特征点检测的结果图(深色圆点表示特征点位置，其中2A为人体，2B为人脸)。

图3为本发明对检测到的特征点进行人工修正的结果图(其中3A为人体，3B为人脸部)。

图4为对齐后标准模板与扫描数据的重合情况。

图5为变形图配准后标准模板与扫描数据的重合情况。

图6为非刚性稠密配准后标准模板与扫描数据的重合情况。

图7为本实验拟合后的结果与其他方法的对比图(其中自上至下分别为强壮男性、消瘦男性、肥胖男性、消瘦女性、微胖女性的不同体型的例子，自左至右分别为扫描数据、其他方法、本发明方法的对比)。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所提供的基于变形图的人体与人脸网格模板拟合方法，包括以下步骤：

1)使用Markov随机场检测人体扫描数据的73个特征点，或使用回归树的方法检测人脸扫描数据的68个特征点；图2为本发明对人体与人脸扫描数据特征点检测的结果图(深色圆点表示特征点位置，图中A为人体，图中B为人脸)。

我们对人体和人脸的特征点检测采用不同的处理方法。人体直接使用基于Markov随机场的三维模型特征点检测方法，本质为根据一个包含节点与边的概率信息的无向图，计算73个特征点的联合概率最大化，其算法步骤如下：

1.1a)挑选CAESAR数据库中数个已标注好73个特征点的人体模型，计算特征点形状描述子及其均值与方差；

1.2a)计算1.1a)中数个人体模型特征点的平均位置，以此为球心一定半径作球形候选区，预测特征点位置限制在落入该区域的扫描数据的点集中；

1.3a)根据1.1a)计算得到的参数及1.2a)得到的候选区域，使用贝叶斯信任传递方法计算73个特征点的联合概率最大化，公式如下：

其中Z是归一化因子，φ(x_i)表示x_i落在人体表面上某一个点的概率,ψ(x_i,x_j)描述当x_i和x_j的取值构成一条边的联合概率。

人脸特征点检测先使用基于回归树算法的二维图像特征点检测方法，将特征点检测视为一个回归过程，再投影回三维网格模型上，其算法步骤如下：

1.1b)截取三维人脸网格模型的正前、左、右、下四个角度的二维图像，使用dlib训练好的回归器分别对四个图像进行特征点检测，回归过程公式如下：

其中为第t次特征点估计结果,I为输入的二维图片,r^t为回归器；

1.2b)将1.1b)检测出的二维特征点正射投影回三维网格模型上，部分模型在眼睛、嘴巴、鼻子处存在空洞使得特征点穿过空洞投影到另一边的表面上，需要通过三维深度判断并修正，向远离空洞的方向查找邻近像素点并计算其深度，直到找到一个候选顶点满足深度要求作为新的特征点；

1.3b)将1.2b)投影完成的四个角度的部分三维特征点集整合为完整的脸部三维特征点集。

其中，进行人脸特征点检测时，如图2中B所示，正面截图检测眼睛、嘴巴、鼻子及正脸其他的特征点；左截图检测左轮廓线上的特征点；右截图检测右轮廓线上的特征点；下截图检测下巴的特征点。

2)对上一步获得的特征点位置进行人工修正；

可以看出人体特征点检测脸部的4个特征点以及人脸特征点检测嘴唇的一圈特征点有着较大的误差，如图3所示为特征点修正后的结果图，其中图中A为人体，图中B为人脸。

3)根据标准模板与扫描数据的对应特征点位置，实施从扫描数据到标准模板的刚性对齐粗配准，具体如下：

对扫描数据作刚性对齐使其空间位置、尺度、朝向与标准模板一致，即对整个扫描数据作用一组平移、缩放、旋转变换，该变换由两者的特征点决定，具体计算如下：

3.1)平移向量计算公式如下：

其中分别为标准模板与扫描数据特征点坐标的平均值；

3.2)缩放尺度计算公式如下：

s＝s_tp/s_sc

其中s_tp和s_sc分别为标准模板与扫描数据的模型尺度，n_tp和n_SC分别为对应特征点数量，s为缩放尺度；

3.3)旋转矩阵计算公式如下：

TS^T＝UΣV^T

R＝UV^T

其中记R^3×3为旋转矩阵,T^3×k和S^3×k分别为标准模板和扫毛数据的特征点坐标矩阵，U和V^T分别为对TS^T奇异值分解后的左、右矩阵。

根据公式分别计算出刚性对齐变换的平移向量t、缩放尺度s、旋转矩阵R，并将该组变换作用到扫描数据上，如图4所示为对齐后标准模板与扫描数据的重合情况，其中网格模型为扫描数据，点云为标准模板，图中A为本发明对人体扫描数据进行刚性对齐的结果图，图中B为本发明对人脸扫描数据进行刚性对齐的结果图。可以看出经过刚性对齐后，两者的空间位置、尺度、朝向都达到基本一致，但人体姿态和人脸表情还没有得到统一。

4)以标准模板的简化网格为节点构建变形图，实施从标准模板到刚性对齐后的扫描数据的变形图粗配准，具体如下：

以标准模板的简化网格为节点{g_j:j＝1,…,m}构建变形图，通过标准模板与扫描数据的对应特征点坐标约束，可以为每个g_j计算出一个旋转矩阵R_j与平移向量t_j，标准模板的顶点v_i的坐标变换由其到每一个节点g_j的位移及对应g_j的旋转与平移变换的加权线性混合所得，具体公式如下：

其中为v_i变换后的坐标，w_ji为g_j对v_i的影响权重。

我们通过二次误差测度法(QEM)进行网格化简，以简化后的网格构建变形图(其中人体变形图有1765个节点，人脸变形图有2385个节点)。公式中的权重w_ji由计算每个顶点到其最邻近的4个节点的测地距离所得(即只受最近的4个节点影响，其余节点的w_ji＝0)。如图5所示为变形图配准后标准模板与扫描数据的重合情况，其中网格模型为标准模板，点云为扫描数据。图5中A为本发明对人体标准模板进行变形图粗配准的结果图。图中B为本发明对人脸标准模板进行变形图粗配准的结果图。可以看出经过变形图配准后，人体的姿态或人脸的表情大致相同，但表面细节仍然有非常大的差别。

5)使用最近邻算法找到变形后的标准模板与扫描数据的对应点关系，以此实施从标准模板到扫描数据的非刚性稠密配准，具体如下：

首先对扫描数据的顶点建立KD树，以步骤4)变形后的标准模板顶点为查询点，使用最近邻算法找到每一个顶点在扫描数据上的对应点作为目标位置。

然后对标准模板实施非刚性稠密配准，即对标准模板的每一个顶点p_i施加一个4*4的仿射变换矩阵A_i，目的是使每一个顶点尽可能贴合到其目标位置而又保持整体平滑，A_i通过求解一个能量方程的最小化得到，其公式如下：

E＝ω_dataE_data+ω_lndE_lnd+ω_smoothE_smooth

其中E_data、E_lnd、E_smooth分别是数据项、特征项、平滑项，ω_data、ω_lnd、ω_smooth为对应的权重，下面分别给出三项的具体公式：

5.1)数据项公式如下：

其中n_TP是顶点数，NN_i(S)表示顶点p_i的对应点，若p_i与NN_i(S)的法向量夹角小于给定阈值则ω_i取1，否则取0。

5.2)特征项公式如下：

其中K为特征点数量，l_i为扫描数据上与特征点p_index(i)对应的特征点。

5.3)平滑项公式如下：

其中p_i与p_j为相邻的两个顶点。

在每一次变换迭代计算出A_i后，进行下一次最近邻算法找对应点前，我们对该步变换后的标准模板作一次拉普拉斯平滑以求更好的拟合效果。我们定义一个误差为对应点间欧式距离的平均值作为终止条件，当该误差小于给定阈值时，非刚性稠密配准停止并输出标准模板最终的拟合结果。

我们先将所有仿射变换矩阵A_i初始化为单位矩阵，由于能量方程是凸函数，其梯度为0处即是最优解，而能量方程的梯度函数是关于A_i的线性方程组，我们直接使用Eigen库提供的线性求解器求解。其中，数据项中的法向夹角条件，我们取阈值为30°，即公式中若p_i与NN_i(S)的法向量夹角小于30°则ω_i取1，否则取0；能量方程中的权重我们取初始值为[ω_data,ω_lnd,ω_smooth]＝[1,1,10⁸]，而在每一次变换迭代中减小ω_lnd与ω_smooth的值，即ω_lnd＝0.5*ω_lnd，ω_smooth＝0.5*ω_smooth，以此逐渐增大数据项的影响，使得前几次迭代由特征项和平滑项主导，而后面的迭代着重还原皮肤表面细节。迭代终止条件的误差阈值我们设置为0.8(单位毫米)。如图6所示为非刚性稠密配准后标准模板与扫描数据的重合情况，其中网格模型为标准模板，点云为扫描数据。图6中A为本发明对人体标准模板进行非刚性稠密配准的结果图。图6中B为本发明对人脸标准模板进行非刚性稠密配准的结果图。可以看出经过最终的稠密配准后标准模板与扫描数据的重合度极高，拟合效果非常好。

本发明经过实验证明其可行性，能广泛应用于各种不同体型的人体模型及不同表情的人脸模型拟合。图7展示的是本发明对不同体型的人体模型进行拟合的效果及与其他方法的对比结果，对应的数据如下表1所示(仅展示人体模型拟合的对比结果，人脸模型因扫描数据的表情类型不够丰富不予展示)。

表1

可见，相比于基于S-SCAPE参数化模型的方法，我们的算法的配准效果及精确度显然更好，平均误差仅约1.3毫米，是对比方法的约十分之一；从图7可以看出我们的方法对于不同体型的人体模型都有很好的拟合效果；同时对单个模型的平均处理时间仅一分半钟，即使要建立包含上千个模型的数据库，也可以在1天左右的时间内完成，效率非常高。

综上所述，本发明的基于变形图的人体与人脸网格模板拟合方法，可以在无需大量事前准备以及不依赖数据库的情况下，依然能提供高效率的、细节还原较好的拟合结果。通过本方法拟合得到的网格模型，可以用在数据库建立、特征点自动检测等一系列应用，具有广泛的应用前景，值得推广。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

Claims (6)

1.基于变形图的人体与人脸网格模板拟合方法，其特征在于，包括以下步骤：

1)使用马尔可夫随机场检测人体扫描数据的73个特征点，或使用回归树的方法检测人脸扫描数据的68个特征点；

2)根据标准模板与扫描数据的对应特征点位置，实施从扫描数据到标准模板的刚性对齐粗配准；

3)以标准模板的简化网格为节点构建变形图，实施从标准模板到刚性对齐后的扫描数据的变形图粗配准；

4)使用最近邻算法找到变形后的标准模板与扫描数据的对应点关系，以此实施从标准模板到扫描数据的非刚性稠密配准得到最终结果。

2.根据权利要求1所述的基于变形图的人体与人脸网格模板拟合方法，其特征在于：在步骤1)之后，若认为检测的某些特征点位置还达不到要求，则能够手动对部分特征点进行重新标定，即人工修正。

3.根据权利要求1所述的基于变形图的人体与人脸网格模板拟合方法，其特征在于：在步骤1)中，人体直接使用基于马尔可夫随机场的三维模型特征点检测方法，本质为根据一个包含节点与边的概率信息的无向图，计算73个特征点的联合概率最大化，其算法步骤如下：

1.1a)挑选人体轮廓与形状数据库中数个已标注好73个特征点的人体模型，计算特征点形状描述子及其均值与方差；

1.2a)计算1.1a)中数个人体模型特征点的平均位置，以此为球心预设半径作球形候选区，预测特征点位置限制在落入该区域的扫描数据的点集中；

1.3a)根据1.1a)计算得到的参数及1.2a)得到的候选区域，使用贝叶斯信任传递方法计算73个特征点的联合概率最大化，公式如下：

其中，Z是归一化因子，φ(x_i)表示x_i落在人体表面上某一个点的概率,ψ(x_i,x_j)描述当x_i和x_j的取值构成一条边的联合概率；

人脸特征点检测先使用基于回归树算法的二维图像特征点检测方法，将特征点检测视为一个回归过程，再投影回三维网格模型上，其算法步骤如下：

1.1b)截取三维人脸网格模型的正前、左、右、下四个角度的二维图像，使用人脸识别工具包训练好的回归器分别对四个图像进行特征点检测，回归过程公式如下：

其中为第t次特征点估计结果，I为输入的二维图片，r^t为回归器；

1.2b)将1.1b)检测出的二维特征点正射投影回三维网格模型上，部分模型在眼睛、嘴巴、鼻子处存在空洞使得特征点穿过空洞投影到另一边的表面上，需要通过三维深度判断并修正，向远离空洞的方向查找邻近像素点并计算其深度，直到找到一个候选顶点满足深度要求作为新的特征点；

1.3b)将1.2b)投影完成的四个角度的部分三维特征点集整合为完整的脸部三维特征点集。

4.根据权利要求1所述的基于变形图的人体与人脸网格模板拟合方法，其特征在于：在步骤2)中，对扫描数据作刚性对齐使其空间位置、尺度、朝向与标准模板一致，即对整个扫描数据作用一组平移、缩放、旋转变换，该变换由两者的特征点决定，具体计算如下：

2.1)平移向量计算公式如下：

其中分别为标准模板与扫描数据特征点坐标的平均值；

2.2)缩放尺度计算公式如下：

s＝s_tp/s_sc

其中s_tp和s_sc分别为标准模板与扫描数据的模型尺度，n_tp和n_SC分别为对应特征点数量，s为缩放尺度；

2.3)旋转矩阵计算公式如下：

TS^T＝UΣV^T

R＝UV^T

其中记R^3×3为旋转矩阵，T^3×k和S^3×k分别为标准模板和扫毛数据的特征点坐标矩阵，U和V^T分别为对TS^T奇异值分解后的左、右矩阵。

5.根据权利要求1所述的基于变形图的人体与人脸网格模板拟合方法，其特征在于：在步骤3)中，以标准模板的简化网格为节点{g_j:j＝1,…,m}构建变形图，通过标准模板与扫描数据的对应特征点坐标约束，为每个g_j计算出一个旋转矩阵R_j与平移向量t_j，标准模板的顶点v_i的坐标变换由其到每一个节点g_j的位移及对应g_j的旋转与平移变换的加权线性混合所得，具体公式如下：

其中为v_i变换后的坐标，w_ji为g_j对v_i的影响权重。

6.根据权利要求1所述的基于变形图的人体与人脸网格模板拟合方法，其特征在于：在步骤4)中，首先对扫描数据的顶点建立KD树，以步骤3)变形后的标准模板顶点为查询点，使用最近邻算法找到每一个顶点在扫描数据上的对应点作为目标位置；

然后对标准模板实施非刚性稠密配准，即对标准模板的每一个顶点p_i施加一个4×4的仿射变换矩阵A_i，目的是使每一个顶点尽可能贴合到其目标位置而又保持整体平滑，A_i通过求解一个能量方程的最小化得到，其公式如下：

E＝ω_dataE_data+ω_lndE_lnd+ω_smoothE_smooth

其中E_data、E_lnd、E_smooth分别是数据项、特征项、平滑项，ω_data、ω_lnd、ω_smooth为对应的权重，下面分别给出三项的具体公式：

数据项公式如下：

其中n_TP是顶点数，NN_i(S)表示顶点p_i的对应点，若p_i与NN_i(S)的法向量夹角小于给定阈值则ω_i取1，否则取0；

特征项公式如下：

其中K为特征点数量，l_i为扫描数据上与特征点p_index(i)对应的特征点；

平滑项公式如下：

其中p_i与p_j为相邻的两个顶点；

在每一次变换迭代计算出A_i后，进行下一次最近邻算法找对应点前，对该步变换后的标准模板作一次拉普拉斯平滑以求更好的拟合效果；定义一个误差为对应点间欧式距离的平均值作为终止条件，当该误差小于给定阈值时，非刚性稠密配准停止并输出标准模板最终的拟合结果。