CN105184860A - 一种动态人脸稠密三维结构和运动场同时重建方法 - Google Patents

Abstract

本发明公开了一种动态人脸稠密三维结构和运动场同时重建方法，该方法属于图像三维重建及三维运动获取领域。该方法是从不同视角、相邻时刻图像特征点匹配出发，在局部构建时空块模型；通过非线性优化来确定时空块的三维结构和运动参数；用置信度优先的区域增长机制来同时重建物体稠密的三维结构和三维运动场。本发明克服了常规三维重建方法不能重建三维运动的缺陷，同时，克服了变分场景流方法不能处理较大运动的缺陷。本发明能够用于动画工业、人脸识别等领域中对人脸的精确建模和运动估计。

Description

一种动态人脸稠密三维结构和运动场同时重建方法

技术领域

本发明涉及一种动态人脸稠密三维结构和运动场同时重建方法，属于图像三维重建及三维运动获取的技术领域。

背景技术

现有的静态三维重建技术有主动和被动之分。主动方法利用主动发射的激光或者结构光辅助三维重建；而被动方法则从图像计算得到三维结构。无论是主动还是被动方法，都局限于仅能得到静态的三维形状，无法得到动态形变物体的三维运动场。

动画工业中通常采用在面部贴标记物，并且跟踪这些标记物的运动的方式来获得动态人脸的运动。该技术的可靠性较高，缺点是无法得到面部稠密的三维运动。

基于变分的场景流方法通过对三维结构和运动进行整体建模和优化，能够得到较为稠密的三维结构和运动场。但是该技术中的优化过程需要较好的初始值，这使得该类方法具有不能处理较大位移的运动的缺点。而本发明能够很好地解决上面的问题。

发明内容

本发明解决了上述技术的缺陷，提出了一种动态人脸稠密三维结构和运动场同时重建方法。该方法从匹配不同视角、不同时刻的特征点得到的稀疏对应关系出发，在局部构建时空面元模型，采用一种区域增长机制来同时得到更多更为稠密三维结构和三维运动，克服了静态三维重建方法无法估计三维运动的缺陷。由于区域增长从特征点匹配开始，每次总是在置信度最高的时空块周围建立并优化更多的时空块，这使得本发明能够克服变分场景流法无法处理较大运动的缺陷。

方法流程：

步骤1：初始时刻对两个连续时刻t和t+1中N个视角共计2N张图像提取SIFT特征点。

步骤2：通过对不同视角以及不同时间两两图像的SIFT特征点进行匹配得到一个三维点对的集合。此步骤中允许一定程度的匹配错误。

步骤3：构建优先级队列，队列初始为空。

步骤4：对步骤2中得到的每个三维点对，建立9个参数的时空块模型，包括在t0时刻的平面参数以及t0到t1时刻的刚体运动参数。

步骤5：对时空块模型的参数用Levenberg-Marquardt算法进行优化，计算优化后的置信度，如果置信度大于阈值thre1则将该时空块存入优先级队列中。优先级队列的优先级由时空块的优化置信度决定。

步骤6：从优先级队列中取出置信度最高的时空块。

步骤7：计算时空块t时刻的中心在N个视角图像上的投影点，在投影点周围8*8邻域内查找未被已有成功优化时空块访问过的像素。

步骤8：如果找到未被访问的像素，建立新的时空块模型，并优化参数，计算置信度，如果置信度大于阈值thre1则将该时空块存入优先级队列中。

步骤9：重复步骤6至步骤8，直到队列为空。

本发明适用于需要对人脸面部精确三维建模以及运动分析的应用。

本发明通过对匹配特征点时空扩张，同时估计面部的三维结构和三维运动，克服了变分场景流方法无法处理大位移运动的缺陷。本发明更为详细的说明将在下面的描述中给出。

有益效果：

1、本发明能够得到更为稠密、包含更多细节的三维运动场。

2、本发明提高了三维运动的精度。

3、本发明能够同时得到高精度、高稠密度的三维结构和三维运动场。

附图说明

图1为本发明的方法流程图。

图2为本发明的重建结果的示意图。

图中：三张图分别为原图，重建得到的三维形状以及重建得到的三维运动场

具体实施方式

下面结合说明书附图对本发明创造作进一步的详细描述。

如图1所示，一种动态人脸稠密三维结构和运动场同时重建方法，该方法的详细输入、输出包括：

输入：t时刻的N个视角的图像以及t+1时刻N个视角的图像N个相机的标定投影矩阵Pm₁,...,Pm_N以及两两相机之间的基础矩阵：F_i,j

输出：时空块集合{P_i}，其中每个时空块是采用平面模型对表面局部进行逼近，包含9个参数：t时刻三个平面参数{p₁,p₂,p₃}，以及六个刚体变换参数：三个旋转角度{θ₁,θ₂,θ₃}，以及三个平移参数{σ₁,σ₂,σ₃}。

本发明的步骤1-步骤2特征点匹配的具体实施方式包括：

1)所有视角的t0时刻的图像与t1时刻的图像进行特征点匹配，匹配的原则是：a)两个特征点描述符的角距离在待匹配的特征点集合中最小；b)两个特征点的距离小于40个像素。

2)第i个相机与第j个相机进行特征点匹配，匹配的原则是：a)特征点到相应极线距离小于3个像素；b)两个特征点描述符角距离排在前5(从小到大排序)。

本发明的时空块模型建模及优化的具体实施方式包括如下：

时空块在t时刻的平面方程记为：[p₁,p₂,p₃,1]X＝0，一旦平面参数确定，第i视角到第j个视角的单应性变换可以确定为：H_i,j。选取一个视角r作为参考视角，在该视角上选取一个7*7的窗口，其中包含的像素点记为集合：记_Vt为t时刻能够拍摄到时空块的图像，优化目标函数的第一部分如下：

$E_1=\underset{x_t^r\∈\mathrm{\Ω}}{\Σ}\underset{I_t^i\∈V_t-I_t^r}{\Σ}{\[I_t^r\left(x_t^r\right)-I_t^i\left(H_{r,i}\right(x_t^r\left)\right)\]}^2$

在t+1时刻，平面经过一个刚体变换R，目标函数的第二部分如下：

$E_2=\underset{x_t^r\∈\mathrm{\Ω}}{\Σ}\underset{I_{t+1}^i\∈V_{t+1}}{\Σ}\[I_t^r\left(x_t^r\right)-I_{t+1}^i\left({\mathrm{Pm}}_t{\mathrm{RX}}_t\right)){\]}^2$

最终的优化目标函数是两部分的和：E＝E₁+E₂。目标函数的优化是一个非线性最小二乘问题，可以利用Levenberg-Marquardt算法迭代求得数值解。

置信度计算的具体实施方式包括如下：

置信度通过计算投影像素点与参考像素点之间的归一化交叉相关度(NCC)来实现。具体计算公式包括如下：

$S=\frac{\underset{i\∈V_t}{\Σ}Ncc(r,i)+\underset{j\∈V_{t+1}}{\Σ}Ncc(r,j)}{\left|V_t\right|+\left|V_{t+1}\right|-1}$

其中Ncc(r,i)计算的是t时刻时空块上的采样点第i张图像投影与参考像素之间的归一化交叉相关度NCC。Ncc(r,j)计算的是t+1时刻时空块上的采样点第j张图像投影与参考像素之间的NCC。而|V_t|和|V_t+1|分别计算的是t时刻和t+1时刻可以观测时空块的相机数目。置信度的阈值thre1设置为0.7。

重建结果如图2所示，图中的三张图从左至右分别为：原图，重建得到的三维形状以及重建得到的三维运动场。

Claims (4)

1.一种动态人脸稠密三维结构和运动场同时重建方法，其特征在于，所述方法包括如下步骤：

步骤1：初始时刻对两个连续时刻t和t+1中N个视角共计2N张图像提取SIFT特征点；

步骤2：通过对不同视角以及不同时间两两图像的SIFT特征点进行匹配得到一个三维点对的集合，该步骤中允许匹配错误；

步骤3：构建优先级队列，队列初始为空；

步骤4：对步骤2中得到的每个三维点对，建立9个参数的时空块模型，包括在t0时刻的平面参数以及t0到t1时刻的刚体运动参数；

步骤5：对时空块模型的参数用Levenberg-Marquardt算法进行优化，计算优化后的置信度，如果置信度大于阈值thre1则将该时空块存入优先级队列中，优先级队列的优先级由时空块的优化置信度决定；

步骤6：从优先级队列中取出置信度最高的时空块；

步骤7：计算时空块t时刻的中心在N个视角图像上的投影点，在投影点周围8*8邻域内查找未被已有成功优化时空块访问过的像素；

步骤8：如果找到未被访问的像素，建立新的时空块模型，并优化参数，计算置信度，如果置信度大于阈值thre1则将该时空块存入优先级队列中；

步骤9：重复步骤6至步骤8，直到队列为空。

2.根据权利要求1所述一种动态人脸稠密三维结构和运动场同时重建方法，其特征在于，所述方法建立时空块模型，包括：每个时空块是采用平面模型对表面局部进行逼近，包含9个参数：t时刻三个平面参数{p₁,p₂,p₃}，以及六个刚体变换参数：三个旋转角度{θ₁,θ₂,θ₃}，以及三个平移参数{σ₁,σ₂,σ₃}。

3.根据权利要求1所述一种动态人脸稠密三维结构和运动场同时重建方法，其特征在于，所述方法的时空块模型参数求解方法包括：

时空块在t时刻的平面方程记为：[p₁,p₂,p₃,1]X＝0，一旦平面参数确定，第i视角到第j个视角的单应性变换确定为：H_i,j，选取一个视角r作为参考视角，在该视角上选取一个7*7的窗口，其中包含的像素点记为集合：记V_t为t时刻能够拍摄到时空块的图像，优化目标函数的第一部分如下：

$E_1=\underset{x_t^r\∈\mathrm{\Ω}}{\Σ}\underset{I_t^i\∈V_t-I_t^r}{\Σ}{\[I_t^r\left(x_t^r\right)-I_t^i\left(H_{r,i}\right(x_t^r\left)\right)\]}^2$

在t+1时刻，平面经过一个刚体变换R，目标函数的第二部分如下：

$E_2=\underset{x_t^r\∈\mathrm{\Ω}}{\Σ}\underset{I_{t+1}^i\∈V_{t+1}}{\Σ}\[I_t^r\left(x_t^r\right)-I_{t+1}^i\left({\mathrm{Pm}}_i{\mathrm{RX}}_t\right)){\]}^2$

最终的优化目标函数是两部分的和：E＝E₁+E₂，目标函数的优化是一个非线性最小二乘问题，利用Levenberg-Marquardt算法迭代求得数值解。

4.根据权利要求1所述一种动态人脸稠密三维结构和运动场同时重建方法，其特征在于，所述方法优化置信度的计算方式，包括：

$S=\frac{\underset{i\∈V_t}{\Σ}Ncc(r,i)+\underset{j\∈V_{t+1}}{\Σ}Ncc(r,j)}{\left|V_t\right|+\left|V_{t+1}\right|-1}$

其中Ncc(r,i)计算的是t时刻时空块上的采样点第i张图像投影与参考像素之间的归一化交叉相关度NCC，Ncc(r,j)计算的是t+1时刻时空块上的采样点第j张图像投影与参考像素之间的NCC，而|V_t|和|V_t+1|分别计算的是t时刻和t+1时刻，观测时空块的相机数目，置信度的阈值thre1设置为0.7。