CN105184860A - 一种动态人脸稠密三维结构和运动场同时重建方法 - Google Patents
一种动态人脸稠密三维结构和运动场同时重建方法 Download PDFInfo
- Publication number
- CN105184860A CN105184860A CN201510638309.8A CN201510638309A CN105184860A CN 105184860 A CN105184860 A CN 105184860A CN 201510638309 A CN201510638309 A CN 201510638309A CN 105184860 A CN105184860 A CN 105184860A
- Authority
- CN
- China
- Prior art keywords
- space
- time block
- confidence
- degree
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种动态人脸稠密三维结构和运动场同时重建方法,该方法属于图像三维重建及三维运动获取领域。该方法是从不同视角、相邻时刻图像特征点匹配出发,在局部构建时空块模型;通过非线性优化来确定时空块的三维结构和运动参数;用置信度优先的区域增长机制来同时重建物体稠密的三维结构和三维运动场。本发明克服了常规三维重建方法不能重建三维运动的缺陷,同时,克服了变分场景流方法不能处理较大运动的缺陷。本发明能够用于动画工业、人脸识别等领域中对人脸的精确建模和运动估计。
Description
技术领域
本发明涉及一种动态人脸稠密三维结构和运动场同时重建方法,属于图像三维重建及三维运动获取的技术领域。
背景技术
现有的静态三维重建技术有主动和被动之分。主动方法利用主动发射的激光或者结构光辅助三维重建;而被动方法则从图像计算得到三维结构。无论是主动还是被动方法,都局限于仅能得到静态的三维形状,无法得到动态形变物体的三维运动场。
动画工业中通常采用在面部贴标记物,并且跟踪这些标记物的运动的方式来获得动态人脸的运动。该技术的可靠性较高,缺点是无法得到面部稠密的三维运动。
基于变分的场景流方法通过对三维结构和运动进行整体建模和优化,能够得到较为稠密的三维结构和运动场。但是该技术中的优化过程需要较好的初始值,这使得该类方法具有不能处理较大位移的运动的缺点。而本发明能够很好地解决上面的问题。
发明内容
本发明解决了上述技术的缺陷,提出了一种动态人脸稠密三维结构和运动场同时重建方法。该方法从匹配不同视角、不同时刻的特征点得到的稀疏对应关系出发,在局部构建时空面元模型,采用一种区域增长机制来同时得到更多更为稠密三维结构和三维运动,克服了静态三维重建方法无法估计三维运动的缺陷。由于区域增长从特征点匹配开始,每次总是在置信度最高的时空块周围建立并优化更多的时空块,这使得本发明能够克服变分场景流法无法处理较大运动的缺陷。
方法流程:
步骤1:初始时刻对两个连续时刻t和t+1中N个视角共计2N张图像提取SIFT特征点。
步骤2:通过对不同视角以及不同时间两两图像的SIFT特征点进行匹配得到一个三维点对的集合。此步骤中允许一定程度的匹配错误。
步骤3:构建优先级队列,队列初始为空。
步骤4:对步骤2中得到的每个三维点对,建立9个参数的时空块模型,包括在t0时刻的平面参数以及t0到t1时刻的刚体运动参数。
步骤5:对时空块模型的参数用Levenberg-Marquardt算法进行优化,计算优化后的置信度,如果置信度大于阈值thre1则将该时空块存入优先级队列中。优先级队列的优先级由时空块的优化置信度决定。
步骤6:从优先级队列中取出置信度最高的时空块。
步骤7:计算时空块t时刻的中心在N个视角图像上的投影点,在投影点周围8*8邻域内查找未被已有成功优化时空块访问过的像素。
步骤8:如果找到未被访问的像素,建立新的时空块模型,并优化参数,计算置信度,如果置信度大于阈值thre1则将该时空块存入优先级队列中。
步骤9:重复步骤6至步骤8,直到队列为空。
本发明适用于需要对人脸面部精确三维建模以及运动分析的应用。
本发明通过对匹配特征点时空扩张,同时估计面部的三维结构和三维运动,克服了变分场景流方法无法处理大位移运动的缺陷。本发明更为详细的说明将在下面的描述中给出。
有益效果:
1、本发明能够得到更为稠密、包含更多细节的三维运动场。
2、本发明提高了三维运动的精度。
3、本发明能够同时得到高精度、高稠密度的三维结构和三维运动场。
附图说明
图1为本发明的方法流程图。
图2为本发明的重建结果的示意图。
图中:三张图分别为原图,重建得到的三维形状以及重建得到的三维运动场
具体实施方式
下面结合说明书附图对本发明创造作进一步的详细描述。
如图1所示,一种动态人脸稠密三维结构和运动场同时重建方法,该方法的详细输入、输出包括:
输入:t时刻的N个视角的图像以及t+1时刻N个视角的图像N个相机的标定投影矩阵Pm1,...,PmN以及两两相机之间的基础矩阵:Fi,j
输出:时空块集合{Pi},其中每个时空块是采用平面模型对表面局部进行逼近,包含9个参数:t时刻三个平面参数{p1,p2,p3},以及六个刚体变换参数:三个旋转角度{θ1,θ2,θ3},以及三个平移参数{σ1,σ2,σ3}。
本发明的步骤1-步骤2特征点匹配的具体实施方式包括:
1)所有视角的t0时刻的图像与t1时刻的图像进行特征点匹配,匹配的原则是:a)两个特征点描述符的角距离在待匹配的特征点集合中最小;b)两个特征点的距离小于40个像素。
2)第i个相机与第j个相机进行特征点匹配,匹配的原则是:a)特征点到相应极线距离小于3个像素;b)两个特征点描述符角距离排在前5(从小到大排序)。
本发明的时空块模型建模及优化的具体实施方式包括如下:
时空块在t时刻的平面方程记为:[p1,p2,p3,1]X=0,一旦平面参数确定,第i视角到第j个视角的单应性变换可以确定为:Hi,j。选取一个视角r作为参考视角,在该视角上选取一个7*7的窗口,其中包含的像素点记为集合:记Vt为t时刻能够拍摄到时空块的图像,优化目标函数的第一部分如下:
在t+1时刻,平面经过一个刚体变换R,目标函数的第二部分如下:
最终的优化目标函数是两部分的和:E=E1+E2。目标函数的优化是一个非线性最小二乘问题,可以利用Levenberg-Marquardt算法迭代求得数值解。
置信度计算的具体实施方式包括如下:
置信度通过计算投影像素点与参考像素点之间的归一化交叉相关度(NCC)来实现。具体计算公式包括如下:
其中Ncc(r,i)计算的是t时刻时空块上的采样点第i张图像投影与参考像素之间的归一化交叉相关度NCC。Ncc(r,j)计算的是t+1时刻时空块上的采样点第j张图像投影与参考像素之间的NCC。而|Vt|和|Vt+1|分别计算的是t时刻和t+1时刻可以观测时空块的相机数目。置信度的阈值thre1设置为0.7。
重建结果如图2所示,图中的三张图从左至右分别为:原图,重建得到的三维形状以及重建得到的三维运动场。
Claims (4)
1.一种动态人脸稠密三维结构和运动场同时重建方法,其特征在于,所述方法包括如下步骤:
步骤1:初始时刻对两个连续时刻t和t+1中N个视角共计2N张图像提取SIFT特征点;
步骤2:通过对不同视角以及不同时间两两图像的SIFT特征点进行匹配得到一个三维点对的集合,该步骤中允许匹配错误;
步骤3:构建优先级队列,队列初始为空;
步骤4:对步骤2中得到的每个三维点对,建立9个参数的时空块模型,包括在t0时刻的平面参数以及t0到t1时刻的刚体运动参数;
步骤5:对时空块模型的参数用Levenberg-Marquardt算法进行优化,计算优化后的置信度,如果置信度大于阈值thre1则将该时空块存入优先级队列中,优先级队列的优先级由时空块的优化置信度决定;
步骤6:从优先级队列中取出置信度最高的时空块;
步骤7:计算时空块t时刻的中心在N个视角图像上的投影点,在投影点周围8*8邻域内查找未被已有成功优化时空块访问过的像素;
步骤8:如果找到未被访问的像素,建立新的时空块模型,并优化参数,计算置信度,如果置信度大于阈值thre1则将该时空块存入优先级队列中;
步骤9:重复步骤6至步骤8,直到队列为空。
2.根据权利要求1所述一种动态人脸稠密三维结构和运动场同时重建方法,其特征在于,所述方法建立时空块模型,包括:每个时空块是采用平面模型对表面局部进行逼近,包含9个参数:t时刻三个平面参数{p1,p2,p3},以及六个刚体变换参数:三个旋转角度{θ1,θ2,θ3},以及三个平移参数{σ1,σ2,σ3}。
3.根据权利要求1所述一种动态人脸稠密三维结构和运动场同时重建方法,其特征在于,所述方法的时空块模型参数求解方法包括:
时空块在t时刻的平面方程记为:[p1,p2,p3,1]X=0,一旦平面参数确定,第i视角到第j个视角的单应性变换确定为:Hi,j,选取一个视角r作为参考视角,在该视角上选取一个7*7的窗口,其中包含的像素点记为集合:记Vt为t时刻能够拍摄到时空块的图像,优化目标函数的第一部分如下:
在t+1时刻,平面经过一个刚体变换R,目标函数的第二部分如下:
最终的优化目标函数是两部分的和:E=E1+E2,目标函数的优化是一个非线性最小二乘问题,利用Levenberg-Marquardt算法迭代求得数值解。
4.根据权利要求1所述一种动态人脸稠密三维结构和运动场同时重建方法,其特征在于,所述方法优化置信度的计算方式,包括:
其中Ncc(r,i)计算的是t时刻时空块上的采样点第i张图像投影与参考像素之间的归一化交叉相关度NCC,Ncc(r,j)计算的是t+1时刻时空块上的采样点第j张图像投影与参考像素之间的NCC,而|Vt|和|Vt+1|分别计算的是t时刻和t+1时刻,观测时空块的相机数目,置信度的阈值thre1设置为0.7。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510638309.8A CN105184860A (zh) | 2015-09-30 | 2015-09-30 | 一种动态人脸稠密三维结构和运动场同时重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510638309.8A CN105184860A (zh) | 2015-09-30 | 2015-09-30 | 一种动态人脸稠密三维结构和运动场同时重建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105184860A true CN105184860A (zh) | 2015-12-23 |
Family
ID=54906910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510638309.8A Pending CN105184860A (zh) | 2015-09-30 | 2015-09-30 | 一种动态人脸稠密三维结构和运动场同时重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105184860A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106683181A (zh) * | 2017-01-06 | 2017-05-17 | 厦门大学 | 一种三维人体稠密表面运动场重建方法 |
CN113688753A (zh) * | 2021-08-30 | 2021-11-23 | 深圳万兴软件有限公司 | 静态人脸动态化方法、***、计算机设备及可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101404091A (zh) * | 2008-11-07 | 2009-04-08 | 重庆邮电大学 | 基于两步形状建模的三维人脸重建方法和*** |
CN102254154A (zh) * | 2011-07-05 | 2011-11-23 | 南京大学 | 一种基于三维模型重建的人脸身份认证方法 |
CN104077804A (zh) * | 2014-06-09 | 2014-10-01 | 广州嘉崎智能科技有限公司 | 一种基于多帧视频图像构建三维人脸模型的方法 |
-
2015
- 2015-09-30 CN CN201510638309.8A patent/CN105184860A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101404091A (zh) * | 2008-11-07 | 2009-04-08 | 重庆邮电大学 | 基于两步形状建模的三维人脸重建方法和*** |
CN102254154A (zh) * | 2011-07-05 | 2011-11-23 | 南京大学 | 一种基于三维模型重建的人脸身份认证方法 |
CN104077804A (zh) * | 2014-06-09 | 2014-10-01 | 广州嘉崎智能科技有限公司 | 一种基于多帧视频图像构建三维人脸模型的方法 |
Non-Patent Citations (2)
Title |
---|
刘烨: "三维目标群及动态表面的重建和跟踪", 《中国博士学位论文全文数据库信息科技辑(月刊)》 * |
甄巍松等: "基于特征点相似度的匹配定位算法", 《武汉工程大学学报》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106683181A (zh) * | 2017-01-06 | 2017-05-17 | 厦门大学 | 一种三维人体稠密表面运动场重建方法 |
CN113688753A (zh) * | 2021-08-30 | 2021-11-23 | 深圳万兴软件有限公司 | 静态人脸动态化方法、***、计算机设备及可读存储介质 |
CN113688753B (zh) * | 2021-08-30 | 2023-09-29 | 深圳万兴软件有限公司 | 静态人脸动态化方法、***、计算机设备及可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ge et al. | Point-to-point regression pointnet for 3d hand pose estimation | |
CN102880866B (zh) | 一种人脸特征提取方法 | |
US20200265597A1 (en) | Method for estimating high-quality depth maps based on depth prediction and enhancement subnetworks | |
CN102354397B (zh) | 基于面部特征器官相似性的人脸图像超分辨率重建方法 | |
WO2017133009A1 (zh) | 一种基于卷积神经网络的深度图像人体关节定位方法 | |
CN106485675A (zh) | 一种基于3d局部刚性和深度图引导各向异性平滑的场景流估计方法 | |
CN109087394A (zh) | 一种基于低成本rgb-d传感器的实时室内三维重建方法 | |
CN111160294B (zh) | 基于图卷积网络的步态识别方法 | |
Li et al. | ADR-MVSNet: A cascade network for 3D point cloud reconstruction with pixel occlusion | |
CN102682452A (zh) | 基于产生式和判别式结合的人体运动跟踪方法 | |
CN101894278A (zh) | 基于变结构多模型的人体运动跟踪方法 | |
CN104732546A (zh) | 区域相似性和局部空间约束的非刚性sar图像配准方法 | |
CN107862735A (zh) | 一种基于结构信息的rgbd三维场景重建方法 | |
CN104050685A (zh) | 基于粒子滤波视觉注意力模型的运动目标检测方法 | |
CN104036229A (zh) | 基于回归的主动外观模型初始化方法 | |
CN102663779A (zh) | 基于随机高斯隐变量的人体运动跟踪方法 | |
CN102663351A (zh) | 基于条件外观模型的人脸特征点自动标定方法 | |
Yang et al. | Depth map super-resolution using stereo-vision-assisted model | |
CN105184860A (zh) | 一种动态人脸稠密三维结构和运动场同时重建方法 | |
CN102663453B (zh) | 基于第二代条带波变换和极速学习机的人体运动跟踪方法 | |
CN107767409A (zh) | 基于高维表达的一致点漂移配准方法 | |
Chen et al. | Learning shape priors for single view reconstruction | |
CN102663369A (zh) | 基于surf高效匹配核的人体运动跟踪方法 | |
Chen et al. | Monocular image depth prediction without depth sensors: An unsupervised learning method | |
Mathew et al. | Monocular depth estimation with SPN loss |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151223 |
|
RJ01 | Rejection of invention patent application after publication |