CN111354077B - 一种基于双目视觉的三维人脸重建方法 - Google Patents

一种基于双目视觉的三维人脸重建方法 Download PDF

Info

Publication number
CN111354077B
CN111354077B CN202010134543.8A CN202010134543A CN111354077B CN 111354077 B CN111354077 B CN 111354077B CN 202010134543 A CN202010134543 A CN 202010134543A CN 111354077 B CN111354077 B CN 111354077B
Authority
CN
China
Prior art keywords
face
parallax
points
point
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010134543.8A
Other languages
English (en)
Other versions
CN111354077A (zh
Inventor
达飞鹏
夏颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202010134543.8A priority Critical patent/CN111354077B/zh
Publication of CN111354077A publication Critical patent/CN111354077A/zh
Application granted granted Critical
Publication of CN111354077B publication Critical patent/CN111354077B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目视觉的三维人脸重建方法：使用左、右两台相机分别在不同视角下同时拍摄一幅人脸图像，利用相机内外参数对人脸图像进行极线校正，对校正后的人脸图像进行亮度均衡；根据图像上的轮廓特征点将人脸划分为6个区域并计算各区域的视差范围；提取图像上的Canny特征点，在不同区域视差范围的限制下内匹配这些Canny特征点，并进行左右一致性检验；根据人脸的局部形状特性，采用拟合一般二次曲面的方式优化种子点的质量和数量；通过区域生长和视差优化获取稠密人脸视差图；根据相机参数及稠密人脸视差图获得人脸的三维点云，并通过点云网格化及纹理映射获取三维人脸模型。本发明算法简单高效，场景限制小，设备简单，具有较高的鲁棒性。

Description

一种基于双目视觉的三维人脸重建方法
技术领域
本发明涉及一种采用双目相机拍摄的人脸图像对重建三维人脸模型方法，属于计算机视觉技术领域。
背景技术
目前，获取三维人脸模型常见的方法主要是激光三维扫描和结构光三维扫描，虽然这种方式重建的三维人脸模型精度高，但具有硬件设备昂贵、应用场景复杂，且难以在普通环境中广泛应用的缺点。基于双目视觉的立体匹配算法也可以获取人脸三维点云数据，建立较为准确的三维人脸模型，不需要向被测物体投影光栅，这种方法具有设备简单、成本低廉、场景限制小等优点，自动化程度高。
立体匹配算法的原理是通过查找左右两幅图像中相互匹配的像素点，得到像素点对应的视差值，再由三角化函数将视差还原为该像素点在世界坐标系中的深度信息，从而重建三维模型，其主要分为全局立体匹配、局部立体匹配两大类。全局立体匹配方法建立全局能量函数，并基于动态规划、图像分割、置信传播等算法求解最优解。图像中每个像素点匹配时都受视差值和像素信息的全局约束，其优点在于匹配精度较高，但计算成本高，难以在实际场景中应用。局部立体匹配算法通过绝对误差和，误差平方和，归一化积等代价函数计算像素点间的匹配代价，根据不同代价聚合策略围绕像素点选取一个局部窗口优化代价值，最后通过Winner-Takes-All准则逐点选择最优匹配点。由于只利用了像素点局部范围内约束，局部立体匹配方法误匹配率较高，尤其是图像的低纹理区域，但计算简单，实时性很高。与一般场景图像不同的是，人脸图像具有大片低纹理区域，人脸图像中绝大部分像素点都存在多个高度相似的匹配点，而传统的立体匹配算法对图像中每个待匹配点在整条极线范围内建立与另一幅图的匹配关系，不管是全局或是局部的立体匹配算法都极易导致误匹配，因此，目前广泛采用的适用于一般场景的立体匹配算法并不适用于人脸这一特殊对象，难以重建出较准确的三维人脸模型，因此需要提出改进的针对性的立体匹配算法重建三维人脸模型。
在基于双目立体匹配重建三维人脸模型的方法中，基于区域生长算法的应用较多、实际结果也较好。此外，由于人脸图像的低纹理特性，在实际匹配过程中缩小每个像素点的视差搜索范围也能有效提升匹配准确性，比较常见的方法是通过级联回归树算法提取人脸的轮廓特征点，计算每个轮廓特征点的视差值从而确定整个人脸视差范围。文献Facestereo matching and disparity calculation in binocular vision system[C]//20102nd International Conference on Industrial and Information Systems.Dalian,Liaoning:IEEE Press,2010:1:281-284.采用此算法获取人脸视差范围后，仍在整个人脸视差范围进行匹配，匹配范围仍然宽泛，难以指导较为准确的立体匹配过程。而文献基于区域生长算法的文献双目立体视觉的三维人脸重建方法[J].智能***学报,2009,4(6):513-520.没有对视差搜索范围进行限制，在整条极线范围内匹配像素点以获取种子点，种子点精度不高且数量过少，当种子点存在较多误匹配时，区域生长时这些误匹配点将传播至周围待匹配像素点群，当种子点数量较少时，极易导致区域生长的累积误匹配，难以指导整个人脸部分的立体匹配，最终都将导致难以生成信噪比高的人脸视差图。因此，传统基于区域生长的人脸立体匹配方法存在种子点数量少，种子点准确性低等种种不足，影响最终的视差区域生长的结果，难以重建较准确的三维人脸模型。
发明内容
技术问题：针对现有技术存在的问题，本发明的目的是提供一种基于双目视觉的三维人脸重建方法，该方法通过将脸部划分为不同区域以分别限制不同区域的视差范围，并通过拟合一般二次曲面的方式优化种子点的质量和数量。
技术方案：一种基于双目视觉的三维人脸重建方法，包括如下
包括如下步骤：
步骤1：使用左、右两台相机分别在不同视角下同时各拍摄一幅人脸图像，对两台相机进行双目标定，获取相机的内外参数；利用相机的内外参数对拍摄到的两幅人脸图像进行极线校正，对极线校正后的两幅人脸图像进行亮度均衡，将左相机对应的亮度均衡后的图像记为IL，右相机对应的亮度均衡后的图像记为IR。
步骤2：采用级联回归树算法分别提取IL和IR上68个轮廓特征点，根据提取的68个轮廓特征点分别将IL和IR划分出左眼区域、右眼区域、鼻区域、上唇区域和下唇区域，除这五个区域外的其余面部区域记为非五官区域，分别计算这六个区域的视差范围；
步骤3：利用Canny边缘算子分别提取IL和IR上的Canny特征点，所提取的Canny特征点均匀分布于整个人脸，在步骤2得到的各区域的视差范围的限制内匹配IL和IR上的Canny特征点，并采用左右一致性检验筛除误匹配的Canny特征点，通过左右一致性检验的Canny特征点记为初始种子点，除初始种子点外的其余尚未匹配人脸像素点为非种子点；
步骤4：根据人脸局部形状特性，以步骤3中得到的每一个初始种子点为中心选取一个拟合窗口，对拟合窗口内的所有初始种子点的视差值拟合一般二次曲面；将拟合窗口内每个初始种子点的视差值与其拟合视差值进行比较，若两者之差超过阈值则筛除对应的初始种子点；利用拟合一般二次曲面得到的拟合值估算步骤3中非种子点的视差，选取一定比例的非种子点成为新增种子点；对筛除后剩余的初始种子点与新增种子点进行左右一致性检验，通过检验的种子点成为用以区域生长的种子点；
步骤5：使用区域生长算法以步骤4得到的种子点为中心向外发散，对余下的未得到匹配的人脸像素点进行匹配，得到每个人脸像素点的视差值；根据视差优化算法对得到的视差值进行优化，获得稠密人脸视差图；
步骤6：根据相机内外参数及视差图中每个人脸像素点的视差值计算人脸像素点的三维点云信息，通过点云网格化及纹理映射获取三维人脸模型。
所述步骤1的具体为：
步骤1.1：使用左、右两台相机分别在不同视角下同时各拍摄一幅人脸图像；
步骤1.2：对左、右两台相机进行双目标定，分别计算出左、右两台相机的内参矩阵KL、KR以及外参旋转矩阵RL、RR和平移向量tL、tR；
步骤1.3：利用两台相机的内参矩阵与外参旋转矩阵对步骤1.1中拍摄的两幅人脸图像进行极线校正；
步骤1.4：对极线校正后的两幅人脸图像进行亮度均衡。
所述步骤2的具体为：
步骤2.1：利用级联回归树算法分别提取IL和IR上围绕眉毛、双眼、鼻子、上下嘴唇以及脸部外轮廓的68个轮廓特征点；
步骤2.2：分别计算68个轮廓特征点的视差值，IL上第m个轮廓特征点fm的视差值为
Figure BDA0002396862930000031
其中，m∈{1,…,68}，(xm,ym)为fm的像素坐标，(xm′,ym′)为IR上第m个轮廓特征点fm′的像素坐标；
步骤2.3：利用68个轮廓特征点将人脸划分出为左眼区域、右眼区域、鼻区域、上唇区域、下唇区域，整个人脸除左眼区域、右眼区域、鼻区域、上唇区域和下唇区域以外的部分为非五官区域，所有区域为闭合区域，所有区域的边界为连续且封闭的单像素宽度的轮廓线；
步骤2.4：分别求出步骤2.3中6个区域的视差范围，其中，非五官区域的视差范围Dface为：
Dface＝[min(d(fm)),max(d(fm))],m∈{1,…,68}，
左眼区域的视差范围Dleye为：
Dleye＝[min(d(fm)),max(d(fm))],m∈{37,...,42}，
右眼区域的视差范围Dreye为：
Dreye＝[min(d(fm)),max(d(fm))],m∈{43,...,48}，
鼻区域的视差范围Dnose为：
Dnose＝[min(d(fm)),max(d(fm))],m∈{28,...,36}，
上唇区域的视差范围Dumouth为：
Dumouth＝[min(d(fm)),max(d(fm))],m∈{49,...,55,62,63,64}，
下唇区域的视差范围Ddmouth为：
Ddmouth＝[min(d(fm)),max(d(fm))],m∈{56,...,61,65,...,68}。
所述步骤3的具体为：
步骤3.1：利用Canny边缘算子分别提取IL和IR上的Canny特征点，所提取的Canny特征点均匀分布于整个人脸；
步骤3.2：匹配IL上的Canny特征点和IR上的Canny特征点的过程中采用NCC代价函数衡量匹配代价：
Figure BDA0002396862930000041
其中，C(x,y,d)为IL上像素坐标为(x,y)的Canny特征点的匹配代价，d为(x,y)的视差值，N(x,y)为以(x,y)为中心的邻域窗口，IL(i,j)代表IL上N(x,y)内像素点(i,j)的灰度值，
Figure BDA0002396862930000042
代表IL上N(x,y)内所有像素点的灰度值均值，IR(i-d,j)代表IR上像素点(i-d,j)的灰度值，
Figure BDA0002396862930000043
代表IR上以(x-d,y)为中心的邻域窗口内所有像素点的灰度值均值；
步骤3.3：对于IL上的Canny特征点c(x,y)，计算其与IR上在c(x,y)所在人脸区域对应的视差范围内所有的Canny特征点及每个Canny特征点左右邻近两点的NCC匹配代价；
步骤3.4：对于IR上的每个Canny特征点c′(x′,y′)，计算其与IL上在c′(x′,y′)所在人脸区域对应的视差范围内所有的Canny特征点及每个Canny特征点左右邻近两点的NCC匹配代价；
步骤3.5：根据Winner-Takes-All准则，对于IL和IR上每一个Canny特征点，选取匹配代价最接近1的像素点作为其匹配点，完成该点的匹配；
步骤3.6：完成所有Canny特征点的匹配并对匹配结果进行左右一致性检验，通过左右一致性检验的Canny特征点成为初始种子点。
所述步骤4的具体为：
步骤4.1：根据人脸局部形状特性，以步骤3.6中得到的第n个初始种子点sn为中心选择一个拟合窗口Wn；
步骤4.2：将Wn内所有的初始种子点组成一个集合Gn，以Gn中所有初始种子点的坐标和视差值为数据集拟合一般二次曲面；
步骤4.3：筛除Gn内视差值与拟合视差值相差超过阈值T的初始种子点；
步骤4.4：所有拟合窗口完成拟合后，根据拟合得到的一般二次曲面计算每个非种子点的拟合视差值；
步骤4.5：计算4.4中每个非种子点在其所有拟合视差值下的NCC匹配代价，根据Winner-Takes-All准则选取最优匹配点，并记下对应匹配代价为最有匹配代价；
步骤4.6：降序排列步骤4.5中所有非种子点的最优匹配代价，选择前40％的非种子点成为新增种子点；
步骤4.7：对筛除后剩余的初始种子点与新增种子点的匹配结果进行左右一致性检验，通过左右一致性检验的成为区域生长种子点。
所述步骤5的具体为：
步骤5.1：对IL上每一个待匹配的人脸像素点pk，根据区域生长原理和步骤2中的各区域实际视差范围确定pk的最终视差搜索范围；
步骤5.2：对pk，在其视差搜索范围内查找其最优匹配点；
步骤5.3：以pk为中心选取一个邻域窗口，对窗口内已匹配像素点的视差值拟合一般二次曲面，设pk对应的拟合视差值为dfit，仅计算dfit，dfit±1下该点的匹配代价，根据Winner-Takes-All准则选取最优匹配点；
步骤5.4：根据视差优化算法优化视差值，得到最终的稠密人脸视差图。
所述步骤6的具体为：
步骤6.1：根据相机焦距f、相机间基线距离b、像素点视差值d、像素点坐标(u1,v1)，采用立体匹配三角化公式计算步骤5中人脸视差图的每个具有视差值的像素点的三维坐标(X，Y，Z)：
Figure BDA0002396862930000061
步骤6.2：基于纹理映射和点云网格化，利用IL重建三维人脸点云的纹理，得到最终的三维人脸模型。
有益效果
与现有技术相比，本发明具有如下显著优势：克服了传统立体匹配方法难以重建准确性较高的三维人脸模型的不足；通过基于轮廓特征点的面部区域划分简单高效地限制了人脸各区域的视差范围，提高匹配过程的准确性；定义了一种新的基于曲面拟合的优化种子点的质量和数量的方法。
附图说明
图1为本发明完整流程图；
图2为图像采集***示意图；
图3为级联回归树提取的68个轮廓特征点的分布位置与序号；
图4为面部区域分区示意图；
图5为立体匹配算法查找匹配点示意图，其中，(a)为人脸图像左图，(b)为人脸图像右图；
图6为立体匹配左右一致性检验示意图；
图7为曲面拟合窗口示意图；
图8为对图7所示拟合窗口内初始种子点的拟合结果；
图9为不同种子点对应的拟合窗口互相重叠的示意图；
图10为区域增长时单种子点限制视差搜索范围示意图，其中，(a)对应人脸图像左图，(b)对应人脸图像右图；
图11为区域增长时多种子点共同限制视差搜索范围示意图，其中，(a)对应人脸图像左图，(b)对应人脸图像右图；
图12为三维人脸重建实验结果示意图，其中，(a)为人脸图像左图，(b)至(d)分别为ST、GF、NL算法得出的人脸视差图，(e)为本发明算法得到的人脸视差图，(f)为本文算法重建的三维人脸模型。
具体实施方式
下面结合实施例和附图对本发明的技术方案作进一步详细说明。
1、实验整体流程：
一种基于双目视觉的三维人脸重建方法，如图1所示，具体步骤如下：
步骤1：使用左、右两台相机分别在不同视角下同时各拍摄一幅人脸图像，对两台相机进行双目标定，获取相机的内外参数；利用相机的内外参数对拍摄到的两幅人脸图像进行极线校正，对极线校正后的两幅人脸图像进行亮度均衡，将左相机对应的亮度均衡后的图像记为IL，右相机对应的亮度均衡后的图像记为IR。
步骤2：采用级联回归树算法分别提取IL和IR上68个轮廓特征点，根据提取的68个轮廓特征点分别将IL和IR划分出左眼区域、右眼区域、鼻区域、上唇区域和下唇区域，除这五个区域外的其余面部区域记为非五官区域，分别计算这六个区域的视差范围；
步骤3：利用Canny边缘算子分别提取IL和IR上的Canny特征点，所提取的Canny特征点均匀分布于整个人脸，在步骤2得到的各区域的视差范围的限制内匹配IL和IR上的Canny特征点，并采用左右一致性检验筛除误匹配的Canny特征点，通过左右一致性检验的Canny特征点记为初始种子点，除初始种子点外的其余尚未匹配人脸像素点为非种子点；
步骤4：根据人脸局部形状特性，以步骤3中得到的每一个初始种子点为中心选取一个拟合窗口，对拟合窗口内的所有初始种子点的视差值拟合一般二次曲面；将拟合窗口内每个初始种子点的视差值与其拟合视差值进行比较，若两者之差超过阈值则筛除对应的初始种子点；利用拟合一般二次曲面得到的拟合值估算步骤3中非种子点的视差，选取一定比例的非种子点成为新增种子点；对筛除后剩余的初始种子点与新增种子点进行左右一致性检验，通过检验的种子点成为用以区域生长的种子点；
步骤5：使用区域生长算法以步骤4得到的种子点为中心向外发散，对余下的未得到匹配的人脸像素点进行匹配，得到每个人脸像素点的视差值；根据视差优化算法对得到的视差值进行优化，获得稠密人脸视差图；
步骤6：根据相机内外参数及视差图中每个人脸像素点的视差值计算人脸像素点的三维点云信息，通过点云网格化及纹理映射获取三维人脸模型。。
2、采集人脸图像对：
本方法使用左、右两台相同型号的相机分别在不同视角下同时各拍摄一幅人脸图像，两台相机的光心分别为OL和OR，两台相机光心间的直线距离为基线b，两台相机的成像平面分别为SL和SR，设世界坐标下人脸上一点p在SL和SR上的投影点分别为pL和pR，pL和pR即为互相匹配的像素点对，如图2所示；对两台相机进行双目标定，分别计算出左、右两台相机的内参矩阵KL、KR以及外参旋转矩阵RL、RR和平移向量tL、tR。内参矩阵的形式为
Figure BDA0002396862930000081
其中f为相机焦距，dx和dy为像元尺寸，u0和v0为图像中心坐标值；接着，利用标定得到的内外参数对采集的两幅人脸图像进行极线校正；最后，根据文献Midwayimage equalization[J].Journal of Mathematical Imaging and Vision,2004,21(2):119-134.对极线校正后的两幅人脸图像进行亮度均衡，将左相对应的亮度均衡后的图像记为IL，右相机对应的亮度均衡后的图像记为IR。
2、划分脸部区域并求取脸部不同区域视差范围：
采用级联回归树算法分别提取IL和IR上的68个轮廓特征点，如图3所示，IL上第m个轮廓特征点fm的视差值为
Figure BDA0002396862930000082
其中，m∈{1,...,68}，(xm,ym)为fm的像素坐标，(xm′,ym′)为IR上第m个轮廓特征点fm′的像素坐标。利用68个轮廓特征点将人脸划分出为左眼区域、右眼区域、鼻区域、上唇区域、下唇区域，整个人脸区域除左眼区域、右眼区域、鼻区域、上唇区域和下唇区域以外的区域为非五官区域，共计六个面部区域，如图4所示，所有区域为闭合区域，所有区域的边界为连续且封闭的单像素宽度的轮廓线。
分别计算这六个面部区域的视差范围，其中，非五官区域的视差范围Dface为：
Dface＝[min(d(fm)),max(d(fm))],m∈{1,...,68}，
左眼区域的视差范围Dleye为：
Dleye＝[min(d(fm)),max(d(fm))],m∈{37,…,42}，
右眼区域的视差范围Dreye为：
Dreye＝[min(d(fm)),max(d(fm))],m∈{43,…,48}，
鼻区域的视差范围Dnose为：
Dnose＝[min(d(fm)),max(d(fm))],m∈{28,…,36}，
上唇区域的视差范围Dumouth为：
Dumouth＝[min(d(fm)),max(d(fm))],m∈{49,...,55,62,63,64}，
下唇区域的视差范围Ddmouth为：
Ddmouth＝[min(d(fm)),max(d(fm))],m∈{56,...,61,65,…,68}。
3、获取初始种子点对：
利用Canny边缘算子分别提取IL和IR上的Canny特征点，所提取的Canny特征点均匀分布于人脸上。
对于IL上的Canny特征点c(x,y)，计算其与IR上在c(x,y)所在人脸区域对应的视差范围内所有的Canny特征点及每个Canny特征点左右邻近两点的NCC匹配代价C(x,y,d)：
Figure BDA0002396862930000091
其中，C(x,y,d)为IL上像素坐标为(x,y)的Canny特征点的匹配代价，d为(x,y)的视差值，N(x,y)为以(x,y)为中心的邻域窗口，IL(i,j)代表IL上N(x,y)内像素点(i,j)的灰度值，
Figure BDA0002396862930000092
代表IL上N(x,y)内所有像素点的灰度值均值，IR(i-d,j)代表IR上像素点(i-d,j)的灰度值，
Figure BDA0002396862930000093
代表IR上以(x-d,y)为中心的邻域窗口内所有像素点的灰度值均值。
对于IR上的每个Canny特征点c′(x′,y′)，计算其与IL上在c′(x′,y′)所在人脸区域对应的视差范围内所有的Canny特征点及每个Canny特征点左右邻近两点的NCC匹配代价C(x′,y′,d)。
采用Winner-Takes-All准则确定IL和IR上每一个Canny特征点的匹配点；如图5中的(a)和(b)所示，若c(x,y)与c′(x′,y)互相匹配，点c(x,y)对应的视差值为d＝x-x′，图中D为c(x,y)所在人脸区域对应的视差范围，c″(x,y)为左图中c(x,y)在右图中的位置映射，两点具有相同的坐标值。
对Canny特征点的匹配结果进行左右一致性检验，通过左右一致性检验的Canny特征点成为初始种子点，图6为左右一致性检验原理示意图，两条实线分别为IL和IR中两条对应极线，对IL上的一点p(x,y)进行匹配，其可能的匹配点位于线段AB之间，AB为p(x,y)所在人脸区域的视差范围，设p(x,y)的最优匹配点为p′(x′,y)，然后对p′(x′,y)进行匹配，其可能的匹配点位于线段EF之间，EF为p′(x′,y)所在人脸区域的视差范围，若p′(x′,y)的最优匹配点也为p(x,y)，则p(x,y)的匹配通过左右一致性检验。
4、筛除误匹配种子点：
根据人脸局部形状特性，以第n个初始种子点sn为中心选择一个拟合窗口Wn；将Wn内所有的初始种子点组成一个集合Gn，以Gn中所有初始种子点的坐标和视差值为数据集拟合一般二次曲面；筛除Gn内视差值与拟合视差值相差超过阈值T的初始种子点；图7为以左脸上某个初始种子点为中心的拟合窗口示意图，拟合窗口为图中的白色方框，方框内颜色不为黑色的像素点为初始种子点，图8为对图7所示拟合窗口内初始种子点的拟合结果，灰色点为被筛除的误匹配的初始种子点。
5、新增种子点：
除初始种子点外的其余尚未匹配人脸像素点为非种子点，筛除误匹配的初始种子点时，根据拟合得到的一般二次曲面，位于单个拟合窗口内的非种子点将得到一个拟合视差值，由于以不同初始种子点为中心的拟合窗口之间可能存在交叠，同时位于多个拟合窗口内的非种子点将得到多个拟合视差值。如图9所示，设图中一个非种子点qj同时位于拟合窗口W1和拟合窗口W2内，qj在W1和W2内得到的拟合视差值分别为d1j和d2j。计算每个非种子点在其所有拟合视差值下的NCC匹配代价，根据Winner-Takes-All准则选择最佳匹配点，对所有非种子点对应的最佳匹配代价进行排序，选择一定比例的非种子点成为新增种子点。
6、生成稠密人脸视差图：
区域生长在立体匹配算法中的原理是为像素点的匹配添加范围约束和平滑约束，用种子点的视差限制余下待匹配像素点的视差搜索范围。设sL为IL上的种子点，其在IR上对应的匹配点为sR，那么与sL相邻的待匹配点pL的匹配点pR必然在sR的邻近区域。通过sL的已知视差dL即可缩小pL的视差搜索范围。区域生长算法的具体实现主要分为单种子点限制生长和多种子点限制生长，单种子点限制生长指的是，如果pL的四邻域内只有一个种子点sL，那么的视差搜索范围仅受sL限制，如图10中的(a)和(b)所示。多种子点限制生长则是指，如果pL的四邻域内有多个控制点sL1，sL2等,那么pL的视差搜索窗口为sL1的限制范围和sL2的限制范围的交集，如图11中的(a)和(b)所示。pL对应的视差搜索窗口与所处极线的交集为pL最终的视差搜索范围，计算该范围内所有像素点与pL的匹配代价，根据Winner-Takes-All准则选择最优匹配点成为新的种子点加入种子点序列中，直至完成整个人脸的匹配。对每一个待匹配点pk，在视差搜索范围内查找其最优匹配点。若匹配过程中出现累积匹配误差，则以当前待匹配点pk为中心选取一个邻域窗口，对窗口内已匹配像素点的视差值拟合一般二次曲面，设pk对应的拟合视差值为dfit，仅计算dfit，dfit±1下该点的匹配代价，根据Winner-Takes-All准则选取最优匹配点。最终，根据High-quality single-shot capture offacial geometry[J].ACM Transactions on Graphics,2010,29(4):40:1-40:9提出的视差优化算法优化视差值，得到最终的稠密人脸视差图。
7、获取三维人脸模型：
根据相机焦距f，相机间基线距离b，像素点视差值d，像素点的坐标值(u1,v1)，采用立体匹配三角化公式计算人脸视差图的每个具有视差值的像素点的三维坐标：
Figure BDA0002396862930000111
基于纹理映射和点云网格化，利用IL重建三维人脸点云的纹理，得到最终的三维人脸模型。
实验对比：为验证本发明的可行性和有效性，将本发明的实验结果与现有的ST立体匹配算法、GF立体匹配算法和NL立体匹配算法进行比较，如图12中的(a)至(f)所示，图12中的(a)为人脸图像左图，图12中的(b)至(d)分别为ST、GF、NL算法得出的人脸视差图，图12中的(e)为本文算法得到的人脸视差图，图12中的(f)为本文算法重建的三维人脸模型，从图中可以看出本发明方法的有效性，人脸视差图准确性较高，三维重建效果较好。
本发明提出基于级联回归树提取的轮廓特征点的人脸面部区域划分算法，并通过限制面部各区域内的视差范围，提高种子点获取与视差区域生长时的匹配准确性。根据人脸局部形状特性，采用拟合一般二次曲面的方式优化种子点的质量和数量，为种子点间添加了局部联系和平滑约束，为区域生长提供足量且可靠的种子点，能够获得较准确的三维人脸模型，重建结果较为平滑，且在精度上有所提高，具有较好的鲁棒性。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种基于双目视觉的三维人脸重建方法，其特征在于，包括如下步骤：
步骤1：使用左、右两台相机分别在不同视角下同时各拍摄一幅人脸图像，对两台相机进行双目标定，获取相机的内外参数；利用相机的内外参数对拍摄到的两幅人脸图像进行极线校正，对极线校正后的两幅人脸图像进行亮度均衡，将左相机对应的亮度均衡后的图像记为IL，右相机对应的亮度均衡后的图像记为IR；
步骤2：采用级联回归树算法分别提取IL和IR上68个轮廓特征点，根据提取的68个轮廓特征点分别将IL和IR划分出左眼区域、右眼区域、鼻区域、上唇区域和下唇区域，除这五个区域外的其余面部区域记为非五官区域，分别计算这六个区域的视差范围；
步骤3：利用Canny边缘算子分别提取IL和IR上的Canny特征点，所提取的Canny特征点均匀分布于整个人脸，在步骤2得到的各区域的视差范围的限制内匹配IL和IR上的Canny特征点，并采用左右一致性检验筛除误匹配的Canny特征点，通过左右一致性检验的Canny特征点记为初始种子点，除初始种子点外的其余尚未匹配人脸像素点为非种子点；
步骤4：根据人脸局部形状特性，以步骤3中得到的每一个初始种子点为中心选取一个拟合窗口，对拟合窗口内的所有初始种子点的视差值拟合一般二次曲面；将拟合窗口内每个初始种子点的视差值与其拟合视差值进行比较，若两者之差超过阈值则筛除对应的初始种子点；利用拟合一般二次曲面得到的拟合值估算步骤3中非种子点的视差，选取一定比例的非种子点成为新增种子点；对筛除后剩余的初始种子点与新增种子点进行左右一致性检验，通过检验的种子点成为用以区域生长的种子点；
步骤5：使用区域生长算法以步骤4得到的种子点为中心向外发散，对余下的未得到匹配的人脸像素点进行匹配，得到每个人脸像素点的视差值；根据视差优化算法对得到的视差值进行优化，获得稠密人脸视差图；
步骤6：根据相机内外参数及视差图中每个人脸像素点的视差值计算人脸像素点的三维点云信息，通过点云网格化及纹理映射获取三维人脸模型。
2.根据权利要求1所述的一种基于双目视觉的三维人脸重建方法，其特征在于，所述步骤1具体包括：
步骤1.1：使用左、右两台相机分别在不同视角下同时各拍摄一幅人脸图像；
步骤1.2：对左、右两台相机进行双目标定，分别计算出左、右两台相机的内参矩阵KL、KR以及外参旋转矩阵RL、RR和平移向量tL、tR；
步骤1.3：利用两台相机的内参矩阵与外参旋转矩阵对步骤1.1中拍摄的两幅人脸图像进行极线校正；
步骤1.4：对极线校正后的两幅人脸图像进行亮度均衡。
3.根据权利要求1所述的一种基于双目视觉的三维人脸重建方法，其特征在于，所述步骤2具体包括：
步骤2.1：利用级联回归树算法分别提取IL和IR上围绕眉毛、双眼、鼻子、上下嘴唇以及脸部外轮廓的68个轮廓特征点；
步骤2.2：分别计算68个轮廓特征点的视差值，IL上第m个轮廓特征点fm的视差值为
Figure FDA0002396862920000021
其中，m∈{1,...,68}，(xm,ym)为fm的像素坐标，(xm′,ym′)为IR上第m个轮廓特征点fm′的像素坐标；
步骤2.3：利用68个轮廓特征点将人脸划分出为左眼区域、右眼区域、鼻区域、上唇区域、下唇区域，整个人脸除左眼区域、右眼区域、鼻区域、上唇区域和下唇区域以外的部分为非五官区域，所有区域为闭合区域，所有区域的边界为连续且封闭的单像素宽度的轮廓线；
步骤2.4：分别求出步骤2.3中6个区域的视差范围，其中，非五官区域的视差范围Dface为：
Dface＝[min(d(fm)),max(d(fm))],m∈{1,...,68}，
左眼区域的视差范围Dleye为：
Dleye＝[min(d(fm)),max(d(fm))],m∈{37,...,42}，
右眼区域的视差范围Dreye为：
Dreye＝[min(d(fm)),max(d(fm))],m∈{43,...,48}，
鼻区域的视差范围Dnose为：
Dnose＝[min(d(fm)),max(d(fm))],m∈{28,...,36}，
上唇区域的视差范围Dumouth为：
Dumouth＝[min(d(fm)),max(d(fm))],m∈{49,…,55,62,63,64}，
下唇区域的视差范围Ddmouth为：
Ddmouth＝[min(d(fm)),max(d(fm))],m∈{56,…,61,65,…,68}。
4.根据权利要求1所述的一种基于双目视觉的三维人脸重建方法，其特征在于，所述步骤3具体包括：
步骤3.1：利用Canny边缘算子分别提取IL和IR上的Canny特征点，所提取的Canny特征点均匀分布于整个人脸；
步骤3.2：匹配IL上的Canny特征点和IR上的Canny特征点的过程中采用NCC代价函数衡量匹配代价：
Figure FDA0002396862920000031
其中，C(x,y,d)为IL上像素坐标为(x,y)的Canny特征点的匹配代价，d为(x,y)的视差值，N(x,y)为以(x,y)为中心的邻域窗口，IL(i,j)代表IL上N(x,y)内像素点(i,j)的灰度值，
Figure FDA0002396862920000032
代表IL上N(x,y)内所有像素点的灰度值均值，IR(i-d,j)代表IR上像素点(i-d,j)的灰度值，
Figure FDA0002396862920000033
代表IR上以(x-d,y)为中心的邻域窗口内所有像素点的灰度值均值；
步骤3.3：对于IL上的Canny特征点c(x,y)，计算其与IR上在c(x,y)所在人脸区域对应的视差范围内所有的Canny特征点及每个Canny特征点左右邻近两点的NCC匹配代价；
步骤3.4：对于IR上的每个Canny特征点c′(x′,y′)，计算其与IL上在c′(x′,y′)所在人脸区域对应的视差范围内所有的Canny特征点及每个Canny特征点左右邻近两点的NCC匹配代价；
步骤3.5：根据Winner-Takes-All准则，对于IL和IR上每一个Canny特征点，选取匹配代价最接近1的像素点作为其匹配点，完成该点的匹配；
步骤3.6：完成所有Canny特征点的匹配并对匹配结果进行左右一致性检验，通过左右一致性检验的Canny特征点成为初始种子点。
5.根据权利要求1所述的一种基于双目视觉的三维人脸重建方法，其特征在于，所述步骤4具体包括：
步骤4.1：根据人脸局部形状特性，以步骤3.6中得到的第n个初始种子点sn为中心选择一个拟合窗口Wn；
步骤4.2：将Wn内所有的初始种子点组成一个集合Gn，以Gn中所有初始种子点的坐标和视差值为数据集拟合一般二次曲面；
步骤4.3：筛除Gn内视差值与拟合视差值相差超过阈值T的初始种子点；
步骤4.4：所有拟合窗口完成拟合后，根据拟合得到的一般二次曲面计算每个非种子点的拟合视差值；
步骤4.5：计算4.4中每个非种子点在其所有拟合视差值下的NCC匹配代价，根据Winner-Takes-All准则选取最优匹配点，并记下对应匹配代价为最有匹配代价；
步骤4.6：降序排列步骤4.5中所有非种子点的最优匹配代价，选择前40％的非种子点成为新增种子点；
步骤4.7：对筛除后剩余的初始种子点与新增种子点的匹配结果进行左右一致性检验，通过左右一致性检验的成为区域生长种子点。
6.根据权利要求1所述的一种基于双目视觉的三维人脸重建方法，其特征在于，所述步骤5具体包括：
步骤5.1：对IL上每一个待匹配的人脸像素点pk，根据区域生长原理和步骤2中的各区域实际视差范围确定pk的最终视差搜索范围；
步骤5.2：对pk，在其视差搜索范围内查找其最优匹配点；
步骤5.3：以pk为中心选取一个邻域窗口，对窗口内已匹配像素点的视差值拟合一般二次曲面，设pk对应的拟合视差值为dfit，仅计算dfit，dfit±1下该点的匹配代价，根据Winner-Takes-All准则选取最优匹配点；
步骤5.4：根据视差优化算法优化视差值，得到最终的稠密人脸视差图。
7.根据权利要求1所述的一种基于双目视觉的三维人脸重建方法，其特征在于，所述步骤6具体包括：
步骤6.1：根据相机焦距f、相机间基线距离b、像素点视差值d、像素点坐标(u1,v1)，采用立体匹配三角化公式计算步骤5中人脸视差图的每个具有视差值的像素点的三维坐标(X，Y，Z)：
Figure FDA0002396862920000041
步骤6.2：基于纹理映射和点云网格化，利用IL重建三维人脸点云的纹理，得到最终的三维人脸模型。
CN202010134543.8A 2020-03-02 2020-03-02 一种基于双目视觉的三维人脸重建方法 Active CN111354077B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010134543.8A CN111354077B (zh) 2020-03-02 2020-03-02 一种基于双目视觉的三维人脸重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010134543.8A CN111354077B (zh) 2020-03-02 2020-03-02 一种基于双目视觉的三维人脸重建方法

Publications (2)

Publication Number Publication Date
CN111354077A CN111354077A (zh) 2020-06-30
CN111354077B true CN111354077B (zh) 2022-11-18

Family

ID=71197198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010134543.8A Active CN111354077B (zh) 2020-03-02 2020-03-02 一种基于双目视觉的三维人脸重建方法

Country Status (1)

Country Link
CN (1) CN111354077B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633096A (zh) * 2020-12-14 2021-04-09 深圳云天励飞技术股份有限公司 客流的监测方法、装置、电子设备及存储介质
CN113965742B (zh) * 2021-02-28 2022-04-19 北京中科慧眼科技有限公司 基于多传感融合的稠密视差图提取方法、***和智能终端
CN113592791B (zh) * 2021-07-16 2024-02-13 华中科技大学 一种基于局部能量最小化的轮廓立体匹配方法及***
CN113450460A (zh) * 2021-07-22 2021-09-28 四川川大智胜软件股份有限公司 一种基于人脸面形空间分布的无相位展开三维人脸重建方法及***
CN116309442B (zh) * 2023-03-13 2023-10-24 北京百度网讯科技有限公司 挑拣信息的确定方法及目标对象的挑拣方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及***
CN106910222A (zh) * 2017-02-15 2017-06-30 中国科学院半导体研究所 基于双目立体视觉的人脸三维重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866497A (zh) * 2010-06-18 2010-10-20 北京交通大学 基于双目立体视觉的智能三维人脸重建方法及***
CN106910222A (zh) * 2017-02-15 2017-06-30 中国科学院半导体研究所 基于双目立体视觉的人脸三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
双目立体视觉的三维人脸重建方法;贾贝贝等;《智能***学报》;20091215(第06期);全文 *

Also Published As

Publication number Publication date
CN111354077A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN111354077B (zh) 一种基于双目视觉的三维人脸重建方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN108564041B (zh) 一种基于rgbd相机的人脸检测和修复方法
WO2018000752A1 (zh) 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN104463899B (zh) 一种目标对象检测、监控方法及其装置
CN118212141A (zh) 用于混合深度正则化的***和方法
CN102665086B (zh) 利用基于区域的局部立体匹配获取视差的方法
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN112884682B (zh) 一种基于匹配与融合的立体图像颜色校正方法及***
Correal et al. Automatic expert system for 3D terrain reconstruction based on stereo vision and histogram matching
CN110246151B (zh) 一种基于深度学习和单目视觉的水下机器人目标跟踪方法
CN104021548A (zh) 一种获取场景4d信息的方法
CN110232389A (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN108010075B (zh) 一种基于多特征联合的局部立体匹配方法
WO2018053952A1 (zh) 一种基于场景样本库的影视图像深度提取方法
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN104537707A (zh) 像方型立体视觉在线移动实时测量***
CN112990063B (zh) 一种基于形状与颜色信息的香蕉成熟度分级方法
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN110110131B (zh) 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法
CN115272271A (zh) 一种基于双目立体视觉的管道缺陷检测与定位测距***
KR20110014067A (ko) 스테레오 컨텐트의 변환 방법 및 시스템
CN109889799B (zh) 基于rgbir摄像头的单目结构光深度感知方法及装置
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN107800965A (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant