CN104599284B - 基于多视角手机自拍图像的三维人脸重建方法 - Google Patents

基于多视角手机自拍图像的三维人脸重建方法 Download PDF

Info

Publication number
CN104599284B
CN104599284B CN201510080565.XA CN201510080565A CN104599284B CN 104599284 B CN104599284 B CN 104599284B CN 201510080565 A CN201510080565 A CN 201510080565A CN 104599284 B CN104599284 B CN 104599284B
Authority
CN
China
Prior art keywords
mobile phone
image
dimensional
mark point
visual angles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510080565.XA
Other languages
English (en)
Other versions
CN104599284A (zh
Inventor
李靓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Chuanda Zhisheng Software Co Ltd
Original Assignee
Sichuan Chuanda Zhisheng Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Chuanda Zhisheng Software Co Ltd filed Critical Sichuan Chuanda Zhisheng Software Co Ltd
Priority to CN201510080565.XA priority Critical patent/CN104599284B/zh
Publication of CN104599284A publication Critical patent/CN104599284A/zh
Application granted granted Critical
Publication of CN104599284B publication Critical patent/CN104599284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/06—Curved planar reformation of 3D line structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多视角手机自拍图像的三维人脸重建方法，包括:对手机自拍的同一个人的N个不同角度的人脸图像自动定位标记点；根据所述标记点建立第一能量函数求解摄像机参数Pk(k＝1,…,N)，所述第一能量函数为：i表示像素编号，k表示输入图像视角编号，mi表示第i个标记点，Xi表示第i个标记点对应的三维点坐标,参数Pk表示三维点到对应图像的投影变换矩阵；根据所述摄像机参数建立重建目标函数E＝Edata+Ecolor+Esmooth，对目标函数优化，使用多标签图像分割算法求解该目标函数得到三维人脸模型。本发明利用手机自拍图像快速的重建出精确的三维人脸模型。

Description

基于多视角手机自拍图像的三维人脸重建方法
技术领域
本发明涉及计算机视觉领域，特别涉及一种基于多视角手机自拍图像的三维人脸重建方法。
背景技术
手机是目前使用最多的便携电子设备。随着手机拍照的普及，人们可以很容易利用手机自拍获得人脸各个角度的图像。同时，每个人手机中也存有大量的自拍人脸图像。然而，目前手机却没有深度传感器，不能实时得到人脸的深度图像并建立人脸三维模型，使手机自拍缺乏立体感和生动性。
申请号为CN201310161450.4，发明名称为一种手机或平板电脑的三维成像装置的中国专利公开了通过手机建立人脸三维模型的方案，其是在手机或平板电脑上安装两个空间分离的摄像头，所述的手机或平板电脑内设有将左右通道图像合成三维图像、存储图像、对三维图像进行比较鉴别的图像处理软件。但是该方案基于两个摄像头采集的左右通道图像重建出的人脸三维模型不够精确。另外，该方案中在手机或平板电脑上安装的两个摄像头之间的相互位置关系固定，基于两个摄像头的左右通道图像重建出人脸三维模型，对于目前常用的背面或前面具有单个摄像头的手机，该方案无法适用。
发明内容
本发明的目的在于克服现有技术中所存在的上述不足，提供一种基于多视角手机自拍图像的三维人脸重建方法及***，以利用手机自拍图像快速的重建出精确的三维人脸模型。
为了实现上述发明目的，本发明采用的技术方案是：
一种基于多视角手机自拍图像的三维人脸重建方法，包括:
对手机自拍的同一个人的N个不同角度的人脸图像自动定位标记点，其中N>＝2，且为整数；
根据所述标记点建立第一能量函数求解摄像机参数Pk(k＝1,…,N)，所述第一能量函数为：其中i表示像素点，mi表示第i个标记点，mi的上标k代表输入图像视角编号，Xi表示第i个标记点对应的三维点坐标,参数Pk表示三维点到对应图像的投影变换矩阵；
根据所述摄像机参数建立重建能量函数得到目标函数E＝Edata+Ecolor+Esmooth，对目标函数优化，使用多标签图像分割算法求解该目标函数得到三维人脸模型。
优选的，所述目标函数为E＝Edata+Ecolor+Esmooth；
其中，数据项为i是二维图像空间上的每个像素，Xi表示待估计模型上像素i对应的深度，Di表示参考模型上像素i对应的深度；
多视角颜色一致项为其中，(k1,k2)表示不同视角对，Pk即视角k对应的投影矩阵，表示像素i对应的三维空间中的三维点；
深度平滑项为其中，N(i)是像素i所在的邻域集，Xi、Xj分别表示像素i，j对应的深度。
优选的，所述手机自拍的同一个人的N个不同角度的人脸图像来自于：用手机立即自拍出一个人N个角度的人脸图像；或者从手机中找到某个人N张不同角度的人脸图像。
优选的，对手机自拍的同一个人的N个不同角度的人脸图像自动定位标记点具体为：对手机自拍的同一个人的N个不同角度的人脸图像通过基于回归的方法或基于局部优化的方法自动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓等。
优选的，采用迭代求解的方法求解摄像机参数Pk。
优选的，重建目标函数满足以下条件：a)基于局部平面假设的多视角颜色一致性约束；b)深度变化与图像变化一致，即灰度变化大的区域深度也发生跳变，灰度变化小的区域深度变化平缓。
优选的，所述目标函数采用alpha-expansion算法求解。
与现有技术相比，本发明的有益效果：
本发明利用手机自拍图像快速的重建出精确的三维人脸模型，，可重建出稠密、精细的三维人脸模型，重建的三维模型旋转到其他任意视角，仍能得到逼真的三维模型；利用该方法可用于人脸识别***，如基于三维人脸的手机支付。也可以在不改***件的条件下，将手机内置摄像机变成深度摄像机，设计相关的手机APP。
附图说明：
图1是本发明实施例中的基于多视角手机自拍图像的三维人脸重建方法流程图；
图2是本发明实施例中的人脸重建示意图；
图3是本发明实施例中的人脸标记点定位示意图。
具体实施方式
下面结合具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
三维人脸模型可以辅助提升人脸识别***的识别率，同时兼顾防伪功能。目前，对三维人脸数据获取技术的研究相对较少。然而，随着手机拍照的普及，人们可以很容易利用手机获得人脸各个角度的图像。本发明利用手机自拍图像快速的重建出精确的三维人脸模型。下面详细说明。
如图1所示的基于多视角手机自拍图像的三维人脸重建方法，包括如下步骤:
S1：对手机自拍的同一个人的N个不同角度的人脸图像自动定位标记点，其中N>＝2，且为整数。
具体的，对手机自拍的同一个人的N个不同角度的人脸图像自动定位标记点具体为：对手机自拍的同一个人的N个不同角度的人脸图像通过基于回归的方法或基于局部优化的方法自动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓等(参看图3)。基于回归的方法，如高斯牛顿形变模型法(Gauss-Newton Deformable Part Model)，基于局部优化的方法，如限制性局部模型(Constrained Local Model)等，这些均为现有成熟技术，具体不再详述。所述手机自拍的同一个人的N个不同角度的人脸图像来自于：用手机立即自拍出一个人N个角度的人脸图像；或者从手机中找到某个人N张不同角度的人脸图像。
S2：根据所述标记点建立第一能量函数求解摄像机参数Pk，所述第一能量函数为：其中i表示像素点，mi表示第i个标记点，mi的上标k代表输入图像视角编号，即对手机自拍的不同视角的人脸图像编号，带上标k的mi表示视角编号为k的人脸图像对应的第i个标记点，因为每张不同视角的人脸图像都会定位出多个标记点，Xi表示第i个标记点对应的三维点坐标,参数Pk表示三维点到对应图像的投影变换矩阵。求解摄像机参数Pk(k＝1,…,N)采用迭代求解的方法，如bundle adjustment等算法，该算法为现有成熟技术，不再详述。
S3：根据所述摄像机参数设计重建目标函数E＝Edata+Ecolor+Esmooth，对目标函数优化，使用多标签图像分割算法求解该目标函数得到三维人脸模型(参看图2)。
具体的，所述目标函数为E＝Edata+Ecolor+Esmooth；其中，数据项为i是二维图像空间上的每个像素，Xi表示待估计模型上像素i对应的深度，Di表示参考模型上像素i对应的深度；多视角颜色一致项为其中，(k1,k2)表示不同视角对，Pk即视角k对应的投影矩阵，表示像素i对应的三维空间中的三维点；深度平滑项为其中，N(i)是像素i所在的邻域集，Xi、Xj分别表示像素i，j对应的深度。重建目标函数需满足以下条件：a)基于局部平面假设的多视角颜色一致性约束；b)深度变化与图像变化一致，即灰度变化大的区域深度也发生跳变，灰度变化小的区域深度变化平缓。所述目标函数采用alpha-expansion算法求解，该算法为现有成熟技术，不再详述。
本发明中求解摄像机参数P和三维点坐标X采用迭代求解的方法。
首先建立以下能量函数：
这里需要同时求解摄像机参数P和三维点坐标X，要求第i个三维点Xi投影到第k个视角的对应点应该尽量与视角k上对应的第i个标记点接近。可采用迭代求解的方法。
第二个能量函数即重建的目标函数中E_color项需要用到估计的摄像机参数P，而第一能量函数估计出来的X坐标只是标记点对应的三维点坐标，不用于后面的目标函数求解计算。
本发明利用手机自拍图像快速的重建出精确的三维人脸模型，基于手机自拍图像，不受角度限制，任意姿态、角度下的人脸图像都可以用于三维人脸重建，，可重建出稠密、精细的三维人脸模型，重建的三维模型旋转到其他任意视角，仍能得到逼真的三维人脸模型；利用该方法可用于人脸识别***，如基于三维人脸的手机支付。也可以在不改***件的条件下，将手机内置摄像机变成深度摄像机，并设计相关的手机APP。
人脸重建是三维重建的重要研究方向之一，在影视、游戏、三维人脸识别等领域有着广泛的应用前景，受到计算机图形学、计算机视觉、机器视觉、计算机辅助设计等领域研究者的重视。本发明从手机重建出来的三维人脸模型可用于影视游戏领域，同时在三维人脸识别领域不仅可以提升人脸识别***的识别率，同时兼顾防伪功能。
上面结合附图对本发明的具体实施方式进行了详细说明，但本发明并不限制于上述实施方式，在不脱离本申请的权利要求的精神和范围情况下，本领域的技术人员可以作出各种修改或改型。

Claims (6)

1.一种基于多视角手机自拍图像的三维人脸重建方法，其特征在于，包括：
步骤一，对手机自拍的同一个人的N个不同角度的人脸图像自动定位标记点，其中N>＝2，且为整数；
步骤二，根据所述标记点建立第一能量函数求解摄像机参数Pk(k＝1,…,N)，所述第一能量函数为：其中i表示像素点，mi表示第i个标记点，mi的上标k代表输入图像视角编号，Xi表示第i个标记点对应的三维点坐标，参数Pk表示三维点到对应图像的投影变换矩阵；
步骤三，根据所述摄像机参数建立重建目标函数E＝Edata+Ecolor+Esmooth，对目标函数优化，使用多标签图像分割算法求解该目标函数得到三维人脸模型；
其中，数据项为i是二维图像空间上的每个像素，表示待估计模型上像素i对应的深度，Di表示参考模型上像素i对应的深度；
多视角颜色一致项为其中，(k1，k2)表示不同视角对，Pk即视角k对应的投影矩阵，表示待估计模型上像素i对应的三维空间中的三维点；
深度平滑项为其中，N(i)是待估计模型上像素i所在的邻域集，分别表示待估计模型上像素i，j对应的深度。
2.根据权利要求1所述的基于多视角手机自拍图像的三维人脸重建方法，其特征在于，所述手机自拍的同一个人的N个不同角度的人脸图像来自于：用手机立即自拍出一个人N个角度的人脸图像；或者从手机中找到某个人N张不同角度的人脸图像。
3.根据权利要求1所述的基于多视角手机自拍图像的三维人脸重建方法，其特征在于，对手机自拍的同一个人的N个不同角度的人脸图像自动定位标记点具体为：对手机自拍的同一个人的N个不同角度的每张人脸图像通过基于回归的方法或基于局部优化的方法自动定位标记点，所述标记点包括内外眼角、鼻尖、嘴角、轮廓。
4.根据权利要求1所述的基于多视角手机自拍图像的三维人脸重建方法，其特征在于，采用迭代求解的方法求解摄像机参数Pk。
5.根据权利要求1所述的基于多视角手机自拍图像的三维人脸重建方法，其特征在于，建立重建目标函数满足以下条件：a)基于局部平面假设的多视角颜色一致性约束；b)深度变化与图像变化一致假设，即灰度变化大的区域深度也发生跳变，灰度变化小的区域深度变化平缓。
6.根据权利要求l所述的基于多视角手机自拍图像的三维人脸重建方法，其特征在于，所述目标函数采用alpha-expansion算法求解。
CN201510080565.XA 2015-02-15 2015-02-15 基于多视角手机自拍图像的三维人脸重建方法 Active CN104599284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510080565.XA CN104599284B (zh) 2015-02-15 2015-02-15 基于多视角手机自拍图像的三维人脸重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510080565.XA CN104599284B (zh) 2015-02-15 2015-02-15 基于多视角手机自拍图像的三维人脸重建方法

Publications (2)

Publication Number Publication Date
CN104599284A CN104599284A (zh) 2015-05-06
CN104599284B true CN104599284B (zh) 2017-06-13

Family

ID=53125034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510080565.XA Active CN104599284B (zh) 2015-02-15 2015-02-15 基于多视角手机自拍图像的三维人脸重建方法

Country Status (1)

Country Link
CN (1) CN104599284B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3398168B1 (en) 2015-12-31 2022-04-13 ML Netherlands C.V. A method and device for real-time 3d capture and live feedback with monocular cameras
CN106023302B (zh) * 2016-05-06 2020-06-09 武汉雄楚高晶科技有限公司 一种移动通信终端、服务器及其实现三维重建的方法
CN106331854A (zh) * 2016-09-29 2017-01-11 深圳Tcl数字技术有限公司 智能电视控制方法及装置
CN108038420B (zh) * 2017-11-21 2020-10-30 华中科技大学 一种基于深度视频的人体行为识别方法
TWI685817B (zh) * 2018-01-26 2020-02-21 輔仁大學學校財團法人輔仁大學 手部三維參數化模型之製程及使用此模型製作之輔具
CN110378994B (zh) * 2018-04-12 2021-05-28 Oppo广东移动通信有限公司 人脸建模方法及相关产品
CN109191366B (zh) * 2018-07-12 2020-12-01 中国科学院自动化研究所 基于人体姿态的多视角人体图像合成方法及装置
CN109035394B (zh) * 2018-08-22 2023-04-07 广东工业大学 人脸三维模型重建方法、装置、设备、***及移动终端
CN109166176B (zh) * 2018-08-23 2020-07-07 百度在线网络技术（北京）有限公司 三维人脸图像的生成方法与装置
CN109345621A (zh) * 2018-08-28 2019-02-15 广州智美科技有限公司 交互式人脸三维建模方法及装置
CN109887076B (zh) * 2019-02-25 2021-02-12 清华大学 根据视角变化的人脸三维模型建立方法及装置
CN110751620B (zh) * 2019-08-28 2021-03-16 宁波海上鲜信息技术有限公司 估算体积和重量的方法、电子设备及计算机可读存储介质
CN113762015A (zh) * 2021-01-05 2021-12-07 北京沃东天骏信息技术有限公司 一种图像处理方法和装置
CN114648614B (zh) * 2022-05-24 2022-07-26 四川中绳矩阵技术发展有限公司 一种目标对象的三维重现方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593365A (zh) * 2009-06-19 2009-12-02 电子科技大学 一种通用三维人脸模型的调整方法
CN102609977A (zh) * 2012-01-12 2012-07-25 浙江大学 基于深度融合和曲面演变的多视点三维重建方法
CN103065289A (zh) * 2013-01-22 2013-04-24 清华大学 基于双目立体视觉的四目摄像机正面人脸重建方法
CN103198523A (zh) * 2013-04-26 2013-07-10 清华大学 一种基于多深度图的非刚体三维重建方法及***
CN103914874A (zh) * 2014-04-08 2014-07-09 中山大学 一种无特征提取的紧致sfm三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7184071B2 (en) * 2002-08-23 2007-02-27 University Of Maryland Method of three-dimensional object reconstruction from a video sequence using a generic model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593365A (zh) * 2009-06-19 2009-12-02 电子科技大学 一种通用三维人脸模型的调整方法
CN102609977A (zh) * 2012-01-12 2012-07-25 浙江大学 基于深度融合和曲面演变的多视点三维重建方法
CN103065289A (zh) * 2013-01-22 2013-04-24 清华大学 基于双目立体视觉的四目摄像机正面人脸重建方法
CN103198523A (zh) * 2013-04-26 2013-07-10 清华大学 一种基于多深度图的非刚体三维重建方法及***
CN103914874A (zh) * 2014-04-08 2014-07-09 中山大学 一种无特征提取的紧致sfm三维重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dense Variational Reconstruction of Non-Rigid Surfaces from Monocular Video;Ravi Garg et al;《2013 IEEE Conference on Computer Vision and pattern Recognition》;20130630;第1272-1279页 *
从多张非标定图像重建三维人脸;丁滨等;《计算机辅助设计与图形学学报》;20100228;第22卷(第2期);第210-215页 *
改进的三维人脸稠密对齐方法;陆涛等;《电子科技》;20120731;第25卷(第7期);第15-17页 *

Also Published As

Publication number Publication date
CN104599284A (zh) 2015-05-06

Similar Documents

Publication Publication Date Title
CN104599284B (zh) 基于多视角手机自拍图像的三维人脸重建方法
CN110335343B (zh) 基于rgbd单视角图像人体三维重建方法及装置
WO2021077720A1 (zh) 获取对象三维模型的方法、装置、电子设备及***
WO2020010979A1 (zh) 手部关键点的识别模型训练方法、识别方法及设备
TWI659335B (zh) 圖形處理方法和裝置、虛擬實境系統和計算機儲存介質
CN104574311B (zh) 图像处理方法和装置
US9595127B2 (en) Three-dimensional collaboration
US20120162384A1 (en) Three-Dimensional Collaboration
US11900557B2 (en) Three-dimensional face model generation method and apparatus, device, and medium
US20110148868A1 (en) Apparatus and method for reconstructing three-dimensional face avatar through stereo vision and face detection
CN106981078B (zh) 视线校正方法、装置、智能会议终端及存储介质
CN103607554A (zh) 一种基于全自动人脸无缝合成的视频合成方法
CN107944420A (zh) 人脸图像的光照处理方法和装置
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN102194443A (zh) 视频画中画窗口的显示方法、***及视频处理设备
CN103354616A (zh) 在平面显示器上实现立体显示的方法和***
CN112926464B (zh) 一种人脸活体检测方法以及装置
CN109977846B (zh) 一种基于近红外单目摄像的活体检测方法及***
CN106778660B (zh) 一种人脸姿态校正方法及装置
CN111951368A (zh) 一种点云、体素和多视图融合的深度学习方法
WO2023075493A1 (en) Method and apparatus for three-dimensional scene reconstruction and dense depth map
CN112927348B (zh) 一种基于多视点rgbd相机高分辨率人体三维重建方法
CN103440036B (zh) 三维图像的显示和交互操作方法及装置
CN108566545A (zh) 通过移动终端和球幕相机对大场景进行三维建模的方法
CN112102504A (zh) 一种基于混合现实的三维场景和二维图像混合方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant