CN110033509B - 一种基于漫反射梯度偏振光构建三维人脸法线的方法 - Google Patents

一种基于漫反射梯度偏振光构建三维人脸法线的方法 Download PDF

Info

Publication number
CN110033509B
CN110033509B CN201910221624.9A CN201910221624A CN110033509B CN 110033509 B CN110033509 B CN 110033509B CN 201910221624 A CN201910221624 A CN 201910221624A CN 110033509 B CN110033509 B CN 110033509B
Authority
CN
China
Prior art keywords
normal
diffuse reflection
polarized light
image
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910221624.9A
Other languages
English (en)
Other versions
CN110033509A (zh
Inventor
黄硕
卜弘毅
胡勇
巩彩兰
顾耕
王薇
许琦
张宁豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiaxing Chaowei Information Technology Co ltd
Original Assignee
Jiaxing Chaowei Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiaxing Chaowei Information Technology Co ltd filed Critical Jiaxing Chaowei Information Technology Co ltd
Priority to CN201910221624.9A priority Critical patent/CN110033509B/zh
Publication of CN110033509A publication Critical patent/CN110033509A/zh
Application granted granted Critical
Publication of CN110033509B publication Critical patent/CN110033509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于漫反射梯度偏振光构建三维人脸法线的方法，包括如下步骤：步骤1：获取多方位梯度的偏振光图像；步骤2：对获取的偏振光图像进行图像预处理；步骤3：通过双向反射分布函数(BRDF)计算偏振光图像的漫反射法线图；步骤4：将偏振光图像的RGB三通道的法线图融合；步骤5：重复步骤1至步骤4以得到多个角度的法线图，并将多个多角度法线图拼接。本发明直接通过多角度梯度光照片直接生成法线图，不仅细节效果好而且真实度高，根据漫反射光的性质可以很快速的将多角度法线图拼接到一起形成三维人脸法线图。

Description

一种基于漫反射梯度偏振光构建三维人脸法线的方法
技术领域
本发明涉及光学、计算机图形学等技术领域，具体是指通过梯度偏振光得到的漫反射光计算法线生成法线图，将多角度法线图进行拼接生成三维法线模型，得到的法线图可以运用到三维人脸建模中，提高建模精度，增强纹理细节，使得三维人脸模型形象逼真，广泛应用于数字动画、电影和医疗等多方面邻域，尤其是涉及一种基于漫反射梯度偏振光计算三维人脸法线的方法。
背景技术
三维模型作为一种新的媒介形式，在生产、学习、娱乐等方面得到了越来越广泛的应用。随着计算机图形学的快速发展，人们已经不再满足于在线的图片、二维游戏及动画效果等。互联网与3D模型相结合的Web3D技术在迅猛发展的网络时代中得到越来越广泛的应用。随着建模软件的不断更新和模型数据采集精度的提高，三维网格模型和纹理贴图的数据量随之增大，但是建立精度高的网格模型会大大增加运算量和运算时间。法线贴图将表达纹理的法线图贴到低模上，在保留高模的效果基础上，大大提高了运算效率，对3D模型重建技术具有重要意义。
当将法线贴图应用到低精度模型上时，法线贴图上的每一个像素都能够控制了低精度模型上相应顶点的法线向量，从而能够生成模型表面更多细节的模拟。但是实际上，低精度模型本身没有发生任何改变。
针对法线贴图的研究，早在1996年，Krishnamurthy与Levoy已经提出了利用高精度网格模型上的凹凸细节特征创造位移贴图来代替模型上的非均匀有理B样条的算法，经历很多年后该方法才慢慢被应用到普通的网格模型上。Cignoniet论述了简化后网格模型恢复丢失细节特征的方法，提出了如何分离出高精度与低精度网格模型的方法，阐述了如何避免低精度网格模型的影响从而恢复简化过程中失去的细节特征的方法。Waveren提出了实时法线贴图的压缩算法，将优化的切线空间法线贴图压缩算法应用到CPU与GPU中同时实现实时渲染。这些方法只是简化了一些多余的计算内容或者从工程效率方面对法线贴图进行一部分提高。目前国内在法线贴图方面的研究很少，生成法线图的方法的研究也是凤毛麟角。主要的法线贴图手段就是运用Zbrush软件进行雕刻纹理细节或者是用mudbox软件用黑白笔画出凹凸效果建立法线图层，需要消耗大量的时间和精力。
发明内容
基于目前的现状，本发明运用梯度偏振光的图片可以直接计算法线图来进行建模的方法，省去了大量的人力，也节省了很多时间，满足动画、电影等高逼真度人脸建模的需求。
为解决上述的技术问题，本发明提供一种基于漫反射梯度偏振光构建三维人脸法线的方法，包括如下步骤：
步骤1：获取多方位梯度的偏振光图像；
步骤2：对获取的偏振光图像进行图像预处理；
步骤3：通过双向反射分布函数(BRDF)计算偏振光图像的漫反射法线图；
步骤4：将偏振光图像的RGB三通道的法线图融合；
步骤5：重复步骤1至步骤4以得到多个角度的法线图，并将多个多角度法线图拼接。
步骤1中，调整灯光使得物体表面产生渐变光。在灯光前和相机前放置偏振片，通过调节偏振片的旋转角度使得灯光和照相机镜头的偏振片方向垂直；分别拍摄空不同方向的偏振梯度光照片作为计算法线的数据源——漫反射梯度偏振光图像。
步骤2中，对拍摄的图像进行辐射校正，使得辐射域在相同的范围内；设定阈值去除图像中高亮部分。最后对图像进行对比度增强。
步骤3中，通过差值运算得到梯度图像，将其归一化到[-1,1]范围内。将图像进行R、G、B三通道分离，利用朗伯体BRDF等式得到法线方向和反射光方向的关系；通过反射光求得法线空间坐标映射到RGB通道而得到漫反射法线图。
步骤4中，根据全亮光的照片的RGB三通道的亮度均值来确定三个通道法线图融合比例；将三通道的法线图融合成一张漫反射法线图。
步骤5中，用照相机拍摄物体其他角度的梯度光照图像，按照上述1-4步骤完成其他角度的法线图，然后进行特征提取和特征匹配，依照重叠区域的同名点进行拼接融合，形成三维立体法线模型。
本发明技术方案的有益效果是：
本发明可以直接通过多角度梯度光照片直接生成法线图，漫反射比镜面反射分布广，生成的法线图可以表达人脸整体的法线方向分布。
附图说明
图1为本发明的基于漫反射梯度偏振光构建三维人脸法线的方法的流程图；
图2为本发明实施例中多角度平行偏振照片；
图3为本发明实施例中镜面反射法线结果图；
图4为本发明实施例中基于镜面反射的三维重建效果图。
具体实施方式：
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
请参见图1所示，示出了一种的基于漫反射梯度偏振光构建三维人脸法线的方法，包括如下步骤：
步骤1：多方位梯度漫反射光照片获取。
将物体(人像)放在灯光球的中心位置，在空间坐标系中，X、Y、Z轴三个方向分别放置照明装置，在各个照明装置前放置偏振片。在物体的正前方放置相机，相机前放置偏振片。调整偏振片方向使得灯光和镜头偏振方向垂直，单独打开X方向的灯光，拍摄垂直偏振的人像照片。按照同样的步骤获取Y和Z方向的光源的照片得到求解漫反射法线的数据源——漫反射梯度偏振光图像。
步骤2：图像预处理。
对拍摄的图像进行辐射校正，将同方向的图像亮度值的均值和方差进行匹配，使得辐射域在相同的范围内。对图像的色彩以色卡为基准进行颜色校正。设定阈值检测图像中高亮部分，将高于阈值的接近于饱和的亮度区域进行等比例压缩。最后对图像进行Gamma校正，增强图像对比度。
步骤3：BRDF计算漫反射法线图。
将沿同一坐标轴方向的图像进行差值运算，XYZ三个方向同样运算得到方向梯度图。
Figure BDA0002003511490000041
然后将三方向梯度图灰度值进行归一化，转化到[-1,1]范围内。
Figure BDA0002003511490000051
再将RGB三通道分离出来。将R、G、B三通道的梯度图分别计算法线，根据朗伯体BRDF定律定义了入射光方向
Figure BDA0002003511490000052
和法线方向/>
Figure BDA0002003511490000053
的关系。
Figure BDA0002003511490000054
其中漫反射率为ρ，I为入射光，R为反射光，观测方向
Figure BDA0002003511490000055
的反射光Li在Pi的反射条件下得到计算方法：
Figure BDA0002003511490000056
将空间坐标转化到切线坐标，切线坐标系以法线方向为Z轴，两个垂直法线的切线方向为X、Y坐标轴，将梯度光方向代入BRDF，通过解算和坐标转换，可以得到法线方向坐标和每一个反射光方向坐标的关系。
Figure BDA0002003511490000057
空间坐标XYZ三个方向的梯度光代入可以得到法向的XYZ坐标分量，从而得到每个像素点的法线方向。将法线的X、Y、Z三个坐标分量换算到[0,1]范围内分别放入RGB通道来表达法线方向坐标从而得到一个通道，漫反射法线图。图像RGB三通道分别按照如上步骤进行计算，得到三个通道的漫反射法线图。
步骤4：RGB法线图融合。
根据全亮光的照片的RGB三通道的亮度均值来确定三个通道法线图融合比例，将融合后的法线图根据标定球的法线图进行法线方位校正。
步骤5：多角度法线图拼接。
用照相机拍摄物体其他角度的梯度光照图像，按照上述1-5步骤完成其他角度的法线图，然后基于SIFT算法提取图像特征，找到图像重叠区域同名点进行匹配，将三个视角的法线图拼接融合，形成三维立体法线图。
综上所述，本发明的算法可以直接通过多角度梯度光照片直接生成漫反射法线图，不仅细节效果好而且真实度高，根据漫反射光的性质可以很快速的将多角度法线图拼接到一起形成三维法线图。
本发明利用三个不同方向照射光的数字相片来计算物体表面法线方向，并生成法线图，应用到三维人脸重建从而增强重建细节。首先对三个光照方向的图片进行预处理，然后将偏振图片进行漫反射提取，将反射光进行RGB三通道分离，计算得到梯度反射光，通过梯度反射光的特性应用朗伯体双向反射分布函数(BRDF)计算法线方向，应用RGB通道存储法线坐标生成漫反射法线图。将多角度漫反射法线拼接融合形成立体漫反射法线图，用于三维重建。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (5)

1.一种基于漫反射梯度偏振光构建三维人脸法线的方法，其特征在于，所述方法包括如下步骤：
步骤1：获取三个方向的漫反射梯度偏振光图像；
步骤2：对获取的偏振光图像进行图像预处理；
步骤3：通过双向反射分布函数BRDF计算偏振光图像的漫反射法线图；
步骤4：将偏振光图像的RGB三通道的法线图融合；
步骤5：重复步骤1至步骤4以得到多个角度的漫反射法线图，并将多个多角度法线图拼接；
所述步骤3中，通过差值运算得到梯度图像，将其归一化到[-1,1]范围内； 将图像进行R、G、B三通道分离，利用朗伯体BRDF等式得到法线方向和反射光方向的关系；通过反射光求得法线空间坐标映射到RGB通道而得到漫反射法线图。
2.根据权利要求1所述的基于漫反射梯度偏振光构建三维人脸法线的方法，其特征在于，步骤1中，人脸在灯光球照明装置中心，在四周都布置有照明，将中心点作为原点建立坐标系，坐标轴为X、Y、Z轴，打开一侧X轴方向的灯光亮度由强变弱，在人脸形成渐变光，然后在照明灯和相机镜头前放置偏振片，调整偏振片角度，使得灯光偏振方向和镜头入射光的偏振方向垂直，并拍摄图像；改变单侧光照射方向总共获取X、Y、Z三个方向的梯度偏振光图像；将图像做好标记作为求解漫反射法线的数据源。
3.根据权利要求1所述的基于漫反射梯度偏振光构建三维人脸法线的方法，其特征在于，步骤2中，对拍摄的图像进行辐射校正，使得辐射域在相同的范围内；设定阈值去除图像中高亮部分； 最后对图像进行对比度增强。
4.根据权利要求1所述的基于漫反射梯度偏振光构建三维人脸法线的方法，其特征在于，步骤4中，根据全亮光的照片的RGB三通道的亮度均值来确定三个通道法线图融合比例；将三通道的法线图融合成一张漫反射法线图。
5.根据权利要求1所述的基于漫反射梯度偏振光构建三维人脸法线的方法，其特征在于，步骤5中，用照相机拍摄物体其他角度的梯度光照图像，按照上述1-4步骤完成其他角度的漫反射法线图，然后进行特征提取和特征匹配，依照重叠区域的同名点进行拼接融合，形成三维立体法线模型。
CN201910221624.9A 2019-03-22 2019-03-22 一种基于漫反射梯度偏振光构建三维人脸法线的方法 Active CN110033509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910221624.9A CN110033509B (zh) 2019-03-22 2019-03-22 一种基于漫反射梯度偏振光构建三维人脸法线的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910221624.9A CN110033509B (zh) 2019-03-22 2019-03-22 一种基于漫反射梯度偏振光构建三维人脸法线的方法

Publications (2)

Publication Number Publication Date
CN110033509A CN110033509A (zh) 2019-07-19
CN110033509B true CN110033509B (zh) 2023-03-31

Family

ID=67236441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910221624.9A Active CN110033509B (zh) 2019-03-22 2019-03-22 一种基于漫反射梯度偏振光构建三维人脸法线的方法

Country Status (1)

Country Link
CN (1) CN110033509B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112687009B (zh) * 2020-12-29 2021-09-14 四川大学 一种三维人脸表示方法及其参数测量装置及方法
CN112700527B (zh) * 2020-12-29 2023-09-26 嘉兴超维信息技术有限公司 一种计算物体表面粗糙度贴图的方法
CN113362440B (zh) * 2021-06-29 2023-05-26 成都数字天空科技有限公司 一种材质贴图获取方法、装置、电子设备及存储介质
CN113450444B (zh) * 2021-07-09 2023-03-24 网易（杭州）网络有限公司 生成光照贴图的方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007029446A1 (ja) * 2005-09-01 2007-03-15 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像処理装置及び画像処理プログラム
CN106600712A (zh) * 2016-12-20 2017-04-26 南京大学 一种基于二维图像的纹理替换方法
CN108765550A (zh) * 2018-05-09 2018-11-06 华南理工大学 一种基于单张图片的三维人脸重建方法
CN109191560A (zh) * 2018-06-29 2019-01-11 西安电子科技大学 基于散射信息校正的单目偏振三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008156907A2 (en) * 2007-04-17 2008-12-24 University Of Southern California Acquisition of surface normal maps from spherical gradient illumination

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007029446A1 (ja) * 2005-09-01 2007-03-15 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像処理装置及び画像処理プログラム
CN106600712A (zh) * 2016-12-20 2017-04-26 南京大学 一种基于二维图像的纹理替换方法
CN108765550A (zh) * 2018-05-09 2018-11-06 华南理工大学 一种基于单张图片的三维人脸重建方法
CN109191560A (zh) * 2018-06-29 2019-01-11 西安电子科技大学 基于散射信息校正的单目偏振三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
一种基于偏振解析的三维表面重建方法;岳春敏等;《应用光学》;20081115(第06期);全文 *
基于网格变形的从图像重建三维人脸;董洪伟;《计算机辅助设计与图形学学报》;20120715(第07期);全文 *

Also Published As

Publication number Publication date
CN110033509A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN110033509B (zh) 一种基于漫反射梯度偏振光构建三维人脸法线的方法
US11257286B2 (en) Method for rendering of simulating illumination and terminal
CN107945267B (zh) 一种用于人脸三维模型纹理融合的方法和设备
US20200058153A1 (en) Methods and Devices for Acquiring 3D Face, and Computer Readable Storage Media
CN102096941B (zh) 虚实融合环境下的光照一致性方法
CN100594519C (zh) 用球面全景摄像机实时生成增强现实环境光照模型的方法
KR100681320B1 (ko) 헬름홀츠 교환조건으로부터 유도되는 편미분 방정식의레벨셋 풀이 방법을 이용한 물체의 3차원 형상 모델링 방법
CN106558017B (zh) 球形显示图像处理方法及***
CN107330964B (zh) 一种复杂三维物体的显示方法及***
CN107644453B (zh) 一种基于物理着色的渲染方法及***
CN112316420A (zh) 模型渲染方法、装置、设备及存储介质
CN113345063B (zh) 基于深度学习的pbr三维重建方法、***与计算机存储介质
WO2023284713A1 (zh) 一种三维动态跟踪方法、装置、电子设备和存储介质
CN112819941B (zh) 渲染水体面的方法、装置、设备和计算机可读存储介质
WO2024007478A1 (zh) 基于单手机的人体三维建模数据采集与重建方法及***
KR20120064641A (ko) 영상 처리 장치, 조명 처리 장치 및 그 방법
CN110084873B (zh) 用于渲染三维模型的方法和装置
Castelán et al. Acquiring height data from a single image of a face using local shape indicators
CN113888694A (zh) 一种基于sdf场可微渲染的透明物体重建的方法及***
CN110021067B (zh) 一种基于镜面反射梯度偏振光构建三维人脸法线的方法
Tyle_ek et al. Refinement of surface mesh for accurate multi-view reconstruction
Sun et al. SOL-NeRF: Sunlight modeling for outdoor scene decomposition and relighting
US11410378B1 (en) Image processing for generating three-dimensional shape and spatially-varying reflectance of the object using a deep neural network
Gigilashvili et al. Appearance manipulation in spatial augmented reality using image differences
Inose et al. Refining outdoor photometric stereo based on sky model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant