CN107194995A - 一种快速构建真实三维人物模型的方法 - Google Patents
一种快速构建真实三维人物模型的方法 Download PDFInfo
- Publication number
- CN107194995A CN107194995A CN201710560406.9A CN201710560406A CN107194995A CN 107194995 A CN107194995 A CN 107194995A CN 201710560406 A CN201710560406 A CN 201710560406A CN 107194995 A CN107194995 A CN 107194995A
- Authority
- CN
- China
- Prior art keywords
- normal map
- texture mapping
- model
- true
- person model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/30—Polynomial surface description
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Graphics (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明所提供的一种快速构建真实三维人物模型的方法,包括步骤:A、通过手机或其他拍照设备获取正面人物头像图片,并上传到服务器,服务器会根据将原图中的人物头像图片进行特征提取,并根据提取的人物特征信息生成一张细节丰富的法线贴图;B、利用准备好的、具有丰富骨骼信息的人物模型,调整骨骼的物理属性,进而调整人物模型身体的表现状态;C、根据通用模型的脸部纹理进行贴图,生成可以控制肢体的、逼真的三维人物模型。
Description
技术领域
本发明涉及一种快速构建真实三维人物模型的方法。
背景技术
虚拟现实技术是仿真技术的一个重要方向。虚拟现实技术主要包括模拟环境、感知、自然技能等方面。
模拟人物是由计算机生成的、实时动态的三维立体逼真模型。
感知是指理想的VR应该具有一切人所具有的感知。自然技能是指人的头部转动,眼睛、手势、或其他人体行为动作,由计算机来处理与参与者的动作相适应的数据,并对用户的输入作出实时响应,并分别反馈到用户的五官。传感设备是指三维交互设备。
然而,在虚拟现实技术中,如何实现环境、感知、自然技能的完美融合,即如何使虚拟视觉达到以假乱真的效果,则是该领域又一难题。
发明内容
有鉴于此,本发明的主要目的在于,提供一种快速构建真实三维人物模型的方法,包括步骤:
A、通过手机或其他拍照设备获取正面人物头像图片1,并上传到服务器,服务器会根据将原图中的人物头像图片进行特征提取,并根据提取的人物特征信息生成一张细节丰富的法线贴图2;
B、利用准备好的、具有丰富骨骼信息的人物模型3,调整骨骼的物理属性4,进而调整人物模型身体的表现状态5;
C、根据通用模型的脸部纹理进行贴图6,生成可以控制肢体的、逼真的三维人物模型。
由上,依据所生成的法线贴图和纹理贴图,重塑人物脸部模型加之自定义的肢体,以使用户有逼真的视觉效果。
可选的,步骤A包括:
1.人脸空间的建立
将一幅人脸图像用一个N维向量Γ表示,表示为N个像素点。协方差矩阵C的正交特征向量就是组成人脸空间的基向量,即特征脸。
将特征值由大到小排列:λ1≥λ2≥...≥λr,其对应的特征向量为μk。这样每一幅人脸图像都可以投影到由u1,u2,...,ur张成的子空间中。因此,每一幅人脸图像对应于子空间中的一点。同样,子空间的任意一点也对应于一幅图像;
2.图像主成分的选取
主成分C1,C2,……,Cp分具有如下几个性质:
1)主成分间互不相关,对任意i和j,Ci和Cj的相关系数
Corr(Ci,Cj)=0 i≠j
2)组合系数(ai1,ai2,……,aip)构成的向量为单位向量
3)各主成分的方差是依次递减的,即
Var(C1)≥Var(C2)≥……≥Var(Cp)
4)总方差不增不减,即
Var(C1)+Var(C2)+……+Var(Cp)
=Var(x1)+Var(x1)+……+Var(xp)=p
这一性质说明,主成分是原变量的线性组合,是对原变量信息的一种改组,主成分不增加总信息量,也不减少总信息量。
5)主成分和原变量的相关系数Corr(Ci,Cj)=aij=aji
6)X1,X2,……,Xp的相关矩阵为R,ai1,ai2,……,aip则是相关矩阵R的第i个特征向量。而且,特征值i就是第i主成分的方差,即
Var(Ci)=λi
其中i为相关矩阵R的第i个特征值
λ1≥λ2≥……≥λp≥0
3.人脸识别
计算该图像中任意位置处的局部图像与人脸空间之间的距离ε。其中,ε是局部图像是否为人脸的度量。因此,计算给定图像任意一点上的ε,就可以得到一映射图ε (x,y)。
可选的,步骤C包括:
一、纹理贴图处理步骤:
1.将原有的纹理贴图中脸部部分进行剔除;
2.对用户上传的人物照片进行脸部识别,并将脸部识别区域进行抠取,并合并到1中的纹理贴图中;
3.由于原有纹理贴图与模型的UV存在对应关系,所以贴合时,新贴图的贴合位置相对模型是固定的。
二、法线贴图处理步骤:
1.将原有的法线贴图中脸部部分进行剔除;
2.将生成的法线贴图合并到1中的法线贴图中;
3.由于原有法线贴图与模型的UV存在对应关系,所以贴合时,新贴图的贴合位置是相对模型是固定的。
附图说明
图1为本发明快速构建真实三维人物模型的方法的流程图;
图2为HOG特征提取示意图;
图3为一个block单元HOG特征提取图;
图4为生成法线贴图的示意图;
图5为合成新纹理贴图和法线贴图的原理示意图;
图6为基于AW-HOW特征的人脸识别方法示意图;
图7为快速构建三维人物模型的流程图。
具体实施方式
为克服现有技术存在的缺陷,本发明提供一种快速构建真实三维人物模型的方法,依据原有贴图信息,合成新的贴图信息,以使用户有逼真的视觉效果。
如图1所示,快速构建真实三维人物模型的方法包括以下步骤:
S10:依据对上传的图片进行人脸识别和特征提取。
首先将人脸图像划分为重合度(overlap)为1/2的若干个统一的均匀小块(block),并将每个block划分为若干个互不重叠的单元(cell),分割完成之后对每个单元进行操作。在每个单元内计算各个像素点的梯度方向和幅值,然后将梯度方向均匀划分为若干个方向,通过统计cell上各方向的直方图特征从而得到该cell的梯度直方图,进一步获取每个block的梯度直方图特征,最后级联整幅图像所有的block的特征得到图像的全局HOG特征,其具体步骤如下:
Step1:确定一个大小为n×n的互动采样窗口(即为block),用于在整幅人脸图像
上进行滑动以提取人脸图像的HOG特征;
Step2:将n×n大小的block分为4个均匀小块cell,以cell为单位,在每个cell 上根据以下公式分别计算出每个像素点的梯度方向以及幅值;
在上式中,I(x,y)是人脸图像上像素点(x,y)的灰度值,m(x,y)为该像素的梯度幅值,θ(x,y)为该像素的梯度方向。图3给出了一个block(n=8),中各像素点的梯度示意图,箭头代表梯度方向,长度代表梯度幅值;
Step3:将梯度方向均匀划分为m个有符号方向(m=8)并将统一单元上所有梯度方向相同的像素的梯度幅值按照高斯权重进行累加,得到cell上的m维梯度方向直方图;
Step4:求出一个block内4个cell的梯度方向直方图,再将4个m维梯度方向直方图级联成4×m维直方图以表达一个block区域的HOG特征;
Step5:按照以下公式,将block区域的4×m维梯度直方图进行一次L2-norm标准化。
其中V为标准化前的HOG特征,Vk为k-norm运算,ε是一个极小值;
Step6:在整个人脸图像中滑动block窗口完成整幅图像所有block的标准化梯度直方图提取。将所有标准化后的直方图向量重新组成一个4m×h维矩阵,用于表达人脸图像的HOG特征。其中4m为一个 block的梯度直方图的维数,h为人脸图像中所有block的个数。
S20:生成新的纹理贴图和法线贴图。
先根据纹理贴图生成灰度图,这里可以把灰度图近似看做高度图,因为黑色是0,白色是255,颜色越黑说明位置越低-照不到光,颜色越白说明位置越高,然后再根据近似的高度图生成法线图,具体做法是取得每个像素周围8个像素的高度,经过sobel梯度算子处理得到x,y值,z取255,再对(x,y,z)进行normalize处理,得到分量范围在[-1,1]之间的单位法线向量,再把该法线向量转化为颜色值(xyz分别对应rgb),这样得到的图像就是法线图。
S30:裁剪旧的贴图并与新的贴图进行合并。
如图5所示,将生成的纹理贴图以及法线贴图进行等比例放缩,然后与裁剪过的贴图进行融合,生成新的纹理贴图及法线贴图。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明。总之,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种快速构建真实三维人物模型的方法,包括步骤:
A、通过手机或其他拍照设备获取正面人物头像图片(1),并上传到服务器,服务器会根据将原图中的人物头像图片进行特征提取,并根据提取的人物特征信息生成一张细节丰富的法线贴图(2);
B、利用准备好的、具有丰富骨骼信息的人物模型(3),调整骨骼的物理属性(4),进而调整人物模型身体的表现状态(5);
C、根据通用模型的脸部纹理进行贴图(6),生成可以控制肢体的、逼真的三维人物模型。
2.根据权利要求1所述的方法,其特征在于:
对正面人物头像进行特征提取,建立人脸空间,并在其空间中选取图像的主要成分并进行提取,生成详细丰富的法线贴图和纹理贴图。
3.根据权利要求2所述的方法,其特征在于:
将新生成的法线贴图与纹理贴图与原有的纹理贴图和法线贴图进行合并,合并方式为将原有的纹理贴图和法线贴图分为可替换部分和不可替换部分,将新生成的法线贴图与纹理贴图替换掉可替代部分的图像内容,合并成新的纹理贴图与法线贴图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710560406.9A CN107194995A (zh) | 2017-07-11 | 2017-07-11 | 一种快速构建真实三维人物模型的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710560406.9A CN107194995A (zh) | 2017-07-11 | 2017-07-11 | 一种快速构建真实三维人物模型的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107194995A true CN107194995A (zh) | 2017-09-22 |
Family
ID=59881976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710560406.9A Pending CN107194995A (zh) | 2017-07-11 | 2017-07-11 | 一种快速构建真实三维人物模型的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107194995A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171784A (zh) * | 2017-12-22 | 2018-06-15 | 福建省天奕网络科技有限公司 | 一种渲染方法及终端 |
CN109447040A (zh) * | 2018-12-04 | 2019-03-08 | 深圳市诺信连接科技有限责任公司 | Vr影像在教育***的应用方法及vr |
CN109615958A (zh) * | 2018-12-04 | 2019-04-12 | 深圳市诺信连接科技有限责任公司 | 交互式vr影像的处理方法及vr |
CN110197154A (zh) * | 2019-05-30 | 2019-09-03 | 汇纳科技股份有限公司 | 融合部位纹理三维映射的行人重识别方法、***、介质及终端 |
CN111192201A (zh) * | 2020-04-08 | 2020-05-22 | 腾讯科技(深圳)有限公司 | 一种生成人脸图像及其模型训练的方法、装置及电子设备 |
CN112819932A (zh) * | 2021-02-24 | 2021-05-18 | 上海莉莉丝网络科技有限公司 | 一种三维数字内容的制作方法、***及计算机可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101324961A (zh) * | 2008-07-25 | 2008-12-17 | 上海久游网络科技有限公司 | 计算机虚拟世界中人脸部三维贴图方法 |
CN101968892A (zh) * | 2009-07-28 | 2011-02-09 | 上海冰动信息技术有限公司 | 根据一张人脸照片自动调整三维人脸模型的方法 |
CN103021023A (zh) * | 2012-12-05 | 2013-04-03 | 上海创图网络科技发展有限公司 | 一种基于浏览器的三维场景构建方法 |
-
2017
- 2017-07-11 CN CN201710560406.9A patent/CN107194995A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101324961A (zh) * | 2008-07-25 | 2008-12-17 | 上海久游网络科技有限公司 | 计算机虚拟世界中人脸部三维贴图方法 |
CN101968892A (zh) * | 2009-07-28 | 2011-02-09 | 上海冰动信息技术有限公司 | 根据一张人脸照片自动调整三维人脸模型的方法 |
CN103021023A (zh) * | 2012-12-05 | 2013-04-03 | 上海创图网络科技发展有限公司 | 一种基于浏览器的三维场景构建方法 |
Non-Patent Citations (1)
Title |
---|
梁海燕: "基于Kinect动作驱动的三维细微面部表情实时模拟", 《中国优秀硕士学位论文全文数据库电子期刊 信息科技辑》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171784A (zh) * | 2017-12-22 | 2018-06-15 | 福建省天奕网络科技有限公司 | 一种渲染方法及终端 |
CN108171784B (zh) * | 2017-12-22 | 2021-06-01 | 福建省天奕网络科技有限公司 | 一种渲染方法及终端 |
CN109447040A (zh) * | 2018-12-04 | 2019-03-08 | 深圳市诺信连接科技有限责任公司 | Vr影像在教育***的应用方法及vr |
CN109615958A (zh) * | 2018-12-04 | 2019-04-12 | 深圳市诺信连接科技有限责任公司 | 交互式vr影像的处理方法及vr |
CN110197154A (zh) * | 2019-05-30 | 2019-09-03 | 汇纳科技股份有限公司 | 融合部位纹理三维映射的行人重识别方法、***、介质及终端 |
CN111192201A (zh) * | 2020-04-08 | 2020-05-22 | 腾讯科技(深圳)有限公司 | 一种生成人脸图像及其模型训练的方法、装置及电子设备 |
CN112819932A (zh) * | 2021-02-24 | 2021-05-18 | 上海莉莉丝网络科技有限公司 | 一种三维数字内容的制作方法、***及计算机可读存储介质 |
CN112819932B (zh) * | 2021-02-24 | 2022-11-22 | 上海莉莉丝网络科技有限公司 | 一种三维数字内容的制作方法、***及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107194995A (zh) | 一种快速构建真实三维人物模型的方法 | |
CN111344712B (zh) | 用于图像去标识的***和方法 | |
CN107358648B (zh) | 基于单张人脸图像的实时全自动高质量三维人脸重建方法 | |
CN108305312B (zh) | 3d虚拟形象的生成方法和装置 | |
EP3937124A1 (en) | Image processing method, device and apparatus, and storage medium | |
CN111754396B (zh) | 脸部图像处理方法、装置、计算机设备和存储介质 | |
CN109952594B (zh) | 图像处理方法、装置、终端及存储介质 | |
CN112766160A (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
KR101141643B1 (ko) | 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법 | |
DE112018007721T5 (de) | Aufnehmen und modifizieren von 3D-Gesichtern unter Verwendung neuronaler Bild-und Zeitverfolgungsnetze | |
CN112819947A (zh) | 三维人脸的重建方法、装置、电子设备以及存储介质 | |
CN107993216A (zh) | 一种图像融合方法及其设备、存储介质、终端 | |
CN105354248A (zh) | 基于灰度的分布式图像底层特征识别方法及*** | |
CN109685713B (zh) | 化妆模拟控制方法、装置、计算机设备及存储介质 | |
US11587288B2 (en) | Methods and systems for constructing facial position map | |
CN111553284A (zh) | 人脸图像处理方法、装置、计算机设备和存储介质 | |
CN111091075A (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
CN108537126A (zh) | 一种人脸图像处理***及方法 | |
CN103425964A (zh) | 图像处理设备、图像处理方法及计算机程序 | |
CN113570684A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN113449704B (zh) | 人脸识别模型训练方法、装置、电子设备及存储介质 | |
WO2023020358A1 (zh) | 面部图像处理方法、面部图像处理模型的训练方法、装置、设备、存储介质及程序产品 | |
US11417053B1 (en) | Methods and systems for forming personalized 3D head and facial models | |
US9208606B2 (en) | System, method, and computer program product for extruding a model through a two-dimensional scene | |
KR20230085931A (ko) | 얼굴 이미지에서 색상을 추출하기 위한 방법 및 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170922 |
|
WD01 | Invention patent application deemed withdrawn after publication |