CN110796075A - 人脸多样性数据获取方法、装置、设备及可读存储介质 - Google Patents
人脸多样性数据获取方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN110796075A CN110796075A CN201911035247.6A CN201911035247A CN110796075A CN 110796075 A CN110796075 A CN 110796075A CN 201911035247 A CN201911035247 A CN 201911035247A CN 110796075 A CN110796075 A CN 110796075A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- model
- face
- original
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000008921 facial expression Effects 0.000 claims abstract description 269
- 230000001815 facial effect Effects 0.000 claims abstract description 79
- 238000012549 training Methods 0.000 claims description 136
- 239000013598 vector Substances 0.000 claims description 83
- 230000014509 gene expression Effects 0.000 claims description 54
- 238000011176 pooling Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 46
- 238000002372 labelling Methods 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种人脸多样性数据获取方法、装置、设备及可读存储介质,所述人脸多样性数据获取方法包括:获取人脸表情模板,并生成所述人脸表情模板对应的三维人脸表情模板,接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型,基于多种相机配置,对所述三维人脸表情模型进行模拟拍照,生成至少一个二维人脸图像。本发明解决了人脸数据多样性差的技术问题。
Description
技术领域
本发明涉及金融科技的神经网络技术领域,尤其涉及一种人脸多样性数据获取方法、装置、设备及可读存储介质。
背景技术
随着金融科技,尤其是互联网科技金融的不断发展,越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域,但金融业也对技术提出了更高的要求,如对金融业对应待办事项的分发也有更高的要求。
随着人工智能的快速发展,基于人脸检测和识别的人工智能近几年正迅速的应用于各行各业,在现有技术中,通常将个体拍摄的一张或是几张照片的人脸特征作为人脸检测和识别算法的模板比对数据,但该方法会导致人脸识别的表情和角度单一,进而会导致若待识别人脸出现脸部角度过大或待识别人脸的人脸特征在收集的模板比对数据里面没有出现时,无法检测和识别待识别人脸,也即,模板比对数据缺少多样性,进而导致无法检测和识别待识别人脸,所以,现有技术中存在人脸数据多样性差的技术问题。
发明内容
本发明的主要目的在于提供一种人脸多样性数据获取方法、装置、设备和可读存储介质介质,旨在解决现有技术中人脸数据多样性差的技术问题。
为实现上述目的,本发明实施例提供一种人脸多样性数据获取方法,所述人脸多样性数据获取方法应用于人脸多样性数据获取设备,所述人脸多样性数据获取方法包括:
获取人脸表情模板,并生成所述人脸表情模板对应的三维人脸表情模板;
接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型;
基于多种相机配置,对所述三维人脸表情模型进行模拟拍照,生成至少一个二维人脸图像。
可选地,所述三维人脸表情模型包括三维人脸特征点和三维人脸特征区域,
所述基于多种相机配置,对所述三维人脸表情模型进行模拟拍照,生成至少一个二维人脸图像之后包括:
基于相机成像原理,获取各所述相机配置对应的成像参数;
基于所述成像参数、所述三维人脸特征点以及所述三维人脸特征区域,计算所述二维人脸图像对应的二维相似人脸特征点和二维相似人脸特征区域。
可选地,所述接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型的步骤之后包括:
对所述原始三维人脸模型进行特征点标注和特征区域标注,获得三维原始人脸特征点和三维原始人脸特征区域;
基于所述三维原始人脸特征点和所述三维人脸特征区域,通过相似点匹配算法对不同表情的所述三维人脸表情模型进行标注,获得三维相似人脸特征点和三维相似人脸特征区域。
可选地,所述将所述原始三维人脸模型和所述三维人脸表情模板输入预设三维人脸表情生成器,获得三维人脸表情模型的步骤包括:
将所述原始三维人脸模型和所述三维人脸表情模板输入所述三维人脸表情模型生成器,对所述原始三维人脸模型和所述三维人脸表情模板进行编码,获得编码结果;
对所述编码结果进行解码,获得所述三维人脸表情模型。
可选地,所述对所述原始三维人脸模型和所述三维人脸表情模板进行编码,获得编码结果的步骤包括:
对所述原始三维人脸模型和所述三维人脸表情模板进行预设次数的卷积和池化交替处理,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组;
将所述模板特征向量组和所述初始特征向量组进行拼接,获得所述编码结果。
可选地,所述对所述原始三维人脸模型和所述三维人脸表情模板进行预设次数的卷积和池化交替处理,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组的步骤包括:
将所述原始三维人脸模型和所述三维人脸表情模板输入卷积神经网络模型,以获取所述原始三维人脸模型和所述三维人脸表情模板的共同对应的多个权值矩阵;
基于所述多个权值矩阵,对所述原始三维人脸模型和所述三维人脸表情模板进行卷积处理,获得卷积处理结果;
对所述卷积处理结果进行池化处理,获得池化处理结果;
基于所述预设次数,重复对所述池化处理结果进行卷积与池化交替处理,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组。
可选地,所述接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型的步骤之前包括:
获取基础训练模型和训练数据,其中,所述预设训练数据包括训练三维人脸模型和训练表情模板以及第一训练结果;
将所述训练三维人脸模型和所述训练表情模板输入所述基础训练模型,以对所述训练三维人脸模型和所述训练表情模板进行编码和解码,获得第二训练结果;
将所述第一训练结果与所述第二训练结果进行对比,获得模型损失值;
基于所述模型损失值,对所述基础训练模型进行更新,直至所述模型损失值小于预设模型损失阀值,获得所述三维人脸表情生成器。
本发明还提供一种人脸多样性数据获取装置,所述人脸多样性数据获取装置应用于人脸多样性数据获取设备,所述人脸多样性数据获取装置包括:
第一生成模块,用于所述获取人脸表情模板,并生成所述人脸表情模板对应的三维人脸表情模板;
第二生成模块,用于所述接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型;
模拟拍照模块,用于所述基于多种相机配置,对所述三维人脸表情模型进行模拟拍照,生成至少一个二维人脸图像。
可选地,所述人脸多样性数据获取装置包括:
第一获取模块,用于所述基于相机成像原理,获取各所述相机配置对应的成像参数;
计算模块,用于所述基于所述成像参数和所述三维人脸特征点以及所述三维人脸特征区域,计算所述二维人脸图像对应的二维相似人脸特征点和二维相似人脸特征区域。
可选地,所述人脸多样性数据获取装置还包括:
第一标注模块,用于所述对所述原始三维人脸模型进行特征点标注和特征区域标注,获得三维原始人脸特征点和三维原始人脸特征区域;
第二标注模块,用于所述基于所述三维原始人脸特征点和所述三维人脸特征区域,通过预设相似点匹配算法对不同表情的所述三维人脸表情模型进行标注,获得三维相似人脸特征点和三维相似人脸特征区域。
可选地,所述第二生成模块包括:
编码子模块,用于将所述将所述原始三维人脸模型和所述三维人脸表情模板输入所述三维人脸表情模型生成器,对所述原始三维人脸模型和所述三维人脸表情模板进行编码,获得编码结果;
解码子模块,用于所述对所述编码结果进行解码,获得所述三维人脸表情模型。
可选地,所述编码子模块包括:
卷积和池化单元,用于所述对所述原始三维人脸模型和所述三维人脸表情模板进行预设次数的卷积和池化交替处理,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组;
拼接单元,用于所述将所述模板特征向量组和所述初始特征向量组进行拼接,获得所述编码结果。
可选地,所述卷积和池化单元包括:
获取子单元,用于所述将所述原始三维人脸模型和所述三维人脸表情模板输入卷积神经网络模型,以获取所述原始三维人脸模型和所述三维人脸表情模板的共同对应的多个权值矩阵;
卷积子单元,用于所述基于所述多个权值矩阵,对所述原始三维人脸模型和所述三维人脸表情模板进行卷积处理,获得卷积处理结果;
池化子单元,用于所述对所述卷积处理结果进行池化处理,获得池化处理结果;
重复子单元,用于所述基于所述预设次数,重复对所述池化处理结果进行卷积与池化交替处理,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组。
可选地,所述人脸多样性数据获取装置还包括:
第二获取模块,用于所述获取基础训练模型和训练数据,其中,所述预设训练数据包括训练三维人脸模型和训练表情模板以及第一训练结果;
输出模块,用于所述将所述训练三维人脸模型和所述训练表情模板输入所述基础训练模型,以对所述训练三维人脸模型和所述训练表情模板进行编码和解码,获得第二训练结果;
对比模块,用于所述将所述第一训练结果与所述第二训练结果进行对比,获得模型损失值;
调整模块,用于所述基于所述模型损失值,对所述基础训练模型进行更新,直至所述模型损失值小于预设模型损失阀值,获得所述三维人脸表情生成器。
本发明还提供一种人脸多样性数据获取设备,所述人脸多样性数据获取设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述人脸多样性数据获取方法的程序,所述人脸多样性数据获取方法的程序被处理器执行时可实现如上述的人脸多样性数据获取方法的步骤。
本发明还提供一种可读存储介质,所述可读存储介质上存储有实现人脸多样性数据获取方法的程序,所述人脸多样性数据获取方法的程序被处理器执行时实现如上述的人脸多样性数据获取方法的步骤。
本申请首先获取人脸表情模板,并生成所述人脸表情模板对应的三维人脸表情模板,进而接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型,最后基于多种相机配置,对所述三维人脸表情模型进行模拟拍照,生成至少一个二维人脸图像。也即,本申请首先进行人脸表情模板的获取,进而进行所述预设人脸表情模板对应的三维人脸表情模板的生成,进而在接收原始三维人脸模型之后,通过将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,进行三维人脸表情模型的获取,进一步地,基于多种相机配置,进行对所述三维人脸表情模型的模拟拍照,生成至少一个二维人脸图像。也即,基于不同表情的人脸表情模板,本申请可获取不同表情的三维人脸表情模板,进而将所述原始三维人脸模型和各所述三维人脸表情模板输入预设三维人脸表情生成器,获得不同表情的三维人脸表情模型,进而通过对各三维人脸表情模型进行多种相机配置的模拟拍照,可获得不同表情的多种二维人脸图像,使得人脸识别和检测的表情和角度均具有极强的多样性,所以,解决了现有技术中人脸数据多样性差的技术问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明人脸多样性数据获取方法第一实施例的流程示意图;
图2为本发明人脸多样性数据获取方法中原始三维人脸模型和三维人脸表情模型的示意图;
图3为本发明人脸多样性数据获取方法中通过预设相似点匹配算法对不同表情的所述三维人脸表情模型进行批量标注的效果图;
图4为本发明人脸多样性数据获取方法中进行模拟拍照的示意图;
图5为本发明人脸多样性数据获取方法中获取二维相似人脸特征点和二维相似人脸特征区域的示意图;
图6为本发明人脸多样性数据获取方法第二实施例的流程示意图;
图7为本发明人脸多样性数据获取方法第三实施例的流程示意图;
图8是本发明实施例方法涉及的硬件运行环境的设备结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明提供一种人脸多样性数据获取方法,所述人脸多样性数据获取方法应用于人脸多样性数据获取设备,在本申请人脸多样性数据获取方法的第一实施例中,参照图1,所述人脸多样性数据获取方法包括:
步骤S10,获取人脸表情模板,并生成所述人脸表情模板对应的三维人脸表情模板;
在本实施例中,需要说明的是,所述人脸表情模板为预先设置好的一系列的不同表情的二维人脸图像,其中,所述不同表情包括悲伤、中立、愤怒、轻蔑、厌恶、惊讶、恐惧和快乐等,所述人脸表情模板可通过摄像设备拍摄获取或者从预设人脸表情模板存储数据库中提取。
获取人脸表情模板,并生成所述人脸表情模板对应的三维人脸表情模板,具体地,将所述人脸表情模板对应的二维图像输入预设三维图像重建模型,生成所述预设人脸表情模板对应的三维人脸表情模板,其中,所述预设三维图像重建模型是基于深度学习训练好的神经网络模型,向所述预设三维图像重建模型输入二维图像,即可输出所述二维图像对应的三维模型。
步骤S20,接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型;
在本实施例中,需要说明的是,所述原始三维人脸模型可通过预设硬件设备或是预设三维建模算法获取,例如,通过多个摄像头同时拍摄同一个人脸,进而通过3维重建技术获得人脸的原始三维人脸模型,或者通过一台深度摄像机捕获人脸上每个点的深度信息,从而重构出原始三维人脸模型,所述三维人脸表情生成器是预先基于深度学习训练好的神经网络模型,如图2所示,图2中最左侧三维模型为原始三维人脸模型,其余三维模型为不同表情的三维人脸表情模型。
接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型,具体地,接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,以分别将所述原始三维人脸模型和所述三维人脸表情模板输入同一预设卷积神经网络,对所述原始三维人脸模型和所述三维人脸表情模板进行降采样,其中,所述降采样包括池化处理等,获得所述两个向量组,其中,各所述向量组包括所述原始三维人脸模型和所述三维人脸表情模板的所有特征信息,进而将所述两个向量组中对应的元素进行对应拼接,其中,两个向量组中的元素是一一对应的,进而获得拼接向量组,最后对所述拼接向量组进行上采样,其中,所述上采样包括反卷积和反池化等,进而获得三维人脸表情模型
其中,所述接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型的步骤之后包括:
步骤A10,对所述原始三维人脸模型进行特征点标注和特征区域标注,获得三维原始人脸特征点和三维原始人脸特征区域;
在本实施例中,需要说明的是,所述三维原始人脸特征点指的是人脸上的特征点,例如眼角点、鼻尖点等,所述三维原始人脸特征区域指的是人脸上的特征区域,例如,眼睛区域、嘴巴区域等。
对所述原始三维人脸模型进行特征点标注和特征区域标注,获得三维原始人脸特征点和三维原始人脸特征区域,具体地,通过设置标签对所述原始三维人脸模型进行特征点标注和特征区域标注,获得标签覆盖区域,也即,获得三维原始人脸特征点和三维原始人脸特征区域,其中,所述标签包括颜色标签、图案标签等。
步骤A20,基于所述三维原始人脸特征点和所述三维人脸特征区域,通过相似点匹配算法对不同表情的所述三维人脸表情模型进行标注,获得三维相似人脸特征点和三维相似人脸特征区域。
在本实施例中,需要说明的是,所述相似点匹配算法是预先设置好的匹配算法。
基于所述三维原始人脸特征点和所述三维人脸特征区域,通过相似点匹配算法对不同表情的所述三维人脸表情模型进行标注,获得三维相似人脸特征点和三维相似人脸特征区域,具体地,基于所述三维原始人脸特征点和所述三维人脸特征区域,通过预设相似点匹配算法匹配所述三维人脸表情模型中的具有最高相似度的特征点和特征区域,也即,分别匹配与所述三维原始人脸特征点和所述三维人脸特征区域相似度最高的所述三维原始人脸特征点和所述三维人脸特征区域,进而对不同表情所述三维人脸表情模型的具有最高相似度的特征点和特征区域进行批量标注,获得三维相似人脸特征点和三维相似人脸特征区域,如图3所示,为通过预设相似点匹配算法对不同表情的所述三维人脸表情模型进行批量标注的效果图,其中,图3中左侧三维模型为原始三维人脸模型,右侧图为不同表情的三维人脸表情模型。
步骤S30,基于多种相机配置,对所述三维人脸表情模型进行模拟拍照,生成至少一个二维人脸图像。
在本实施例中,需要说明的是,所述相机配置包括旋转角度R和平移距离t以及相机的焦距f等,且所述相机配置是预先设置好的参数,且基于多种相机配置,对所述三维人脸表情模型进行模拟拍照,可同时生成多张不同拍照角度的二维人脸图像,也可先生成一张基本二维图像,进而基于所述基本二维图像生成其他角度的二维图像。
基于多种相机配置,对所述三维人脸表情模型进行模拟拍照,生成至少一个二维人脸图像,如图4所示为模拟拍照的示意图,图中包括三维人脸表情模型和多个不同相机配置的虚拟相机,具体地,首先确定所述三维人脸表情模型中每一组成点的世界坐标系下的第一坐标(Xw,Yw,Zw),进而基于旋转角度和平移距离,通过以下变换公式确定所述组成点在相机坐标系下的第二坐标(Xc,Yc,Zc),进一步地,基于相机的焦距,通过以下投影公式计算二维人脸图像上每一点的坐标(Xu,Yu),也即,基于多种预设相机配置,对所述三维人脸表情模型进行模拟拍照,批量生成二维人脸图像。
Xc=R*Xw+t
Yc=R*Yw+t
Zc=R*Zw+t
Xu=f*Xc/Zc
Yu=f*Yc/Zc
其中,所述三维人脸表情模型包括三维人脸特征点和三维人脸特征区域,
所述基于多种相机配置,对所述三维人脸表情模型进行模拟拍照,生成至少一个二维人脸图像之后包括:
步骤B10,基于相机成像原理,获取各所述预设相机配置对应的成像参数;
在本实施例中,需要说明的是,所述成像参数是与相机成像原理相关的参数,其中,所述相机成像原理包括所述变换公式和投影公式等,所述成像参数包括旋转角度和平移距离以及相机的焦距等。
基于预设相机成像原理,获取各所述预设相机配置对应的成像参数,具体地,基于所述变换公式和投影公式,获取所述旋转角度和所述平移距离以及所述相机的焦距。
步骤B20,基于所述成像参数和所述三维原始人脸特征点以及所述三维人脸特征区域,计算所述二维人脸图像对应的二维相似人脸特征点和二维相似人脸特征区域。
在本实施例中,需要说明的是,所述三维人脸特征区域是由无数个特征点组成的,当对所述原始三维人脸模型进行标注之后,则所述三维人脸表情生成器输出的所述三维人脸表情模型包括三维人脸特征点和三维人脸特征区域。
基于所述成像参数和所述三维人脸特征点以及所述三维人脸特征区域,计算所述二维人脸图像对应的二维相似人脸特征点和二维相似人脸特征区域,具体地,基于所述三维人脸特征点以及所述三维人脸特征区域,通过成像参数获取所述二维人脸图像对应的二维相似人脸特征点和二维相似人脸特征区域的特征点计算公式,通过所述特征点计算公式计算所述二维人脸图像对应的二维相似人脸特征点和二维相似人脸特征区域,如图5所示为本实施例中所有步骤的流程示意图,最终将会获取二维相似人脸特征点和二维相似人脸特征区域。
本实施例首先获取人脸表情模板,并生成所述人脸表情模板对应的三维人脸表情模板,进而接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型,最后基于多种相机配置,对所述三维人脸表情模型进行模拟拍照,生成至少一个二维人脸图像。也即,本实施例首先进行人脸表情模板的获取,进而进行所述预设人脸表情模板对应的三维人脸表情模板的生成,进而在接收原始三维人脸模型之后,通过将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,进行三维人脸表情模型的获取,进一步地,基于多种相机配置,进行对所述三维人脸表情模型的模拟拍照,生成至少一个二维人脸图像。也即,基于不同表情的人脸表情模板,本实施例可获取不同表情的三维人脸表情模板,进而将所述原始三维人脸模型和各所述三维人脸表情模板输入预设三维人脸表情生成器,获得不同表情的三维人脸表情模型,进而通过对各三维人脸表情模型进行多种相机配置的模拟拍照,可获得不同表情的多种二维人脸图像,使得人脸识别和检测的表情和角度均具有极强的多样性,所以,解决了现有技术中人脸数据多样性差的技术问题。
进一步地,参照图6,基于本申请中第一实施例,在人脸多样性数据获取方法的另一实施例中,所述将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型的步骤包括:
步骤S21,将所述原始三维人脸模型和所述三维人脸表情模板输入所述三维人脸表情模型生成器,对所述原始三维人脸模型和所述三维人脸表情模板进行编码,获得编码结果;
在本实施例中,需要说明的是,所述编码即为对所述原始三维人脸模型和所述三维人脸表情模板进行降采样的过程,所述三维人脸表情模型生成器是预先设置好的且基于深度学习已经训练好的神经网络模型。
将所述原始三维人脸模型和所述三维人脸表情模板输入所述三维人脸表情模型生成器,对所述原始三维人脸模型和所述三维人脸表情模板进行编码,获得编码结果,具体地,将所述原始三维人脸模型和所述三维人脸表情模板输入同一神经网络模型,对所述原始三维人脸模型和所述三维人脸表情模板进行卷积和池化交替处理,最后对所述卷积和池化交替处理进行全连接,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组,然后将所述初始特征向量组和所述模板特征向量组进行拼接,获得一个唯一向量,也即获得所述编码结果。
其中,所述对所述原始三维人脸模型和所述三维人脸表情模板进行编码,获得编码结果的步骤包括:
步骤S211,对所述原始三维人脸模型和所述三维人脸表情模板进行预设次数的卷积和池化交替处理,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组;
在本实施例中,需要说明的是,所述卷积指的是对图像对应的图像矩阵和卷积核进行逐个元素相乘再求和,获得图像特征值的过程,其中,所述卷积核指的是集装箱特征对应的权值矩阵,而所述池化指的是对通过卷积而获得的图像特征值进行整合,从而获得新的特征值的过程。所述初始特征向量组与所述模板特征向量组中的每一元素是一一对应的,且所述初始特征向量组与所述模板特征向量组中的元素数量相同,每一元素对应一向量,每一向量的位数是相同的,例如,假设初始特征向量组中的某一向量为256位向量,则所述初始特征向量组与所述模板特征向量组中的每一元素均为256位向量。
对所述原始三维人脸模型和所述三维人脸表情模板进行预设次数的卷积和池化交替处理,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组,具体地,基于相同的多个卷积核,也即,基于相同的多个权值矩阵,对所述原始三维人脸模型和所述三维人脸表情模板进行相同次数的卷积和池化交替处理,分别获得多个特征图组,进而对所述多个特征图组分别进行全连接,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组,其中,所述全连接可视为一种特殊卷积处理,所述特殊卷积处理的结果为获得图像对应的一个一维向量,也即,通过全连接将所述多个特征图转化为一个一维向量。
其中,所述对所述原始三维人脸模型和所述三维人脸表情模板进行预设次数的卷积和池化交替处理,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组的步骤包括:
步骤C10,将所述原始三维人脸模型和所述三维人脸表情模板输入预设卷积神经网络模型,以获取所述原始三维人脸模型和所述三维人脸表情模板的共同对应的多个权值矩阵;
在本实施例中,将所述原始三维人脸模型和所述三维人脸表情模板输入预设卷积神经网络模型,以获取所述原始三维人脸模型和所述三维人脸表情模板的共同对应的多个权值矩阵,具体地,将所述原始三维人脸模型和所述三维人脸表情模板输入预设卷积神经网络模型,基于所述原始三维人脸模型和所述三维人脸表情模板的三维模型特征,获取针对所述三维模型特征的多个权值矩阵,也即获取多个卷积核,其中,所述原始三维人脸模型对应的多个权值矩阵和所述三维人脸表情模板对应的多个权值矩阵是相同的。
步骤C20,基于所述多个权值矩阵,对所述原始三维人脸模型和所述三维人脸表情模板进行卷积处理,获得卷积处理结果;
本实施例中,基于所述多个权值矩阵,对所述原始三维人脸模型和所述三维人脸表情模板进行卷积处理,获得卷积处理结果,具体地,将所述原始三维人脸模型和所述三维人脸表情模板对应的数字矩阵组与所述多个权值矩阵进行点乘,获得卷积处理结果。
步骤C30,对所述卷积处理结果进行池化处理,获得池化处理结果;
在本实施例中,池化处理包括最大值池化、均值池化等方式,对所述卷积处理结果进行池化处理,获得池化处理结果,具体地,将所述卷积处理结果分割为多个预设大小的像素矩阵,假设为最大值池化,则使用像素矩阵的最大像素值代替所述像素矩阵,进而获得新的图像矩阵,也即,获得池化处理结果。
步骤C40,基于所述预设次数,重复对所述池化处理结果进行卷积与池化交替处理,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组。
在本实施例中,基于所述预设次数,重复对所述池化处理结果进行卷积与池化交替处理,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组,具体地,对步骤C20至C30进行循环进行,直到进行卷积和池化的总次数达到了所述预设次数,则获得所述原始三维人脸模型和所述三维人脸表情模板分别对应的特征图组,进而对所述特征图组中的各元素分别进行全连接,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组。
步骤S212,将所述模板特征向量组和所述初始特征向量组进行拼接,获得所述编码结果。
在本实施例中,将所述模板特征向量组和所述初始特征向量组进行拼接,获得所述编码结果,具体地,将所述模板特征向量组和所述初始特征向量组中一一对应的每个元素进行拼接,获得一个唯一向量组,也即,获得所述编码结果,例如,假设所述初始特征向量组中包含的两个向量分别为(a1,b1)和(c1,d1),所述模板特征向量组中包含的两个向量分别为(a2,b2)和(c2,d2),则拼接后的唯一向量组为((a1,b1,a2,b2),(c1,d1,c2,d2))。
步骤S22,对所述编码结果进行解码,获得所述三维人脸表情模型。
在本实施例中,对所述编码结果进行解码,获得所述三维人脸表情模型,具体地,对所述唯一向量组进行反卷积处理,也即,将所述唯一向量组中的元素与转置后的权值矩阵进行点乘,获得所述三维人脸表情模型对应的数字矩阵组,进而获得所述三维人脸表情模型。
本实施例通过将所述原始三维人脸模型和所述三维人脸表情模板输入所述三维人脸表情模型生成器,对所述原始三维人脸模型和所述三维人脸表情模板进行编码,获得编码结果,进而对所述编码结果进行解码,获得所述三维人脸表情模型。也即,本实施例通过将所述原始三维人脸模型和所述三维人脸表情模板输入所述三维人脸表情模型生成器,进行对所述原始三维人脸模型和所述三维人脸表情模板的编码,获得编码结果,进而进行对所述编码结果的解码,获得所述三维人脸表情模型。也即,本实施对所述原始三维人脸模型和所述三维人脸表情模板进行编码和解码过程,可获取所述原始三维人脸模型对应的不同表情的三维人脸表情模型,极大程度上丰富了三维人脸模型的多样性,为采集二维图像对应的人脸多样性数据奠定了基础,也即,为解决现有技术中人脸数据多样性差的技术问题奠定了基础。
进一步地,参照图7,基于本申请中第一实施例和第二实施例,在人脸多样性数据获取方法的另一实施例中,所述接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型的步骤之前包括:
步骤D10,获取基础训练模型和训练数据,其中,所述训练数据包括训练三维人脸模型和训练表情模板以及第一训练结果;
在本实施例中,需要说明的是,所述基础训练模型是预先设置好的且未确定是否训练好的神经网络模型,所述第一训练结果指的是不同表情的实际三维人脸表情模型,所述训练三维人脸模型和所述实际三维人脸表情模型均可通过相机拍摄获取,所述训练表情模板可从预设三维模板模型数据库中提取,且所述训练表情模板为不同表情的三维人脸模型。
步骤D20,将所述训练三维人脸模型和所述训练表情模板输入所述基础训练模型,以对所述训练三维人脸模型和所述训练表情模板进行编码和解码,获得第二结果;
在本实施例中,将所述训练三维人脸模型和所述训练表情模板输入所述基础训练模型,以对所述训练三维人脸模型和所述训练表情模板进行编码和解码,获得第二训练结果,具体地,将所述训练三维人脸模型和所述训练表情模板输入所述基础训练模型,以对所述训练三维人脸模型和所述训练表情模板进行降采样,获得所述训练三维人脸模型和所述训练表情模板对应的训练唯一向量组,进而对所述训练唯一向量组进行上采样,获得第二训练结果。
步骤D30,将所述第一训练结果与所述第二训练结果进行对比,获得模型损失值;
在本实施例中,将所述第一训练结果与所述第二训练结果进行对比,获得模型损失值,具体地,将所述第一训练结果与所述第二训练结果进行对比,计算所述第一训练结果与所述第二训练结果的训练相似度,进而计算所训练相似度与百分之一百相似度的差值,即为所述模型损失值。
步骤D40,基于所述模型损失值,对所述基础训练模型进行更新,直至所述模型损失值小于预设模型损失阀值,获得所述三维人脸表情生成器。
在本实施例中,基于所述模型损失值,对所述基础训练模型进行更新,直至所述模型损失值小于预设模型损失阀值,获得所述三维人脸表情生成器,具体地,将所述模型损失值与预设损失值阀值进行对比,当所述模型损失值小于所述预设模型损失阀值,则将所述预设基础训练模型设置为所述三维人脸表情生成器,当所述模型损失值大于或等于所述预设损失值阀值时,调整所述预设基础训练模型中的多个卷积核,并对所述预设基础训练模型重新进行训练,直至所述模型损失值小于所述预设模型损失阀值。
本实施例通过获取基础训练模型和训练数据,其中,所述训练数据包括训练三维人脸模型和训练表情模板以及第一训练结果,进而将所述训练三维人脸模型和所述训练表情模板输入所述基础训练模型,以对所述训练三维人脸模型和所述训练表情模板进行编码和解码,获得第二训练结果,进一步地,将所述第一训练结果与所述第二训练结果进行对比,获得模型损失值,最后,基于所述模型损失值,基于所述模型损失值,对所述基础训练模型进行更新,直至所述模型损失值小于预设模型损失阀值,获得所述三维人脸表情生成器。也即,本实施例首先进行基础训练模型和训练数据的获取,进而将所述训练三维人脸模型和所述训练表情模板输入所述基础训练模型,进行对所述训练三维人脸模型和所述训练表情模板的编码和解码,获得第二训练结果,进一步地,进行所述第一训练结果和所述第二训练结果的对比,获得模型损失值,最后,基于所述模型损失值,进行所述基础训练模型的更新,获得所述三维人脸表情生成器。也即,本实施例可将所述基础训练模型训练为合格的所述三维人脸表情生成器,也即,本实施例提供了一种高效、可行的三维人脸表情生成器的训练方法,为获取三维人脸表情模型奠定了基础,所以,为解决现有技术中人脸数据多样性差的技术问题奠定了基础。
参照图8,图8是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图8所示,该人脸多样性数据获取设备可以包括:处理器1001,例如CPU,存储器1005,通信总线1002。其中,通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地,该人脸多样性数据获取设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard),可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解,图8中示出的人脸多样性数据获取设备结构并不构成对人脸多样性数据获取设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图8所示,作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块以及人脸多样性数据获取程序。操作***是管理和控制人脸多样性数据获取设备硬件和软件资源的程序,支持人脸多样性数据获取程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信,以及与人脸多样性数据获取***中其它硬件和软件之间通信。
在图8所示的人脸多样性数据获取设备中,处理器1001用于执行存储器1005中存储的人脸多样性数据获取程序,实现上述任一项所述的人脸多样性数据获取方法的步骤。
本发明人脸多样性数据获取设备具体实施方式与上述人脸多样性数据获取方法各实施例基本相同,在此不再赘述。
本发明还提供一种人脸多样性数据获取装置,所述人脸多样性数据获取装置包括:
第一生成模块,用于所述获取人脸表情模板,并生成所述人脸表情模板对应的三维人脸表情模板;
第二生成模块,用于所述接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型;
模拟拍照模块,用于所述基于多种相机配置,对所述三维人脸表情模型进行模拟拍照,生成至少一个二维人脸图像。
可选地,所述人脸多样性数据获取装置包括:
第一获取模块,用于所述基于相机成像原理,获取各所述相机配置对应的成像参数;
计算模块,用于所述基于所述成像参数和所述三维人脸特征点以及所述三维人脸特征区域,计算所述二维人脸图像对应的二维相似人脸特征点和二维相似人脸特征区域。
可选地,所述人脸多样性数据获取装置还包括:
第一标注模块,用于所述对所述原始三维人脸模型进行特征点标注和特征区域标注,获得三维原始人脸特征点和三维原始人脸特征区域;
第二标注模块,用于所述基于所述三维原始人脸特征点和所述三维人脸特征区域,通过预设相似点匹配算法对不同表情的所述三维人脸表情模型进行标注,获得三维相似人脸特征点和三维相似人脸特征区域。
可选地,所述第二生成模块包括:
编码子模块,用于将所述将所述原始三维人脸模型和所述三维人脸表情模板输入所述三维人脸表情模型生成器,对所述原始三维人脸模型和所述三维人脸表情模板进行编码,获得编码结果;
解码子模块,用于所述对所述编码结果进行解码,获得所述三维人脸表情模型。
可选地,所述编码子模块包括:
卷积和池化单元,用于所述对所述原始三维人脸模型和所述三维人脸表情模板进行预设次数的卷积和池化交替处理,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组;
拼接单元,用于所述将所述模板特征向量组和所述初始特征向量组进行拼接,获得所述编码结果。
可选地,所述卷积和池化单元包括:
获取子单元,用于所述将所述原始三维人脸模型和所述三维人脸表情模板输入卷积神经网络模型,以获取所述原始三维人脸模型和所述三维人脸表情模板的共同对应的多个权值矩阵;
卷积子单元,用于所述基于所述多个权值矩阵,对所述原始三维人脸模型和所述三维人脸表情模板进行卷积处理,获得卷积处理结果;
池化子单元,用于所述对所述卷积处理结果进行池化处理,获得池化处理结果;
重复子单元,用于所述基于所述预设次数,重复对所述池化处理结果进行卷积与池化交替处理,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组。
可选地,所述人脸多样性数据获取装置还包括:
第二获取模块,用于所述获取基础训练模型和训练数据,其中,所述预设训练数据包括训练三维人脸模型和训练表情模板以及第一训练结果;
输出模块,用于所述将所述训练三维人脸模型和所述训练表情模板输入所述基础训练模型,以对所述训练三维人脸模型和所述训练表情模板进行编码和解码,获得第二训练结果;
对比模块,用于所述将所述第一训练结果与所述第二训练结果进行对比,获得模型损失值;
调整模块,用于所述基于所述模型损失值,对所述基础训练模型进行更新,直至所述模型损失值小于预设模型损失阀值,获得所述三维人脸表情生成器。
本发明人脸多样性数据获取装置的具体实施方式与上述人脸多样性数据获取方法各实施例基本相同,在此不再赘述。
本发明提供了一种可读存储介质,所述可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的人脸多样性数据获取方法的步骤。
本发明可读存储介质具体实施方式与上述人脸多样性数据获取方法各实施例基本相同,在此不再赘述。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利处理范围内。
Claims (10)
1.一种人脸多样性数据获取方法,其特征在于,所述人脸多样性数据获取方法包括:
获取人脸表情模板,并生成所述人脸表情模板对应的三维人脸表情模板;
接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型;
基于多种相机配置,对所述三维人脸表情模型进行模拟拍照,生成至少一个二维人脸图像。
2.如权利要求1所述人脸多样性数据获取方法,其特征在于,所述三维人脸表情模型包括三维人脸特征点和三维人脸特征区域,
所述基于多种相机配置,对所述三维人脸表情模型进行模拟拍照,生成至少一个二维人脸图像之后包括:
基于相机成像原理,获取各所述相机配置对应的成像参数;
基于所述成像参数、所述三维人脸特征点以及所述三维人脸特征区域,计算所述二维人脸图像对应的二维相似人脸特征点和二维相似人脸特征区域。
3.如权利要求1所述人脸多样性数据获取方法,其特征在于,所述接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型的步骤之后包括:
对所述原始三维人脸模型进行特征点标注和特征区域标注,获得三维原始人脸特征点和三维原始人脸特征区域;
基于所述三维原始人脸特征点和所述三维人脸特征区域,通过相似点匹配算法对不同表情的所述三维人脸表情模型进行标注,获得三维相似人脸特征点和三维相似人脸特征区域。
4.如权利要求1所述人脸多样性数据获取方法,其特征在于,所述将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型的步骤包括:
将所述原始三维人脸模型和所述三维人脸表情模板输入所述三维人脸表情模型生成器,对所述原始三维人脸模型和所述三维人脸表情模板进行编码,获得编码结果;
对所述编码结果进行解码,获得所述三维人脸表情模型。
5.如权利要求4所述人脸多样性数据获取方法,其特征在于,所述对所述原始三维人脸模型和所述三维人脸表情模板进行编码,获得编码结果的步骤包括:
对所述原始三维人脸模型和所述三维人脸表情模板进行预设次数的卷积和池化交替处理,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组;
将所述模板特征向量组和所述初始特征向量组进行拼接,获得所述编码结果。
6.如权利要求5所述人脸多样性数据获取方法,其特征在于,所述对所述原始三维人脸模型和所述三维人脸表情模板进行预设次数的卷积和池化交替处理,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组的步骤包括:
将所述原始三维人脸模型和所述三维人脸表情模板输入卷积神经网络模型,以获取所述原始三维人脸模型和所述三维人脸表情模板的共同对应的多个权值矩阵;
基于所述多个权值矩阵,对所述原始三维人脸模型和所述三维人脸表情模板进行卷积处理,获得卷积处理结果;
对所述卷积处理结果进行池化处理,获得池化处理结果;
基于所述预设次数,重复对所述池化处理结果进行卷积与池化交替处理,获得所述原始三维人脸模型对应的初始特征向量组和所述三维人脸表情模板对应的模板特征向量组。
7.如权利要求1所述人脸多样性数据获取方法,其特征在于,所述接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型的步骤之前包括:
获取基础训练模型和训练数据,其中,所述预设训练数据包括训练三维人脸模型和训练表情模板以及第一训练结果;
将所述训练三维人脸模型和所述训练表情模板输入所述基础训练模型,以对所述训练三维人脸模型和所述训练表情模板进行编码和解码,获得第二训练结果;
将所述第一训练结果与所述第二训练结果进行对比,获得模型损失值;
基于所述模型损失值,对所述基础训练模型进行更新,直至所述模型损失值小于预设模型损失阀值,获得所述三维人脸表情生成器。
8.一种人脸多样性数据获取装置,其特征在于,所述人脸多样性数据获取装置应用于人脸多样性数据获取设备,所述人脸多样性数据获取装置包括:
第一生成模块,用于所述获取人脸表情模板,并生成所述人脸表情模板对应的三维人脸表情模板;
第二生成模块,用于所述接收原始三维人脸模型,并将所述原始三维人脸模型和所述三维人脸表情模板输入三维人脸表情生成器,获得三维人脸表情模型;
模拟拍照模块,用于所述基于基于多种相机配置,对所述三维人脸表情模型进行模拟拍照,生成至少一个二维人脸图像。
9.一种人脸多样性数据获取设备,其特征在于,所述人脸多样性数据获取设备包括:存储器、处理器以及存储在存储器上的用于实现所述人脸多样性数据获取方法的程序,
所述存储器用于存储实现人脸多样性数据获取方法的程序;
所述处理器用于执行实现所述人脸多样性数据获取方法的程序,以实现如权利要求1至7中任一项所述人脸多样性数据获取方法的步骤。
10.一种可读存储介质,其特征在于,所述可读存储介质上存储有实现人脸多样性数据获取方法的程序,所述实现人脸多样性数据获取方法的程序被处理器执行以实现如权利要求1至7中任一项所述人脸多样性数据获取方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911035247.6A CN110796075B (zh) | 2019-10-28 | 2019-10-28 | 人脸多样性数据获取方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911035247.6A CN110796075B (zh) | 2019-10-28 | 2019-10-28 | 人脸多样性数据获取方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110796075A true CN110796075A (zh) | 2020-02-14 |
CN110796075B CN110796075B (zh) | 2024-02-02 |
Family
ID=69441870
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911035247.6A Active CN110796075B (zh) | 2019-10-28 | 2019-10-28 | 人脸多样性数据获取方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110796075B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100134487A1 (en) * | 2008-12-02 | 2010-06-03 | Shang-Hong Lai | 3d face model construction method |
CN103593870A (zh) * | 2013-11-12 | 2014-02-19 | 杭州摩图科技有限公司 | 一种基于人脸的图像处理装置及其方法 |
US20160148041A1 (en) * | 2014-11-21 | 2016-05-26 | Korea Institute Of Science And Technology | Method for face recognition through facial expression normalization, recording medium and device for performing the method |
CN107045618A (zh) * | 2016-02-05 | 2017-08-15 | 北京陌上花科技有限公司 | 一种人脸表情识别方法及装置 |
WO2019128507A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN109978989A (zh) * | 2019-02-26 | 2019-07-05 | 腾讯科技(深圳)有限公司 | 三维人脸模型生成方法、装置、计算机设备及存储介质 |
CN110096925A (zh) * | 2018-01-30 | 2019-08-06 | 普天信息技术有限公司 | 人脸表情图像的增强方法、获取方法和装置 |
-
2019
- 2019-10-28 CN CN201911035247.6A patent/CN110796075B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100134487A1 (en) * | 2008-12-02 | 2010-06-03 | Shang-Hong Lai | 3d face model construction method |
CN103593870A (zh) * | 2013-11-12 | 2014-02-19 | 杭州摩图科技有限公司 | 一种基于人脸的图像处理装置及其方法 |
US20160148041A1 (en) * | 2014-11-21 | 2016-05-26 | Korea Institute Of Science And Technology | Method for face recognition through facial expression normalization, recording medium and device for performing the method |
CN107045618A (zh) * | 2016-02-05 | 2017-08-15 | 北京陌上花科技有限公司 | 一种人脸表情识别方法及装置 |
WO2019128507A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
CN110096925A (zh) * | 2018-01-30 | 2019-08-06 | 普天信息技术有限公司 | 人脸表情图像的增强方法、获取方法和装置 |
CN109978989A (zh) * | 2019-02-26 | 2019-07-05 | 腾讯科技(深圳)有限公司 | 三维人脸模型生成方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110796075B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10740897B2 (en) | Method and device for three-dimensional feature-embedded image object component-level semantic segmentation | |
US11232286B2 (en) | Method and apparatus for generating face rotation image | |
JP6789402B2 (ja) | 画像内の物体の姿の確定方法、装置、設備及び記憶媒体 | |
CN112052839B (zh) | 图像数据处理方法、装置、设备以及介质 | |
US20210158023A1 (en) | System and Method for Generating Image Landmarks | |
US20220084163A1 (en) | Target image generation method and apparatus, server, and storage medium | |
CN109829396B (zh) | 人脸识别运动模糊处理方法、装置、设备及存储介质 | |
CN110490959B (zh) | 三维图像处理方法及装置、虚拟形象生成方法以及电子设备 | |
CN112200057A (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
WO2022052782A1 (zh) | 图像的处理方法及相关设备 | |
Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
JP2019511850A (ja) | 圧縮センシングによる映像再構成方法、システム、電子装置及び記憶媒体 | |
CN114863539A (zh) | 一种基于特征融合的人像关键点检测方法及*** | |
CN115984949B (zh) | 一种带有注意力机制的低质量人脸图像识别方法及设备 | |
CN117218300A (zh) | 三维模型的构建方法、三维构建模型的训练方法及装置 | |
US20230060988A1 (en) | Image processing device and method | |
CN110796075B (zh) | 人脸多样性数据获取方法、装置、设备及可读存储介质 | |
CN112150608B (zh) | 一种基于图卷积神经网络的三维人脸重建方法 | |
CN115239856A (zh) | 3d虚拟对象的动画生成方法、装置、终端设备及介质 | |
CN112508776B (zh) | 动作迁移方法、装置和电子设备 | |
CN114782592A (zh) | 基于图像的卡通动画生成方法、装置、设备及存储介质 | |
US11562504B1 (en) | System, apparatus and method for predicting lens attribute | |
CN114821203B (zh) | 基于一致性损失的细粒度图像模型训练及识别方法和装置 | |
US20220189050A1 (en) | Synthesizing 3d hand pose based on multi-modal guided generative networks | |
CN110163080B (zh) | 人脸关键点检测方法及装置、存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |