CN113658320A - 一种三维重建方法、人脸三维重建方法及其相关装置 - Google Patents
一种三维重建方法、人脸三维重建方法及其相关装置 Download PDFInfo
- Publication number
- CN113658320A CN113658320A CN202110832889.XA CN202110832889A CN113658320A CN 113658320 A CN113658320 A CN 113658320A CN 202110832889 A CN202110832889 A CN 202110832889A CN 113658320 A CN113658320 A CN 113658320A
- Authority
- CN
- China
- Prior art keywords
- parameters
- dimensional reconstruction
- parameter
- target object
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000004364 calculation method Methods 0.000 claims abstract description 63
- 238000013528 artificial neural network Methods 0.000 claims abstract description 52
- 238000000605 extraction Methods 0.000 claims description 24
- 229940050561 matrix product Drugs 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 11
- 238000012549 training Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种三维重建方法、人脸三维重建方法及其相关装置，包括：获取到包括目标对象的图像；基于图像获取到目标对象的特征参数；利用神经网络对特征参数进行卷积计算，得到目标对象的三维重建参数；其中，神经网络是通过固化特征参数与三维重建参数的关联关系后得到的；基于三维重建参数对目标对象进行三维重建。通过上述方法，减小了三维重建技术中算法带来的功耗和内存消耗。
Description
技术领域
本发明涉及图像处理应用领域，特别是涉及一种三维重建方法、人脸三维重建方法及其相关装置。
背景技术
基于单张图片的深度学习三维人脸重建技术，是应用于数字，人脸表情驱动，AI三维动效，avater的基础技术。以上应用的场景都是基于三维人脸重建技术。三维人脸重建分为参数化重建方法和非参数化重建方法，参数化重建方法更是三维人脸重建的重要方法之一。
深度学习领域已经应用到很多领域了，随着深度学习的业务扩展覆盖面更广，而且对移动端的边缘计算资源利用要求也越来越高，例如很多算法应用到手机端时，均需对其算法进行简化。
现在，很多移动端算子的第三方优化也做的越来越好，功耗越来越低，计算速度也越来越快，比如常用的一些卷积层，池化层运算优化。一般情况下，深度学***台上，比如将caffe模型或者是tensorflow模型或者是pytorch模型转换到tflite，onnx，tensorRT模型下，才能使用移动端的优化算子进行加速。一方面经过加速后的计算，会比不加速快50％到几倍不等。另一方面，有的移动端带有NPU计算，即会利用一些特殊计算资源加快计算，这就存在百倍的运算速度差异了。
发明内容
本申请主要解决的技术问题是提供一种三维重建方法及装置，以减少算法的计算量，解决现有的三维重建技术中算法带来的功耗和内存消耗。
为解决上述问题，本申请提供了一种三维重建方法，包括：获取到包括目标对象的图像；基于图像获取到目标对象的特征参数；利用神经网络对特征参数进行卷积计算，得到目标对象的三维重建参数；其中，神经网络是通过固化特征参数与三维重建参数的关联关系后得到的；基于三维重建参数对目标对象进行三维重建。
其中，利用神经网络对特征参数进行卷积计算，得到目标对象的三维重建参数的步骤，包括：基于预设数据构建参数模型；获取参数模型的固定参数；基于固定参数对特征参数进行卷积计算，得到目标对象的三维重建参数。
其中，基于固定参数对特征参数进行卷积计算，得到目标对象的三维重建参数的步骤，包括：获取固定参数的第一类参数与特征参数的第一类参数的乘积、固定参数的第二类参数与特征参数的第二类参数的乘积以及固定参数的第三类参数；将第一类参数的乘积与第二类参数的乘积以及第三类参数的和确定为目标对象的三维重建参数。
其中，获取参数模型的固定参数的步骤，包括：根据三维重建参数从参数模型的初始参数中选取固定参数。
其中，神经网络包括相互级联的特征提取网络以及三维重建网络；基于图像获取到目标对象的特征参数的步骤包括：利用特征提取网络获取到目标对象的特征参数；利用神经网络对特征参数进行卷积计算，得到目标对象的三维重建参数的步骤，包括：利用三维重建网络对特征参数进行卷积计算，得到目标对象的三维重建参数。
为解决上述问题，本申请提供了一种人脸三维重建方法，包括：获取到包括人脸的图像；基于图像获取到人脸的形状参数和表情参数；利用神经网络对形状参数和表情参数进行卷积计算，得到人脸的三维重建参数；其中，神经网络是通过固化特征参数与三维重建参数的关联关系后得到的；基于三维重建参数对人脸进行三维重建。
其中，利用神经网络对形状参数和表情参数进行卷积计算，得到人脸的三维重建参数的步骤，包括：基于预设数据构建参数模型；获取参数模型的第一参数、第二参数以及第三参数；基于第一参数、第二参数以及第三参数对人脸的形状参数和表情参数进行卷积计算，得到人脸的三维重建参数。
其中，基于第一参数、第二参数以及第三参数对人脸的形状参数和表情参数进行卷积计算，得到人脸的三维重建参数的步骤，包括：获取第一参数与形状参数的第一矩阵乘积、第二参数与表情参数的第二矩阵乘积；将第一矩阵乘积、第二矩阵乘积与第三参数的和确定为人脸的三维重建参数。
为了解决上述问题，本申请还提供一种三维重建装置，包括：图像获取模块，用于获取到包括目标对象的图像；特征参数获取模块，用于基于图像获取到目标对象的特征参数；计算模块，用于利用神经网络对特征参数进行卷积计算，得到目标对象的三维重建参数；重建模块，用于基于三维重建参数对目标对象进行三维重建。
为了解决上述问题，本申请还提供一种人脸三维重建装置，包括：人脸图像获取模块，用于获取到包括人脸的图像；参数获取模块，用于基于图像获取到人脸的形状参数和表情参数；计算模块，用于利用神经网络对形状参数和表情参数进行卷积计算，得到人脸的三维重建参数；重建模块，用于基于三维重建参数对人脸进行三维重建。
为了解决上述问题，本申请还提供一种终端，终端包括相互耦接的处理器和存储器，存储器用于存储程序指令，处理器用于执行存储器存储的程序指令以实现上述任一实施例的三维重建方法。
为了解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质包括处理器和存储器，存储器存储有计算机程序指令，处理器用于执行程序指令以上述任一实施例的三维重建方法。
本申请的有益效果是：利用神经网络的特征提取网络获取到目标对象的特征参数，通过在神经网络的特征提取网络之后级联一个三维重建网络对特征参数进行卷积计算得到三维重建参数，并基于三维重建参数对目标对象进行三维重建，相较于传统的三维重建过程，通过固化特征参数与三维重建参数的关联关系后得到的神经网络对特征参数进行卷积运算，优化了特征参数转换成三维重建参数的算法性能，从而减少现有算法带来的功耗和内存消耗。
附图说明
图1为本申请三维重建方法一实施方式的流程示意图；
图2为图1步骤S13一具体实施方式的流程示意图；
图3为本申请人脸三维重建方法一实施方式的流程示意图；
图4为图3步骤S33一具体实施方式的流程示意图；
图5为本申请基于三维重建数据对目标对象进行三维重建一实施方式的结构示意图；
图6为本申请三维重建装置一实施方式的结构示意图；
图7为本申请人脸三维重建装置一实施方式的结构示意图；
图8为本申请终端一实施方式的结构示意图；
图9为本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供一种三维重建方法，请参阅图1，图1为本申请三维重建方法一实施方式的流程示意图，如图1所示，该方法包括以下步骤：
步骤S11：获取到包括目标对象的图像。
其中，目标对象的图像包括人脸、狗脸、猫脸等能识别出目标对象的待重建图像或图片。获取目标对象的图像的方式包括通过摄像头拍照获取，或从相册中选取，或从网络端直接获取，在此不作限定。
需要说明的是，本申请是基于深度网络学习的三维重建方法，具体包括参数化模型和非参数化模型。参数化模型方法指的是可以用参数表达一个人脸模型，一般这个人脸模型是一个带拓扑结构的mesh，可以通过参数调整mesh。非参数化即人脸mesh的点数是不固定的，无固定表达，只能一个人脸对应一个实时mesh结果。其中，mesh是指重建人脸的关键点。本申请是基于参数化模型对目标对象进行三维重建的过程。
步骤S12：基于图像获取到目标对象的特征参数。
其中，特征参数包括shape参数(形状参数)和exp参数(表情参数)。
具体地，利用神经网络中的特征提取网络从图像中获得到目标对象的特征参数。其中，特征提取网络包括BFM人脸重建模型，也可以包括其它三维重建网络模型，在此不作限定。其中，BFM(Basel Face Model)是基于预设数据的的特征构建PCA模型(主成分分析模型)获得的参数化模型，其中，预设数据为建立参数化模型的网络训练数据集，在一实施方式中，可以是100张包括目标对象的数据集，也可以是1000张包括目标对象的数据集，具体可根据参数模型的精确度需求进行设定，基于该训练数据集对神经网络的初始网络进行训练，得到特征提取网络，其中，预设数据的的特征包括IDmesh和expmesh。
本实施例中，三维重建方法应用于移动终端。在传统的对目标对象进行三维重建的神经网络中，通过神经网络获取到的是目标对象的特征参数信息，在通过矩阵公式S(αid；αexp)＝S+Bidαid+Bexpαexp对特征参数进行矩阵运算得到目标对象的三维重建参数，从而进行三维重建。即通过传统的神经网络无法直接得到目标对象的三维重建参数，而需要再经过一次矩阵运算。传统地，是通过移动终端的C++代码进行159645次循环计算得到三维重建参数。
本实施例通过在原本只包含特征提取网络的神经网络后面增加一个卷积层，从而使神经网络能直接输出三维重建参数，从而减小了C++代码带来的功耗和内存消耗。
步骤S13：利用神经网络对特征参数进行卷积计算，得到目标对象的三维重建参数。
其中，三维重建参数包括目标对象的三维关键点，具体包括三维人脸的mesh数据，是目标对象的三维重建数据点。
其中，神经网络包括相互级联的特征提取网络和三维重建网络，具体地，本步骤是基于神经网络中的三维重建网络对特征参数进行卷积计算，得到目标对象的三维重建参数。其中，三维重建网络是基于矩阵公式S(αid；αexp)＝S+Bidαid+Bexpαexp进行网络训练得到的。其中，三维重建网络的参数是固定的，可通过用户根据三维重建参数的业务要求进行设定。具体地，根据三维重建参数从初始参数中选取固定参数。
具体请进一步参阅图2，图2为图1步骤S13一具体实施方式的流程示意图。如图2所示，包括：
步骤S21：基于预设数据构建参数模型。
其中，预设数据是建立参数模型的基础数据集，在一实施方式中，可以是100张包括目标对象的数据集，也可以是1000张包括目标对象的数据集，具体可根据参数模型的精确度需求进行设定。参数模型是基于BFM人脸重建模型的拓扑结构进行网络训练得到的。具体地包括：基于100多个人的IDmesh和expmesh通过构建PCA模型获得的BFM拓扑结构。而三维重建网络是基于特征提取网络的网络架构以及参数模型的固定参数构建的。
具体地，三维重建网络基于矩阵公式S(αid；αexp)＝S+Bidαid+Bexpαexp建立的固定参数的网络模型，其中，αid、αexp为特征参数，Bid、Bexp以及S为参数模型中的固定参数。
步骤S22：获取参数模型的固定参数。
其中，固定参数包第一类参数、第二类参数以及第三类参数。在本实施例中，第一类参数包括形状类参数、第二类参数包括表情类参数、第三类参数包括标准平均脸参数。其中，第一类参数为Bid，第二类参数为Bexp，第三类参数为S。
其中，αid、αexp、Bid、Bexp以及S均为矩阵，αid与Bid遵循矩阵乘法运算，αexp与Bexp同样也遵循矩阵乘法运算，其中，Bid为159645×199维度的矩阵，αid为199×1维度的列向量，Bexp为159645×29维度的矩阵，αexp为29×1维度的列向量。其中，159645为53215个平面点进行三维重建后的数据维度。在一实施方式中，由于Bid、Bexp的维度较大，其计算量也会占用太多内存，为了减小三维重建的内存消耗，可根据三维重建参数的业务需求，从53215个点中选取792个点进行三维重建。即只需要对特征参数进行2376维度的卷积运算，得到三维重建参数，从而减少利用固定参数对特征参数进行卷积计算的计算量。
步骤S23：基于固定参数对特征参数进行卷积计算，得到目标对象的三维重建参数。
具体地，获取固定参数的第一类参数与特征参数的第一类参数的乘积，固定参数的第二类参数与特征参数的第二类参数的乘积以及固定参数的第三类参数；将第一类参数的乘积与第二类参数的乘积以及第三类参数的和确定为目标对象的三维重建参数。
具体地，利用包含公式S(αid；αexp)＝S+Bidαid+Bexpαexp的卷积网络对特征参数进行卷积计算得到目标对象的三维重建参数。其中，卷积网络为三维重建网络。
αid为目标对象的第一类参数、αexp为目标对象的第二类参数，Bid、Bexp以及S为三维重建网络的固定网络参数。计算固定参数的第一类参数与特征参数的第一类参数的乘积，固定参数的第二类参数与特征参数的第二类参数的乘积以及获取固定参数的第三类参数；将第一类参数的乘积与第二类参数的乘积以及第三类参数的和确定为目标对象的三维重建参数。
步骤S14：基于三维重建参数对目标对象进行三维重建。
其中，三维重建参数包括目标对象的三维数据点，基于该三维数据点对目标对象进行三维重建。
本实施例的有益效果是：利用神经网络的特征提取网络获取到目标对象的特征参数，通过在神经网络的特征提取网络之后级联一个三维重建网络对特征参数进行卷积计算得到三维重建参数，并基于三维重建参数对目标对象进行三维重建，相较于传统的三维重建过程，通过固化特征参数与三维重建参数的关联关系后得到的神经网络对特征参数进行卷积运算，优化了特征参数转换成三维重建参数的算法性能，从而减少现有算法带来的功耗和内存消耗。
本申请还提供一种人脸三维重建方法，具体请参阅图3，图3为本申请人脸三维重建方法一实施方式的流程示意图。如图3所示，包括：
步骤S31：获取到包括人脸的图像。
其中，获取图像的方式包括通过摄像头获取到包括人脸的图像，或从网络端获取到包括人脸的图片。
步骤S32：基于图像获取到人脸的形状参数和表情参数。
利用神经网络的特征提取网络获取到人脸的形状参数和表情参数。
其中，神经网络的特征提取网络包括BFM人脸重建模型。BFM(Basel Face Model)是基于预设数据的的特征构建PCA模型(主成分分析模型)获得的参数化模型，其中，预设数据为建立参数化模型的网络训练数据集，在一实施方式中，可以是100张包括目标对象的数据集，也可以是1000张包括目标对象的数据集，具体可根据参数模型的精确度需求进行设定，基于该训练数据集对神经网络的初始网络进行训练，得到特征提取网络，其中，预设数据的的特征包括IDmesh和expmesh。
利用BFM人脸重建模型对人脸图像进行特征提取获取到图像中人脸的shape参数(形状参数)和exp参数(表情参数)。
步骤S33：利用神经网络对形状参数和表情参数进行卷积计算，得到人脸的三维重建参数。
具体地，利用神经网络的三维重建网络对形状参数和表情参数进行卷积计算，得到人脸的三维重建参数。其中，神经网络包括相互级联的特征提取网络和三维重建网络。其中，三维重建参数包括人脸的三维数据，具体包括三维人脸的mesh数据。
具体地，将获取到的形状参数和表情参数转换成三维重建参数的过程中均可通过公式S(αid；αexp)＝S+Bidαid+Bexpαexp进行计算得到三维重建参数。其中，αid为形状参数、αexp为表情参数，Bid、Bexp以及S为三维重建网络的固定网络参数。
其中，利用神经网络的三维重建网络对形状参数和表情参数进行卷积计算，得到人脸的三维重建参数的步骤之前还包括建立三维重建网络。
具体地请参阅图4，图4为图3步骤S33一具体实施方式的流程示意图。如图4所示，包括：
步骤S41：基于预设数据构建参数模型。
其中，参数模型是基于BFM人脸重建模型的拓扑结构进行网络训练得到的。具体地包括：基于100多个人的IDmesh和expmesh通过构建PCA模型获得的BFM拓扑结构。
步骤S42：获取参数模型的第一参数、第二参数以及第三参数。
获取到参数模型后，即可以得到参数模型的第一参数、第二参数和第三参数，其中，第一参数为BFM拓扑的shape PCA基，第二参数为BFM拓扑的exp PCA基，第三参数为BFM拓扑的标准平均脸。
在本步骤中，还包括：根据三维重建参数的业务需求从参数模型的初始参数中选取第一参数、第二参数以及第三参数。例如，参数模型的原始第一参数为159645×199维度的矩阵，根据矩阵乘法规则，需要进行159645次循环计算，为了减少第一参数对形状参数进行卷积计算的计算量，可在满足三维重建所需数据点的情况下，从中选取能构成三维重建的数据点进行卷积计算，如从原平面的53215个点中选取792个点进行三维重建，即只需要进行2376(792×3)维度的三维重建计算量。通过上述方式，既能满足重建三维人脸的业务需求，又能减少卷积计算的计算量。
其中，利用第一参数、第二参数以及第三参数对特征参数进行矩阵运算的过程为本申请中的三维重建模型，在本实施例中，三维重建模型的参数是固定的，可以通过用户根据三维重建参数的需求进行设定。
步骤S43：基于第一参数、第二参数以及第三参数对人脸的形状参数和表情参数进行卷积计算，得到人脸的三维重建参数。
基于第一参数、第二参数以及第三参数对人脸的形状参数和表情参数进行卷积计算的过程等同于利用三维重建网络对人脸的形状参数和表情参数进行三维重建的过程。
其中，三维重建网络是基于特征提取网络的网络架构以及参数模型的固定参数构建的。
具体的计算过程包括：获取第一参数与形状参数的第一矩阵乘积、第二参数与表情参数的第二矩阵乘积；将第一矩阵乘积、第二矩阵乘积与第三参数的和确定为目标对象的三维重建参数。
用公式表示如下：S(αid；αexp)＝S+Bidαid+Bexpαexp，αid为通过特征提取网络获取到的形状参数，αexp为通过特征提取网络获取到的表情参数，其中，形状参数和表情参数均为人脸的特征参数，Bid为BFM拓扑的shape PCA基，Bexp为BFM拓扑的exp PCA基，S为BFM拓扑的标准平均脸，S(αid；αexp)为三维重建参数。
步骤S34：基于三维重建参数对人脸进行三维重建。
具体地，基于三维重建参数利用神经网络对人脸进行三维重建。
具体地，请参阅图5，图5为本申请基于三维重建数据对目标对象进行三维重建一实施方式的结构示意图。如图5所示，目标对象为人脸，从图像中获取人脸的三维重建参数，并进行三维重建。
本实施例的有益效果是：利用神经网络的特征提取网络获取到人脸的形状参数和表情参数，通过在神经网络的特征提取网络之后级联一个三维重建网络对形状参数和表情参数进行卷积计算得到三维重建参数，并基于三维重建参数对人脸进行三维重建。相较于传统的将形状参数和表情参数转换成三维重建参数的计算过程的复杂性，本申请中通过固化形状参数和表情参数转换成三维重建参数的关联关系，优化了形状参数和表情参数转换成三维重建参数的算法性能，减少了内存消耗。可以理解到，不在神经网络的特征提取网络之后级联一个三维重建网络，神经网络输出的是形状参数和表情参数重建参数化信息，增加一个三维重建网络后，神经网络输出的是正脸图像。
本实施例中的人脸三维重建方法应用于移动终端。通过优化三维重建网络算法，减小三维人脸重建过程为移动终端的带来的功耗和内存消耗。
本申请还提供一种三维重建装置，请参阅图6，图6为本申请三维重建装置一实施方式的结构示意图。如图6所示，三维重建装置60包括：图像获取模块61，用于获取到包括目标对象的图像。特征参数获取模块62，用于基于图像获取到目标对象的特征参数。计算模块63，用于利用神经网络对特征参数进行卷积计算，得到目标对象的三维重建参数。重建模块64，用于基于三维重建参数对目标对象进行三维重建。
本申请还提供一种人脸三维重建装置，请参阅图7，图7为本申请人脸三维重建装置一实施方式的结构示意图。如图7所示，人脸三维重建装置70包括：人脸图像获取模块71，用于获取到包括人脸的图像。参数获取模块72，用于基于图像获取到人脸的形状参数和表情参数。计算模块73，用于利用神经网络对形状参数和表情参数进行卷积计算，得到人脸的三维重建参数。重建模块74，用于基于三维重建参数对人脸进行三维重建。
本申请还提供一种终端，请参阅图8，图8为本申请终端一实施方式的结构示意图，如图8所示，终端80包括相互耦接的处理器801和存储器802，处理器801用于执行存储器802存储的程序指令以实现上述任一方法实施例中的步骤或者上述任一方法实施例中三维重建方法对应执行的步骤。该终端80除包括上述处理器801和存储器802之外，还可根据需求包括触摸屏、打印组件、通信电路等，在此不做限定。
具体而言，处理器801用于控制其自身以及存储器802以实现上述任一方法实施例中的步骤。处理器801还可以称为CPU(Central Processing Unit，中央处理单元)。处理器801可能是一种集成电路芯片，具有信号的处理能力。处理器801还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器801可以由多个集成电路芯片共同实现。
本申请还提供一种计算机可读存储介质，如图9所示，图9为本申请计算机可读存储介质一实施方式的结构示意图。
计算机可读存储介质90包括计算机可读存储介质90上存储的计算机程序901，计算机程序901被上述处理器执行时实现上述任一方法实施例中的步骤或者上述任一方法实施例中三维重建方法对应执行的步骤。
具体地，集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质90中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质90中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质90包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (12)
1.一种三维重建方法，其特征在于，所述三维重建方法包括：
获取到包括目标对象的图像；
基于所述图像获取到所述目标对象的特征参数；
利用神经网络对所述特征参数进行卷积计算，得到所述目标对象的三维重建参数；其中，所述神经网络是通过固化所述特征参数与所述三维重建参数的关联关系后得到的；
基于所述三维重建参数对所述目标对象进行三维重建。
2.根据权利要求1所述的三维重建方法，其特征在于，所述利用神经网络对所述特征参数进行卷积计算，得到所述目标对象的三维重建参数的步骤，包括：
基于预设数据构建参数模型；
获取所述参数模型的固定参数；
基于所述固定参数对所述特征参数进行卷积计算，得到所述目标对象的三维重建参数。
3.根据权利要求2所述的三维重建方法，其特征在于，所述基于所述固定参数对所述特征参数进行卷积计算，得到所述目标对象的三维重建参数的步骤，包括：
获取所述固定参数的第一类参数与所述特征参数的第一类参数的乘积、所述固定参数的第二类参数与所述特征参数的第二类参数的乘积以及所述固定参数的第三类参数；
将所述第一类参数的乘积与所述第二类参数的乘积以及所述第三类参数的和确定为所述目标对象的三维重建参数。
4.根据权利要求2所述的三维重建方法，其特征在于，所述获取所述参数模型的固定参数的步骤，包括：
根据三维重建参数从所述参数模型的初始参数中选取所述固定参数。
5.根据权利要求1所述的三维重建方法，其特征在于，所述神经网络包括相互级联的特征提取网络以及三维重建网络；
所述基于所述图像获取到所述目标对象的特征参数的步骤包括：
利用所述特征提取网络获取到所述目标对象的特征参数；
所述利用神经网络对所述特征参数进行卷积计算，得到所述目标对象的三维重建参数的步骤，包括：
利用所述三维重建网络对所述特征参数进行卷积计算，得到所述目标对象的三维重建参数。
6.一种人脸三维重建方法，其特征在于，包括：
获取到包括人脸的图像；
基于所述图像获取到所述人脸的形状参数和表情参数；
利用神经网络对所述形状参数和所述表情参数进行卷积计算，得到所述人脸的三维重建参数；其中，所述神经网络是通过固化所述特征参数与所述三维重建参数的关联关系后得到的；
基于所述三维重建参数对所述人脸进行三维重建。
7.根据权利要求6所述的人脸三维重建方法，其特征在于，所述利用神经网络对所述形状参数和所述表情参数进行卷积计算，得到所述人脸的三维重建参数的步骤，包括：
基于预设数据构建参数模型；
获取所述参数模型的第一参数、第二参数以及第三参数；
基于所述第一参数、所述第二参数以及所述第三参数对所述人脸的形状参数和表情参数进行卷积计算，得到所述人脸的三维重建参数。
8.根据权利要求7所述的人脸三维重建方法，其特征在于，所述基于所述第一参数、所述第二参数以及所述第三参数对所述人脸的形状参数和表情参数进行卷积计算，得到所述人脸的三维重建参数的步骤，包括：
获取所述第一参数与所述形状参数的第一矩阵乘积、所述第二参数与所述表情参数的第二矩阵乘积；
将所述第一矩阵乘积、所述第二矩阵乘积与所述第三参数的和确定为所述人脸的三维重建参数。
9.一种三维重建装置，其特征在于，包括：
图像获取模块，用于获取到包括目标对象的图像；
特征参数获取模块，用于基于所述图像获取到所述目标对象的特征参数；
计算模块，用于利用神经网络对所述特征参数进行卷积计算，得到所述目标对象的三维重建参数；
重建模块，用于基于所述三维重建参数对所述目标对象进行三维重建。
10.一种人脸三维重建装置，其特征在于，包括：
人脸图像获取模块，用于获取到包括所述人脸的图像；
参数获取模块，用于基于所述图像获取到所述人脸的形状参数和表情参数；
计算模块，用于利用神经网络对所述形状参数和所述表情参数进行卷积计算，得到所述人脸的三维重建参数；
重建模块，用于基于所述三维重建参数对所述人脸进行三维重建。
11.一种终端，其特征在于，所述终端包括相互耦接的处理器和存储器，所述存储器用于存储程序指令，所述处理器用于执行所述存储器存储的程序指令以实现上述权利要求1～5或6～8任一项所述的三维重建方法。
12.一种计算机可读存储介质，其特征在于，计算机可读存储介质包括处理器和存储器，所述存储器存储有计算机程序指令，所述处理器用于执行程序指令以实现权利要求1～5或6～8任一项所述的三维重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110832889.XA CN113658320A (zh) | 2021-07-22 | 2021-07-22 | 一种三维重建方法、人脸三维重建方法及其相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110832889.XA CN113658320A (zh) | 2021-07-22 | 2021-07-22 | 一种三维重建方法、人脸三维重建方法及其相关装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113658320A true CN113658320A (zh) | 2021-11-16 |
Family
ID=78477717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110832889.XA Pending CN113658320A (zh) | 2021-07-22 | 2021-07-22 | 一种三维重建方法、人脸三维重建方法及其相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113658320A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393532A (zh) * | 2022-10-27 | 2022-11-25 | 科大讯飞股份有限公司 | 脸部绑定方法、装置、设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110619676A (zh) * | 2019-09-18 | 2019-12-27 | 东北大学 | 一种基于神经网络的端到端的三维人脸重建方法 |
| WO2020207270A1 (zh) * | 2019-04-09 | 2020-10-15 | 五邑大学 | 一种三维人脸重建方法及其***、装置、存储介质 |
| CN112562069A (zh) * | 2020-12-24 | 2021-03-26 | 北京百度网讯科技有限公司 | 三维模型的构造方法、装置、设备和存储介质 |
| CN113129425A (zh) * | 2019-12-31 | 2021-07-16 | Tcl集团股份有限公司 | 一种人脸图像三维重建方法、存储介质及终端设备 |
-
2021
- 2021-07-22 CN CN202110832889.XA patent/CN113658320A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020207270A1 (zh) * | 2019-04-09 | 2020-10-15 | 五邑大学 | 一种三维人脸重建方法及其***、装置、存储介质 |
| CN110619676A (zh) * | 2019-09-18 | 2019-12-27 | 东北大学 | 一种基于神经网络的端到端的三维人脸重建方法 |
| CN113129425A (zh) * | 2019-12-31 | 2021-07-16 | Tcl集团股份有限公司 | 一种人脸图像三维重建方法、存储介质及终端设备 |
| CN112562069A (zh) * | 2020-12-24 | 2021-03-26 | 北京百度网讯科技有限公司 | 三维模型的构造方法、装置、设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| A. T. TRAN等；: "Regressing Robust and Discriminative 3D Morphable Models with a Very Deep Neural Network", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 9 November 2017 (2017-11-09), pages 1493 - 1502 * |
| LUAN TRAN等；: "Nonlinear 3D Face Morphable Model", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 16 December 2018 (2018-12-16), pages 7346 - 7355 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393532A (zh) * | 2022-10-27 | 2022-11-25 | 科大讯飞股份有限公司 | 脸部绑定方法、装置、设备及存储介质 |
| CN115393532B (zh) * | 2022-10-27 | 2023-03-14 | 科大讯飞股份有限公司 | 脸部绑定方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020119527A1 (zh) | 人体动作识别方法、装置、终端设备及存储介质 | |
| CN109493350B (zh) | 人像分割方法及装置 | |
| WO2021248859A1 (zh) | 视频分类方法、装置、设备及计算机可读存储介质 | |
| WO2019184657A1 (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN111144242B (zh) | 一种三维目标检测方法、装置及终端 | |
| CN109816011A (zh) | 生成人像分割模型的方法和视频关键帧提取方法 | |
| TW202205215A (zh) | 三維網格模型的重建方法、電子設備、電腦可讀儲存介質 | |
| CN110378203B (zh) | 图像处理方法、装置、终端及存储介质 | |
| CN109685873B (zh) | 一种人脸重建方法、装置、设备和存储介质 | |
| CN109598250B (zh) | 特征提取方法、装置、电子设备和计算机可读介质 | |
| WO2023173646A1 (zh) | 一种表情识别方法及装置 | |
| WO2022166258A1 (zh) | 行为识别方法、装置、终端设备及计算机可读存储介质 | |
| CN115861515A (zh) | 一种三维人脸重建方法、计算机程序产品及电子设备 | |
| CN113658320A (zh) | 一种三维重建方法、人脸三维重建方法及其相关装置 | |
| CN112115954B (zh) | 一种特征提取方法、装置、机器可读介质及设备 | |
| CN113516006A (zh) | 一种用于智能机器人的高效信息处理方法及*** | |
| CN113033448A (zh) | 一种基于多尺度卷积和注意力的遥感影像去云残差神经网络***、方法、设备及存储介质 | |
| WO2024045320A1 (zh) | 人脸识别方法及装置 | |
| CN111639537A (zh) | 人脸动作单元识别方法、装置、电子设备及存储介质 | |
| CN113139490B (zh) | 一种图像特征匹配方法、装置、计算机设备及存储介质 | |
| CN114254563A (zh) | 数据处理方法及装置、电子设备、存储介质 | |
| WO2023082089A1 (zh) | 一种三维重建方法、装置、设备及计算机存储介质 | |
| CN112001479B (zh) | 基于深度学习模型的处理方法、***及电子设备 | |
| CN112258392A (zh) | 一种超分辨图像训练方法、装置、介质及设备 | |
| CN109002553B (zh) | 头发模型的构建方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |