CN112734895A - 一种三维人脸处理方法及电子设备 - Google Patents
一种三维人脸处理方法及电子设备 Download PDFInfo
- Publication number
- CN112734895A CN112734895A CN202011643370.9A CN202011643370A CN112734895A CN 112734895 A CN112734895 A CN 112734895A CN 202011643370 A CN202011643370 A CN 202011643370A CN 112734895 A CN112734895 A CN 112734895A
- Authority
- CN
- China
- Prior art keywords
- dimensional face
- dimensional
- image
- face
- next frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 230000009471 action Effects 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 13
- 239000002131 composite material Substances 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供一种三维人脸处理方法包括：重建视频序列中的三维人脸，以获取三维人脸参数集；以及使用三维人脸对应的二维人脸图像纹理，为所述三维人脸参数集添加时域约束，并优化所述三维人脸参数集，以使得所述三维人脸参数集在时域上与二维人脸图像纹理满足预设条件，其中所述时域约束由二维图像纹理的一致性表征。本申请还提供了相应的电子设备。通过上述方案，本申请保证重建后的三维人脸参数的时域连续，并保证三维人脸参数稳定平滑，并且不会造成迟滞问题。
Description
技术领域
本申请的所公开实施例涉及图像处理技术领域，且更具体而言，涉及一种三维人脸处理方法及电子设备。
背景技术
随着计算机图形学与计算机视觉技术的联系日趋紧密，基于3DMM(三维可变形人脸模型，3D Morphable models)参数化三维人脸模型的研究进展迅速，由单个RGB人脸图像估计对应三维人脸模型参数的研究方案亦愈发多见。
目前，基于视频的三维人脸重建任务由于其相对复杂的任务流程，造成逐帧之间生成的三维模型参数差异较大，从而造成生成的三维模型网格在时域上抖动明显。
发明内容
根据本申请的实施例，本申请提出一种三维人脸处理方法及电子设备。
根据本申请的第一方面，公开一种实例性的三维人脸处理方法。实例性的三维人脸处理方法包括：重建视频序列中的三维人脸，以获取三维人脸参数集；以及使用三维人脸对应的二维人脸图像纹理，为所述三维人脸参数集添加时域约束，并优化所述三维人脸参数集，以使得所述三维人脸参数集在时域上与二维人脸图像纹理满足预设条件，其中所述时域约束由二维图像纹理的一致性表征。
在一些实施例中，所述视频序列包括当前帧人脸图像以及下一帧人脸图像，所述三维人脸参数集包括当前帧三维人脸参数以及下一帧三维人脸参数，其中，所述当前帧三维人脸参数用于表示当前帧三维人脸网格，所述下一帧三维人脸参数用于表示下一帧三维人脸网格；所述使用三维人脸对应的二维图像纹理，为所述三维人脸参数集添加时域约束，包括：根据所述当前帧人脸图像及所述当前帧三维人脸网格，获取当前帧纹理图像；使用所述当前帧纹理图像渲染所述下一帧三维人脸网格，以将所述下一帧三维人脸网格投影到所述当前帧人脸图像，得到当前帧合成图像。
在一些实施例中，所述优化所述三维人脸参数集，包括：获取所述当前帧合成图像到所述下一帧人脸图像的光流，通过所述光流修正所述下一帧三维人脸网格的顶点到所述下一帧人脸图像的平面的投影，以达到优化目标，从而使得所述下一帧三维人脸参数在时域上与所述下一帧人脸图像的纹理满足所述预设条件。
在一些实施例中，所述优化目标包括第一子目标和第二子目标；所述第一子目标用于表征纹理连续项，其中，所述纹理连续项是由在已优化的所述下一帧三维人脸参数的作用下所述下一帧三维人脸网格的第n个顶点在所述下一帧人脸图像的坐标下的位置以及在未优化的所述下一帧三维人脸网格的第n个顶点经过所述光流修正后在所述下一帧人脸图像的坐标下的位置而计算得到的；所述第二子目标用于表征Z坐标平滑项，其中，所述Z坐标平滑项是由在已优化的所述下一帧三维人脸参数的作用下的第m个三维人脸关键点的Z坐标值以及在所述当前帧三维人脸参数作用下的第m个三维人脸关键点的Z坐标值而计算得到的。
在一些实施例中，所述纹理连续项的值与Z坐标平滑项的值之和小于预设值，则所述下一帧三维人脸参数在时域上与所述下一帧人脸图像的纹理连续性满足预设连续性条件，且所述下一帧三维人脸参数的Z坐标满足预设平滑条件。
在一些实施例中，所述当前帧合成图像是采用任意可微分渲染器而获取的。
在一些实施例中，该方法进一步包括：为所述三维人脸参数集添加三维人脸对应的二维关键点约束；所述优化所述三维人脸参数集进一步包括：通过所述二维关键点约束，优化所述三维人脸参数集，以实现所述三维人脸参数集与二维人脸图像的一致性。
根据本申请的第二方面，公开一种实例性的电子设备，实例性的电子设备包括处理器和存储器，所述存储器存储有指令，所述指令在执行时使得所述处理器执行如第一方面所述的三维人脸处理方法。
根据本申请的第三方面，公开一种实例性的非易失性计算机存储介质，实例性的非易失性计算机存储介质存储有指令，所述指令在执行时使得处理器执行如第一方面所述的三维人脸处理方法。
本申请的有益效果有：通过在重建视频序列中的三维人脸后，使用三维人脸对应的二维人脸图像纹理，给三维人脸参数集添加时域约束，即二维图像纹理的一致性约束，并优化三维人脸参数集，使得三维人脸参数集在时域上与二维人脸图像纹理满足预设条件，实现与二维图像空间的一致性，保证重建后的三维人脸参数的时域连续，并保证三维人脸参数稳定平滑，并且不会造成迟滞问题。
在阅读以下对各图及图式中所例示的优选实施例的详细说明之后，本申请的这些及其它目标无疑将对所属领域的技术人员显而易见。
附图说明
下面将结合附图及实施方式对本申请作进一步说明，附图中：
图1是根据本申请实施例的三维人脸处理方法的流程图。
图2是根据本申请实施例的三维人脸处理方法的部分流程图。
图3是根据本申请实施例所采用的建立三维网格空间至二维图像空间的联系的示意图。
图4是根据本申请实施例的电子设备的结构示意图。
图5是根据本申请实施例的一种非易失性存储介质的示意图。
具体实施方式
为了解决上述生成的三维模型网格在时域上抖动明显的问题，视频序列的参数化三维人脸重建方案一般需要保证时序稳定性的方案。目前保证时序稳定性的方案有如下方式：
一种方式是保证输入二维(2D)人脸关键点的时序稳定性，具体地，是对二维关键点进行时序滤波。其中，对输入参数进行滤波可以保证输出参数的时序稳定性，但会造成输入的迟滞问题，从而造成输出参数的延迟，导致三维人脸的某些参数无法及时追踪二维图像，例如张、闭嘴，睁、闭眼动作不够流畅。
另一种方式是保证输出三维人脸刚***姿和表情参数的稳定性，具体地，是为对相应参数进行卡尔曼滤波。其中，由于人脸表情参数对噪声非常敏感，且容易产生不合理的混合形状，仅使用时域上的几何约束往往不能产生满意的结果。
可以看出，无论是基于输入参数的滤波，还是针对输出三维人脸参数的滤波均无法保证生成的三维人脸与图像纹理保持时序一致性。
为此，本申请提供一种三维人脸处理方法及电子设备。
为使本领域的技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请的技术方案做进一步详细描述。
如图1所示，为根据本申请实施例的三维人脸处理方法的流程图。该方法可以由电子设备执行，该电子设备包括但不限于计算机、服务器等。该方法包括如下步骤：
步骤110：重建视频序列中的三维人脸，以获取三维人脸参数集。
视频序列包括多帧人脸图像，每帧人脸图像即为二维图像，重建该视频序列中的三维人脸，获取三维人脸参数集。
重建其中的三维人脸，具体地，对视频序列进行逐帧参数化并进行三维人脸重建，从而获取每帧三维人脸参数，其中每帧三维人脸参数未进行任何其他处理，即获取每帧三维人脸参数的原始数据。
在一示例中，对该视频序列进行抽帧后，得到当前帧人脸图像，使用基于关键点的三维人脸重建方案对当前帧人脸图像所对应的原始二维人脸图像提取二维关键点，例如人脸轮廓处的点、鼻尖处的点，随后进行三维人脸重建，获取当前帧三维人脸参数的原始数据。在其他示例中，还可以采用其他三维人脸重建方案来重建视频序列中的三维人脸，例如，基于可微分渲染器的三维人脸重建方案、基于神经网络的三维人脸重建方案等，本申请对此并不作限定，获取未处理的三维人脸参数集即可。
步骤120：使用三维人脸对应的二维人脸图像纹理，为三维人脸参数集添加时域约束，并优化三维人脸参数集，以使得三维人脸参数集在时域上与二维人脸图像纹理满足预设条件。
其中，时域约束由二维图像纹理的一致性表征，即给三维人脸参数集添加二维图像纹理的一致性约束。
在一示例中，预设条件表示三维人脸参数集在时域上的连续性在更优表现连续性的预设方向上，进一步地，三维人脸参数集在时域上表示与二维人脸图像纹理保持一致性。
重建三维人脸后，使用三维人脸对应的二维人脸图像纹理，给三维人脸参数集添加时域约束，即使用图像纹理建立三维人脸网格的空间与二维图像的空间的时域联系，并优化三维人脸参数集，使得三维人脸参数集在时域上与二维人脸图像纹理满足预设条件。
本实施例中，通过在重建视频序列中的三维人脸后，使用三维人脸对应的二维人脸图像纹理，给三维人脸参数集添加时域约束，即二维图像纹理的一致性约束，并优化三维人脸参数集，使得三维人脸参数集在时域上与二维人脸图像纹理满足预设条件，实现与二维图像空间的一致性，保证重建后的三维人脸参数的时域连续，并保证三维人脸参数稳定平滑，并且不会造成迟滞问题。
视频序列包括当前帧人脸图像以及下一帧人脸图像，三维人脸参数集包括当前帧三维人脸参数以及下一帧三维人脸参数，其中，当前帧三维人脸参数用于表示当前帧三维人脸网格，下一帧三维人脸参数用于表示下一帧三维人脸网格。
为了便于描述，假设当前帧人脸图像标记为第i帧，其中，i大于或等于0，下一帧人脸图像标记为第i+1帧，当前帧三维人脸参数标记为Θi，下一帧三维人脸参数标记为Θi+1，当前帧三维人脸参数用于表示当前帧三维人脸网格，具体地，当前帧三维人脸网格的表示为：
其中，βi为当前帧三维人脸参数中的三维人脸表情参数，即第i帧三维人脸参数中的表情参数，为人脸非刚体运动的参数，γi＝(si，Ri，ti)为当前帧三维人脸参数中的三维人脸位姿参数，即第i帧三维人脸参数中的位姿参数，表示弱透视变换下的缩放参数、旋转参数与平移参数，为人脸刚体运动的参数。依次类推，同样地，可以得到下一帧三维人脸网格的表示，为简洁清楚，在此不再赘述。
如上，使用三维人脸对应的二维图像纹理，为三维人脸参数集添加时域约束，具体地，在一些实施例中，如图2所示，该步骤包括：
步骤221：根据当前帧人脸图像及当前帧三维人脸网格，获取当前帧纹理图像。
根据当前帧人脸图像及当前帧三维人脸网格，将当前帧三维人脸网格投影到当前帧人脸图像的空间，获取当前帧纹理图像，即当前帧三维人脸网格的每个顶点的UV坐标对应的当前帧人脸图像上的像素，从而得到各个顶点的UV坐标，进而形成了当前帧纹理图像。下面以当前帧为第i帧为例进行说明。
从第i帧人脸图像Ii和第i帧三维人脸网格M(Θi)上，获取当前帧纹理图像ti，其计算公式为：
ti＝FJ(Ii，M(Θi))
其中，函数FJ用于建立三维网格空间至二维图像空间的联系，获取三维人脸模型的UV纹理。如图3所示，为该函数FJ用于建立第i帧三维人脸网格与第i帧人脸图像(即二维图像)之间的联系，获取第i帧纹理图像，其中第i帧人脸图像中所标记的点为可见的面顶点，对应地，第i帧三维人脸网格中所标记的点为第i帧三维人脸网格的顶点，得到的相应的该顶点的UV坐标如图3所示。
具体地，实现该函数FJ的过程为：首先，通过深度检测获取当前帧人脸图像中的可见的面顶点，随后，将光栅化后的当前帧人脸图像中距离该面顶点最近的像素赋予该面顶点对应的UV纹理。其由如下伪代码描述：
在获取某个UV纹理后，相应的二维图像特征(即当前帧人脸图像中的可见的面顶点)被保留在该面顶点的三维模型的坐标中，而纹理图像ti的每一个纹素
均对应当前帧三维人脸网格上的某一个顶点
因此，可以看出，纹理在时域上的一致性约束可以回传到当前帧三维人脸图像的表情参数βi与位姿参数si，Ri，ti。
步骤222：使用当前帧纹理图像渲染下一帧三维人脸网格，以将下一帧三维人脸网格投影到当前帧人脸图像，得到当前帧合成图像。
继续以当前帧为第i帧为例进行说明。
使用当前帧纹理图像渲染下一帧三维人脸网格，获得当前帧合成图像，其表达公式如下：
其中，函数FR为任意可微分渲染器，其用于将下一帧三维人脸网格投影到当前帧人脸图像，其中，由于下一帧三维人脸网格带有第i帧人脸图像的二维图像特征(当前帧人脸图像中的顶点)，将下一帧三维人脸网格投影到当前帧人脸图像，获得的当前帧合成图像带有下一帧三维人脸参数的信息。
具体地，在一示例中，可微分渲染器由神经网络来实现。该神经网络包含两个阶段，即训练阶段和测试阶段，其中训练阶段用于构建一个带有参数的神经网络，测试阶段为使用这个带有参数的神经网络作为一个渲染函数的网络前向过程。也就是说，当前帧合成图像是通过该神经网络的测试阶段而获取的。
由于UV纹理在三维网格空间上可保持一致，因此，从上述可以看出，当第i帧三维人脸网格通过第i+1帧三维人脸参数进行变换后，其UV纹理仍然保留第i帧人脸图像的二维图像特征，此即二维图像纹理一致性。
如上述，为三维人脸参数集添加时域约束后，优化三维人脸参数集。在一些实施例中，优化三维人脸参数集包括：获取当前帧合成图像到下一帧人脸图像的光流，通过光流修正下一帧三维人脸网格的顶点到下一帧人脸图像的平面的投影，以达到优化目标，从而使得下一帧三维人脸参数在时域上与下一帧人脸图像的纹理满足预设条件。
继续以当前帧为第i帧为例进行说明。
从第i帧合成图像
到第i+1帧人脸图像Ii+1的光流为：
其中f为任意已有的光流算子，对于第i+1帧二维图像平面的任意像素位置A，坐标为(x，y)，光流算子用于通过映射I(x，y)→I′(x+u，y+v)，将像素位置A修正至A’(其坐标为(x′＝x+u，y′＝y+v))，以保证第i帧二维图像与第i+1帧二维图像之间的连续性。
在上式中，光流映射f修正可微分渲染器FR所渲染的当前帧合成图像
与下一帧人脸图像Ii+1，进而修正当前帧三维人脸参数Θi中的表情参数βi与位姿参数si，Ri，ti。
优化目标用于量化下一帧三维人脸参数在时域上与下一帧人脸图像的纹理满足预设条件。
在一些实施例中，优化目标包括第一子目标和第二子目标，其中，第一子目标用于表征纹理连续项，其中，纹理连续项是由在已优化的下一帧三维人脸参数的作用下下一帧三维人脸网格的第n个顶点在所述下一帧人脸图像的坐标下的位置以及在未优化的所述下一帧三维人脸网格的第n个顶点经过光流修正后在所述下一帧人脸图像的坐标下的位置而计算得到的。第二子目标用于表征Z坐标平滑项，其中，Z坐标平滑项是由在已优化的所述下一帧三维人脸参数的作用下的第m个三维人脸关键点的Z坐标值以及在当前帧三维人脸参数作用下的第m个三维人脸关键点的Z坐标值而计算得到的。
具体地，该优化目标的计算公式如下：
其中，第一子目标用于表征纹理连续项
计算公式为如下公式1：
其中，
m表示下一帧三维人脸网格的顶点的数量。
根据上述公式1，得到的纹理连续项
的值越小，表示下一帧三维人脸参数Θi+1在时域上与下一帧人脸图像的纹理连续性越好。
第二子目标用于表征Z坐标平滑项
计算公式为如下公式2：
其中，
根据上述公式2，得到的Z坐标平滑项的值越小，表示下一帧三维人脸参数的Z坐标越平滑。
进一步地，在一些实施例中，纹理连续项的值与Z坐标平滑项的值之和(即
)小于预设值，则下一帧三维人脸参数在时域上与下一帧人脸图像的纹理连续性满足预设连续性条件，且下一帧三维人脸参数的Z坐标满足预设平滑条件。
在一些实施例中，该方法进一步包括为三维人脸参数集添加三维人脸对应的二维关键点约束。由于给三维人脸参数集添加对应的二维关键点约束，保证了二维人脸图像与三维人脸的一致性，提高了三维人脸重建的精度。二维人脸关键点约束是指以某个人脸图像中的关键点为基准，进行相关操作。例如，给当前帧三维人脸参数添加当前帧人脸图像中的二维关键点约束。
此时，优化三维人脸参数集进一步包括：通过二维关键点约束，优化三维人脸参数集，以实现三维人脸参数集与二维人脸图像的一致性。例如，以当前帧人脸图像中的关键点为基准，优化当前帧三维人脸参数，从而实现当前帧人脸参数与相应的当前帧二维人脸图像的一致性。
在保证二维人脸图像与三维人脸的一致性的情况下，优化目标进一步包括第三子目标，第三子目标用于表征当前帧二维关键点约束，其计算公式如下：
其中，s2d，R，t2d表示弱透视相机参数，Km表示第m个二维关键点，
表示正交投影下的正交投影矩阵，
表示在已优化的下一帧三维人脸参数
的作用下的第m个三维人脸关键点的坐标。
具体地，在优化目标包括第一子目标、第二子目标和第三子目标的实施例中，即此时优化目标的计算公式如下：
优化过程为：先使用坐标上升法分别求解位姿参数γi＝(si，Ri，ti)与表情参数βi，然后通过纹理一致性约束与二维关键点约束共同优化。其由以下伪代码给出：
如图4所示，为本发明实施例的电子设备的结构示意图。电子设备400包括存储器410和处理器420。存储器410连接处理器420。
存储器410可以包括只读存储器和/或随机存取存储器等，并向处理器420提供指令和数据。存储器410的一部分还可以包括非易失性随机存取存储器(NVRAM)。存储器410存储有如下的元素，可执行模块或者数据结构，或者它们的子集，或者它们的扩展集：操作指令，包括各种操作指令，用于实现各种操作；操作***，包括各种***程序，用于实现各种基础业务以及处理基于硬件的任务。
具体的应用中，终端的各个组件通过总线430耦合在一起，其中总线430除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线430。
在一些实施例中，处理器420通过调用存储器410存储的指令，可以执行如下操作：
重建视频序列中的三维人脸，以获取三维人脸参数集；以及
使用三维人脸对应的二维人脸图像纹理，为三维人脸参数集添加时域约束，并优化三维人脸参数集，以使得三维人脸参数集在时域上与二维人脸图像纹理满足预设条件，其中时域约束由二维图像纹理的一致性表征。
处理器420可以是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法的各步骤可以通过处理器420中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器420可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器410，处理器420读取存储器410中的信息，结合其硬件完成上述方法的步骤。
本发明还提供一种非易失性存储介质的实施例，如图5所示，该非易失性存储介质500存储有处理器可运行的指令501，该指令501用于执行上述实施例中的方法。具体地，该存储介质500具体可如图4所示的存储器410或为存储器410的一部分。
所属领域的技术人员易知，可在保持本申请的教示内容的同时对装置及方法作出诸多修改及变动。因此，以上公开内容应被视为仅受随附权利要求书的范围的限制。
Claims (10)
1.一种三维人脸处理方法，其特征在于，包括：
重建视频序列中的三维人脸，以获取三维人脸参数集；以及
使用三维人脸对应的二维人脸图像纹理，为所述三维人脸参数集添加时域约束，并优化所述三维人脸参数集，以使得所述三维人脸参数集在时域上与二维人脸图像纹理满足预设条件，其中所述时域约束由二维图像纹理的一致性表征。
2.如权利要求1中所述的三维人脸处理方法，其特征在于，所述视频序列包括当前帧人脸图像以及下一帧人脸图像，所述三维人脸参数集包括当前帧三维人脸参数以及下一帧三维人脸参数，其中，所述当前帧三维人脸参数用于表示当前帧三维人脸网格，所述下一帧三维人脸参数用于表示下一帧三维人脸网格；
所述使用三维人脸对应的二维图像纹理，为所述三维人脸参数集添加时域约束，包括：
根据所述当前帧人脸图像及所述当前帧三维人脸网格，获取当前帧纹理图像；
使用所述当前帧纹理图像渲染所述下一帧三维人脸网格，以将所述下一帧三维人脸网格投影到所述当前帧人脸图像，得到当前帧合成图像。
3.如权利要求2中所述的三维人脸处理方法，其特征在于，所述优化所述三维人脸参数集，包括：
获取所述当前帧合成图像到所述下一帧人脸图像的光流，通过所述光流修正所述下一帧三维人脸网格的顶点到所述下一帧人脸图像的平面的投影，以达到优化目标，从而使得所述下一帧三维人脸参数在时域上与所述下一帧人脸图像的纹理满足所述预设条件。
4.如权利要求3中所述的三维人脸处理方法，其特征在于，所述优化目标包括第一子目标和第二子目标；
所述第一子目标用于表征纹理连续项，其中，所述纹理连续项是由在已优化的所述下一帧三维人脸参数的作用下所述下一帧三维人脸网格的第n个顶点在所述下一帧人脸图像的坐标下的位置以及在未优化的所述下一帧三维人脸网格的第n个顶点经过所述光流修正后在所述下一帧人脸图像的坐标下的位置而计算得到的；
所述第二子目标用于表征Z坐标平滑项，其中，所述Z坐标平滑项是由在已优化的所述下一帧三维人脸参数的作用下的第m个三维人脸关键点的Z坐标值以及在所述当前帧三维人脸参数作用下的第m个三维人脸关键点的Z坐标值而计算得到的。
5.如权利要求4中所述的三维人脸处理方法，其特征在于，所述纹理连续项的值与Z坐标平滑项的值之和小于预设值，则所述下一帧三维人脸参数在时域上与所述下一帧人脸图像的纹理连续性满足预设连续性条件，且所述下一帧三维人脸参数的Z坐标满足预设平滑条件。
6.如权利要求2中所述的三维人脸处理方法，其特征在于，所述当前帧合成图像是采用任意可微分渲染器而获取的。
7.如权利要求3中所述的三维人脸处理方法，其特征在于，进一步包括：
为所述三维人脸参数集添加三维人脸对应的二维关键点约束；
所述优化所述三维人脸参数集进一步包括：
通过所述二维关键点约束，优化所述三维人脸参数集，以实现所述三维人脸参数集与二维人脸图像的一致性。
8.如权利要求7中所述的三维人脸处理方法，其特征在于，所述优化目标进一步包括第三子目标，所述第三子目标用于表征当前帧二维关键点约束。
9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有指令，所述指令在执行时使得所述处理器执行如权利要求1-8任一项所述的三维人脸处理方法。
10.一种非易失性计算机存储介质，其特征在于，存储有指令，所述指令在执行时使得处理器执行如权利要求1-8任一项所述的三维人脸处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011643370.9A CN112734895B (zh) | 2020-12-30 | 2020-12-30 | 一种三维人脸处理方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011643370.9A CN112734895B (zh) | 2020-12-30 | 2020-12-30 | 一种三维人脸处理方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112734895A true CN112734895A (zh) | 2021-04-30 |
| CN112734895B CN112734895B (zh) | 2024-07-05 |
Family
ID=75609240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011643370.9A Active CN112734895B (zh) | 2020-12-30 | 2020-12-30 | 一种三维人脸处理方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112734895B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1607551A (zh) * | 2003-08-29 | 2005-04-20 | 三星电子株式会社 | 基于图像的超现实主义三维脸部建模的方法和设备 |
| CN1920886A (zh) * | 2006-09-14 | 2007-02-28 | 浙江大学 | 基于视频流的三维动态人脸表情建模方法 |
| CN101751689A (zh) * | 2009-09-28 | 2010-06-23 | 中国科学院自动化研究所 | 一种三维人脸重建方法 |
| CN102521586A (zh) * | 2011-12-08 | 2012-06-27 | 中国科学院苏州纳米技术与纳米仿生研究所 | 一种用于拍照手机的高分辨率三维人脸扫描方法 |
| US20180012407A1 (en) * | 2016-07-08 | 2018-01-11 | Microsoft Technology Licensing, Llc | Motion Capture and Character Synthesis |
| CN109035388A (zh) * | 2018-06-28 | 2018-12-18 | 北京的卢深视科技有限公司 | 三维人脸模型重建方法及装置 |
| CN109584353A (zh) * | 2018-10-22 | 2019-04-05 | 北京航空航天大学 | 一种基于单目视频重建三维人脸表情模型的方法 |
| CN111294665A (zh) * | 2020-02-12 | 2020-06-16 | 百度在线网络技术（北京）有限公司 | 视频的生成方法、装置、电子设备及可读存储介质 |
| CN111368137A (zh) * | 2020-02-12 | 2020-07-03 | 百度在线网络技术（北京）有限公司 | 视频的生成方法、装置、电子设备及可读存储介质 |
| CN111582212A (zh) * | 2020-05-15 | 2020-08-25 | 山东大学 | 一种基于运动单元的多域融合微表情检测方法 |
| CN112002014A (zh) * | 2020-08-31 | 2020-11-27 | 中国科学院自动化研究所 | 面向精细结构的三维人脸重建方法、***、装置 |
-
2020
- 2020-12-30 CN CN202011643370.9A patent/CN112734895B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1607551A (zh) * | 2003-08-29 | 2005-04-20 | 三星电子株式会社 | 基于图像的超现实主义三维脸部建模的方法和设备 |
| CN1920886A (zh) * | 2006-09-14 | 2007-02-28 | 浙江大学 | 基于视频流的三维动态人脸表情建模方法 |
| CN101751689A (zh) * | 2009-09-28 | 2010-06-23 | 中国科学院自动化研究所 | 一种三维人脸重建方法 |
| CN102521586A (zh) * | 2011-12-08 | 2012-06-27 | 中国科学院苏州纳米技术与纳米仿生研究所 | 一种用于拍照手机的高分辨率三维人脸扫描方法 |
| US20180012407A1 (en) * | 2016-07-08 | 2018-01-11 | Microsoft Technology Licensing, Llc | Motion Capture and Character Synthesis |
| CN109035388A (zh) * | 2018-06-28 | 2018-12-18 | 北京的卢深视科技有限公司 | 三维人脸模型重建方法及装置 |
| CN109584353A (zh) * | 2018-10-22 | 2019-04-05 | 北京航空航天大学 | 一种基于单目视频重建三维人脸表情模型的方法 |
| CN111294665A (zh) * | 2020-02-12 | 2020-06-16 | 百度在线网络技术（北京）有限公司 | 视频的生成方法、装置、电子设备及可读存储介质 |
| CN111368137A (zh) * | 2020-02-12 | 2020-07-03 | 百度在线网络技术（北京）有限公司 | 视频的生成方法、装置、电子设备及可读存储介质 |
| CN111582212A (zh) * | 2020-05-15 | 2020-08-25 | 山东大学 | 一种基于运动单元的多域融合微表情检测方法 |
| CN112002014A (zh) * | 2020-08-31 | 2020-11-27 | 中国科学院自动化研究所 | 面向精细结构的三维人脸重建方法、***、装置 |
Non-Patent Citations (4)
| Title |
|---|
| SÁNDOR FAZEKAS ET AL: "Analysis and performance evaluation of optical flow features for dynamic texture recognition", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 * |
| 吕海清 等: "真实感三维人脸建模技术综述", 《软件导刊》, vol. 17, no. 1 * |
| 张剑;: "融合SFM和动态纹理映射的视频流三维表情重建", 计算机辅助设计与图形学学报, no. 06 * |
| 董洪伟;: "基于网格变形的从图像重建三维人脸", 计算机辅助设计与图形学学报, no. 07, 15 July 2012 (2012-07-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112734895B (zh) | 2024-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Patwardhan et al. | Video inpainting under constrained camera motion | |
| CN112802173B (zh) | 用于在渲染图像中使用的可重新照明纹理 | |
| US7564457B2 (en) | Shot shading method and apparatus | |
| US8436867B1 (en) | System and method for generating computer graphic images by identifying variant and invariant shader arguments | |
| US11704853B2 (en) | Techniques for feature-based neural rendering | |
| WO2018039936A1 (en) | Fast uv atlas generation and texture mapping | |
| CN116109757A (zh) | 基于内蕴坐标的哈希编码的动态三维人体渲染合成方法 | |
| CN114387392B (zh) | 一种根据人影重建三维人体姿态的方法 | |
| US7129940B2 (en) | Shot rendering method and apparatus | |
| CN112734895B (zh) | 一种三维人脸处理方法及电子设备 | |
| CN116385607A (zh) | 风格化人脸驱动方法和设备、模型构建及训练方法和装置 | |
| Kim et al. | DreamSampler: Unifying Diffusion Sampling and Score Distillation for Image Manipulation | |
| US10922872B2 (en) | Noise reduction on G-buffers for Monte Carlo filtering | |
| CN111627098A (zh) | 对图像中水流区域识别并生成动态水流视频的方法及装置 | |
| CN113506220B (zh) | 3d顶点驱动的人脸姿态编辑方法、***及电子设备 | |
| CN115035230B (zh) | 视频渲染处理方法、装置、设备及存储介质 | |
| Rochette et al. | Human pose manipulation and novel view synthesis using differentiable rendering | |
| CN116883231B (zh) | 鱼眼相机的图像数据生成方法、装置、设备及存储介质 | |
| WO2024095077A1 (en) | Method of generating fullbody animatable person avatar from single image of person, computing device and computer-readable medium implementing the same | |
| US20240161362A1 (en) | Target-augmented material maps | |
| Feng et al. | R2Human: Real-Time 3D Human Appearance Rendering from a Single Image | |
| Bakken | Using synthetic data for planning, development and evaluation of shape-from-silhouette based human motion capture methods | |
| Visutsak | Grid Transformation for Image Registration and Morphing | |
| BR102021025992A2 (pt) | Método implementado por computador e sistema para classificar uma imagem de entrada para síntese de novas vistas em um efeito visual 3d, e, meio de armazenamento legível por computador não transitório | |
| RU2560086C1 (ru) | Система и способ для временного дополнения видео |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |