CN107103646B - 一种表情合成方法及装置 - Google Patents

一种表情合成方法及装置 Download PDF

Info

Publication number
CN107103646B
CN107103646B CN201710271893.7A CN201710271893A CN107103646B CN 107103646 B CN107103646 B CN 107103646B CN 201710271893 A CN201710271893 A CN 201710271893A CN 107103646 B CN107103646 B CN 107103646B
Authority
CN
China
Prior art keywords
expression
target
face
vertex
expression data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710271893.7A
Other languages
English (en)
Other versions
CN107103646A (zh
Inventor
吴松城
陈军宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Black Mirror Technology Co Ltd
Original Assignee
Xiamen Black Mirror Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Black Mirror Technology Co ltd filed Critical Xiamen Black Mirror Technology Co ltd
Priority to CN201710271893.7A priority Critical patent/CN107103646B/zh
Publication of CN107103646A publication Critical patent/CN107103646A/zh
Application granted granted Critical
Publication of CN107103646B publication Critical patent/CN107103646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Cosmetics (AREA)

Abstract

本申请实施例公开了一种表情合成方法及装置，实现了提高根据合成的具有目标表情的目标脸的真实性的目的。其中，所述方法包括：获取目标脸的待处理表情的表情数据；获取标准脸的第一表情的表情数据和所述标准脸的第二表情的表情数据；根据所述标准脸的第一表情的表情数据和所述标准脸的第二表情的表情数据得到满足预设条件的表情数据；利用所述预设条件的表情数据得到所述目标脸具有目标表情时的第一表情数据；按照预设规则构建目标函数，并以所述第一表情数据为约束条件，得到当所述目标函数的值满足预设条件时，所述目标脸具有目标表情时的第二表情数据；根据所述目标脸的所述第一表情数据和所述第二表情数据合成具有所述目标表情的目标脸。

Description

一种表情合成方法及装置
技术领域
本申请涉及动画技术领域，尤其涉及一种表情合成方法及装置。
背景技术
在社会交往中，人脸表情能够传达重要、丰富的信息。随着计算机技术的快速发展，表情合成技术在图形图像处理、计算机辅助设计等领域受到越来越多研究人员的关注。它在游戏娱乐、媒体制作、虚拟现实设计、远程虚拟通讯、远程医疗服务、虚拟视频会议、虚拟角色交互应用等方面有着重要的用途。
基于三维空间模型的人脸表情合成是目前的研究热点。人脸表情的合成实质上是人脸表情数据的合成。通过将人脸在三维空间中建模，可以得到人脸上每个顶点在三维空间中的位置坐标。对于不同的表情，人脸的各顶点的位置坐标是不相同的。例如，一般情况下，人在微笑的时候嘴、眼睛、鼻子等部位都会有相应变化，嘴角会上扬、眼睑会收缩、鼻孔会张大。所以，当人在微笑时，这些部位对应的顶点的位置坐标和人在其他表情(例如没有表情、愤怒、伤心等表情)下对应的位置坐标是不相同的。
目前通常采用融合变形(Blend Shape)的方式对人脸的表情数据进行合成。融合变形的原理为：首先获取标准人脸的第一表情的表情数据与标准人脸的第二表情的表情数据之间的差值，然后将该差值与目标人脸的当前表情的表情数据相加或相减，得到目标人脸的目标表情的表情数据，所述第二表情和所述当前表情是相匹配的，第一表情和目标表情是相匹配的。其中，标准人脸是标准人的脸，是作为基准的人脸，它可以通过对某个实际人脸模拟得到，也可以是抽象出来的人脸；目标人脸为用户的脸。举个例子，假设标准人脸的第一表情为微笑，第二表情为没有表情；目标人脸的当前表情也为没有表情，目标表情为微笑。那么目标人脸微笑对应的表情数据是根据标准人脸微笑对应的表情数据和标准人脸没有表情对应的表情数据之间的差值，与目标人脸没有表情对应的表情数据进行相加得到。
因为在第一表情和第二表情在被选定的情况下，标准人脸的第一表情的表情数据与标准人脸的第二表情的表情数据之间的差值是固定的，所以不管目标人脸是什么特点，其表情数据计算的基准是相同的。而不同用户的人脸形状与标准人的人脸形状通常均有差别，比如眼睛大小不一、眉毛高低不一、人脸轮廓不一等，所以根据现有技术的融合变形方法得到目标人脸的目标表情的表情数据可能会与目标人脸真实在做目标表情时得到的表情数据差距较大，甚至会出现不符合生理现象的可能。
发明内容
为了解决现有技术中存在的技术问题，本申请提供了表情合成方法及装置，实现了提高根据合成的具有目标表情的目标脸的真实性的目的。
本申请提供了一种表情合成方法，所述方法包括：
获取目标脸的待处理表情的表情数据，所述待处理表情的表情数据为所述目标脸具有所述待处理表情时各顶点的位置坐标；
获取标准脸的第一表情的表情数据和所述标准脸的第二表情的表情数据，所述第一表情的表情数据为所述标准脸具有所述第一表情时各顶点的位置坐标，所述第二表情的表情数据为所述标准脸具有所述第二表情时各顶点的位置坐标，所述目标脸的各顶点和所述标准脸的各顶点一一对应，且所述标准脸的第一表情与所述目标脸的待处理表情相同；
根据所述标准脸的第一表情的表情数据和所述标准脸的第二表情的表情数据得到满足预设条件的表情数据，所述满足预设条件的表情数据为运动幅度小于或等于阈值的顶点的位置坐标；
利用所述预设条件的表情数据得到所述目标脸具有目标表情时的第一表情数据，所述目标表情与所述第二表情相同，所述第一表情数据的顶点和所述预设条件的表情数据的顶点相匹配；
按照预设规则构建目标函数，并以所述第一表情数据为约束条件，得到当所述目标函数的值满足预设条件时，所述目标脸具有目标表情时的第二表情数据，所述第二表情数据为所述目标脸的除所述第一表情数据的顶点以外的其他顶点的位置坐标；
根据所述目标脸的所述第一表情数据和所述第二表情数据合成具有所述目标表情的目标脸。
可选的，所述预设规则至少包括以下其中一个：
第一规则：所述目标脸从所述待处理表情变化到目标表情时面部整体变形程度，与所述标准脸从所述第一表情变化到所述第二表情的面部整体变形程度趋近一致；
第二规则：根据所述目标脸的第一表情数据和第二表情数据形成的目标脸是平滑的；
第三规则：所述目标脸在具有目标表情时的肌肉线条形状和所述标准脸在具有第二表情时的肌肉线条形状趋近一致；
第四规则：所述目标脸在具有目标表情时非肌肉线条之间的位置关系，和所述标准脸在具有第二表情时非肌肉线条之间的位置关系趋近一致。
可选的，若所述预设规则包括第一规则，则所述目标函数根据所述目标脸从所述待处理表情变化到所述目标表情时三角面的运动幅度，和所述标准脸从第一表情变化到第二表情时对应三角面的运动幅度之差得到，所述三角面是由三个顶点构成的面，所述目标脸的三角面用于拼成所述目标脸，所述标准脸的三角面用于拼成所述标准脸。
可选的，若所述预设规则包括第二规则，则所述目标函数根据所述目标脸从所述待处理表情变化到所述目标表情时，所述目标脸的第一三角面的变形程度和第二三角面的变形程度之差得到，所述第一三角面和所述第二三角面为由各自的三个顶点构成的面，所述第一三角面和所述第二三角面用于拼成目标脸，所述第一三角面和所述第二三角面为相邻的三角面。
可选的，若所述预设规则包括第三规则，则所述目标函数根据所述目标脸在具有目标表情时肌肉线条对应的顶点序列形成的第一向量，和所述标准脸在具有第二表情时所述肌肉线条对应的顶点序列形成的第二向量之方向差得到。
可选的，若所述预设规则包括第四规则，则所述目标函数根据所述目标脸的第一位置坐标差和所述标准脸在具有第二表情时的第二位置坐标差得到；所述第一位置坐标差为所述目标脸在具有目标表情时的第一非肌肉线条对应的顶点序列和第二非肌肉线条对应的顶点序列之间对应顶点的位置坐标差；所述第二位置坐标差为与所述标准脸在具有第二表情时所述第一非肌肉线条对应的顶点序列和所述第二非肌肉线条对应的顶点序列之间对应顶点的位置坐标差；所述第一非肌肉线条对应的顶点序列中各顶点和所述第二非肌肉线条对应的顶点序列中各顶点一一对应。
本申请还提供了一种表情合成装置，所述装置包括：待处理表情数据获取单元、标准脸表情数据获取单元、预设条件表情数据获取单元、第一表情数据获取单元、第二表情数据获取单元和表情合成单元；其中，
所述待处理表情数据获取单元，用于获取目标脸的待处理表情的表情数据，所述待处理表情的表情数据为所述目标脸具有所述待处理表情时各顶点的位置坐标；
所述标准脸表情数据获取单元，用于获取标准脸的第一表情的表情数据和所述标准脸的第二表情的表情数据，所述第一表情的表情数据为所述标准脸具有所述第一表情时各顶点的位置坐标，所述第二表情的表情数据为所述标准脸具有所述第二表情时各顶点的位置坐标，所述目标脸的各顶点和所述标准脸的各顶点一一对应，且所述标准脸的第一表情与所述目标脸的待处理表情相同；
所述预设条件表情数据获取单元，用于根据所述标准脸的第一表情的表情数据和所述标准脸的第二表情的表情数据得到满足预设条件的表情数据，所述满足预设条件的表情数据为运动幅度小于或等于阈值的顶点的位置坐标；
所述第一表情数据获取单元，用于利用所述预设条件的表情数据得到所述目标脸具有目标表情时的第一表情数据，所述目标表情与所述第二表情相同，所述第一表情数据的顶点和所述预设条件的表情数据的顶点相匹配；
所述第二表情数据获取单元，用于按照预设规则构建目标函数，并以所述第一表情数据为约束条件，得到当所述目标函数的值满足预设条件时，所述目标脸具有目标表情时的第二表情数据，所述第二表情数据为所述目标脸的除所述第一表情数据的顶点以外的其他顶点的位置坐标；
所述表情合成单元，用于根据所述目标脸的所述第一表情数据和所述第二表情数据合成具有所述目标表情的目标脸。
可选的，所述预设规则至少包括以下其中一个：
第一规则：所述目标脸从所述待处理表情变化到目标表情时面部整体变形程度，与所述标准脸从所述第一表情变化到所述第二表情的面部整体变形程度趋近一致；
第二规则：根据所述目标脸的第一表情数据和第二表情数据形成的目标脸是平滑的；
第三规则：所述目标脸在具有目标表情时的肌肉线条形状和所述标准脸在具有第二表情时的肌肉线条形状趋近一致；
第四规则：所述目标脸在具有目标表情时非肌肉线条之间的位置关系，和所述标准脸在具有第二表情时非肌肉线条之间的位置关系趋近一致。
可选的，若所述预设规则包括第一规则，则所述目标函数根据所述目标脸从所述待处理表情变化到所述目标表情时三角面的运动幅度，和所述标准脸从第一表情变化到第二表情时对应三角面的运动幅度之差得到，所述三角面是由三个顶点构成的面，所述目标脸的三角面用于拼成所述目标脸，所述标准脸的三角面用于拼成所述标准脸。
可选的，若所述预设规则包括第二规则，则所述目标函数根据所述目标脸从所述待处理表情变化到所述目标表情时，所述目标脸的第一三角面的变形程度和第二三角面的变形程度之差得到，所述第一三角面和所述第二三角面为由各自的三个顶点构成的面，所述第一三角面和所述第二三角面用于拼成目标脸，所述第一三角面和所述第二三角面为相邻的三角面。
可选的，若所述预设规则包括第三规则，则所述目标函数根据所述目标脸在具有目标表情时肌肉线条对应的顶点序列形成的第一向量，和所述标准脸在具有第二表情时所述肌肉线条对应的顶点序列形成的第二向量之方向差得到。
可选的，若所述预设规则包括第四规则，则所述目标函数根据所述目标脸的第一位置坐标差和所述标准脸在具有第二表情时的第二位置坐标差得到；所述第一位置坐标差为所述目标脸在具有目标表情时的第一非肌肉线条对应的顶点序列和第二非肌肉线条对应的顶点序列之间对应顶点的位置坐标差；所述第二位置坐标差为与所述标准脸在具有第二表情时所述第一非肌肉线条对应的顶点序列和所述第二非肌肉线条对应的顶点序列之间对应顶点的位置坐标差；所述第一非肌肉线条对应的顶点序列中各顶点和所述第二非肌肉线条对应的顶点序列中各顶点一一对应。
本申请通过所述标准脸的第一表情的表情数据和第二表情的表情数据进行比对，挑选出运动幅度小于或等于阈值的顶点，然后找到与标准脸的这部分顶点匹配的目标脸的顶点，得到目标脸这部分顶点对应的表情数据，即所述第一表情数据。然后按照预设规则构建目标函数，并以所述第一表情数据为约束条件，得到当所述目标函数的值满足预设条件时，所述目标脸具有目标表情时的第二表情数据。由于所述目标函数的作用是目标脸做各种表情时其变化的趋势都应与标准脸尽量一致，同时又兼顾了每个目标脸自己的特点。所以，相对于现有技术，根据第一表情数据和第二表情数据合成的具有目标表情的目标脸与真实的具有目标表情的目标脸更为接近。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例一提供的一种表情合成方法的流程图；
图2为本申请实施例一中标准脸在具有第一表情时的示意图；
图3为本申请实施例一中标准脸在具有第二表情时的示意图
图4为本申请实施例一中采用三角面拼接目标脸或标准脸的示意图；
图5为本申请实施例二提供的一种表情合成装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一：
参见图1，该图为本申请实施例一提供的一种表情合成方法的流程图。
本实施例提供的表情合成方法包括如下步骤：
步骤S101：获取目标脸的待处理表情的表情数据。
在本实施例中，目标脸为目标对象的脸，所述目标对象为可以具有表情的对象，不局限于真实的人，也可以是真实的动物或虚拟的人物、动物等。为了描述方便，在本实施例中，目标脸均以真实的人脸为例。
所述目标脸的待处理表情可以视为目标脸的基准表情，因为所述目标脸的目标表情是依据所述待处理表情的表情数据合成的。所述待处理表情可以是没有表情、哭、笑、怒等等。待处理表情和目标表情不相同，但都可以属于同一种类的表情(例如微笑和大笑，都属于笑)，也可以属于不同种类的表情。
在本实施例中，可以基于三维空间坐标系构建目标脸，所述目标脸由若干个顶点构成，每个顶点在该三维空间坐标系中均有自己的位置坐标。所以，所述待处理表情的表情数据即为所述目标脸具有所述待处理表情时各顶点的位置坐标。至于如何构建目标脸，属于本领域技术人员的公知常识，此处不再赘述。
步骤S102：获取标准脸的第一表情的表情数据和所述标准脸的第二表情的表情数据。
在本实施例中，标准脸是指是标准对象的脸，所谓标准对象为可以具有表情的对象，不局限于真实的人，也可以是真实的动物或虚拟的人物、动物等。标准脸和目标脸应当是匹配的，如果目标脸是人脸，那么标准脸也应当是人脸；如果标准脸是猫的脸，那么标准脸也应当为猫的脸。为了描述方便，在本实施例中，标准脸均以真实的人脸为例。
所述标准脸的第一表情和所述目标脸的待处理表情相同，所述标准脸的第二表情和所述目标脸的目标表情相同。本实施例的基本构思是利用标准脸的第一表情的表情数据和第二表情的表情数据，以及目标脸的待处理表情的表情数据来得到目标脸的目标表情的表情数据。
所述标准脸的构建也是基于三维坐标系构建的，所述标准脸在三维坐标系中也是由若干个顶点构成。所述第一表情的表情数据为所述标准脸具有所述第一表情时各顶点的位置坐标，所述第二表情的表情数据为所述标准脸具有所述第二表情时各顶点的位置坐标。需要注意的是，标准脸的各顶点和目标脸的各顶点是一一对应的关系，例如标准脸的鼻子由50个顶点构成，这些顶点之间具有特定的位置关系，那么目标脸的鼻子也应当由50个顶点构成，其这些顶点之间的位置关系与标准脸的顶点之间的位置关系类似。在实际应用中，可以对各顶点赋予标识，例如编号，那么可以通过顶点编号相同的方式来进行一一对应。
步骤S103：根据所述标准脸的第一表情的表情数据和所述标准脸的第二表情的表情数据得到满足预设条件的表情数据。
所述满足预设条件的表情数据为运动幅度小于或等于阈值的顶点的位置坐标。
步骤S104：利用所述预设条件的表情数据得到所述目标脸具有目标表情时的第一表情数据。
所述目标表情与所述第二表情相同，所述第一表情数据的顶点和所述预设条件的表情数据的顶点相匹配。
在本实施例中，可以根据所述标准脸的第一表情的表情数据和第二表情的表情数据进行比对，挑选出运动幅度小于或等于阈值的顶点，然后找到与标准脸的这部分顶点匹配的目标脸的顶点，得到目标脸这部分顶点对应的表情数据，即所述第一表情数据。在实际应用中，所述阈值为一个较小的值，也就是说，当标准脸从第一表情变化到第二表情时，若存在有运动幅度非常小的顶点，则可以将该部分顶点的运动幅度直接与目标脸的待处理表情的表情数据进行相加或相减，得到目标表情的该部分顶点的表情数据。或者说，在找到运动幅度小的顶点后，直接将待处理表情的这部分顶点对应的表情数据赋值给目标表情这部分顶点的表情数据。即通过目标表情的这部分顶点已知的表情数据来作为约束项，其余顶点的表情数据(即第二表情数据)通过下文的目标函数进行求解。
比如说，判断标准脸第j个顶点v从第一表情变化到第二表情时，其位置坐标是否变化，若变化幅度(即运动幅度)vdiff小于或等于某个阈值ε，则将其设置为Chard约束项。即：
Figure BDA0001277631320000091
当vdiff≤ε时，
Figure BDA0001277631320000092
Figure BDA0001277631320000093
其中，
Figure BDA0001277631320000094
是指标准脸在具有第二表情时第j个顶点v的位置坐标，
Figure BDA0001277631320000095
是指标准脸在具有第一表情时第j个顶点v的位置坐标。参见图2(a)，该图为标准脸在具有第一表情时的示意图；参见图2(b)，该图为标准脸在具有第二表情时的示意图。
Figure BDA0001277631320000096
是指目标脸在具有目标表情时第j个顶点v的位置坐标，
Figure BDA0001277631320000097
是指目标脸在具有待处理表情时第j个顶点v的位置坐标。参见图3，该图为目标脸在具有待处理表情时的示意图。
Figure BDA0001277631320000098
的含义是固定
Figure BDA0001277631320000099
的值。
或者，当vdiff≤ε时，直接令
Figure BDA00012776313200000910
当然，相比于这种方案，上面那种方案虽然计算量更大，但是合成的目标脸更为准确。需要注意的是，约束项对应的第一表情数据也参与到下文中目标函数的计算，因为这些数据会对其他数据产生影响。
步骤S105：按照预设规则构建目标函数，并以所述第一表情数据为约束条件，得到当所述目标函数的值满足预设条件时，所述目标脸具有目标表情时的第二表情数据。
在本实施例中，按照预设规则构建目标函数，所述目标函数用于求解目标脸具有目标表情时的第二表情数据，所述第二表情数据为所述目标脸的除所述第一表情数据的顶点以外的其他顶点的位置坐标。所述目标函数的作用是目标脸做各种表情时其变化的趋势都应与标准脸尽量一致，同时又兼顾了每个目标脸自己的特点。
在本实施例中，所述预设规则可以包括以下四个规则中的至少一个：
第一规则：所述目标脸从所述待处理表情变化到目标表情时面部整体变形程度，与所述标准脸从所述第一表情变化到所述第二表情的面部整体变形程度趋近一致。
参见图4，目标脸和标准脸除了用位于三维坐标系中的顶点表示以外，还可以用由三个顶点构成的三角面来表示，这三个顶点不是任意的三个顶点，而是用于拼成目标脸或标准脸的三个顶点，即所述目标脸的三角面用于拼成所述目标脸，所述标准脸的三角面用于拼成所述标准脸。一个三角面的每条边仅分别有两个顶点。脸在表情变化时的变形可以看作是各个三角面通过运动实现，所以，表情变化时面部的整体变形程度可以由各个三角面的运动幅度来表示。
所述目标脸从所述待处理表情变化到目标表情时面部整体变形程度，与所述标准脸从所述第一表情变化到所述第二表情的面部整体变形程度趋近一致，其目的在于使得最终获得的目标脸的目标表情与标准脸的第二表情是相同的，例如都是微笑或都是大哭。
为了体现上述思想，所述目标函数可以根据所述目标脸从所述待处理表情变化到所述目标表情时三角面的运动幅度，和所述标准脸从第一表情变化到第二表情时对应三角面的运动幅度之差得到。
例如，所述目标函数可以为：
Emotion＝∑||Q-T||
其中，Q表示所述目标脸从所述待处理表情变化到所述目标表情时三角面的运动幅度，
Figure BDA0001277631320000101
V＝[v2-v1,v3-v1,v4-v1]，
Figure BDA0001277631320000102
v1、v2和v3分别是标准脸在具有第一表情时三角面顶点1的位置坐标、顶点2的位置坐标和顶点3的位置坐标。v4为标准脸在具有第一表情时顶点4的位置坐标，顶点4与顶点1(或顶点2、顶点3)的连线垂直于该三角面，且顶点4和顶点1(或顶点2、顶点3)之间的距离为单位长度。
Figure BDA0001277631320000103
和
Figure BDA0001277631320000104
分别是标准脸在具有第二表情时该三角面顶点1的位置坐标、顶点2的位置坐标和顶点3的位置坐标。
Figure BDA0001277631320000105
为标准脸在具有第二表情时顶点4的位置坐标，顶点4与顶点1(或顶点2、顶点3)的连线垂直于该三角面，且顶点4和顶点1(或顶点2、顶点3)之间的距离为单位长度。
T表示所述标准脸从第一表情变化到第二表情时对应三角面的运动幅度。
Figure BDA0001277631320000111
V'＝[v'2-v'1,v'3-v'1,v'4-v'1]，
Figure BDA0001277631320000112
v'1、v'2和v'3分别是目标脸在具有待处理表情时三角面顶点1的位置坐标、顶点2的位置坐标和顶点3的位置坐标。v'4为目标脸在具有待处理表情时顶点4的位置坐标，顶点4与顶点1(或顶点2、顶点3)的连线垂直于该三角面，且顶点4和顶点1(或顶点2、顶点3)之间的距离为单位长度。
Figure BDA0001277631320000113
和
Figure BDA0001277631320000114
分别是目标脸在具有目标表情时该三角面顶点1的位置坐标、顶点2的位置坐标和顶点3的位置坐标。
Figure BDA0001277631320000115
为目标脸在具有目标表情时顶点4的位置坐标，顶点4与顶点1(或顶点2、顶点3)的连线垂直于该三角面，且顶点4和顶点1(或顶点2、顶点3)之间的距离为单位长度。
Emotion＝∑||Q-T||表示对所有三角面分别对应的Q和T之差的模求和。
第二规则：根据所述目标脸的第一表情数据和第二表情数据形成的目标脸是平滑的。
在本实施例中，目标脸平滑的目的在于抑制图像中像素的噪声突变。对目标脸进行平滑也可以采用三角面来进行，如果每对相邻三角面是平滑的，那么拼接而成的目标脸也是平滑的。相邻三角面是指其中一条边重叠的两个三角面。
为了体现上述思想，所述目标函数可以根据所述目标脸从所述待处理表情变化到所述目标表情时，所述目标脸的第一三角面的变形程度和第二三角面的变形程度之差得到，所述第一三角面和所述第二三角面为由各自的三个顶点构成的面，所述第一三角面和所述第二三角面用于拼成目标脸，所述第一三角面和所述第二三角面为相邻的三角面。
例如，所述目标函数可以为：
Figure BDA0001277631320000116
其中，n＝adj(m)表示目标脸的三角面n为目标脸的三角面m的相邻面，Tm表示三角面m对应的T(上文中提到)，Tn表示三角面n对应的T(上文中提到)，NTriangle表示目标脸的三角面的个数。
第三规则：所述目标脸在具有目标表情时的肌肉线条形状和所述标准脸在具有第二表情时的肌肉线条形状趋近一致。
由于标准脸在具有第二表情时的肌肉线条是符合生理构造的，例如按照人脸的生理构造，脸部的每条肌肉线条之间不交叉。所以，所述目标脸在具有目标表情时的肌肉线条形状和所述标准脸在具有第二表情时的肌肉线条形状趋近一致的目的在于：在具有第二表情的标准脸合成之后，其肌肉线条也是符合生理构造的，例如不交叉。
脸的肌肉线条可以通过顶点序列表示。因此，所述目标函数可以根据所述目标脸的肌肉线条对应的顶点序列形成的第一向量，和所述标准脸的所述肌肉线条对应的顶点序列形成的第二向量之方向差得到。
例如，假设依据顶点序列Contour＝{c1,c2,c3,...,cK}形成向量(c1,c2,c3,...,cK)，c1,c2,c3,...,cK分别表示该顶点序列中的各个顶点的位置坐标。目标脸在具有目标表情时肌肉线条对应的顶点序列形成的第一向量为
Figure BDA0001277631320000121
标准脸在具有第二表情时所述肌肉线条对应的顶点序列形成的第二向量为
Figure BDA0001277631320000122
令
Figure BDA0001277631320000123
那么目标函数
Figure BDA0001277631320000124
其中，Dirk-1为中间参数，ck为顶点序列Contour中的第k个顶点，ck-1为顶点序列Contour中的第k-1个顶点，1＜k≤K。
Figure BDA0001277631320000125
是指目标脸具有目标表情时对应的Dirk-1，
Figure BDA0001277631320000126
是指标准脸具有第二表情时对应的Dirk-1。
第四规则：所述目标脸在具有目标表情时非肌肉线条之间的位置关系，和所述标准脸在具有第二表情时非肌肉线条之间的位置关系趋近一致。
人脸除了肌肉线条之外，还有一些非肌肉线条，例如上眼皮、下眼皮、上嘴唇的上下两条边缘线、下嘴唇的上下两条边缘线等，这些线条之间的位置关系非常重要。现有技术中目标人脸的目标表情的表情数据是当前表情的表情数据加上或减去顶点固定的运动幅度得到的，所以有可能会出现非肌肉线条交叉的现象。例如，标准脸的眼睛从睁开到闭合，顶点的运动幅度是固定的，即标准脸的眼睛在闭合状态下，上眼皮和下眼皮基本重合。如果对于眼睛小于标准脸眼睛的目标脸，按照该固定的运动幅度得到的目标脸，其眼睛可能会出现闭合过渡的情况，即上眼皮位于下眼皮的下方；而如果对于眼睛大于标准脸眼睛的目标脸，按照该固定的运动幅度得到的目标脸，其眼睛可能会出现闭合不上的情况，即上眼皮和下眼皮之间存在有较大的缝隙。不论哪种情况，目标脸的合成效果都不佳。
为了避免这种现象的出现，第四规则规定：所述目标脸在具有目标表情时非肌肉线条之间的位置关系，和所述标准脸在具有第二表情时非肌肉线条之间的位置关系趋近一致。例如，目标脸在眼睛闭合状态下，上、下眼皮之间的位置关系应当和标准脸在眼睛闭合状态下上、下眼皮的位置关系趋近一致。
在本实施例中，非肌肉线条也可以用顶点序列来表示。所述目标函数可以根据所述目标脸的第一位置坐标差和所述标准脸在具有第二表情时的第二位置坐标差得到；所述第一位置坐标差为所述目标脸在具有目标表情时的第一非肌肉线条对应的顶点序列和第二非肌肉线条对应的顶点序列之间对应顶点的位置坐标差；所述第二位置坐标差为与所述标准脸在具有第二表情时所述第一非肌肉线条对应的顶点序列和所述第二非肌肉线条对应的顶点序列之间对应顶点的位置坐标差；所述第一非肌肉线条对应的顶点序列中各顶点和所述第二非肌肉线条对应的顶点序列中各顶点一一对应。
例如，假设上眼皮对应的顶点序列Contoureye_up＝{u1,u2,u3,...,uK}，u1,u2,u3,...,uK分别表示该顶点序列中的各个顶点的位置坐标；下眼皮对应的顶点序列Contoureye_down＝{d1,d2,d3,...,dK}，d1,d2,d3,...,dK分别表示该顶点序列中的各个顶点的位置坐标。
目标函数
Figure BDA0001277631320000131
其中，
Figure BDA0001277631320000132
为目标脸在具有目标表情时顶点序列Contoureye_up的第k个顶点，
Figure BDA0001277631320000133
为目标脸在具有目标表情时顶点序列Contoureye_down的第k个顶点，
Figure BDA0001277631320000134
为目标脸在具有第二表情时顶点序列Contoureye_up的第k个顶点，
Figure BDA0001277631320000135
为目标脸在具有第二表情时顶点序列Contoureye_down的第k个顶点，1＜k≤K。
同理，也可以得到上嘴唇的下边缘和下嘴唇的上边缘的相对位置关系对应的目标函数。
上述四个规则对应的目标函数可以任选其一，也可以选择其中几个或全部。若选择多个目标函数，则可以将这些目标函数加权得到一个总的目标函数。例如可以得到目标函数：
E＝α1Emotion+α2Esmooth+α3Emuscle+α4Ecross。
其中，α1、α2、α3和α4分别为目标函数Emotion、Esmooth、Emuscle和Ecross的权重。对于不同的目标表情，可以对α1、α2、α3和α4设置不同的值来使得合成后具有目标表情的目标脸更加真实。
当然，可以理解的是，上述四个规则以及每个规则对应的目标函数的设计并不构成对本申请的限定，本领域技术人员还可以根据具体情况自行设计规则以及规则对应的目标函数。
所述目标函数的值满足预设条件可以是所述目标函数的值最小，也可以是比最小值略大一点的情况，本申请不做具体限定。
步骤S106：根据所述目标脸的所述第一表情数据和所述第二表情数据合成具有所述目标表情的目标脸。
在本实施例中，采用第一表情数据作为约束项，通过目标函数求解得到所述目标脸的第二表情数据，这两部分表情数据合起来就是目标脸在具有目标表情时的所有表情数据，因此可以得到合成后的具有目标表情的目标脸。
本实施例通过所述标准脸的第一表情的表情数据和第二表情的表情数据进行比对，挑选出运动幅度小于或等于阈值的顶点，然后找到与标准脸的这部分顶点匹配的目标脸的顶点，得到目标脸这部分顶点对应的表情数据，即所述第一表情数据。然后按照预设规则构建目标函数，并以所述第一表情数据为约束条件，得到当所述目标函数的值满足预设条件时，所述目标脸具有目标表情时的第二表情数据。由于所述目标函数的作用是目标脸做各种表情时其变化的趋势都应与标准脸尽量一致，同时又兼顾了每个目标脸自己的特点。所以，相对于现有技术，根据第一表情数据和第二表情数据合成的具有目标表情的目标脸与真实的具有目标表情的目标脸更为接近。
基于以上实施例提供的一种表情合成方法，本申请实施例还提供了一种表情合成装置，下面结合附图来详细说明其工作原理。
实施例二
参见图5，该图为本申请实施例二提供的一种表情合成装置的结构框图。
本实施例提供的表情合成装置包括：待处理表情数据获取单元101、标准脸表情数据获取单元102、预设条件表情数据获取单元103、第一表情数据获取单元104、第二表情数据获取单元105和表情合成单元106；其中，
所述待处理表情数据获取单元101，用于获取目标脸的待处理表情的表情数据，所述待处理表情的表情数据为所述目标脸具有所述待处理表情时各顶点的位置坐标；
所述标准脸表情数据获取单元102，用于获取标准脸的第一表情的表情数据和所述标准脸的第二表情的表情数据，所述第一表情的表情数据为所述标准脸具有所述第一表情时各顶点的位置坐标，所述第二表情的表情数据为所述标准脸具有所述第二表情时各顶点的位置坐标，所述目标脸的各顶点和所述标准脸的各顶点一一对应，且所述标准脸的第一表情与所述目标脸的待处理表情相同；
所述预设条件表情数据获取单元103，用于根据所述标准脸的第一表情的表情数据和所述标准脸的第二表情的表情数据得到满足预设条件的表情数据，所述满足预设条件的表情数据为运动幅度小于或等于阈值的顶点的位置坐标；
所述第一表情数据获取单元104，用于利用所述预设条件的表情数据得到所述目标脸具有目标表情时的第一表情数据，所述目标表情与所述第二表情相同，所述第一表情数据的顶点和所述预设条件的表情数据的顶点相匹配；
所述第二表情数据获取单元105，用于按照预设规则构建目标函数，并以所述第一表情数据为约束条件，得到当所述目标函数的值满足预设条件时，所述目标脸具有目标表情时的第二表情数据，所述第二表情数据为所述目标脸的除所述第一表情数据的顶点以外的其他顶点的位置坐标；
所述表情合成单元106，用于根据所述目标脸的所述第一表情数据和所述第二表情数据合成具有所述目标表情的目标脸。
本实施例通过所述标准脸的第一表情的表情数据和第二表情的表情数据进行比对，挑选出运动幅度小于或等于阈值的顶点，然后找到与标准脸的这部分顶点匹配的目标脸的顶点，得到目标脸这部分顶点对应的表情数据，即所述第一表情数据。然后按照预设规则构建目标函数，并以所述第一表情数据为约束条件，得到当所述目标函数的值满足预设条件时，所述目标脸具有目标表情时的第二表情数据。由于所述目标函数的作用是目标脸做各种表情时其变化的趋势都应与标准脸尽量一致，同时又兼顾了每个目标脸自己的特点。所以，相对于现有技术，根据第一表情数据和第二表情数据合成的具有目标表情的目标脸与真实的具有目标表情的目标脸更为接近。
可选的，所述预设规则至少包括以下其中一个：
第一规则：所述目标脸从所述待处理表情变化到目标表情时面部整体变形程度，与所述标准脸从所述第一表情变化到所述第二表情的面部整体变形程度趋近一致；
第二规则：根据所述目标脸的第一表情数据和第二表情数据形成的目标脸是平滑的；
第三规则：所述目标脸在具有目标表情时的肌肉线条形状和所述标准脸在具有第二表情时的肌肉线条形状趋近一致；
第四规则：所述目标脸在具有目标表情时非肌肉线条之间的位置关系，和所述标准脸在具有第二表情时非肌肉线条之间的位置关系趋近一致。
可选的，若所述预设规则包括第一规则，则所述目标函数根据所述目标脸从所述待处理表情变化到所述目标表情时三角面的运动幅度，和所述标准脸从第一表情变化到第二表情时对应三角面的运动幅度之差得到，所述三角面是由三个顶点构成的面，所述目标脸的三角面用于拼成所述目标脸，所述标准脸的三角面用于拼成所述标准脸。
可选的，若所述预设规则包括第二规则，则所述目标函数根据所述目标脸从所述待处理表情变化到所述目标表情时，所述目标脸的第一三角面的变形程度和第二三角面的变形程度之差得到，所述第一三角面和所述第二三角面为由各自的三个顶点构成的面，所述第一三角面和所述第二三角面用于拼成目标脸，所述第一三角面和所述第二三角面为相邻的三角面。
可选的，若所述预设规则包括第三规则，则所述目标函数根据所述目标脸在具有目标表情时肌肉线条对应的顶点序列形成的第一向量，和所述标准脸在具有第二表情时所述肌肉线条对应的顶点序列形成的第二向量之方向差得到。
可选的，若所述预设规则包括第四规则，则所述目标函数根据所述目标脸的第一位置坐标差和所述标准脸在具有第二表情时的第二位置坐标差得到；所述第一位置坐标差为所述目标脸在具有目标表情时的第一非肌肉线条对应的顶点序列和第二非肌肉线条对应的顶点序列之间对应顶点的位置坐标差；所述第二位置坐标差为与所述标准脸在具有第二表情时所述第一非肌肉线条对应的顶点序列和所述第二非肌肉线条对应的顶点序列之间对应顶点的位置坐标差；所述第一非肌肉线条对应的顶点序列中各顶点和所述第二非肌肉线条对应的顶点序列中各顶点一一对应。
当介绍本申请的各种实施例的元件时，冠词“一”、“一个”、“这个”和“所述”都意图表示有一个或多个元件。词语“包括”、“包含”和“具有”都是包括性的并意味着除了列出的元件之外，还可以有其它元件。
需要说明的是，本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccess Memory,RAM)等。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外，还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种表情合成方法，其特征在于，所述方法包括：
获取目标脸的待处理表情的表情数据，所述待处理表情的表情数据为所述目标脸具有所述待处理表情时各顶点的位置坐标；
获取标准脸的第一表情的表情数据和所述标准脸的第二表情的表情数据，所述第一表情的表情数据为所述标准脸具有所述第一表情时各顶点的位置坐标，所述第二表情的表情数据为所述标准脸具有所述第二表情时各顶点的位置坐标，所述目标脸的各顶点和所述标准脸的各顶点一一对应，且所述标准脸的第一表情与所述目标脸的待处理表情相同；
根据所述标准脸的第一表情的表情数据和所述标准脸的第二表情的表情数据得到满足预设条件的表情数据，所述满足预设条件的表情数据为运动幅度小于或等于阈值的顶点的位置坐标；
利用所述预设条件的表情数据得到所述目标脸具有目标表情时的第一表情数据，所述目标表情与所述第二表情相同，所述第一表情数据的顶点和所述预设条件的表情数据的顶点相匹配；
按照预设规则构建目标函数，并以所述第一表情数据为约束条件，得到当所述目标函数的值满足预设条件时，所述目标脸具有目标表情时的第二表情数据，所述第二表情数据为所述目标脸的除所述第一表情数据的顶点以外的其他顶点的位置坐标；所述目标函数的值满足预设条件为所述目标函数的值与目标函数的最小值的差值低于预设阈值；所述目标函数用于求解目标脸具有目标表情时的第二表情数据；
根据所述目标脸的所述第一表情数据和所述第二表情数据合成具有所述目标表情的目标脸。
2.根据权利要求1所述的方法，其特征在于，所述预设规则至少包括以下其中一个：
第一规则：所述目标脸从所述待处理表情变化到目标表情时面部整体变形程度，与所述标准脸从所述第一表情变化到所述第二表情的面部整体变形程度趋近一致；
第二规则：根据所述目标脸的第一表情数据和第二表情数据形成的目标脸是平滑的；
第三规则：所述目标脸在具有目标表情时的肌肉线条形状和所述标准脸在具有第二表情时的肌肉线条形状趋近一致；
第四规则：所述目标脸在具有目标表情时非肌肉线条之间的位置关系，和所述标准脸在具有第二表情时非肌肉线条之间的位置关系趋近一致。
3.根据权利要求2所述的方法，其特征在于，若所述预设规则包括第一规则，则所述目标函数根据所述目标脸从所述待处理表情变化到所述目标表情时三角面的运动幅度，和所述标准脸从第一表情变化到第二表情时对应三角面的运动幅度之差得到，所述三角面是由三个顶点构成的面，所述目标脸的三角面用于拼成所述目标脸，所述标准脸的三角面用于拼成所述标准脸。
4.根据权利要求2所述的方法，其特征在于，若所述预设规则包括第二规则，则所述目标函数根据所述目标脸从所述待处理表情变化到所述目标表情时，所述目标脸的第一三角面的变形程度和第二三角面的变形程度之差得到，所述第一三角面和所述第二三角面为由各自的三个顶点构成的面，所述第一三角面和所述第二三角面用于拼成目标脸，所述第一三角面和所述第二三角面为相邻的三角面。
5.根据权利要求2所述的方法，其特征在于，若所述预设规则包括第三规则，则所述目标函数根据所述目标脸在具有目标表情时肌肉线条对应的顶点序列形成的第一向量，和所述标准脸在具有第二表情时所述肌肉线条对应的顶点序列形成的第二向量之方向差得到。
6.根据权利要求2所述的方法，其特征在于，若所述预设规则包括第四规则，则所述目标函数根据所述目标脸的第一位置坐标差和所述标准脸在具有第二表情时的第二位置坐标差得到；所述第一位置坐标差为所述目标脸在具有目标表情时的第一非肌肉线条对应的顶点序列和第二非肌肉线条对应的顶点序列之间对应顶点的位置坐标差；所述第二位置坐标差为与所述标准脸在具有第二表情时所述第一非肌肉线条对应的顶点序列和所述第二非肌肉线条对应的顶点序列之间对应顶点的位置坐标差；所述第一非肌肉线条对应的顶点序列中各顶点和所述第二非肌肉线条对应的顶点序列中各顶点一一对应。
7.一种表情合成装置，其特征在于，所述装置包括：待处理表情数据获取单元、标准脸表情数据获取单元、预设条件表情数据获取单元、第一表情数据获取单元、第二表情数据获取单元和表情合成单元；其中，
所述待处理表情数据获取单元，用于获取目标脸的待处理表情的表情数据，所述待处理表情的表情数据为所述目标脸具有所述待处理表情时各顶点的位置坐标；
所述标准脸表情数据获取单元，用于获取标准脸的第一表情的表情数据和所述标准脸的第二表情的表情数据，所述第一表情的表情数据为所述标准脸具有所述第一表情时各顶点的位置坐标，所述第二表情的表情数据为所述标准脸具有所述第二表情时各顶点的位置坐标，所述目标脸的各顶点和所述标准脸的各顶点一一对应，且所述标准脸的第一表情与所述目标脸的待处理表情相同；
所述预设条件表情数据获取单元，用于根据所述标准脸的第一表情的表情数据和所述标准脸的第二表情的表情数据得到满足预设条件的表情数据，所述满足预设条件的表情数据为运动幅度小于或等于阈值的顶点的位置坐标；
所述第一表情数据获取单元，用于利用所述预设条件的表情数据得到所述目标脸具有目标表情时的第一表情数据，所述目标表情与所述第二表情相同，所述第一表情数据的顶点和所述预设条件的表情数据的顶点相匹配；
所述第二表情数据获取单元，用于按照预设规则构建目标函数，并以所述第一表情数据为约束条件，得到当所述目标函数的值满足预设条件时，所述目标脸具有目标表情时的第二表情数据，所述第二表情数据为所述目标脸的除所述第一表情数据的顶点以外的其他顶点的位置坐标；所述目标函数的值满足预设条件为所述目标函数的值与目标函数的最小值的差值低于预设阈值；所述目标函数用于求解目标脸具有目标表情时的第二表情数据；
所述表情合成单元，用于根据所述目标脸的所述第一表情数据和所述第二表情数据合成具有所述目标表情的目标脸。
8.根据权利要求7所述的装置，其特征在于，所述预设规则至少包括以下其中一个：
第一规则：所述目标脸从所述待处理表情变化到目标表情时面部整体变形程度，与所述标准脸从所述第一表情变化到所述第二表情的面部整体变形程度趋近一致；
第二规则：根据所述目标脸的第一表情数据和第二表情数据形成的目标脸是平滑的；
第三规则：所述目标脸在具有目标表情时的肌肉线条形状和所述标准脸在具有第二表情时的肌肉线条形状趋近一致；
第四规则：所述目标脸在具有目标表情时非肌肉线条之间的位置关系，和所述标准脸在具有第二表情时非肌肉线条之间的位置关系趋近一致。
9.根据权利要求8所述的装置，其特征在于，若所述预设规则包括第一规则，则所述目标函数根据所述目标脸从所述待处理表情变化到所述目标表情时三角面的运动幅度，和所述标准脸从第一表情变化到第二表情时对应三角面的运动幅度之差得到，所述三角面是由三个顶点构成的面，所述目标脸的三角面用于拼成所述目标脸，所述标准脸的三角面用于拼成所述标准脸。
10.根据权利要求8所述的装置，其特征在于，若所述预设规则包括第二规则，则所述目标函数根据所述目标脸从所述待处理表情变化到所述目标表情时，所述目标脸的第一三角面的变形程度和第二三角面的变形程度之差得到，所述第一三角面和所述第二三角面为由各自的三个顶点构成的面，所述第一三角面和所述第二三角面用于拼成目标脸，所述第一三角面和所述第二三角面为相邻的三角面。
11.根据权利要求8所述的装置，其特征在于，若所述预设规则包括第三规则，则所述目标函数根据所述目标脸在具有目标表情时肌肉线条对应的顶点序列形成的第一向量，和所述标准脸在具有第二表情时所述肌肉线条对应的顶点序列形成的第二向量之方向差得到。
12.根据权利要求8所述的装置，其特征在于，若所述预设规则包括第四规则，则所述目标函数根据所述目标脸的第一位置坐标差和所述标准脸在具有第二表情时的第二位置坐标差得到；所述第一位置坐标差为所述目标脸在具有目标表情时的第一非肌肉线条对应的顶点序列和第二非肌肉线条对应的顶点序列之间对应顶点的位置坐标差；所述第二位置坐标差为与所述标准脸在具有第二表情时所述第一非肌肉线条对应的顶点序列和所述第二非肌肉线条对应的顶点序列之间对应顶点的位置坐标差；所述第一非肌肉线条对应的顶点序列中各顶点和所述第二非肌肉线条对应的顶点序列中各顶点一一对应。
CN201710271893.7A 2017-04-24 2017-04-24 一种表情合成方法及装置 Active CN107103646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710271893.7A CN107103646B (zh) 2017-04-24 2017-04-24 一种表情合成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710271893.7A CN107103646B (zh) 2017-04-24 2017-04-24 一种表情合成方法及装置

Publications (2)

Publication Number Publication Date
CN107103646A CN107103646A (zh) 2017-08-29
CN107103646B true CN107103646B (zh) 2020-10-23

Family

ID=59656386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710271893.7A Active CN107103646B (zh) 2017-04-24 2017-04-24 一种表情合成方法及装置

Country Status (1)

Country Link
CN (1) CN107103646B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829277A (zh) * 2018-12-18 2019-05-31 深圳壹账通智能科技有限公司 终端解锁方法、装置、计算机设备和存储介质
CN111583372B (zh) * 2020-05-09 2021-06-25 腾讯科技（深圳）有限公司 虚拟角色面部表情生成方法和装置、存储介质及电子设备
CN113470149B (zh) * 2021-06-30 2022-05-06 完美世界(北京)软件科技发展有限公司 表情模型的生成方法及装置、存储介质、计算机设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1920880A (zh) * 2006-09-14 2007-02-28 浙江大学 一种基于视频流的人脸表情幻想方法
CN101311966A (zh) * 2008-06-20 2008-11-26 浙江大学 一种基于运行传播和Isomap分析的三维人脸动画编辑与合成方法
KR20100090058A (ko) * 2009-02-05 2010-08-13 연세대학교 산학협력단 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법
CN102479388A (zh) * 2010-11-22 2012-05-30 北京盛开互动科技有限公司 基于人脸跟踪和分析的表情互动方法
CN103035022A (zh) * 2012-12-07 2013-04-10 大连大学 基于特征点的人脸表情合成方法
CN103198508A (zh) * 2013-04-07 2013-07-10 河北工业大学 人脸表情动画生成方法
CN104008564A (zh) * 2014-06-17 2014-08-27 河北工业大学 一种人脸表情克隆方法
CN106157372A (zh) * 2016-07-25 2016-11-23 深圳市唯特视科技有限公司 一种基于视频图像的3d人脸网格重构方法
CN106204750A (zh) * 2016-07-11 2016-12-07 厦门幻世网络科技有限公司 一种基于3d源模型编辑3d目标模型的方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101976453A (zh) * 2010-09-26 2011-02-16 浙江大学 一种基于gpu的三维人脸表情合成方法
CN104346824A (zh) * 2013-08-09 2015-02-11 汉王科技股份有限公司 基于单张人脸图像自动合成三维表情的方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1920880A (zh) * 2006-09-14 2007-02-28 浙江大学 一种基于视频流的人脸表情幻想方法
CN101311966A (zh) * 2008-06-20 2008-11-26 浙江大学 一种基于运行传播和Isomap分析的三维人脸动画编辑与合成方法
KR20100090058A (ko) * 2009-02-05 2010-08-13 연세대학교 산학협력단 얼굴 정규화 벡터를 이용한 반복적 3차원 얼굴 포즈 추정 방법
CN102479388A (zh) * 2010-11-22 2012-05-30 北京盛开互动科技有限公司 基于人脸跟踪和分析的表情互动方法
CN103035022A (zh) * 2012-12-07 2013-04-10 大连大学 基于特征点的人脸表情合成方法
CN103198508A (zh) * 2013-04-07 2013-07-10 河北工业大学 人脸表情动画生成方法
CN104008564A (zh) * 2014-06-17 2014-08-27 河北工业大学 一种人脸表情克隆方法
CN106204750A (zh) * 2016-07-11 2016-12-07 厦门幻世网络科技有限公司 一种基于3d源模型编辑3d目标模型的方法及装置
CN106157372A (zh) * 2016-07-25 2016-11-23 深圳市唯特视科技有限公司 一种基于视频图像的3d人脸网格重构方法

Also Published As

Publication number Publication date
CN107103646A (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
KR102241153B1 (ko) 2차원 이미지로부터 3차원 아바타를 생성하는 방법, 장치 및 시스템
US11423556B2 (en) Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional
US11170558B2 (en) Automatic rigging of three dimensional characters for animation
US10198845B1 (en) Methods and systems for animating facial expressions
US11868515B2 (en) Generating textured polygon strip hair from strand-based hair for a virtual character
US8624901B2 (en) Apparatus and method for generating facial animation
CN112669447B (zh) 一种模型头像创建方法、装置、电子设备和存储介质
US11557076B2 (en) Computer generated hair groom transfer tool
JP7456670B2 (ja) ３次元顔モデルの構築方法、３次元顔モデルの構築装置、コンピュータ機器、及びコンピュータプログラム
CN101324961B (zh) 计算机虚拟世界中人脸部三维贴图方法
KR102491140B1 (ko) 가상 아바타 생성 방법 및 장치
CN103208133A (zh) 一种图像中人脸胖瘦的调整方法
CN107103646B (zh) 一种表情合成方法及装置
Onizuka et al. Landmark-guided deformation transfer of template facial expressions for automatic generation of avatar blendshapes
WO2021155666A1 (zh) 用于生成图像的方法和装置
Chai et al. Efficient mesh-based face beautifier on mobile devices
WO2024053235A1 (ja) ３次元アバター生成装置、３次元アバター生成方法及び３次元アバター生成プログラム
Gui et al. Real-Time 3D Facial Subtle Expression Control Based on Blended Normal Maps
de Carvalho Cruz et al. A review regarding the 3D facial animation pipeline
Liu et al. 2D image deformation based on guaranteed feature correspondence and mesh mapping
Bibliowicz An automated rigging system for facial animation
CN117994395A (zh) 数字人面部资产生成方法、装置、电子设备及存储介质
Wang A Framework for Realistic Clothed Avatar Reconstruction and Animation
Li et al. Improved radial basis function based parameterization for facial expression animation
CN115187703A (zh) 一种眉妆指导方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190227

Address after: 361000 Fujian Xiamen Torch High-tech Zone Software Park Innovation Building Area C 3F-A193

Applicant after: Xiamen Black Mirror Technology Co., Ltd.

Address before: 9th Floor, Maritime Building, 16 Haishan Road, Huli District, Xiamen City, Fujian Province, 361000

Applicant before: XIAMEN HUANSHI NETWORK TECHNOLOGY CO., LTD.

GR01 Patent grant
GR01 Patent grant