CN109919016A - 一种在无脸部器官的对象上生成人脸表情的方法及装置 - Google Patents

一种在无脸部器官的对象上生成人脸表情的方法及装置 Download PDF

Info

Publication number
CN109919016A
CN109919016A CN201910081812.6A CN201910081812A CN109919016A CN 109919016 A CN109919016 A CN 109919016A CN 201910081812 A CN201910081812 A CN 201910081812A CN 109919016 A CN109919016 A CN 109919016A
Authority
CN
China
Prior art keywords
face
organ
feature
model
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910081812.6A
Other languages
English (en)
Other versions
CN109919016B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Entra Information Technology Co Ltd
Original Assignee
Wuhan Entra Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Entra Information Technology Co Ltd filed Critical Wuhan Entra Information Technology Co Ltd
Priority to CN201910081812.6A priority Critical patent/CN109919016B/zh
Publication of CN109919016A publication Critical patent/CN109919016A/zh
Application granted granted Critical
Publication of CN109919016B publication Critical patent/CN109919016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种在无脸部器官的对象上生成人脸表情的方法及装置,其中方法包括:在表征对象的数据模型的表面,选取待处理区域;在所述待处理区域生成表征脸部器官的脸部器官模型;迁移人脸表情到所述生成的脸部器官模型。本发明实施例提出的技术方案通过在表征无脸部器官的的对象的数据模型上形成人脸表情,从而赋予无脸部器官的的对象以拟人表情,拓宽了人脸表情模拟的应用场景,增强了用户体验。

Description

一种在无脸部器官的对象上生成人脸表情的方法及装置
技术领域
本发明属于图像处理技术领域,具体涉及一种在无脸部器官的对象上生成人脸表情的方法及装置。
背景技术
人脸表情识别和人脸表情迁移是目前较为常见的技术,在此基础上,为了达到拟人效果,也出现了对动物赋予表情或者迁移表情的应用。上述这些技术的共通点都是通过表情识别、表情迁移等技术基于已有的五官来产生表情,应用场景受限,用户体验较差。
发明内容
为了解决上述需要在已有的五官上产生表情导致应用场景受限,用户体验较差的技术问题,本发明实施例提出了一种在无脸部器官的对象上生成人脸表情的方法及装置。
一方面,提供了一种在无脸部器官的对象上生成人脸表情的方法,包括:
在表征对象的数据模型的表面,选取待处理区域;
在所述待处理区域生成表征脸部器官的脸部器官模型;
迁移人脸表情到所述生成的脸部器官模型。
在某些实施例中,所述方法还包括:
获取表征对象表面形状的数据模型;
获取待生成的表征脸部器官的脸部器官模型的初始数据特征;
所述初始数据特征包括脸部器官的形状特征、脸部器官的位置特征和人脸表情特征,脸部器官的形状特征表征脸部器官的立体形状,脸部器官的位置特征表征脸部器官所在的位置,人脸表情特征表征人脸表情。
在某些实施例中,所述在表征对象的数据模型的表面,选取待处理区域,包括:
遍历获取的数据模型表面的形状,确定是否存在符合脸部器官的形状特征的形状;
如果存在,则基于符合脸部器官的形状特征的形状所在的区域选取待处理区域;
如果不存在,则在数据模型的表面选取待处理区域;
所述在所述待处理区域生成表征脸部器官的脸部器官模型,包括:
基于所述脸部器官的形状特征和脸部器官的位置特征,在所述待处理区域生成脸部器官模型,其中如果存在符合脸部器官的形状特征的形状,则在符合脸部器官的形状特征的形状所在的区域生成对应的脸部器官模型。
在某些实施例中,所述方法还包括:
获取表征对象表面图案的数据模型;
获取待生成的表征脸部器官的脸部器官模型的初始数据特征;
所述初始数据特征包括脸部器官的轮廓特征、脸部器官的位置特征和人脸表情特征,脸部器官的轮廓特征表征脸部器官的平面轮廓,脸部器官的位置特征表征脸部器官所在的位置,人脸表情特征表征人脸表情。
在某些实施例中,所述在表征对象的数据模型的表面,选取待处理区域,包括:
遍历获取的数据模型表面的图案,确定是否存在符合脸部器官的轮廓特征的图案;
如果存在,则基于符合脸部器官的轮廓特征的图案所在的区域选取待处理区域;
如果不存在,则在数据模型的表面选取待处理区域;
所述在所述待处理区域生成表征脸部器官的脸部器官模型,包括:
基于所述脸部器官的轮廓特征和脸部器官的位置特征,在所述待处理区域生成脸部器官模型,其中如果存在符合脸部器官的轮廓特征的图案,则在符合脸部器官的轮廓特征的图案所在的区域生成对应的脸部器官模型。
在某些实施例中,所述数据模型还附加地表征对象表面的材质纹理、光泽和颜色中的一种或多种。
在某些实施例中,所述初始数据特征还包括脸部器官的颜色特征,在所述待处理区域生成脸部器官模型时,还附加地基于脸部器官的颜色特征生成脸部器官模型。
另一方面,还提供了一种在无脸部器官的对象上生成人脸表情的装置,包括:
待处理区域选取部件,用于在表征对象的数据模型的表面,选取待处理区域;
脸部器官模型生成部件,用于在所述待处理区域生成表征脸部器官的脸部器官模型;
人脸表情迁移部件,用于迁移人脸表情到所述生成的脸部器官模型。
在某些实施例中,所述装置还包括:
数据模型获取部件,用于获取表征对象表面形状或图案的数据模型;
初始数据特征获取部件,用于获取待生成的表征脸部器官的脸部器官模型的初始数据特征;
所述初始数据特征包括脸部器官的形状或轮廓特征、脸部器官的位置特征和人脸表情特征,脸部器官的形状或轮廓特征表征脸部器官的立体形状或平面轮廓,脸部器官的位置特征表征脸部器官所在的位置,人脸表情特征表征人脸表情。
在某些实施例中,所述装置实现如前任一项所述的方法。
在某些实施例中,所述待处理区域选取部件在表征对象的数据模型的表面,选取待处理区域,包括:
遍历获取的数据模型表面的形状,确定是否存在符合脸部器官的形状特征的形状;
如果存在,则基于符合脸部器官的形状特征的形状所在的区域选取待处理区域;
如果不存在,则在数据模型的表面选取待处理区域;
所述脸部器官模型生成部件在所述待处理区域生成表征脸部器官的脸部器官模型,包括:
基于所述脸部器官的形状特征和脸部器官的位置特征,在所述待处理区域生成脸部器官模型,其中如果存在符合脸部器官的形状特征的形状,则在符合脸部器官的形状特征的形状所在的区域生成对应的脸部器官模型。
在某些实施例中,所述待处理区域选取部件在表征对象的数据模型的表面,选取待处理区域,包括:
遍历获取的数据模型表面的图案,确定是否存在符合脸部器官的轮廓特征的图案;
如果存在,则基于符合脸部器官的轮廓特征的图案所在的区域选取待处理区域;
如果不存在,则在数据模型的表面选取待处理区域;
所述脸部器官模型生成部件在所述待处理区域生成表征脸部器官的脸部器官模型,包括:
基于所述脸部器官的轮廓特征和脸部器官的位置特征,在所述待处理区域生成脸部器官模型,其中如果存在符合脸部器官的轮廓特征的图案,则在符合脸部器官的轮廓特征的图案所在的区域生成对应的脸部器官模型。
在某些实施例中,所述数据模型还附加地表征对象表面的材质纹理、光泽和颜色中的一种或多种。
在某些实施例中,所述初始数据特征还包括脸部器官的颜色特征,在所述待处理区域生成脸部器官模型时,还附加地基于脸部器官的颜色特征生成脸部器官模型。
本发明实施例提出的在无脸部器官的对象上生成人脸表情的方法及装置,通过在表征无脸部器官的对象的数据模型上模拟出表征脸部器官的脸部器官模型,再利用现有的人脸表情迁移技术,将人脸表情赋予给模拟出的脸部器官模型,借助数据模型和脸部器官模型实现拟人效果,表达人物情绪。因此,本发明实施例提出的技术方案通过在表征无脸部器官的的对象的数据模型上形成人脸表情,从而赋予无脸部器官的的对象以拟人表情,拓宽了人脸表情模拟的应用场景,增强了用户体验。
附图说明
图1是本发明实施例提出的在无脸部器官的对象上生成人脸表情的方法的流程图;
图2是本发明实施例提出的在无脸部器官的对象上生成人脸表情的装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。但本领域技术人员知晓,本发明并不局限于附图和以下实施例。
本发明实施例提出了一种在无脸部器官的对象上生成人脸表情的方法,如图1所示,包括:
在表征对象的数据模型的表面,选取待处理区域;
在所述待处理区域生成表征脸部器官的脸部器官模型;
迁移人脸表情到所述生成的脸部器官模型。
在本发明实施例中,所述对象为无脸部器官的对象。本发明实施例提出的在无脸部器官的对象上生成人脸表情的方法,通过在表征无脸部器官的对象的数据模型上模拟出表征脸部器官的脸部器官模型,再利用现有的人脸表情迁移技术,将人脸表情赋予给模拟出的脸部器官模型,借助数据模型和脸部器官模型实现拟人效果,表达人物情绪。因此,本发明实施例提出的技术方案通过在表征无脸部器官的的对象的数据模型上形成人脸表情,从而赋予无脸部器官的的对象以拟人表情,拓宽了人脸表情模拟的应用场景,增强了用户体验。
在一实施例中,所述对象可以是具有三维结构(包括规则的三维结构和不规则的三维结构)的无脸部器官的对象,所述数据模型可以表征对象表面的形状。
在另一实施例中,所述对象可以是具有二维结构(包括规则的二维结构和不规则的二维结构)的无脸部器官的对象,所述数据模型可以表征对象表面的图案。
在一实施例中,所述数据模型还可以表征对象表面的材质纹理,以表现对象的质感,进一步增强用户体验。
在一实施例中,所述数据模型还可以表征对象表面的光泽,增强表情的灵动性,提高用户的视觉感受。
在一实施例中,所述数据模型还可以表征对象表面的颜色,提高还原度和用户的视觉感受。
在一实施例中,所述数据模型的表面还可以根据用户的需求渲染上颜色,例如为脸部器官模型上色,或者为脸部器官之外的其他区域上色,从而丰富数据模型的表现力,增强用户体验。
在一实施例中,所述对象可以是从数据库中选择的数据模型已经构建的对象。
在另一实施例中,所述对象可以是实物,采用现有的建模技术来构建表征所述对象的数据模型,例如3DMAX、SoftImage、Maya、UG、AutoCAD等,具体细节不做详述。
在一实施例中,在表征对象的数据模型的表面,选取待处理区域,可以在数据模型的表面的任意位置选取所述待处理区域。
在另一实施例中,在表征对象的数据模型的表面,选取待处理区域,可以在数据模型的表面搜索与脸部器官相匹配的区域,并以此区域为基础选取所述待处理区域,有利于提高后续生成的脸部器官模型与数据模型表面的匹配度,增加人脸表情与对象之间的和谐感。
在一实施例中,所述表面包括平面,基于数据模型的平面提供所述待处理区域。在一实施例中,所述平面包括曲率小于2m-1的所有平面。在一实施例中,所述平面包括像素数据量大于等于200*200的平面。
在一实施例中,在所述待处理区域上生成脸部器官模型,可以基于人的脸部器官、动物的脸部器官或者虚构形象的脸部器官生成所述脸部器官模型。所述虚构形象可以包括但不限于卡通人物形象等虚构出来的具有脸部器官的形象。
在一实施例中,所述脸部器官至少包含眼睛,所述脸部器官除包含眼睛之外,还可以包含鼻子、嘴、眉毛和耳朵中的一个或多个。在一实施例中,所述脸部器官包括眼睛和鼻子。
在一实施例中,所述人脸表情可以从人脸表情数据库中选择。
在另一实施例中,所述人脸表情可以采用基于现实的人脸采用现有的人脸表情识别技术获取,具体细节不做详述。
在本发明实施例中,所述迁移人脸表情的技术可以采用现有的人脸表情迁移技术,具体细节不做详述。
本发明实施例提出了一种在无脸部器官的对象上进行表情模拟的装置,如图2所示,包括:
待处理区域选取部件,用于在表征对象的数据模型的表面,选取待处理区域;
脸部器官模型生成部件,用于在所述待处理区域生成表征脸部器官的脸部器官模型;
人脸表情迁移部件,用于迁移人脸表情到所述生成的脸部器官模型。
在本发明实施例中,所述对象为无脸部器官的对象。本发明实施例提出的在无脸部器官的对象上进行表情模拟的装置,通过在表征无脸部器官的对象的数据模型上模拟出表征脸部器官的脸部器官模型,再利用现有的人脸表情迁移技术,将人脸表情赋予给模拟出的脸部器官模型,借助数据模型和脸部器官模型实现拟人效果,表达人物情绪。因此,本发明实施例提出的技术方案通过在表征无脸部器官的的对象的数据模型上形成人脸表情,从而赋予无脸部器官的的对象以拟人表情,拓宽了人脸表情模拟的应用场景,增强了用户体验。
本发明实施例提出的在无脸部器官的对象上进行表情模拟的装置,可参考本发明实施例提出了一种在无脸部器官的对象上进行表情模拟的方法的描述,为节约篇幅,不再赘述。
下面以本发明实施例提出的一种无脸部器官的对象生成人脸表情的方法为例,对本发明实施例提出的技术方案进行示例性描述,但不构成对本申请权利要求保护范围的限制。本领域技术人员根据下述实施例的描述,可以知晓本发明实施例提出的无脸部器官的对象生成人脸表情的装置的实现方式,为节约篇幅,本发明实施例提出的无脸部器官的对象生成人脸表情的装置的相关内容不做赘述。
实施例1:
在本实施例中,以所述对象具有三维结构为例,示例性说明本实施例提出的在无脸部器官的对象上生成人脸表情的方法的实施方式。
本实施例提出的一种在无脸部器官的对象上生成人脸表情的方法,包括:
获取表征对象表面形状的数据模型;
获取待生成的表征脸部器官的脸部器官模型的初始数据特征,初始数据特征包括脸部器官的形状特征、脸部器官的位置特征和人脸表情特征,脸部器官的形状特征表征脸部器官的立体形状,脸部器官的位置特征表征脸部器官所在的位置,人脸表情特征表征人脸表情;
遍历获取的数据模型表面的形状,确定是否存在符合脸部器官的形状特征的形状;
如果存在,则基于符合脸部器官的形状特征的形状所在的区域选取待处理区域;基于所述脸部器官的形状特征和脸部器官的位置特征,在所述待处理区域生成脸部器官模型,其中在符合脸部器官的形状特征的形状所在的区域生成对应的脸部器官模型;迁移所述人脸表情特征到所述生成的脸部器官模型;
如果不存在,则在数据模型的表面选取待处理区域;基于所述脸部器官的形状特征和脸部器官的位置特征,在所述待处理区域生成脸部器官模型;迁移所述人脸表情特征到所述生成的脸部器官模型。
在一实施例中,所述初始数据特征还包括脸部器官的颜色特征,在所述待处理区域生成脸部器官模型时,还附加地基于脸部器官的颜色特征生成脸部器官模型,从而丰富数据模型的表现力,增强用户体验。
本实施例提出的在无脸部器官的对象上生成人脸表情的方法,通过在数据模型的表面搜索与脸部器官的形状相匹配的区域,并以此区域为基础选取所述待处理区域,合理利用数据模型表面的形状,有利于提高后续生成的脸部器官模型与数据模型表面的匹配度,增加人脸表情与表征对象的数据模型之间的和谐感。
实施例2:
在本实施例中,以所述对象具有二维结构为例,示例性说明本实施例提出的在无脸部器官的对象上生成人脸表情的方法的实施方式。
本实施例提出的一种在无脸部器官的对象上生成人脸表情的方法,包括:
获取表征对象表面图案的数据模型;
获取待生成的表征脸部器官的脸部器官模型的初始数据特征,初始数据特征包括脸部器官的轮廓特征、脸部器官的位置特征和人脸表情特征,脸部器官的轮廓特征表征脸部器官的平面轮廓,脸部器官的位置特征表征脸部器官所在的位置,人脸表情特征表征人脸表情;
遍历获取的数据模型表面的图案,确定是否存在符合脸部器官的轮廓特征的图案;
如果存在,则基于符合脸部器官的轮廓特征的图案所在的区域选取待处理区域;基于所述脸部器官的轮廓特征和脸部器官的位置特征,在所述待处理区域生成脸部器官模型,其中在符合脸部器官的轮廓特征的图案所在的区域生成对应的脸部器官模型;迁移所述人脸表情特征到所述生成的脸部器官模型;
如果不存在,则在数据模型的表面选取待处理区域;基于所述脸部器官的轮廓特征和脸部器官的位置特征,在所述待处理区域生成脸部器官模型;迁移所述人脸表情特征到所述生成的脸部器官模型。
在一实施例中,所述初始数据特征还包括脸部器官的颜色特征,在所述待处理区域生成脸部器官模型时,还附加地基于脸部器官的颜色特征生成脸部器官模型,从而丰富数据模型的表现力,增强用户体验。
本实施例提出的在无脸部器官的对象上生成人脸表情的方法,通过在数据模型的表面搜索与脸部器官的图案相匹配的区域,并以此区域为基础选取所述待处理区域,合理利用数据模型表面的图案,有利于提高后续生成的脸部器官模型与数据模型表面的匹配度,增加人脸表情与表征对象的数据模型之间的和谐感。
实施例3:
在本实施例中,以所述对象具有三维结构,且表面具有材质纹理为例,示例性说明本实施例提出的在无脸部器官的对象上生成人脸表情的方法的实施方式。
本实施例提出的一种在无脸部器官的对象上生成人脸表情的方法,包括:
获取表征对象表面形状和材质纹理的数据模型;
获取待生成的表征脸部器官的脸部器官模型的初始数据特征,初始数据特征包括脸部器官的形状特征、脸部器官的位置特征和人脸表情特征,脸部器官的形状特征表征脸部器官的立体形状,脸部器官的位置特征表征脸部器官所在的位置,人脸表情特征表征人脸表情;
遍历获取的数据模型表面的形状,确定是否存在符合脸部器官的形状特征的形状;
如果存在,则基于符合脸部器官的形状特征的形状所在的区域选取待处理区域;基于所述脸部器官的形状特征和脸部器官的位置特征,在所述待处理区域生成脸部器官模型,其中在符合脸部器官的形状特征的形状所在的区域生成对应的脸部器官模型;迁移所述人脸表情特征到所述生成的脸部器官模型;
如果不存在,则在数据模型的表面选取待处理区域;基于所述脸部器官的形状特征和脸部器官的位置特征,在所述待处理区域生成脸部器官模型;迁移所述人脸表情特征到所述生成的脸部器官模型。
在一替代实施例中,数据模型除了表征对象表面的形状,还可以在数据模型中表征出对象表面的光泽和/或颜色。
在一实施例中,数据模型除了表征对象表面的形状,还可以在数据模型中表征出对象表面的材质纹理和光泽,或者表征出对象表面的材质纹理和颜色,或者表征出对象表面的材质纹理、光泽和颜色。
本实施例提出的在无脸部器官的对象上生成人脸表情的方法,通过在对象表面的形状的基础上进一步将对象表面的材质纹理和/或光泽融入数据模型中,可以生动地表现出对象的质感,增强表情的灵动性,提高用户的视觉感受,增强用户体验。
实施例4:
在本实施例中,以所述对象具有二维结构,且表面具有材质纹理为例,示例性说明本实施例提出的在无脸部器官的对象上生成人脸表情的方法的实施方式。
本实施例提出的一种在无脸部器官的对象上生成人脸表情的方法,包括:
获取表征对象表面图案和材质纹理的数据模型;
获取待生成的表征脸部器官的脸部器官模型的初始数据特征,初始数据特征包括脸部器官的轮廓特征、脸部器官的位置特征和人脸表情特征,脸部器官的轮廓特征表征脸部器官的平面轮廓,脸部器官的位置特征表征脸部器官所在的位置,人脸表情特征表征人脸表情;
遍历获取的数据模型表面的图案,确定是否存在符合脸部器官的轮廓特征的图案;
如果存在,则基于符合脸部器官的轮廓特征的图案所在的区域选取待处理区域;基于所述脸部器官的轮廓特征和脸部器官的位置特征,在所述待处理区域生成脸部器官模型,其中在符合脸部器官的轮廓特征的图案所在的区域生成对应的脸部器官模型;迁移所述人脸表情特征到所述生成的脸部器官模型;
如果不存在,则在数据模型的表面选取待处理区域;基于所述脸部器官的轮廓特征和脸部器官的位置特征,在所述待处理区域生成脸部器官模型;迁移所述人脸表情特征到所述生成的脸部器官模型。
在一替代实施例中,数据模型除了表征对象表面的图案,还可以在数据模型中表征出对象表面的光泽和/或颜色。
在一实施例中,数据模型除了表征对象表面的图案,还可以在数据模型中表征出对象表面的材质纹理和光泽,或者表征出对象表面的材质纹理和颜色,或者表征出对象表面的材质纹理、光泽和颜色。
本实施例提出的在无脸部器官的对象上生成人脸表情的方法,通过在对象表面的图案的基础上进一步将对象表面的材质纹理和/或光泽融入数据模型中,可以生动地表现出对象的质感,增强表情的灵动性,提高用户的视觉感受,增强用户体验。
实施例5:
在本实施例中,以脸部器官包括眼睛和鼻子为例,示例性说明本实施例提出的在无脸部器官的对象上生成人脸表情的方法的实施方式。
本实施例提出的一种在无脸部器官的对象上生成人脸表情的方法,包括:
遍历表征对象的数据模型的表面,搜索与眼睛或鼻子相匹配的形状或图案;
如果搜索到与眼睛相匹配的形状或图案,例如有两个面积接近的像素面积超过30*30的小平面,或者有两片位置接近的像素面积超过30*30的叶子,则基于与眼睛相匹配的形状或图案所在的区域选取待处理区域,所述与眼睛相匹配的形状或图案所在的区域生成眼睛模型,并且依据该眼睛模型所在的位置生成具有相对位置关系的鼻子模型;基于眼睛模型和鼻子模型,视需要生成其他具有相对位置关系的脸部器官模型(例如嘴、耳朵和眉毛中的一个或多个);
如果搜索到与鼻子相匹配的形状或图案,例如一个异形立方体的突出的角的形状与鼻子相匹配,或者一个椭圆体上具有一个突出的缘,而缘的形状与鼻子相匹配,则基于与鼻子相匹配的形状或图案所在的区域选取待处理区域,所述与鼻子相匹配的形状或图案所在的区域生成鼻子模型,并且依据该鼻子所在的位置生成具有相对位置关系的眼睛模型;基于鼻子模型和眼睛模型,视需要生成其他具有相对位置关系的脸部器官模型(例如嘴、耳朵和眉毛中的一个或多个);
如果分别搜索到与眼睛和鼻子相匹配的形状或图案,例如有两片位置接近的像素面积超过30*30的花叶,并且两片花叶下方的花枝上有一颗花刺,而花刺的形状与鼻子相匹配,则基于与眼睛和鼻子相匹配的形状或图案所在的区域选取待处理区域,所述与眼睛相匹配的形状或图案所在的区域生成眼睛模型,所述与鼻子相匹配的形状或图案所在的区域生成鼻子模型;基于眼睛模型和鼻子模型,视需要生成其他具有相对位置关系的脸部器官模型(例如嘴、耳朵和眉毛中的一个或多个);
迁移所述人脸表情特征到所述生成的脸部器官模型,例如,人脸表情特征中关于眼睛的特征迁移到生成的眼睛模型,人脸表情特征中关于鼻子的特征迁移到生成的鼻子模型,如果还生成了嘴模型,则人脸表情特征中关于嘴的特征迁移到生成的嘴模型。
在一实施例中,数据模型除了表征对象表面的形状或图案,还可以表征出对象表面的材质纹理、光泽和颜色中的一种或多种。
在一实施例中,所述方法还包括对生成的脸部器官模型进行上色操作,此步骤可以在迁移步骤之前,也可以在迁移步骤之后,从而丰富数据模型的表现力,增强用户体验。
本发明实施例还提出一种计算机可读存储介质,存储有执行前述方法的计算机程序。
本发明实施例还提出一种计算机设备,包括处理器和操作上与所述处理器连接的上述计算机可读存储介质,所述处理器运行执行计算机可读介质中的计算机程序。
本领域技术人员可以理解,在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或它们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,术语“包括”及其各种变体可以被理解为开放式术语,其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上,对本发明的实施方式进行了说明。但是,本发明不限定于上述实施方式。凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种在无脸部器官的对象上生成人脸表情的方法,其特征在于,包括:
在表征对象的数据模型的表面,选取待处理区域;
在所述待处理区域生成表征脸部器官的脸部器官模型;
迁移人脸表情到所述生成的脸部器官模型。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取表征对象表面形状的数据模型;
获取待生成的表征脸部器官的脸部器官模型的初始数据特征;
所述初始数据特征包括脸部器官的形状特征、脸部器官的位置特征和人脸表情特征,脸部器官的形状特征表征脸部器官的立体形状,脸部器官的位置特征表征脸部器官所在的位置,人脸表情特征表征人脸表情。
3.根据权利要求2所述的方法,其特征在于,所述在表征对象的数据模型的表面,选取待处理区域,包括:
遍历获取的数据模型表面的形状,确定是否存在符合脸部器官的形状特征的形状;
如果存在,则基于符合脸部器官的形状特征的形状所在的区域选取待处理区域;
如果不存在,则在数据模型的表面选取待处理区域;
所述在所述待处理区域生成表征脸部器官的脸部器官模型,包括:
基于所述脸部器官的形状特征和脸部器官的位置特征,在所述待处理区域生成脸部器官模型,其中如果存在符合脸部器官的形状特征的形状,则在符合脸部器官的形状特征的形状所在的区域生成对应的脸部器官模型。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取表征对象表面图案的数据模型;
获取待生成的表征脸部器官的脸部器官模型的初始数据特征;
所述初始数据特征包括脸部器官的轮廓特征、脸部器官的位置特征和人脸表情特征,脸部器官的轮廓特征表征脸部器官的平面轮廓,脸部器官的位置特征表征脸部器官所在的位置,人脸表情特征表征人脸表情。
5.根据权利要求4所述的方法,其特征在于,所述在表征对象的数据模型的表面,选取待处理区域,包括:
遍历获取的数据模型表面的图案,确定是否存在符合脸部器官的轮廓特征的图案;
如果存在,则基于符合脸部器官的轮廓特征的图案所在的区域选取待处理区域;
如果不存在,则在数据模型的表面选取待处理区域;
所述在所述待处理区域生成表征脸部器官的脸部器官模型,包括:
基于所述脸部器官的轮廓特征和脸部器官的位置特征,在所述待处理区域生成脸部器官模型,其中如果存在符合脸部器官的轮廓特征的图案,则在符合脸部器官的轮廓特征的图案所在的区域生成对应的脸部器官模型。
6.根据权利要求2或4所述的方法,其特征在于,所述数据模型还附加地表征对象表面的材质纹理、光泽和颜色中的一种或多种。
7.根据权利要求3或5所述的方法,其特征在于,所述初始数据特征还包括脸部器官的颜色特征,在所述待处理区域生成脸部器官模型时,还附加地基于脸部器官的颜色特征生成脸部器官模型。
8.一种在无脸部器官的对象上生成人脸表情的装置,其特征在于,包括:
待处理区域选取部件,用于在表征对象的数据模型的表面,选取待处理区域;
脸部器官模型生成部件,用于在所述待处理区域生成表征脸部器官的脸部器官模型;
人脸表情迁移部件,用于迁移人脸表情到所述生成的脸部器官模型。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
数据模型获取部件,用于获取表征对象表面形状或图案的数据模型;
初始数据特征获取部件,用于获取待生成的表征脸部器官的脸部器官模型的初始数据特征;
所述初始数据特征包括脸部器官的形状或轮廓特征、脸部器官的位置特征和人脸表情特征,脸部器官的形状或轮廓特征表征脸部器官的立体形状或平面轮廓,脸部器官的位置特征表征脸部器官所在的位置,人脸表情特征表征人脸表情。
10.根据权利要求9所述的装置,其特征在于,所述装置实现如权利要求3、5至7中任一项所述的方法。
CN201910081812.6A 2019-01-28 2019-01-28 一种在无脸部器官的对象上生成人脸表情的方法及装置 Active CN109919016B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910081812.6A CN109919016B (zh) 2019-01-28 2019-01-28 一种在无脸部器官的对象上生成人脸表情的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910081812.6A CN109919016B (zh) 2019-01-28 2019-01-28 一种在无脸部器官的对象上生成人脸表情的方法及装置

Publications (2)

Publication Number Publication Date
CN109919016A true CN109919016A (zh) 2019-06-21
CN109919016B CN109919016B (zh) 2020-11-03

Family

ID=66961028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910081812.6A Active CN109919016B (zh) 2019-01-28 2019-01-28 一种在无脸部器官的对象上生成人脸表情的方法及装置

Country Status (1)

Country Link
CN (1) CN109919016B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604387A (zh) * 2008-06-11 2009-12-16 索尼株式会社 图像处理装置和图像处理方法
CN103516951A (zh) * 2012-06-22 2014-01-15 卡西欧计算机株式会社 图像生成装置以及图像生成方法
CN104157001A (zh) * 2014-08-08 2014-11-19 中科创达软件股份有限公司 一种头部漫画的绘制方法及装置
CN104205171A (zh) * 2012-04-09 2014-12-10 英特尔公司 用于化身生成、渲染和动画的***和方法
WO2015057733A1 (en) * 2013-10-14 2015-04-23 Fuhu, Inc. Widgetized avatar and a method and system of creating and using same
CN105374055A (zh) * 2014-08-20 2016-03-02 腾讯科技(深圳)有限公司 图像处理方法及装置
CN106104633A (zh) * 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
CN106204698A (zh) * 2015-05-06 2016-12-07 北京蓝犀时空科技有限公司 为自由组合创作的虚拟形象生成及使用表情的方法和***
WO2017003031A1 (ko) * 2015-06-29 2017-01-05 김영자 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치
CN106599817A (zh) * 2016-12-07 2017-04-26 腾讯科技(深圳)有限公司 一种人脸替换方法及装置
CN107852533A (zh) * 2015-07-14 2018-03-27 三星电子株式会社 三维内容生成装置及其三维内容生成方法
CN108171789A (zh) * 2017-12-21 2018-06-15 迈吉客科技(北京)有限公司 一种虚拟形象生成方法和***
WO2019005182A1 (en) * 2017-06-30 2019-01-03 Tobii Ab SYSTEMS AND METHODS FOR DISPLAYING IMAGES IN A VIRTUAL WORLD ENVIRONMENT
CN109173263A (zh) * 2018-08-31 2019-01-11 腾讯科技(深圳)有限公司 一种图像数据处理方法和装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604387A (zh) * 2008-06-11 2009-12-16 索尼株式会社 图像处理装置和图像处理方法
CN104205171A (zh) * 2012-04-09 2014-12-10 英特尔公司 用于化身生成、渲染和动画的***和方法
CN103516951A (zh) * 2012-06-22 2014-01-15 卡西欧计算机株式会社 图像生成装置以及图像生成方法
WO2015057733A1 (en) * 2013-10-14 2015-04-23 Fuhu, Inc. Widgetized avatar and a method and system of creating and using same
CN106104633A (zh) * 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
CN104157001A (zh) * 2014-08-08 2014-11-19 中科创达软件股份有限公司 一种头部漫画的绘制方法及装置
CN105374055A (zh) * 2014-08-20 2016-03-02 腾讯科技(深圳)有限公司 图像处理方法及装置
CN106204698A (zh) * 2015-05-06 2016-12-07 北京蓝犀时空科技有限公司 为自由组合创作的虚拟形象生成及使用表情的方法和***
WO2017003031A1 (ko) * 2015-06-29 2017-01-05 김영자 감성 아바타 이모티콘 기반의 초경량 데이터 애니메이션 방식 제공 방법, 그리고 이를 구현하기 위한 감성 아바타 이모티콘 제공 단말장치
CN107852533A (zh) * 2015-07-14 2018-03-27 三星电子株式会社 三维内容生成装置及其三维内容生成方法
CN106599817A (zh) * 2016-12-07 2017-04-26 腾讯科技(深圳)有限公司 一种人脸替换方法及装置
WO2019005182A1 (en) * 2017-06-30 2019-01-03 Tobii Ab SYSTEMS AND METHODS FOR DISPLAYING IMAGES IN A VIRTUAL WORLD ENVIRONMENT
CN108171789A (zh) * 2017-12-21 2018-06-15 迈吉客科技(北京)有限公司 一种虚拟形象生成方法和***
CN109173263A (zh) * 2018-08-31 2019-01-11 腾讯科技(深圳)有限公司 一种图像数据处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于佳骏: "数据驱动的人像卡通与表情动画生成技术", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
CN109919016B (zh) 2020-11-03

Similar Documents

Publication Publication Date Title
US11688120B2 (en) System and method for creating avatars or animated sequences using human body features extracted from a still image
Liao et al. Tada! text to animatable digital avatars
CN107798726B (zh) 三维漫画的制作方法和装置
Zhang et al. Avatarverse: High-quality & stable 3d avatar creation from text and pose
Hahn et al. Sketch abstractions for character posing
CN107797959A (zh) 处理脸部图像的***和方法以及用于使脸部图像动画化的***
CN113850169B (zh) 一种基于图像分割和生成对抗网络的人脸属性迁移方法
Cheng et al. Cross-modal 3d shape generation and manipulation
CN111950430A (zh) 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、***
CN110751733A (zh) 用于将3d扫描对象转换为化身的方法和装置
Wang et al. Wuju opera cultural creative products and research on visual image under VR technology
CN110443872B (zh) 一种具备动态纹理细节的表情合成方法
Orvalho et al. Transferring the rig and animations from a character to different face models
Yu et al. On generating realistic avatars: dress in your own style
CN107103646A (zh) 一种表情合成方法及装置
Kawai et al. Data-driven speech animation synthesis focusing on realistic inside of the mouth
CN109919016A (zh) 一种在无脸部器官的对象上生成人脸表情的方法及装置
Yang et al. Binary image carving for 3D printing
Pawaskar et al. Expression transfer: A system to build 3d blend shapes for facial animation
Lee et al. CartoonModes: Cartoon stylization of video objects through modal analysis
KR102652652B1 (ko) 아바타 생성 장치 및 방법
CN110751710A (zh) 用于将附件对象拟合到化身的方法和装置
Mahendran et al. GAN Based Photo-Realistic Image Generation from Sketch using Nested U-Net
Chai et al. Efficient mesh-based face beautifier on mobile devices
Li et al. Visual saliency‐based bas‐relief generation with symmetry composition rule

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant