CN109978996A - 生成表情三维模型的方法、装置、终端及存储介质 - Google Patents

生成表情三维模型的方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN109978996A
CN109978996A CN201910244730.9A CN201910244730A CN109978996A CN 109978996 A CN109978996 A CN 109978996A CN 201910244730 A CN201910244730 A CN 201910244730A CN 109978996 A CN109978996 A CN 109978996A
Authority
CN
China
Prior art keywords
expression
threedimensional model
parameter value
expression parameter
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910244730.9A
Other languages
English (en)
Other versions
CN109978996B (zh
Inventor
帕哈尔丁·帕力万
马里千
周博生
周波
张国鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910244730.9A priority Critical patent/CN109978996B/zh
Publication of CN109978996A publication Critical patent/CN109978996A/zh
Application granted granted Critical
Publication of CN109978996B publication Critical patent/CN109978996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开是关于一种生成表情三维模型的方法、装置、终端及存储介质,属于人脸识别技术领域。所述方法包括:根据人脸图像,确定所述人脸图像的特征点;根据所述人脸图像的特征点以及表情参数算法,确定多个表情参数值,所述表情参数值用于表示人脸中的一个部位的表情;根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定所述每个表情参数值对应的三维模型,一个三维模型用于表示人脸中一个部位的三维显示效果;根据所述每个表情参数值对应的三维模型,生成表情三维模型。采用本公开,可以提高生成表情三维模型的效率。

Description

生成表情三维模型的方法、装置、终端及存储介质
技术领域
本公开涉及人脸识别技术领域,尤其涉及一种生成表情三维模型的方法、装置、终端及存储介质。
背景技术
随着互联网技术的发展,用户可以通过图片或视频的方式分享自己的生活。有时用户不想展示自己的真实面貌,这时,用户可以选择使用虚拟表情来遮挡自己的真实面貌。虚拟表情是可以随着用户的真实表情做出相应表情变化的表情三维模型。
相关技术中,根据用户的真实表情生成表情三维模型的步骤可以是:先确定出用户的人脸图像的多个特征点的坐标信息,获取用户选取的目标虚拟表情对应的初始表情三维模型,并确定初始表情三维模型中每个特征点的初始坐标信息,分别计算人脸图像中每个特征点的坐标信息与初始表情三维模型中对应的特征点的初始坐标信息的坐标差值,并根据该坐标差值调整初始表情三维模型中该特征点对应的三维模型区域,按照上述步骤分别调整每个坐标差值对应的三维模型区域,最终生成待显示的表情三维模型。这样,将待显示的表情三维模型显示出来,用户就可以通过终端的屏幕看到和自己的表情相同的虚拟表情。
在实现本公开的过程中,发明人发现相关技术至少存在以下问题:
在人脸图像中识别出的特征点比较多,根据每个特征点去调整初始表情三维模型的这个过程花费的时间较长,导致生成表情三维模型的速度较慢,生成表情三维模型的效率较低。
发明内容
本公开提供一种生成表情三维模型的方法、装置、终端及存储介质,可以解决生成表情三维模型的效率较低的问题。
根据本公开实施例的第一方面,提供一种生成表情三维模型的方法,包括:
根据人脸图像,确定所述人脸图像的特征点;
根据所述人脸图像的特征点以及表情参数算法,确定多个表情参数值,所述表情参数值用于表示人脸中的一个部位的表情;
根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定所述每个表情参数值对应的三维模型,一个三维模型用于表示人脸中一个部位的三维显示效果;
根据所述每个表情参数值对应的三维模型,生成表情三维模型。
可选地,所述根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定所述每个表情参数值对应的三维模型,包括:
获取每个表情参数值对应的数值范围与三维模型的对应关系;
确定每个表情参数值所在的数值范围,确定所述每个表情参数值所在的数值范围对应的三维模型。
可选地,所述根据所述人脸图像的特征点以及表情参数算法,确定多个表情参数值,包括:
将所述人脸图像的特征点中每个部位对应的多个特征点,确定为一个特征点集合,得到多个特征点集合;
根据每个特征点集合中的每个特征点的位置信息以及每个特征点集合对应的表情参数算法,确定每个特征点集合对应的表情参数值。
可选地,所述根据每个特征点集合中的每个特征点的位置信息以及每个特征点集合对应的表情参数算法,确定每个特征点集合对应的表情参数值,包括:
根据每个特征点集合对应的表情参数算法中多个特征点之间的位置计算关系,确定所述每个特征点集合中多个特征点的位置信息的特征值,所述特征值用于表示一个特征点集合对应的部位的肌肉伸缩程度,所述特征值为一个特征点集合对应的表情参数值。
可选地,所述根据所述每个表情参数值对应的三维模型,生成表情三维模型,包括:
分别确定每个表情参数值对应的三维模型的表情类型;
如果每个表情参数值对应的三维模型的表情类型均相同,则根据所述每个表情参数值对应的三维模型,生成表情三维模型;
如果每个表情参数值对应的三维模型的表情类型中有任一个表情类型与其他表情类型不相同,则根据表情类型相同的三维模型数量最多的第一表情类型,纠正表情类型不是所述第一表情类型的表情参数值对应的三维模型,根据每个表情参数值对应的三维模型,生成表情三维模型。
可选地,所述方法还包括:
分别确定每个表情参数值对应的三维模型的表情类型;
根据表情类型相同的三维模型的数量最多的表情类型,确定所述表情三维模型对应的表情特效;
在显示所述表情三维模型时,基于所述表情三维模型,显示对应的表情特效。
可选地,所述确定所述表情三维模型对应的表情特效,包括:
确定所述表情三维模型对应的表情特效,以及所述表情特效在所述表情三维模型中对应的显示区域;
基于所述显示区域对应的多个特征点,确定所述显示区域的尺寸,根据所述显示区域的尺寸,确定所述表情特效的显示尺寸;
所述基于所述表情三维模型,显示对应的表情特效,包括:
根据所述表情特效对应的显示区域和显示尺寸,显示所述表情特效。
根据本公开实施例的第二方面,提供一种生成表情三维模型的装置,包括:
确定单元,用于根据人脸图像,确定所述人脸图像的特征点;
所述确定单元,还用于根据所述人脸图像的特征点以及表情参数算法,确定多个表情参数值,所述表情参数值用于表示人脸中的一个部位的表情;
所述确定单元,还用于根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定所述每个表情参数值对应的三维模型,一个三维模型用于表示人脸中一个部位的三维显示效果;
生成单元,用于根据所述每个表情参数值对应的三维模型,生成表情三维模型。
可选地,所述确定单元,用于:
获取每个表情参数值对应的数值范围与三维模型的对应关系;
确定每个表情参数值所在的数值范围,确定所述每个表情参数值所在的数值范围对应的三维模型。
可选地,所述确定单元,用于:
将所述人脸图像的特征点中每个部位对应的多个特征点,确定为一个特征点集合,得到多个特征点集合;
根据每个特征点集合中的每个特征点的位置信息以及每个特征点集合对应的表情参数算法,确定每个特征点集合对应的表情参数值。
可选地,所述确定单元,用于:
根据每个特征点集合对应的表情参数算法中多个特征点之间的位置计算关系,确定所述每个特征点集合中多个特征点的位置信息的特征值,所述特征值用于表示一个特征点集合对应的部位的肌肉伸缩程度,所述特征值为一个特征点集合对应的表情参数值。
可选地,所述生成单元,用于:
分别确定每个表情参数值对应的三维模型的表情类型;
如果每个表情参数值对应的三维模型的表情类型均相同,则根据所述每个表情参数值对应的三维模型,生成表情三维模型;
如果每个表情参数值对应的三维模型的表情类型中有任一个表情类型与其他表情类型不相同,则根据表情类型相同的三维模型数量最多的第一表情类型,纠正表情类型不是所述第一表情类型的表情参数值对应的三维模型,根据每个表情参数值对应的三维模型,生成表情三维模型。
可选地,所述确定单元,还用于:
分别确定每个表情参数值对应的三维模型的表情类型;
根据表情类型相同的三维模型的数量最多的表情类型,确定所述表情三维模型对应的表情特效;
显示单元,用于在显示所述表情三维模型时,基于所述表情三维模型,显示对应的表情特效。
可选地,所述确定单元,用于:
确定所述表情三维模型对应的表情特效,以及所述表情特效在所述表情三维模型中对应的显示区域;
基于所述显示区域对应的多个特征点,确定所述显示区域的尺寸,根据所述显示区域的尺寸,确定所述表情特效的显示尺寸;
所述显示单元,用于:
根据所述表情特效对应的显示区域和显示尺寸,显示所述表情特效。
根据本公开实施例的第三方面,提供一种终端,包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行指令的存储器;
其中,所述一个或多个处理器被配置为:
执行本公开实施例的第一方面所述的方法。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端的处理器执行时,使得终端能够执行本公开实施例的第一方面所述的方法。
根据本公开实施例的第五方面,提供一种应用程序产品,当应用程序产品在终端在运行时,使得终端执行本公开实施例的第一方面所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开中,终端确定人脸图像的特征点,然后根据人脸图像的特征点以及表情参数算法,确定多个表情参数值,表情参数值用于表示人脸中的一个部位的表情。然后,终端根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定每个表情参数值对应的三维模型,一个三维模型用于表示人脸中一个部位的三维显示效果,根据每个表情参数值对应的三维模型,生成表情三维模型。这样,终端根据每个表情参数值对应的预先存储的三维模型即可生成表情三维模型,无需采用根据每个特征点的坐标调整初始表情三维模型这种方式来生成表情三维模型,且本公开中的表情参数值的数量相对于相关技术中特征点的数量要少很多,因此本公开中根据表情参数值对应的三维模型生成表情三维模型的操作比较简化,生成表情三维模型花费的时间较少,速度较快,因此,生成表情三维模型的效率较高。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种生成表情三维模型的方法的流程图;
图2是根据一示例性实施例示出的一种生成表情三维模型的方法的流程图;
图3是根据一示例性实施例示出的一种生成表情三维模型的场景示意图;
图4是根据一示例性实施例示出的一种生成表情三维模型的界面示意图;
图5是根据一示例性实施例示出的一种生成表情三维模型的界面示意图;
图6是根据一示例性实施例示出的一种生成表情三维模型的装置框图;
图7是根据一示例性实施例示出的一种生成表情三维模型的装置框图;
图8是根据一示例性实施例示出的一种终端的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种生成表情三维模型的方法的流程图,如图1所示,该方法用于终端中,包括以下步骤。
在步骤101中,根据人脸图像,确定该人脸图像的特征点。
在步骤102中,根据该人脸图像的特征点以及表情参数算法,确定多个表情参数值,该表情参数值用于表示人脸中的一个部位的表情。
在步骤103中,根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定该每个表情参数值对应的三维模型,一个三维模型用于表示人脸中一个部位的三维显示效果。
在步骤104中,根据该每个表情参数值对应的三维模型,生成表情三维模型。
可选地,根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定该每个表情参数值对应的三维模型,包括:
获取每个表情参数值对应的数值范围与三维模型的对应关系;
确定每个表情参数值所在的数值范围,确定该每个表情参数值所在的数值范围对应的三维模型。
可选地,根据该人脸图像的特征点以及表情参数算法,确定多个表情参数值,包括:
将该人脸图像的特征点中每个部位对应的多个特征点,确定为一个特征点集合,得到多个特征点集合;
根据每个特征点集合中的每个特征点的位置信息以及每个特征点集合对应的表情参数算法,确定每个特征点集合对应的表情参数值。
可选地,根据每个特征点集合中的每个特征点的位置信息以及每个特征点集合对应的表情参数算法,确定每个特征点集合对应的表情参数值,包括:
根据每个特征点集合对应的表情参数算法中多个特征点之间的位置计算关系,确定该每个特征点集合中多个特征点的位置信息的特征值,该特征值用于表示一个特征点集合对应的部位的肌肉伸缩程度,该特征值为一个特征点集合对应的表情参数值。
可选地,根据该每个表情参数值对应的三维模型,生成表情三维模型,包括:
分别确定每个表情参数值对应的三维模型的表情类型;
如果每个表情参数值对应的三维模型的表情类型均相同,则根据该每个表情参数值对应的三维模型,生成表情三维模型;
如果每个表情参数值对应的三维模型的表情类型中有任一个表情类型与其他表情类型不相同,则根据表情类型相同的三维模型数量最多的第一表情类型,纠正表情类型不是该第一表情类型的表情参数值对应的三维模型,根据每个表情参数值对应的三维模型,生成表情三维模型。
可选地,该方法还包括:
分别确定每个表情参数值对应的三维模型的表情类型;
根据表情类型相同的三维模型的数量最多的表情类型,确定该表情三维模型对应的表情特效;
在显示该表情三维模型时,基于该表情三维模型,显示对应的表情特效。
可选地,确定该表情三维模型对应的表情特效,包括:
确定该表情三维模型对应的表情特效,以及该表情特效在该表情三维模型中对应的显示区域;
基于该显示区域对应的多个特征点,确定该显示区域的尺寸,根据该显示区域的尺寸,确定该表情特效的显示尺寸;
基于该表情三维模型,显示对应的表情特效,包括:
根据该表情特效对应的显示区域和显示尺寸,显示该表情特效。
本公开中,终端确定人脸图像的特征点,然后根据人脸图像的特征点以及表情参数算法,确定多个表情参数值,表情参数值用于表示人脸中的一个部位的表情。然后,终端根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定每个表情参数值对应的三维模型,一个三维模型用于表示人脸中一个部位的三维显示效果,根据每个表情参数值对应的三维模型,生成表情三维模型。这样,终端根据每个表情参数值对应的预先存储的三维模型即可生成表情三维模型,无需采用根据每个特征点的坐标调整初始表情三维模型这种方式来生成表情三维模型,且本公开中的表情参数值的数量相对于相关技术中特征点的数量要少很多,因此本公开中根据表情参数值对应的三维模型生成表情三维模型的操作比较简化,生成表情三维模型花费的时间较少,速度较快,因此,生成表情三维模型的效率较高。
图2是根据一示例性实施例示出的一种生成表情三维模型的方法的流程图,如图2所示,该方法用于终端中,包括以下步骤。
在步骤201中,根据人脸图像,确定人脸图像的特征点。
在一种可能的实施方式中,当用户想要使用虚拟表情时,可以在终端上打开对应的应用程序,这样终端可以显示出摄像头采集的预览图像,用户可以选择采用前置摄像头或者后置摄像头来采集图像。
通过预览界面,用户可以看到终端当前采集到的预览图像。当用户想要使用虚拟表情时,可以选择想要使用的虚拟表情,选择的方式可以是用户在终端的屏幕上点击对应的虚拟表情的图标,则终端可以接收到用户选择虚拟表情,并获取对应的初始表情三维模型。三维模型是一种由技术人员通过三维建模工具生成的、由网格和纹理构成的三维数字形体,初始表情三维模型是技术人员将为每个虚拟表情预先构建的初始表情三维模型。
需要说明的是,用户选择虚拟表情的步骤可以发生在用户使用终端进行预览时,也可以发生在用户使用终端拍摄视频的过程中,还可以发生在用户使用终端完成视频拍摄或完成图像拍摄之后,本公开对此不做限定。
然后,终端获取人脸图像,人脸图像可以但不限于从以下几种可行的方式中获取:
(1)人脸图像可以是在终端在采集预览图像时,从任一预览图像中提取到的人脸图像。
(2)人脸图像可以是在终端录制视频过程中,从采集到的任一视频帧中提取到的人脸图像。
(3)人脸图像可以是从终端已存储的视频中任一视频帧中提取到的人脸图像。
(4)人脸图像可以是从终端已存储的任一图像中提取到的人脸图像。
需要说明的是,上述从视频帧或图像中提取人脸图像的方法可以是但不限于局部特征分析方法、特征脸方法、神经网络方法或基于弹性模型的方法等,本公开对此不做限定。
获取到人脸图像后,终端根据预设的面部特征点识别算法,确定人脸图像中的多个特征点,如图3所示,确定出的多个特征点中,每个特征点都预设了对应的人脸部位。
面部特征点识别算法可以包括但不限于ASM(Active Shape Model,主动形体模型)算法、AAM(Active Appearance Model,主动外观模型)算法、CLM(Constrained localmodel,有约束的局部模型)算法、CNN(Convolutional Neural Networks,卷积神经网络)模型等。
这些算法具有准确度较高、计算量较小的特点,采用这样的算法识别人脸图像的特征点时,对终端的运算能力以及对图像的质量要求都较低,大多数智能手机、平板电脑等都可以采用本公开的方案渲染表情三维模型,无需使用专业的摄像机拍摄的图像才能进行表情三维模型的渲染,也不用必须通过电脑来运算,使得显示虚拟表情更加方便快捷。
在步骤202中,将人脸图像的特征点中每个部位对应的多个特征点,确定为一个特征点集合,得到多个特征点集合。
在一种可能的实施方式中,通过上述步骤确定人脸图像的特征点,将人脸图像的特征点按照对应的部分进行划分,将对应同一个部位的特征点划分为一个特征点集合。也就是说,每个特征点集合对应一个人脸的部位。
具体地,识别出的每个人脸图像的特征点均有对应的特征点标识,而根据同一个面部特征点识别算法识别出的每个特征点标识对应的特征点的含义是相同的,即使用同一个面部特征点识别算法对不同人脸图像进行识别,识别出的相同特征点标识对应的特征点对应相同的部位。这样,技术人员可以预先设置每个特征点标识对应的部位,在通过上述步骤201进行面部特征点识别后,终端获取预先存储的每个部位对应的特征点标识,将每个部位对应的特征点标识对应的特征点划分为一个特征点集合。举例来说,眼睛部位对应的特征点标识为特征点1-29,则将特征点标识为1-29的特征点划分为一个特征点集合。
在步骤203中,根据每个特征点集合中的每个特征点的位置信息以及每个特征点集合对应的表情参数算法,确定每个特征点集合对应的表情参数值。
其中,表情参数值用于表示人脸中的一个部位的表情。
在一种可能的实施方式中,上述步骤确定的每个特征点集合对应人脸图像中不同的部位,而每个部位的表情变化程度是不同的,因此,技术人员根据每个部位的表情变化特性,预先设计一种表情参数算法存储在终端中,该表情参数算法可以是根据每个部位的特征点的位置信息计算表情参数值的一种算法。
当终端确定出多个特征点集合后,可以确定每个特征点集合中每个特征点的位置信息,可选地,该位置信息可以是在人脸图像中的坐标信息。终端获取预先存储的每个特征点集合对应的表情参数算法,根据该表情参数算法以及特征点的位置信息,计算每个特征点集合对应的表情参数值。
可选地,计算表情参数值的具体过程可以是:根据每个特征点集合对应的表情参数算法中多个特征点之间的位置计算关系,确定每个特征点集合中多个特征点的位置信息的特征值,特征值用于表示一个特征点集合对应的部位的肌肉伸缩程度,特征值为一个特征点集合对应的表情参数值。
在一种可能的实施方式中,表情参数算法是技术人员预先设定的算法,可以通过多种计算方式来计算特征点集合对应的表情参数值,可选的一种方式可以是通过多个特征点之间的位置计算关系来计算表情参数值。
终端获取每个特征点集合对应的表情参数算法中多个特征点之间的位置计算关系,并根据位置计算关系中每个特征点的位置信息计算方法,确定该特征点集合的特征值。由于每个特征点集合可以表示人脸图像中的部位的形状,则确定出的特征值可以是用一个值来表示该部位变化的程度,或者说,该特征值可以用于表示该部位的肌肉伸缩程度,该特征值即为该特征点集合对应的表情参数值。
举例来说,假设嘴巴部位对应的特征点集合的特征点标识为31-50,而嘴巴部位对应的表情参数算法的位置计算关系是,先确定特征点标识31-40的特征点分别与特征点标识为41-50的特征点的位置信息的差值,然后确定所有差值的均值,确定出的均值即为该特征点集合的特征值。
需要说明的是,上述步骤201-203仅为本公开例举的一种可行的获取表情参数值的方式,除了上述步骤201-203的处理方式,还可以采用其它的处理方式,例如,使用人脸肌肉模型对人脸图像进行识别,直接输出一个表情向量,该表情向量中的每个向量值为一个表情参数值,本公开对此不做限定。
在步骤204中,根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定每个表情参数值对应的三维模型。
其中,一个三维模型用于表示人脸中一个部位的三维显示效果。
在一种可能的实施方式中,为了加快生成表情三维模型的速度,技术人员预先在终端中存储每个表情参数值对应的多个三维模型,也即,技术人员在终端中预先存储了每个表情对应的三维模型,这样,终端在生成表情三维模型时,可以直接获取人脸每个部位的三维模型,使得生成表情三维模型的操作更简化。
通过上述步骤确定每个特征点集合对应的表情参数值后,对于每个表情参数值,在该表情参数对应的多个三维模型中,选择一个与该表情参数值相匹配的三维模型,作为该表情参数值对应的三维模型。
可选地,选择表情参数值对应的三维模型的一种处理方式可以如下:获取每个表情参数值对应的数值范围与三维模型的对应关系;确定每个表情参数值所在的数值范围,确定每个表情参数值所在的数值范围对应的三维模型。
在一种可能的实施方式中,终端中预先存储有每个表情参数值对应的数值范围与三维模型的对应关系。
对于每个表情参数值,终端先获取该表情参数值对应的数值范围与三维模型的对应关系,然后,终端确定该表情参数值所在的数值范围,在数值范围与三维模型的对应关系中,查询该数值范围对应的三维模型,即为该表情参数值对应的三维模型。可选地,表情参数值对应的数值范围与三维模型的对应关系可以采用对应关系表的形式存储在终端,其中,三维模型可以采用三维模型标识的形式来表示。举例来说,表情参数值对应的数值范围与三维模型标识的对应关系表可以如下表1所示。
表1
数值范围 三维模型标识
01-10 A001
11-20 A002
21-30 A003
…… ……
在步骤205中,分别确定每个表情参数值对应的三维模型的表情类型。
在一种可能的实施方式中,通过上述步骤确定每个表情参数值对应的三维模型后,终端获取预先存储的三维模型与表情类型的对应关系。可选地,每个三维模型对应一个三维模型标识,终端中存储的三维模型与表情类型的对应关系可以是三维模型标识与表情类型的对应关系,该对应关系可以是以对应关系表的形式进行存储。
举例来说,三维模型标识与表情类型的对应关系表可以如下表2所示。
表2
三维模型标识 表情类型
A001 愤怒
A002 生气
A003 委屈
…… ……
另外,表情类型也可以对应有表情类型标识,即上述三维模型与表情类型的对应关系也可以是三维模型标识与表情类型标识的对应关系,本公开对此不做限定。
在步骤206中,如果每个表情参数值对应的三维模型的表情类型均相同,则根据每个表情参数值对应的三维模型,生成表情三维模型。
在一种可能的实施方式中,通过上述步骤确定每个表情参数值对应的三维模型的表情类型后,可以将每个表情参数值对应的三维模型的表情类型进行对比。如果每个表情参数值对应的三维模型的表情类型均相同,说明通过上述步骤201-步骤205确定出的每个部位的表情是一致的,这样,确定出的三维模型的确定错误概率很小,因此,可以直接将确定出的每个表情参数值对应的三维模型拼接在初始表情三维模型中,生成人脸图像对应的表情三维模型。
在步骤207中,如果每个表情参数值对应的三维模型的表情类型中有任一个表情类型与其他表情类型不相同,则根据表情类型相同的三维模型数量最多的第一表情类型,纠正表情类型不是第一表情类型的表情参数值对应的三维模型,根据每个表情参数值对应的三维模型,生成表情三维模型。
在一种可能的实施方式中,如果将每个表情参数值对应的三维模型的表情类型进行对比时,确定所有表情参数值对应的三维模型的表情类型中有任一个表情类型与其他表情类型不相同,即所有表情参数值对应的三维模型的表情类型中存在两种或两种以上的表情类型,说明每个表情参数值对应的三维模型的表情类型不相同,也即,在人脸图像中识别出的每个部位的表情不一致,说明通过上述步骤确定出的三维模型中可能存在识别错误的三维模型。例如,识别出的眼睛、眉毛、鼻子等部位对应的三维模型的表情类型是愤怒,而识别出的嘴巴对应的三维模型的表情类型是开心,可能说明嘴巴对应的三维模型的表情类型发生识别错误。
当发生这种情况时,终端统计识别出的至少两个表情类型分别对应的三维模型的数量,表情类型对应的三维模型的数量越多,说明该表情类型越有可能是人脸图像对应的正确的表情类型,因此,确定表情类型相同的三维模型数量最多的表情类型(可称为第一表情类型),对于每个表情类型不是第一表情类型的表情参数值,在该表情参数值对应的多个三维模型中,选择表情类型为第一表情类型的三维模型作为正确的三维模型,用来替换该表情参数值原本确定的三维模型。对每个表情类型不是第一表情类型的表情参数值的三维模型进行替换后,每个表情参数值对应的三维模型的表情类型就是相同的了。然后,可以将每个表情参数值对应的三维模型拼接在初始表情三维模型中,生成人脸图像对应的表情三维模型。
这样,如果终端在识别人脸图像中某个部位时发生了错误,通过上述步骤207可以进行纠正。而且,当用户本身表达情绪能力较弱时,比如用户的眼睛比较小,则在拍摄到的人脸图像中,根据该用户的眼睛部位较难识别出类似“瞪眼”的表情,但其它部位(如眉毛、额头等)可能识别出“瞪眼”的表情,这样可以对识别不出“瞪眼”表情的眼睛部位的三维模型进行纠正,使得生成的表情三维模型更贴近与用户的真实表情,提高了生成表情三维模型的准确性。
需要说明的是,上述步骤205-207仅为本公开例举的一种可行的生成表情三维模型的方式,除了上述步骤205-207的处理方式外,还可以采用其它的处理方式,例如,在执行步骤204确定每个表情参数值对应的三维模型后,可以直接将每个表情参数值对应的三维模型拼接在初始表情三维模型中,生成人脸图像对应的表情三维模型,本公开对此不做限定。
在步骤208中,显示表情三维模型。
在一种可能的实施方式中,生成人脸图像对应的表情三维模型后,终端显示该表情三维模型,用户可以通过终端查看该表情三维模型,如图4以及图5所示。如果上述的人脸图像为视频中的任一视频帧中的人脸图像,则终端对视频中的每个视频帧中的人脸图像都进行上述步骤201-207的处理,得到每个视频帧中的人脸图像对应的表情三维模型,并显示每个视频帧中的人脸图像对应的表情三维模型。这样,随着视频的播放,用户可以看到与视频中的人脸保持实时变化的虚拟表情,增加了趣味性。
可选地,为了增加虚拟表情的趣味性,可以根据用户的表情添加对应的表情特效,相应的处理方式可以如下:分别确定每个表情参数值对应的三维模型的表情类型;根据表情类型相同的三维模型的数量最多的表情类型,确定表情三维模型对应的表情特效;在显示表情三维模型时,基于表情三维模型,显示对应的表情特效。
在一种可能的实施方式中,通过上述步骤205确定每个表情参数值对应的三维模型的表情类型后,由于表情类型对应的三维模型的数量越多,说明该表情类型越有可能是人脸图像对应的正确的表情类型,因此,确定每个表情类型相同的三维模型的数量最多的表情类型(可称为第一表情类型),终端按照预先存储的表情类型与表情特效的对应关系,确定第一表情类型对应的表情特效,该表情特效为人脸图像中人脸的表情对应的表情特效。然后,终端在显示表情三维模型时,在人脸图像的表情三维模型对应的部位显示确定出的表情特效。
举例来说,如果通过上述步骤205确定的表情参数值对应的三维模型的表情类型包括愤怒、开心和惊讶,而愤怒这个表情类型对应的三维模型的数量最多,则终端在表情类型与表情特效的对应关系中,确定愤怒对应的表情特效,假设愤怒对应的表情特效为口中喷火的特效,则终端在显示表情三维模型时,在表情三维模型的嘴巴部位显示喷火的特效。这样,可以帮助用户强调某种情绪的表达,更具有趣味性。
可选地,上述确定表情特效的具体处理方式可以如下:确定表情三维模型对应的表情特效,以及表情特效在表情三维模型中对应的显示区域;基于显示区域对应的多个特征点,确定显示区域的尺寸,根据显示区域的尺寸,确定表情特效的显示尺寸;根据表情特效对应的显示区域和显示尺寸,显示表情特效。
在一种可能的实施方式中,终端按照预先存储的表情类型与表情特效的对应关系,确定第一表情类型对应的表情特效时,还可以确定该表情特效在表情三维模型中对应的显示区域。可选地,该显示区域可以是特征点集合,显示区域的位置信息根据对应的特征点集合中的多个特征点的位置信息确定。
确定出显示区域后,根据该显示区域对应的多个特征点的位置信息,计算该显示区域的尺寸大小,根据该显示区域的尺寸大小确定表情特效的显示尺寸,并按照表情特效的显示尺寸调整初始的表情特效的尺寸。当显示表情三维模型时,在表情三维模型对应的显示区域中,显示调整尺寸后的表情特效。
本公开中,终端确定人脸图像的特征点,然后根据人脸图像的特征点以及表情参数算法,确定多个表情参数值,表情参数值用于表示人脸中的一个部位的表情。然后,终端根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定每个表情参数值对应的三维模型,一个三维模型用于表示人脸中一个部位的三维显示效果,根据每个表情参数值对应的三维模型,生成表情三维模型。这样,终端根据每个表情参数值对应的预先存储的三维模型即可生成表情三维模型,无需采用根据每个特征点的坐标调整初始表情三维模型这种方式来生成表情三维模型,且本公开中的表情参数值的数量相对于相关技术中特征点的数量要少很多,因此本公开中根据表情参数值对应的三维模型生成表情三维模型的操作比较简化,生成表情三维模型花费的时间较少,速度较快,因此,生成表情三维模型的效率较高。
图6是根据一示例性实施例示出的一种生成表情三维模型的装置框图。参照图6,该装置包括确定单元610和生成单元620。
确定单元610,用于根据人脸图像,确定所述人脸图像的特征点;
所述确定单元610,还用于根据所述人脸图像的特征点以及表情参数算法,确定多个表情参数值,所述表情参数值用于表示人脸中的一个部位的表情;
所述确定单元610,还用于根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定所述每个表情参数值对应的三维模型,一个三维模型用于表示人脸中一个部位的三维显示效果;
生成单元620,用于根据所述每个表情参数值对应的三维模型,生成表情三维模型。
可选地,所述确定单元610,用于:
获取每个表情参数值对应的数值范围与三维模型的对应关系;
确定每个表情参数值所在的数值范围,确定所述每个表情参数值所在的数值范围对应的三维模型。
可选地,所述确定单元610,用于:
将所述人脸图像的特征点中每个部位对应的多个特征点,确定为一个特征点集合,得到多个特征点集合;
根据每个特征点集合中的每个特征点的位置信息以及每个特征点集合对应的表情参数算法,确定每个特征点集合对应的表情参数值。
可选地,所述确定单元610,用于:
根据每个特征点集合对应的表情参数算法中多个特征点之间的位置计算关系,确定所述每个特征点集合中多个特征点的位置信息的特征值,所述特征值用于表示一个特征点集合对应的部位的肌肉伸缩程度,所述特征值为一个特征点集合对应的表情参数值。
可选地,所述生成单元620,用于:
分别确定每个表情参数值对应的三维模型的表情类型;
如果每个表情参数值对应的三维模型的表情类型均相同,则根据所述每个表情参数值对应的三维模型,生成表情三维模型;
如果每个表情参数值对应的三维模型的表情类型中有任一个表情类型与其他表情类型不相同,则根据表情类型相同的三维模型数量最多的第一表情类型,纠正表情类型不是所述第一表情类型的表情参数值对应的三维模型,根据每个表情参数值对应的三维模型,生成表情三维模型。
可选地,如图7所示,所述确定单元610,还用于:
分别确定每个表情参数值对应的三维模型的表情类型;
根据表情类型相同的三维模型的数量最多的表情类型,确定所述表情三维模型对应的表情特效;
显示单元630,用于在显示所述表情三维模型时,基于所述表情三维模型,显示对应的表情特效。
可选地,所述确定单元610,用于:
确定所述表情三维模型对应的表情特效,以及所述表情特效在所述表情三维模型中对应的显示区域;
基于所述显示区域对应的多个特征点,确定所述显示区域的尺寸,根据所述显示区域的尺寸,确定所述表情特效的显示尺寸;
所述显示单元630,用于:
根据所述表情特效对应的显示区域和显示尺寸,显示所述表情特效。
本公开中,终端确定人脸图像的特征点,然后根据人脸图像的特征点以及表情参数算法,确定多个表情参数值,表情参数值用于表示人脸中的一个部位的表情。然后,终端根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定每个表情参数值对应的三维模型,一个三维模型用于表示人脸中一个部位的三维显示效果,根据每个表情参数值对应的三维模型,生成表情三维模型。这样,终端根据每个表情参数值对应的预先存储的三维模型即可生成表情三维模型,无需采用根据每个特征点的坐标调整初始表情三维模型这种方式来生成表情三维模型,且本公开中的表情参数值的数量相对于相关技术中特征点的数量要少很多,因此本公开中根据表情参数值对应的三维模型生成表情三维模型的操作比较简化,生成表情三维模型花费的时间较少,速度较快,因此,生成表情三维模型的效率较高。
图8是根据一示例性实施例示出的一种终端的结构框图。该终端800可以是便携式移动终端,比如:智能手机、平板电脑。终端800还可能被称为用户设备、便携式终端等其他名称。
通常,终端800包括有:处理器801和存储器802。
处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器801可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器801还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是有形的和非暂态的。存储器802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器801所执行以实现本申请中提供的生成表情三维模型的方法。
在一些实施例中,终端800还可选包括有:***设备接口803和至少一个***设备。具体地,***设备包括:射频电路804、触摸显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。
***设备接口803可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器801和存储器802。在一些实施例中,处理器801、存储器802和***设备接口803被集成在同一芯片或电路板上;在一些其他实施例中,处理器801、存储器802和***设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路804用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路804包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路804还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
触摸显示屏805用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。触摸显示屏805还具有采集在触摸显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。触摸显示屏805用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,触摸显示屏805可以为一个,设置终端800的前面板;在另一些实施例中,触摸显示屏805可以为至少两个,分别设置在终端800的不同表面或呈折叠设计;在再一些实施例中,触摸显示屏805可以是柔性显示屏,设置在终端800的弯曲表面上或折叠面上。甚至,触摸显示屏805还可以设置成非矩形的不规则图形,也即异形屏。触摸显示屏805可以采用LCD(LiquidCrystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件806用于采集图像或视频。可选地,摄像头组件806包括前置摄像头和后置摄像头。通常,前置摄像头用于实现视频通话或自拍,后置摄像头用于实现照片或视频的拍摄。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能,主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能。在一些实施例中,摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路807用于提供用户和终端800之间的音频接口。音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器801进行处理,或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路807还可以包括耳机插孔。
定位组件808用于定位终端800的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于:加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号,控制触摸显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器812可以检测终端800的机体方向及转动角度,陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器813可以设置在终端800的侧边框和/或触摸显示屏805的下层。当压力传感器813设置在终端800的侧边框时,可以检测用户对终端800的握持信号,根据该握持信号进行左右手识别或快捷操作。当压力传感器813设置在触摸显示屏805的下层时,可以根据用户对触摸显示屏805的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器814用于采集用户的指纹,以根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器801授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时,指纹传感器814可以与物理按键或厂商Logo集成在一起。
光学传感器815用于采集环境光强度。在一个实施例中,处理器801可以根据光学传感器815采集的环境光强度,控制触摸显示屏805的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏805的显示亮度;当环境光强度较低时,调低触摸显示屏805的显示亮度。在另一个实施例中,处理器801还可以根据光学传感器815采集的环境光强度,动态调整摄像头组件806的拍摄参数。
接近传感器816,也称距离传感器,通常设置在终端800的正面。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中,当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时,由处理器801控制触摸显示屏805从亮屏状态切换为息屏状态;当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时,由处理器801控制触摸显示屏805从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图8中示出的结构并不构成对终端800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本公开中,终端确定人脸图像的特征点,然后根据人脸图像的特征点以及表情参数算法,确定多个表情参数值,表情参数值用于表示人脸中的一个部位的表情。然后,终端根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定每个表情参数值对应的三维模型,一个三维模型用于表示人脸中一个部位的三维显示效果,根据每个表情参数值对应的三维模型,生成表情三维模型。这样,终端根据每个表情参数值对应的预先存储的三维模型即可生成表情三维模型,无需采用根据每个特征点的坐标调整初始表情三维模型这种方式来生成表情三维模型,且本公开中的表情参数值的数量相对于相关技术中特征点的数量要少很多,因此本公开中根据表情参数值对应的三维模型生成表情三维模型的操作比较简化,生成表情三维模型花费的时间较少,速度较快,因此,生成表情三维模型的效率较高。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器802,上述指令可由装置800的处理器801执行以完成上述生成表情三维模型的方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种应用程序产品,包括一条或多条指令,该一条或多条指令可以由装置800的处理器801执行,以完成上述生成表情三维模型的方法。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种生成表情三维模型的方法,其特征在于,包括:
根据人脸图像,确定所述人脸图像的特征点;
根据所述人脸图像的特征点以及表情参数算法,确定多个表情参数值,所述表情参数值用于表示人脸中的一个部位的表情;
根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定所述每个表情参数值对应的三维模型,一个三维模型用于表示人脸中一个部位的三维显示效果;
根据所述每个表情参数值对应的三维模型,生成表情三维模型。
2.根据权利要求1所述的生成表情三维模型的方法,其特征在于,所述根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定所述每个表情参数值对应的三维模型,包括:
获取每个表情参数值对应的数值范围与三维模型的对应关系;
确定每个表情参数值所在的数值范围,确定所述每个表情参数值所在的数值范围对应的三维模型。
3.根据权利要求1所述的生成表情三维模型的方法,其特征在于,所述根据所述人脸图像的特征点以及表情参数算法,确定多个表情参数值,包括:
将所述人脸图像的特征点中每个部位对应的多个特征点,确定为一个特征点集合,得到多个特征点集合;
根据每个特征点集合中的每个特征点的位置信息以及每个特征点集合对应的表情参数算法,确定每个特征点集合对应的表情参数值。
4.根据权利要求3所述的生成表情三维模型的方法,其特征在于,所述根据每个特征点集合中的每个特征点的位置信息以及每个特征点集合对应的表情参数算法,确定每个特征点集合对应的表情参数值,包括:
根据每个特征点集合对应的表情参数算法中多个特征点之间的位置计算关系,确定所述每个特征点集合中多个特征点的位置信息的特征值,所述特征值用于表示一个特征点集合对应的部位的肌肉伸缩程度,所述特征值为一个特征点集合对应的表情参数值。
5.根据权利要求1所述的生成表情三维模型的方法,其特征在于,所述根据所述每个表情参数值对应的三维模型,生成表情三维模型,包括:
分别确定每个表情参数值对应的三维模型的表情类型;
如果每个表情参数值对应的三维模型的表情类型均相同,则根据所述每个表情参数值对应的三维模型,生成表情三维模型;
如果每个表情参数值对应的三维模型的表情类型中有任一个表情类型与其他表情类型不相同,则根据表情类型相同的三维模型数量最多的第一表情类型,纠正表情类型不是所述第一表情类型的表情参数值对应的三维模型,根据每个表情参数值对应的三维模型,生成表情三维模型。
6.根据权利要求1所述的生成表情三维模型的方法,其特征在于,所述方法还包括:
分别确定每个表情参数值对应的三维模型的表情类型;
根据表情类型相同的三维模型的数量最多的表情类型,确定所述表情三维模型对应的表情特效;
在显示所述表情三维模型时,基于所述表情三维模型,显示对应的表情特效。
7.根据权利要求6所述的生成表情三维模型的方法,其特征在于,所述确定所述表情三维模型对应的表情特效,包括:
确定所述表情三维模型对应的表情特效,以及所述表情特效在所述表情三维模型中对应的显示区域;
基于所述显示区域对应的多个特征点,确定所述显示区域的尺寸,根据所述显示区域的尺寸,确定所述表情特效的显示尺寸;
所述基于所述表情三维模型,显示对应的表情特效,包括:
根据所述表情特效对应的显示区域和显示尺寸,显示所述表情特效。
8.一种生成表情三维模型的装置,其特征在于,包括:
确定单元,用于根据人脸图像,确定所述人脸图像的特征点;
所述确定单元,还用于根据所述人脸图像的特征点以及表情参数算法,确定多个表情参数值,所述表情参数值用于表示人脸中的一个部位的表情;
所述确定单元,还用于根据每个表情参数值,在每个表情参数对应的多个三维模型中,确定所述每个表情参数值对应的三维模型,一个三维模型用于表示人脸中一个部位的三维显示效果;
生成单元,用于根据所述每个表情参数值对应的三维模型,生成表情三维模型。
9.一种终端,其特征在于,包括:
一个或多个处理器;
用于存储所述一个或多个处理器可执行指令的存储器;其中,所述一个或多个处理器被配置为:执行权利要求1-7任一所述的方法。
10.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由终端的处理器执行时,使得终端能够执行一种生成表情三维模型的方法,所述方法包括:执行权利要求1-7任一所述的方法。
CN201910244730.9A 2019-03-28 2019-03-28 生成表情三维模型的方法、装置、终端及存储介质 Active CN109978996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910244730.9A CN109978996B (zh) 2019-03-28 2019-03-28 生成表情三维模型的方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910244730.9A CN109978996B (zh) 2019-03-28 2019-03-28 生成表情三维模型的方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN109978996A true CN109978996A (zh) 2019-07-05
CN109978996B CN109978996B (zh) 2021-06-11

Family

ID=67081386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910244730.9A Active CN109978996B (zh) 2019-03-28 2019-03-28 生成表情三维模型的方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN109978996B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021033478A1 (ja) * 2019-08-16 2021-02-25 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR20210113948A (ko) * 2020-03-09 2021-09-17 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 가상 아바타 생성 방법 및 장치
CN113763531A (zh) * 2020-06-05 2021-12-07 北京达佳互联信息技术有限公司 三维人脸重建方法、装置、电子设备及存储介质
CN115690281A (zh) * 2022-12-29 2023-02-03 海马云(天津)信息技术有限公司 角色表情的驱动方法及装置、存储介质、电子装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038160A (ja) * 2003-07-14 2005-02-10 Oki Electric Ind Co Ltd 画像生成装置およびその画像生成方法、ならびにコンピュータ読み取り可能な記録媒体
CN101488234A (zh) * 2009-03-02 2009-07-22 中山大学 基于肌肉模型的人脸表情动画合成方法
CN101739709A (zh) * 2009-12-24 2010-06-16 四川大学 一种三维人脸动画的控制方法
CN103473801A (zh) * 2013-09-27 2013-12-25 中国科学院自动化研究所 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法
CN104780339A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的表情特效动画加载方法和电子设备
CN104794444A (zh) * 2015-04-16 2015-07-22 美国掌赢信息科技有限公司 一种即时视频中的表情识别方法和电子设备
US20160148041A1 (en) * 2014-11-21 2016-05-26 Korea Institute Of Science And Technology Method for face recognition through facial expression normalization, recording medium and device for performing the method
CN106775360A (zh) * 2017-01-20 2017-05-31 珠海格力电器股份有限公司 一种电子设备的控制方法、***及电子设备
CN107358169A (zh) * 2017-06-21 2017-11-17 厦门中控智慧信息技术有限公司 一种人脸表情识别方法及人脸表情识别装置
CN108399383A (zh) * 2018-02-14 2018-08-14 深圳市商汤科技有限公司 表情迁移方法、装置存储介质及程序
US20180342110A1 (en) * 2017-05-27 2018-11-29 Fujitsu Limited Information processing method and information processing device
CN109167914A (zh) * 2018-09-25 2019-01-08 维沃移动通信有限公司 一种图像处理方法及移动终端
CN109191507A (zh) * 2018-08-24 2019-01-11 北京字节跳动网络技术有限公司 三维人脸图像重建方法、装置和计算机可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038160A (ja) * 2003-07-14 2005-02-10 Oki Electric Ind Co Ltd 画像生成装置およびその画像生成方法、ならびにコンピュータ読み取り可能な記録媒体
CN101488234A (zh) * 2009-03-02 2009-07-22 中山大学 基于肌肉模型的人脸表情动画合成方法
CN101739709A (zh) * 2009-12-24 2010-06-16 四川大学 一种三维人脸动画的控制方法
CN103473801A (zh) * 2013-09-27 2013-12-25 中国科学院自动化研究所 一种基于单摄像头与运动捕捉数据的人脸表情编辑方法
US20160148041A1 (en) * 2014-11-21 2016-05-26 Korea Institute Of Science And Technology Method for face recognition through facial expression normalization, recording medium and device for performing the method
CN104794444A (zh) * 2015-04-16 2015-07-22 美国掌赢信息科技有限公司 一种即时视频中的表情识别方法和电子设备
CN104780339A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的表情特效动画加载方法和电子设备
CN106775360A (zh) * 2017-01-20 2017-05-31 珠海格力电器股份有限公司 一种电子设备的控制方法、***及电子设备
US20180342110A1 (en) * 2017-05-27 2018-11-29 Fujitsu Limited Information processing method and information processing device
CN107358169A (zh) * 2017-06-21 2017-11-17 厦门中控智慧信息技术有限公司 一种人脸表情识别方法及人脸表情识别装置
CN108399383A (zh) * 2018-02-14 2018-08-14 深圳市商汤科技有限公司 表情迁移方法、装置存储介质及程序
CN109191507A (zh) * 2018-08-24 2019-01-11 北京字节跳动网络技术有限公司 三维人脸图像重建方法、装置和计算机可读存储介质
CN109167914A (zh) * 2018-09-25 2019-01-08 维沃移动通信有限公司 一种图像处理方法及移动终端

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021033478A1 (ja) * 2019-08-16 2021-02-25 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR20210113948A (ko) * 2020-03-09 2021-09-17 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 가상 아바타 생성 방법 및 장치
EP3889915A3 (en) * 2020-03-09 2021-12-22 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for generating virtual avatar, device, medium and computer program product
US11455765B2 (en) 2020-03-09 2022-09-27 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for generating virtual avatar
KR102491140B1 (ko) * 2020-03-09 2023-01-26 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 가상 아바타 생성 방법 및 장치
CN113763531A (zh) * 2020-06-05 2021-12-07 北京达佳互联信息技术有限公司 三维人脸重建方法、装置、电子设备及存储介质
CN113763531B (zh) * 2020-06-05 2023-11-28 北京达佳互联信息技术有限公司 三维人脸重建方法、装置、电子设备及存储介质
CN115690281A (zh) * 2022-12-29 2023-02-03 海马云(天津)信息技术有限公司 角色表情的驱动方法及装置、存储介质、电子装置

Also Published As

Publication number Publication date
CN109978996B (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
US11436779B2 (en) Image processing method, electronic device, and storage medium
US11393154B2 (en) Hair rendering method, device, electronic apparatus, and storage medium
US11517099B2 (en) Method for processing images, electronic device, and storage medium
CN110189340A (zh) 图像分割方法、装置、电子设备及存储介质
CN109978996A (zh) 生成表情三维模型的方法、装置、终端及存储介质
CN110141857A (zh) 虚拟角色的面部显示方法、装置、设备及存储介质
CN110059661A (zh) 动作识别方法、人机交互方法、装置及存储介质
CN108833818A (zh) 视频录制方法、装置、终端及存储介质
CN112907725B (zh) 图像生成、图像处理模型的训练、图像处理方法和装置
CN109977775B (zh) 关键点检测方法、装置、设备及可读存储介质
CN109285178A (zh) 图像分割方法、装置及存储介质
CN110427110A (zh) 一种直播方法、装置以及直播服务器
CN109558837A (zh) 人脸关键点检测方法、装置及存储介质
CN109583370A (zh) 人脸结构网格模型建立方法、装置、电子设备及存储介质
CN110263617A (zh) 三维人脸模型获取方法及装置
CN110135336A (zh) 行人生成模型的训练方法、装置及存储介质
CN110796083B (zh) 图像显示方法、装置、终端及存储介质
CN109522863A (zh) 耳部关键点检测方法、装置及存储介质
CN109859102A (zh) 特效显示方法、装置、终端及存储介质
CN109840584A (zh) 卷积神经网络模型、数据处理方法及装置
CN109886208A (zh) 物体检测的方法、装置、计算机设备及存储介质
CN109445963A (zh) 内容分享方法、装置、设备及计算机可读存储介质
CN109089137A (zh) 卡顿检测方法及装置
CN110147796A (zh) 图像匹配方法及装置
CN109345636A (zh) 获取虚拟人脸图的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant