CN113569614A - 虚拟形象生成方法、装置、设备及存储介质 - Google Patents

虚拟形象生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113569614A
CN113569614A CN202110203806.0A CN202110203806A CN113569614A CN 113569614 A CN113569614 A CN 113569614A CN 202110203806 A CN202110203806 A CN 202110203806A CN 113569614 A CN113569614 A CN 113569614A
Authority
CN
China
Prior art keywords
target
face
target face
image
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110203806.0A
Other languages
English (en)
Inventor
杨思骞
葛彦昊
李季檩
汪铖杰
黄飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110203806.0A priority Critical patent/CN113569614A/zh
Publication of CN113569614A publication Critical patent/CN113569614A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55Controlling game characters or game objects based on the game progress
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种虚拟形象生成方法、装置、设备及存储介质,属于人工智能技术领域。在根据用户选中的虚拟角色生成与目标人脸长相相似的虚拟形象时,首先在被选中的目标虚拟角色和目标人脸图像的基础上,生成与目标人脸匹配度较高的初始虚拟形象,然后通过目标人脸的细粒度属性信息,对初始虚拟形象的脸部区域进行细节上的调整,以确保最终得到的目标虚拟形象与目标人脸之间的匹配度。这种基于细粒度属性信息对初始虚拟形象进行调整的方式,大大增加了目标虚拟形象与目标人脸之间的相似程度,使得根据不同的人脸图像生成的多个虚拟形象之间能够明显区分开,丰富了虚拟形象的显示效果。

Description

虚拟形象生成方法、装置、设备及存储介质
技术领域
本申请涉及人工智能技术领域,特别涉及一种虚拟形象生成方法、装置、设备及存储介质。
背景技术
随着人工智能技术的发展和用户娱乐性需求的不断提升,一种根据人脸图像生成虚拟形象的功能应运而生,并广泛应用于各种场景。例如,游戏场景、美图场景以及影视剧场景等。用户可以选择自己喜欢的虚拟角色,实现将自己的人脸图像与虚拟角色进行融合,得到与自己实际形象较为贴合的虚拟形象。
相关技术生成虚拟形象的方案通常是:提取人脸图像中的二维人脸特征,对提取到的二维人脸特征进行挖掘得到相应的属性信息,再将挖掘到的属性信息与用户选择的虚拟角色进行匹配,得到与用户实际形象较为贴合的虚拟形象。
采用上述方案生成的虚拟形象的脸型往往与人脸图像存在较大出入,且容易出现脸型变形等情况;另外,采用上述方案生成虚拟形象还存在根据不同的人脸图像生成的多个虚拟形象之间较为相似的问题,即不同虚拟形象之间的区分度不高,进而导致显示效果不佳。
发明内容
本申请实施例提供了一种虚拟形象生成方法、装置、设备及存储介质,能够丰富虚拟形象的显示效果。该技术方案如下:
一方面,提供了一种虚拟形象生成方法,该方法包括:
获取目标人脸图像,该目标人脸图像中包括目标人脸;
基于该目标人脸图像和被选中的目标虚拟角色,生成初始虚拟形象;
获取该目标人脸的细粒度属性信息,该细粒度属性信息用于标识该目标人脸的五官类别、发型类别或配件类别中至少一项;
基于该细粒度属性信息,对该初始虚拟形象的脸部区域进行细节调整,生成目标虚拟形象;其中,第二匹配度大于第一匹配度,该第一匹配度是指该初始虚拟形象的脸部区域与该目标人脸的匹配度,该第二匹配度是指该目标虚拟形象的脸部区域与该目标人脸的匹配度。
另一方面,提供了一种虚拟形象生成装置,该装置包括:
第一获取模块,用于获取目标人脸图像,该目标人脸图像中包括目标人脸;
第一生成模块,用于基于该目标人脸图像和被选中的目标虚拟角色,生成初始虚拟形象;
第二获取模块,用于获取该目标人脸的细粒度属性信息,该细粒度属性信息用于标识该目标人脸的五官类别、发型类别或配件类别中至少一项;
第二生成模块,用于基于该细粒度属性信息,对该初始虚拟形象的脸部区域进行细节调整,生成目标虚拟形象;其中,第二匹配度大于第一匹配度,该第一匹配度是指该初始虚拟形象的脸部区域与该目标人脸的匹配度,该第二匹配度是指该目标虚拟形象的脸部区域与该目标人脸的匹配度。
在一种可选地实现方式中,该第一生成模块包括:
获取单元,用于基于该目标人脸图像,获取该目标人脸的三维人脸参数;其中,该三维人脸参数包括与该目标人脸匹配的轮廓形状参数和五官形状参数;
生成单元,用于从该目标虚拟角色的脸部素材库中,确定与该目标人脸匹配的脸部素材,基于确定的脸部素材对该三维人脸参数进行渲染处理,生成该初始虚拟形象。
在一种可选地实现方式中,该获取单元用于:
在该目标人脸图像中获取该目标人脸的三维脸部特征;
将该三维脸部特征与目标比对库进行特征比对,得到该目标人脸的三维人脸参数,该目标比对库用于提供该三维脸部特征与该三维人脸参数之间的对应关系。
在一种可选地实现方式中,该获取单元还用于:
对该目标人脸图像进行特征提取,得到该目标人脸的二维脸部特征;
对该目标人脸图像进行基本属性分析,得到该目标人脸的基本属性信息,该基本属性信息的分类精度小于该细粒度属性信息的分类精度;
基于该目标人脸图像对该目标人脸进行三维重建,得到该目标人脸的三维重建模型;
基于该二维脸部特征、该基本属性信息以及该三维重建模型,获取该目标人脸的中间特征,该中间特征的特征维度大于预设阈值;
对该中间特征进行加权融合,得到该目标人脸的三维脸部特征。
在一种可选地实现方式中,该装置还包括:
识别模块,用于按照第二关键点数量对该目标人脸图像进行人脸关键点识别,得到该目标人脸的五官比例参数,该第二关键点数量小于该第一关键点数量;
五官调整模块,用于基于该五官比例参数调整该初始虚拟形象的五官比例。
在一种可选地实现方式中,该装置还包括:
画风调整模块,用于根据该目标虚拟角色所处的虚拟场景风格,调整该目标虚拟形象的脸部区域的画风。
在一种可选地实现方式中,该装置还包括:
第一显示模块,用于响应于获取到虚拟形象创建指令,显示第一页面,该第一页面上包括图像选择窗口或取景窗口;
第三获取模块,用于获取通过该第一页面得到的该目标人脸图像;
第二显示模块,用于在生成该目标虚拟形象后,显示第二页面,该第二页面上显示有该目标虚拟形象。
在一种可选地实现方式中,该第二页面包括M个调整选项,M为正整数,该调整选项用于对该目标虚拟形象的脸部显示进行调整,该装置还包括:
第三显示模块,用于响应于对该第二页面上任一该调整选项的第一触发操作,显示该调整选项对应的至少一个目标操作项;
第四获取模块,用于响应于对任一该目标操作项的第二触发操作,获取该第二触发操作对应的调整参数;根据该目标操作项指示的调整方式和该调整参数,调整该目标虚拟形象的脸部显示。
另一方面,提供了一种计算机设备,该计算机设备包括处理器和存储器,该存储器用于存储至少一条计算机程序,该至少一段计算机程序由该处理器加载并执行以实现本申请实施例中的虚拟形象生成方法中所执行的操作。
另一方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行以实现如本申请实施例中虚拟形象生成方法中所执行的操作。
另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该计算机设备执行上述各种可选实现方式中提供的虚拟形象生成方法。
本申请实施例提供的技术方案带来的有益效果是:
在本申请实施例中,在根据用户选中的虚拟角色生成与目标人脸长相相似的虚拟形象时,首先在被选中的目标虚拟角色和目标人脸图像的基础上,生成与目标人脸匹配度较高的初始虚拟形象,然后通过目标人脸的细粒度属性信息,对初始虚拟形象的脸部区域进行细节上的调整,以确保最终得到的目标虚拟形象与目标人脸之间的匹配度。这种基于细粒度属性信息对初始虚拟形象进行调整的方式,大大增加了目标虚拟形象与目标人脸之间的相似程度,使得根据不同的人脸图像生成的多个虚拟形象之间能够明显区分开,丰富了虚拟形象的显示效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施例提供的一种虚拟形象生成方法的实施环境示意图;
图2是根据本申请实施例提供的一种虚拟形象生成方法流程图;
图3是根据本申请实施例提供的另一种虚拟形象生成方法流程图;
图4是根据本申请实施例提供的一种获取三维重建模型的示意图;
图5是根据本申请实施例提供的一种获取稠密识别结果的示意图;
图6是根据本申请实施例提供的一种细粒度属性信息的示意图;
图7是根据本申请实施例提供的一种细粒度属性分类模型的示意图;
图8是根据本申请实施例提供的一种调整五官比例的示意图;
图9是根据本申请实施例提供的一种生成目标虚拟形象的示意图;
图10是根据本申请实施例提供的另一种虚拟形象生成方法流程图;
图11是根据本申请实施例提供的一种虚拟角色选择页面的示意图;
图12是根据本申请实施例提供的一种虚拟角色定制页面的示意图;
图13是根据本申请实施例提供的一种提示页面的示意图;
图14是根据本申请实施例提供的一种第一页面的示意图;
图15是根据本申请实施例提供的一种第二页面的示意图;
图16是根据本申请实施例提供的另一种虚拟形象生成方法流程图;
图17是根据本申请实施例提供的一种局部细节优化流程图;
图18是根据本申请实施例提供的一种虚拟形象生成装置的结构示意图;
图19是根据本申请实施例提供的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。还应理解,尽管以下描述使用术语第一、第二等来描述各种元素,但这些元素不应受术语的限制。
这些术语只是用于将一个元素与另一个元素区别开。例如,在不脱离各种示例的范围的情况下,第一图像能够被称为第二图像,并且类似地,第二图像也能够被称为第一图像。第一图像和第二图像都可以是图像,并且在某些情况下,可以是单独且不同的图像。
其中,至少一个是指一个或一个以上,例如,至少一个图像可以是一个图像、两个图像、三个图像等任意大于等于一的整数个图像。而多个是指两个或者两个以上,例如,多个图像可以是两个图像、三个图像等任意大于等于二的整数个图像。
下面介绍一下本申请实施例提供的虚拟形象生成方案可能用到的技术。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、物体上下文特征表示(Object-Contextual Representations,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维(3-Dimension,3D)重建技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
下面介绍一下本申请实施例提供的虚拟形象生成方案可能用到的关键术语或缩略语。
多任务卷积神经网络(Multi-Task Convolutional Neural Network,MTCNN):一种基于深度学习的人脸检测和人脸关键点识别方法,能够同时完成人脸检测和人脸关键点识别的任务。
三维形变模型(3D Morphable Models,3DMM):一种用于将二维人脸图像恢复到三维形状的模型。用固定的点数来表示人脸。该方法的核心思想是人脸可以在三维空间中进行一一匹配,并且可以由其他许多幅人脸正交基加权线性相加而来。
人脸配准:也称人脸关键点识别。在人脸检测的基础上,根据输入的人脸图像,自动定位出面部关键特征点,如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等。
分类任务:用于对某种类型的对象(如眼睛形状)进行分类,将其预测为分类任务的多个类别中的一种。
归一化指数函数(Softmax):是逻辑函数的一种推广。它能将一个含任意实数的K维向量“压缩”到另一个K维实向量中,使得每一个元素的范围都在[0,1]之间,并且所有元素的和为1。
下面介绍一下本申请实施例提供的虚拟形象生成方法的实施环境。
图1是根据本申请实施例提供的虚拟形象生成方法的实施环境示意图。该实施环境包括:终端101和服务器102。
终端101和服务器102能够通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。可选地,终端101是智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此。终端101能够安装和运行有应用程序。可选地,该应用程序是游戏类应用程序、社交类应用程序、拍摄类应用程序或者图像处理类应用程序等。示意性的,终端101是用户使用的终端,终端101中运行的应用程序内登录有用户的用户账号。
服务器102能够是独立的物理服务器,也能够是多个物理服务器构成的服务器集群或者分布式***,还能够是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102用于为终端101运行的应用程序提供后台服务。
可选地,在生成虚拟形象的过程中,服务器102承担主要计算工作,终端101承担次要计算工作;或者,服务器102承担次要计算工作,终端101承担主要计算工作;或者,服务器102或终端101分别能够单独承担计算工作。
可选地,终端101泛指多个终端中的一个,本实施例仅以终端101来举例说明。本领域技术人员能够知晓,上述终端101的数量能够更多。比如上述终端101为几十个或几百个,或者更多数量,此时上述虚拟形象生成方法的实施环境还包括其他终端。本申请实施例对终端的数量和设备类型不加以限定。
可选地,上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也能够是任何网络,包括但不限于局域网(Local Area Network,LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中,使用包括超级文本标记语言(Hyper Text Markup Language,HTML)、可扩展标记语言(Extensible MarkupLanguage,XML)等的技术和/或格式来代表通过网络交换的数据。此外还能够使用诸如安全套接字层(Secure Socket Layer,SSL)、传输层安全(Transport Layer Security,TLS)、虚拟专用网络(Virtual Private Network,VPN)、网际协议安全(Internet ProtocolSecurity,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还能够使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
示意性地,本申请实施例提供的虚拟形象生成方法的应用场景包括但不限于如下示例的几种场景:
场景一、游戏场景
许多游戏应用提供多种游戏人物角色以供用户选择,用户在选择相应的游戏人物角色后,能够上传自己的人脸图像,实现将自己的实际形象与游戏人物角色进行融合,得到与自己的实际形象较为贴合的游戏人物形象,丰富游戏人物形象的显示效果。
场景二、表情包场景
随着表情包文化的流行,许多应用都添加了制作表情包的功能,便于用户通过制作表情包的方式,来表达自己的情绪和心情。在一些情景下,用户希望将自己的人脸图像与各种虚拟人物形象进行融合,得到与自己的实际形象较为贴合的虚拟人物形象,基于此,制作得到表情包,丰富自己的表情包显示效果。
场景三、电影电视剧场景
在电影电视剧的拍摄过程中,有时会涉及到将真人与动画形象进行融合,电影电视剧的制作者能够将演员的人脸图像与动画形象进行融合,得到与演员的实际形象较为贴合的动画形象,丰富电影电视剧中动画形象的显示效果。
图2是根据本申请实施例提供的一种虚拟形象生成方法流程图,如图2所示,在本申请实施例中以应用于终端为例进行说明。该虚拟形象生成方法包括以下步骤:
201、获取目标人脸图像,该目标人脸图像中包括目标人脸。
其中,目标人脸图像是指用户输入的包含有目标人脸的图像。
202、基于该目标人脸图像和被选中的目标虚拟角色,生成初始虚拟形象。
其中,目标虚拟角色是指用户选取的虚拟角色。该初始虚拟形象是将目标人脸与目标虚拟角色结合后的虚拟形象。
可选地,该目标虚拟角色为虚拟人物角色。例如,该目标虚拟角色为古装男性角色;再例如,该目标虚拟角色为动漫女性角色,等等。
可选地,该目标虚拟角色为虚拟动物角色。例如,该目标虚拟角色为人面狮身的动物角色等。本申请对于目标虚拟角色的具体类型不作限定。
203、获取该目标人脸的细粒度属性信息,该细粒度属性信息用于标识该目标人脸的五官类别、发型类别或配件类别中至少一项。
在本申请实施例中,细粒度属性信息对人脸的分类精度较高。
其中,五官类别是指目标人脸的五官类型,例如,眼睛类型为丹凤眼,鼻子类型为鹰钩鼻,等等。发型类别是指目标人脸的头发类型,例如,头发类型为马尾辫、丸子头或超短发等等。配件类别是指目标人脸的装饰物类型,例如,耳饰为流苏型,眼镜为方框型,等等。本申请实施例对于上述五官类别、发型类别以及配件类别的具体形式不作限定。
204、基于该细粒度属性信息,对该初始虚拟形象的脸部区域进行细节调整,生成目标虚拟形象;其中,第二匹配度大于第一匹配度,该第一匹配度是指该初始虚拟形象的脸部区域与该目标人脸的匹配度,该第二匹配度是指该目标虚拟形象的脸部区域与该目标人脸的匹配度。
其中,匹配度用于指示虚拟形象与目标人脸之间的相似程度,也可称为相似度。
在本申请实施例中,在根据用户选中的虚拟角色生成与目标人脸长相相似的虚拟形象时,首先在被选中的目标虚拟角色和目标人脸图像的基础上,生成与目标人脸匹配度较高的初始虚拟形象,然后通过目标人脸的细粒度属性信息,对初始虚拟形象的脸部区域进行细节上的调整,以确保最终得到的目标虚拟形象与目标人脸之间的匹配度。这种基于细粒度属性信息对初始虚拟形象进行调整的方式,大大增加了目标虚拟形象与目标人脸之间的相似程度,使得根据不同的人脸图像生成的多个虚拟形象之间能够明显区分开,丰富了虚拟形象的显示效果。
上述图2所示仅为本申请的基本流程,下面基于一种具体实施方式,来对本申请提供的虚拟形象生成方案进行进一步阐述。
图3是根据本申请实施例提供的另一种虚拟形象生成方法流程图,如图3所示,在本申请实施例中以应用于终端为例进行说明。该方法包括以下步骤:
301、获取目标人脸图像,该目标人脸图像中包括目标人脸。
在本申请实施例中,终端提供虚拟形象创建功能,用户通过在终端上执行针对虚拟形象的创建操作来触发相应的创建指令,终端响应于接收到该创建指令,显示图像上传页面,然后终端响应于用户在图像上传页面上的图像输入操作,获取目标人脸图像。可选地,该目标人脸图像为终端上存储的本地图像,或,该目标人脸图像为通过终端的摄像头对目标人脸进行拍摄得到的。本申请对于目标人脸图像的来源不作限定。
302、基于该目标人脸图像,获取该目标人脸的三维人脸参数;其中,该三维人脸参数包括与该目标人脸匹配的轮廓形状参数和五官形状参数。
在本申请实施例中,三维人脸参数用于指示与目标人脸匹配的轮廓形状和五官形状。可选地,终端获取目标人脸的三维人脸参数的具体实现方式包括以下步骤3021和步骤3022:
3021、在该目标人脸图像中获取该目标人脸的三维脸部特征。
其中,三维脸部特征是通过对目标人脸图像进行特征提取得到的,该三维脸部特征用于指示目标人脸的脸部形状和五官形状。可选地,三维人脸特征可以表现为向量或矩阵的形式。可选地,终端通过对目标人脸图像进行特征提取、基本属性分析以及三维重建,来获取目标人脸的三维脸部特征,下面对这种可选地实现方式进行详细阐述,包括下述步骤3021-1至步骤3021-5。
3021-1、对该目标人脸图像进行特征提取,得到该目标人脸的二维脸部特征。
其中,终端对目标人脸图像进行人脸检测,检测到目标人脸后,对目标人脸进行特征提取,以得到目标人脸的二维脸部特征。可选地,该二维脸部特征包括眼睛、鼻子和嘴等面部特征之间的几何关系,如距离、面积和角度等。可选地,该二维脸部特征包括基于目标人脸图像的灰度信息得到的直方图特征。本申请对于二维脸部特征的获取方式不作限定。
3021-2、对该目标人脸图像进行基本属性分析,得到该目标人脸的基本属性信息,该基本属性信息的分类精度小于细粒度属性信息的分类精度。
其中,基本属性信息用于标识目标人脸的外貌特点。可选地,外貌特点包括目标人脸的年龄、性别以及肤色等。可选地,终端对目标人脸图像进行人脸关键点识别,得到目标人脸的多个关键点,基于这些关键点,对目标人脸图像进行基本属性分析,以得到目标人脸的基本属性信息。本申请对于基本属性信息的获取方式不作限定。
3021-3、基于该目标人脸图像对该目标人脸进行三维重建,得到该目标人脸的三维重建模型。
示意性地,终端对目标人脸进行三维重建的具体实现方式可参考图4,图4是本申请实施例提供的一种获取三维重建模型的示意图。如图4所示,终端对目标人脸图像1进行人脸关键点识别,也即是人脸配准,得到针对目标人脸图像的配准结果2,基于该配准结果2,采用3DMM重建方法,对目标人脸进行姿态投影3、脸部形状获取4以及表情形状获取5,最终得到目标人脸的三维重建模型6。
需要说明的是,在实际应用中,终端还能够通过其他方法获取目标人脸的三维重建模型,例如基于阴影还原形状(Shape From Shading,SFS)的方法或立体匹配方法等。本申请对于目标人脸的三维重建模型的获取方式不作限定。
3021-4、基于该二维脸部特征、该基本属性信息以及该三维重建模型,获取该目标人脸的中间特征,该中间特征的特征维度大于预设阈值。
其中,该中间特征为该目标人脸的高维特征。该中间特征用于从多个维度表征目标人脸的特征信息。例如,该多个维度包括轮廓形状、五官形状、五官比例、年龄、肤色、性别以及表情形状等等。可选地,预设阈值设置为128维,或256维,等等。本申请对于该特征维度的预设阈值不作限定。
3021-5、对该中间特征进行加权融合,得到该目标人脸的三维脸部特征。
可选地,终端按照该中间特征的各个维度的重要程度,对该中间特征进行加权融合。可选地,终端按照该中间特征的各个维度对目标人脸的影响程度,对该中间特征进行加权融合。本申请对于加权融合的具体实现方式不作限定。
3022、将该目标人脸的三维脸部特征与目标比对库进行特征比对,得到该目标人脸的三维人脸参数,该目标比对库用于提供三维脸部特征与三维人脸参数之间的对应关系。
其中,目标比对库中存在多组三维脸部特征与三维人脸参数之间的对应关系。终端将目标人脸的三维脸部特征输入到目标比对库中进行特征比对,得到与目标人脸相似的轮廓形状参数和五官形状参数,也即是目标人脸的三维人脸参数。
303、从目标虚拟角色的脸部素材库中,确定与该目标人脸匹配的脸部素材,基于确定的脸部素材对该三维人脸参数进行渲染处理,生成初始虚拟形象。
在本申请实施例中,不同的虚拟角色对应不同的脸部素材库。终端获取目标虚拟角色的脸部素材库,确定与该目标人脸匹配的脸部素材,基于此,调用渲染器对三维人脸参数进行渲染处理,得到初始虚拟形象。
可选地,以游戏场景为例,终端将三维人脸参数载入游戏引擎中,该游戏引擎获取目标虚拟角色的脸部素材库,然后确定与目标人脸匹配的脸部素材,基于此,调用游戏引擎中的渲染器,对三维人脸参数进行渲染处理,得到初始虚拟形象。
需要说明的是,经过上述步骤301至步骤303,终端基于目标人脸图像和被选中的目标虚拟角色,生成了与目标人脸匹配的初始虚拟形象。该初始虚拟形象具有与目标人脸相似的轮廓形状和五官分布。
304、获取该目标人脸的细粒度属性信息,该细粒度属性信息用于标识该目标人脸的五官类别、发型类别或配件类别中至少一项。
在本申请实施例中,终端通过对目标人脸图像进行人脸关键点识别,得到目标人脸的稠密识别结果,然后基于该稠密识别结果,得到目标人脸的细粒度属性信息。下面对本步骤304的实现方式进行详细阐述,包括下述步骤3041至步骤3042:
3041、按照第一关键点数量,对该目标人脸图像进行人脸关键点识别,得到该目标人脸的稠密识别结果。
示意性地,在本申请实施例中,第一关键点数量可以为1000点。在一些实施例中,第一关键点数量大于1000点,或,小于1000点。在实际应用中,第一关键点数量能够根据需求进行设置,本申请对此不作限定。
可选地,终端基于人脸关键点识别模型得到目标人脸的稠密识别结果。可选地,人脸关键点识别模型为基于深度卷积神经网络构建的模型。例如,该人脸关键点识别模型为MTCNN模型,利用MTCNN模型完成目标人脸图像中人脸关键点的识别。本申请实施例对于人脸关键点识别模型的具体类型不作限定。
示意性地,参考图5,图5是本申请实施例提供的一种获取稠密识别结果的示意图。如图5所示,终端通过人脸关键点识别模型,将人脸关键点数量设置为第一关键数量,然后对目标人脸图像进行人脸关键点识别,也即是人脸配准,包括对目标人脸的五官进行识别,经过对人脸关键点位置进行稳定(Stable)和精炼(Refine)后,最终输出目标人脸的稠密识别结果。
在一些实施例中,在上述人脸关键点识别模型中,人脸关键点按照定位难度划分为M种分类,其中,M为大于1的整数。可选地,M的取值为3,即该M种分类包括轮廓点、五官精细点和五官定位点。其中,轮廓点是指用于构建人脸轮廓的人脸关键点,五官精细点是指用于构建五官轮廓的人脸关键点,五官定位点是指用于定位五官位置的人脸关键点。例如,人脸关键点的数量为1000,包括200个轮廓点、600个五官精细点和200个五官定位点,人脸关键点分别在对应区域均匀分布。
在另一些实施例中,在上述人脸关键点识别模型中,人脸关键点按照语义强度分为强语义点和弱语义点。其中,强语义点为人脸结构中的顶点和拐角,例如眼角、鼻尖、嘴角等;弱语义点分布在人脸的强纹理边缘,用来指示人脸结构中的弧线,例如脸部轮廓、鼻梁、眼眶等处的点。
本申请实施例对于人脸关键点的具体分布位置和类型不作限定。
可选地,人脸关键点识别模型的训练过程包括下述步骤3041-1至步骤3041-4:
3041-1、将训练样本输入到构建好的初始模型中,得到训练样本的预测稠密识别结果。
其中,训练样本中包括标注有人脸关键点的真实位置的人脸图像。相应地,该标注结果在本文中也被称为标准稠密识别结果。终端基于该初始模型的网络参数,按照第一关键点数量,对训练样本进行人脸关键点识别,得到训练样本的预测稠密识别结果,其中,预测稠密识别结果即为初始模型输出的训练样本的人脸关键点的预测位置。
训练样本的数量通常为多个,通过大量的训练样本对人脸关键点识别模型进行训练,能够使得最终训练得到的人脸关键点识别模型具有良好的普适性和鲁棒性。另外,本申请实施例对于初始模型的网络结构不作限定。
3041-2、根据训练样本的预测稠密识别结果和标准稠密识别结果,计算该初始模型的第一损失函数,该第一损失函数用于监控该初始模型的轮廓定位精度。
其中,第一损失函数可以根据训练样本中的全部人脸关键点的预测位置和真实位置来构建,例如,可以采用全部人脸关键点的预测位置和真实位置之间的欧氏距离来表示。另外,第一损失函数可以是模型训练常用的各种损失函数,例如绝对值损失函数、余弦相似度损失函数、平方损失函数、交叉熵损失函数等,本申请实施例对此不作限定。
3041-3、对训练样本的预测稠密识别结果进行细节校准,得到该初始模型的第二损失函数,该第二损失函数用于监控该初始模型的五官定位精度。
其中,细节校准是指将训练样本的预测稠密识别结果中的五官区域与标准稠密识别结果中的五官区域进行细节比对。可选地,第二损失函数可以根据训练样本中的五官区域对应的人脸关键点的预测位置和真实位置来构建,例如,可以采用五官区域对应的人脸关键点的预测位置和真实位置之间的欧氏距离来表示。
需要说明的是,经过上述步骤3041-2和步骤3041-3,终端将训练样本的预测稠密识别结果与标准稠密识别结果进行了两次比对,一次是针对训练样本的全部人脸关键点进行整体比对,另一次是针对训练样本的五官区域对应的人脸关键点进行细节比对,通过这两次比对分别得到两种损失函数。
另外,在本申请实施例中,终端是按照从前往后的顺序执行上述步骤3041-2和步骤3041-3的。在一些实施例中,终端先执行步骤3041-3,再执行步骤3041-2。在另一些实施例中,终端同步执行步骤3041-2和步骤3041-3。本申请实施例对此不作限定。
3041-4、当第一损失函数和第二损失函数均符合目标条件时,完成训练,得到训练好的人脸关键点识别模型。
其中,目标条件为损失值(也称误差值)小于设定阈值,该设定阈值可以根据实际需求进行设定,比如根据模型的定位精度进行设置,本申请对此不做限制。另外,响应于第一损失函数和第二损失函数中的任一损失函数不符合目标条件,调整当前模型的网络参数,然后再次从上述步骤3041-1开始执行,直至第一损失函数和第二损失函数均符合目标条件时停止训练。
可选地,上述步骤3041-4还可以替换为“将第一损失函数和第二损失函数按照预设的权重系数求和,得到总损失函数;响应于总损失函数符合目标条件,完成训练,得到训练好的人脸关键点识别模型”。其中,该总损失函数既监控模型的轮廓定位精度,又监控模型的五官定位精度。
需要说明的是,上述人脸关键点识别模型的训练过程还可以包括其他步骤或其他可选地实现方式,本申请对此不作限定。另外,采用这种可选地实现方式,终端在训练人脸关键点识别模型时,引入了细节校准约束作为损失函数,即损失函数与细节校准相关,能够确保得到的稠密识别结果与实际的目标人脸更加贴合,避免了人脸关键点的细微差异对稠密识别结果造成的不利影响。
可选地,终端会对目标人脸图像进行多次人脸关键点识别。下面对这种可选地实现方式进行详细阐述,包括下述任一种情况:
情况一、终端将目标人脸图像按照预设输入次数依次输入到人脸关键点识别模型中,得到该目标人脸的多个稠密识别结果,然后计算任意两个稠密识别结果之间的误差值,并对得到的多个误差值进行求和,得到多个稠密识别结果的总误差值。若该总误差值小于或等于第一阈值,则将目标人脸图像再次输入到人脸关键点识别模型中,得到目标人脸的稠密识别结果;若该总误差值大于第一阈值,则再次将目标人脸图像按照预设输入次数依次输入到人脸关键点识别模型中,循环往复,直至总误差值小于或等于第一阈值时,将目标人脸图像再次输入到人脸关键点识别模型中,得到目标人脸的稠密识别结果。其中,本申请实施例对于预设输入次数和第一阈值的设置不作限定。
情况二、终端将目标人脸图像输入到人脸关键点识别模型后,得到该目标人脸的第一次稠密识别结果,然后终端将目标人脸图像再次输入到该人脸关键点识别模型中,得到该目标人脸的第二次稠密识别结果,并计算第二次稠密识别结果与第一次稠密识别结果之间的误差值。若该误差值小于或等于第二阈值,则将第二次稠密识别结果作为目标人脸的稠密识别结果;若该误差值大于第二阈值,则终端将目标人脸图像再次输入到该人脸关键点识别模型中,得到该目标人脸的第三次稠密识别结果,并计算第三次稠密识别结果与第二次稠密识别结果之间的误差值,将该误差值与第二阈值进行比对,以此类推,直到终端获取到的误差值小于或等于第二阈值时,将最后一次得到的稠密识别结果作为目标人脸的稠密识别结果。其中,本申请实施例对于第二阈值的设置不作限定。
情况三、人脸关键点识别模型本身具有多次识别的功能,也即是,终端将目标人脸图像输入到人脸关键点识别模型后,由该人脸关键点识别模型对目标人脸图像进行多次人脸关键点识别,直到多个稠密识别结果之间的误差值小于或等于第三阈值时,输出目标人脸的稠密识别结果。其中,本申请实施例对于第三阈值的设置不作限定。另外,人脸关键点识别模型对于多个稠密识别结果之间的误差值的判定方式可参考上述情况一或情况二。也即是,人脸识别模型既可以按照预设识别次数进行识别,计算多个稠密识别结果的总误差值,最终输出目标人脸的稠密识别结果;也可以依次识别,依次计算多个稠密识别结果之间的误差值,最终输出目标人脸的稠密识别结果。本申请实施例在此不再赘述。
需要说明的是,本申请实施例对于终端进行多次人脸关键点识别的方式不作限定。另外,采用这种可选地实现方式,通过终端对目标人脸进行多次人脸关键点识别,能够保证最终得到的稠密识别结果的稳定性,使得同一个人脸的不同姿态所生成的稠密识别结果具有一定的一致性。
另外,在本申请实施例中,基于第一关键点数量得到的稠密识别结果能够精确地描绘目标人脸的五官细节形状,便于后续对目标人脸图像进行细粒度属性分析。
3042、基于该稠密识别结果,对该目标人脸图像进行细粒度属性分析,得到该目标人脸的细粒度属性信息。
示意性地,参考图6,图6是本申请实施例提供的一种细粒度属性信息的示意图。如图6所示,在本申请实施例中,对目标人脸图像进行细粒度属性分析能够得到目标人脸的细粒度属性信息7,例如,眉毛形状为柳叶眉、眼睛形状为丹凤眼、嘴巴形状为樱桃嘴、鼻子形状为鹰钩鼻、脸部形状为鹅蛋脸等等。通过这类用于描述形状的凝练词汇,以极高的辨识度表达出不同特征鲜明的脸部五官形状。可选地,继续参考图6,对目标人脸图像进行细粒度属性分析还能够得到细粒度属性信息8,例如发型为短发、发色为黑色、有刘海或无刘海,有眼镜或无眼镜、肤色为黄皮肤、表情为微笑等等。本申请对此不作限定。
需要说明的是,上述图6所示仅为示意性地,在本申请实施例中,细粒度属性信息用于标识五官类别、发型类别以及配件类别中的至少一项。在一些实施例中,细粒度属性信息用于标识五官类别、发型类别以及配件类别。在实际应用中,能够根据需求设置细粒度属性信息用于标识的种类。本申请对此不作限定。
可选地,终端能够通过细粒度属性分类模型来对目标人脸图像进行细粒度属性分析,下面对这种可选地实现方式进行详细阐述。包括下述步骤3042-1至步骤3042-3。
3042-1、基于该稠密识别结果,对该目标人脸图像进行局部剪裁,得到N个子区域,该N个子区域包括该目标人脸的五官区域、发型区域或配件区域中至少一项,N为正整数。
其中,终端根据上述步骤3041中得到的目标人脸的稠密识别结果,对目标人脸图像进行局部剪裁,得到目标人脸图像的N个子区域。可选地,以五官区域为例,该N个子区域包括眉毛区域、眼睛区域、鼻子区域、嘴巴区域以及耳朵区域等。以发型区域为例,该N个子区域包括刘海区域和其他区域等。以配件区域为例,该N个子区域包括耳饰区域、眼镜区域以及发饰区域等。
3042-2、将该N个子区域输入细粒度属性分类模型,该细粒度属性分类模型为基于多任务分类的神经网络模型。
示意性地,参考图7,图7是本申请实施例提供的一种细粒度属性分类模型的示意图。如图7所示,该细粒度属性分类模型为基于多任务分类的神经网络模型。终端将局部剪裁后的N个子区域输入到该细粒度属性分类模型中,经过主干网络以及Softmax函数,最终输出与每个子区域对应的属性信息。
可选地,以眼睛区域为例,该细粒度属性分类模型的训练过程包括:获取根据稠密识别结果进行局部剪裁得到的眼睛区域样本,然后将该眼睛区域样本输入到细粒度属性分类模型中,基于该细粒度属性分类模型的网络参数进行分类,得到该眼睛区域样本对应的细粒度属性信息,确定该细粒度属性分类模型的损失函数,然后根据该损失函数调整细粒度属性分类模型的网络参数,基于调整后的细粒度属性分类模型,再次输入新的眼睛区域样本,不断迭代调整细粒度属性分类模型的网络参数,直到该细粒度属性分类模型的损失函数符合目标条件,完成训练。
需要说明的是,细粒度属性分类模型的训练过程还可以包括其他步骤或其他可选地实现方式,本申请对此不作限定。
3042-3、将该细粒度属性识别模型的输出结果,作为该目标人脸的细粒度属性信息。
需要说明的第一点是,经过上述步骤3042-1至步骤3042-3,采用这种基于多任务分类的细粒度属性分类模型,对目标人脸图像进行细粒度属性分析,能够同时得到多种细粒度属性信息,大大提高了获取细粒度属性信息的效率。
需要说明的第二点是,在本申请实施例中,上述步骤301至步骤304是按照从前往后的顺序的。在一些实施例中,终端在执行上述步骤301之后同步执行上述步骤302和上述步骤304,也即是,终端在获取到目标人脸图像后,在获取目标人脸的三维人脸参数的同时,获取目标人脸的细粒度属性信息。在另一些实施例中,终端在执行上述步骤301后先执行上述步骤304,再执行上述步骤302和步骤303,也即是,终端在获取到目标人脸图像后,先获取目标人脸的细粒度属性信息,再获取目标人脸的三维人脸参数,生成初始虚拟形象。本申请对于上述步骤304的执行顺序不作限定。
305、按照第二关键点数量对目标人脸图像进行人脸关键点识别,得到该目标人脸的五官比例参数,该第二关键点数量小于该第一关键点数量。
示意性地,在本申请实施例中,第二关键点数量为94点。终端对目标人脸图像进行人脸关键点识别后,基于目标人脸的五官分布进行画线处理,得到目标人脸的五官比例参数。示意性地,参考图8,图8是本申请实施例提供的一种调整五官比例的示意图。如图8所示,基于目标人脸的五官分布进行画线处理,得到目标人脸的五官比例参数9。
306、基于该五官比例参数调整该初始虚拟形象的五官比例。
示意性地,继续参考图8,如图8所示,基于目标人脸的五官比例参数,从水平方向和竖直方向上对初始虚拟形象的五官比例进行调整。
需要说明的第一点是,在本申请实施例中,第二关键点数量为94点。在一些实施例中,第二关键点数量为68点,或39点,等等。在实际应用中,能够根据需求设置相应的第二关键点数量,本申请对此不作限定。
需要说明的第二点是,经过上述步骤305和步骤306,终端对初始虚拟形象的五官比例进行了调整,改善了初始虚拟形象的整体五官分布,而五官比例是对人脸印象的重要标准,很大程度上决定了初始虚拟形象的脸部区域与目标人脸是否相像,因此通过上述方法能够增加初始虚拟形象的脸部区域与目标人脸之间的相似程度。
需要说明的第三点是,上述步骤305和步骤306为本申请实施例提供的一种可选地实现方式,在另一些实施例中,终端执行上述步骤304之后直接执行下述步骤307。本申请对此不作限定。
需要说明的第四点是,在本申请实施例中,终端按照从前往后的顺序执行上述步骤304至步骤306。在一些实施例中,终端在执行上述步骤304的同时,执行上述步骤305和步骤306。在另一些实施例中,终端先执行上述步骤305和步骤306,再执行上述步骤304。本申请对于上述步骤305和步骤306的执行顺序不作限定。
307、基于该细粒度属性信息,对该初始虚拟形象的脸部区域进行细节调整,生成目标虚拟形象;其中,第二匹配度大于第一匹配度,该第一匹配度是指该初始虚拟形象的脸部区域与该目标人脸的匹配度,该第二匹配度是指该目标虚拟形象的脸部区域与该目标人脸的匹配度。
在本申请实施例中,终端根据目标人脸的细粒度属性信息,对初始虚拟形象的脸部区域的参数进行调整,以生成目标虚拟形象。例如,在初始虚拟形象中,脸部区域的眉毛形状为默认眉形,基于细粒度属性信息得到目标人脸的眉毛形状为柳叶眉,则终端对初始虚拟形象的眉毛形状进行微调,生成柳叶眉。再例如,初始虚拟形象的脸部区域的瞳孔颜色为黑色,基于细粒度属性信息得到目标人脸的瞳孔颜色为棕色,则终端将初始虚拟形象的瞳孔颜色调整为棕色。本申请对此不作限定。
示意性地,参考图9,图9是本申请实施例提供的一种基于细粒度属性信息生成目标虚拟形象的示意图。如图9所示,目标人脸的细粒度属性信息表明该目标人脸的眉毛形状为直眉毛、眼睛形状为小眼睛、鼻子形状为翘鼻头、嘴巴形状为厚嘴唇且处于闭嘴状态,基于这些细粒度属性信息生成的目标虚拟形象具有与目标人脸相似的特征。
需要说明的是,经过上述步骤307,终端基于目标人脸的细粒度属性信息,对初始虚拟形象的脸部区域进行了精细化调整,使得最终生成的目标虚拟形象的脸部区域与目标人脸之间的相似程度更高。
308、根据该目标虚拟角色所处的虚拟场景风格,调整该目标虚拟形象的脸部区域的画风。
在本申请实施例中,一种虚拟场景风格可以支持多种目标虚拟角色。可选地,不同的虚拟角色所处的虚拟场景风格不同。本申请对此不作限定。
其中,终端根据目标虚拟角色所处的虚拟场景风格,调整目标虚拟形象的脸部区域的画风,以使目标虚拟形象的画风与虚拟场景风格一致。例如,在游戏场景下,以古装类格斗游戏为例,目标虚拟角色所处的虚拟场景风格为古装仙侠风,则终端将目标虚拟形象的脸部区域的画风调整为古装仙侠风。又例如,在美图场景下,以卡通人物形象为例,目标虚拟角色所处的虚拟场景风格为动漫可爱风,则终端将目标虚拟形象的脸部区域的画风调整为动漫可爱风。本申请对此不作限定。
需要说明的是,上述步骤308为本申请实施例提供的一种可选地实现方式。经过步骤308,终端对目标虚拟形象的脸部区域的画风进行了调整,使得目标虚拟形象与虚拟场景风格更加契合,并且提高了目标虚拟形象的美观度。
当然,上述不同的实施方式可以互相结合,以构成不同的实施方案,本申请实施例对此不作限定。
在本申请实施例中,在根据用户选中的虚拟角色生成与目标人脸长相相似的虚拟形象时,首先在被选中的目标虚拟角色和目标人脸图像的基础上,生成与目标人脸匹配度较高的初始虚拟形象,然后通过目标人脸的细粒度属性信息,对初始虚拟形象的脸部区域进行细节上的调整,以确保最终得到的目标虚拟形象与目标人脸之间的匹配度。这种基于细粒度属性信息对初始虚拟形象进行调整的方式,大大增加了目标虚拟形象与目标人脸之间的相似程度,使得根据不同的人脸图像生成的多个虚拟形象之间能够明显区分开,丰富了虚拟形象的显示效果。
下面结合图10,以本申请实施例提供的虚拟形象生成方法应用于游戏场景为例,对该虚拟形象生成方法进行示意性说明。参考图10,图10是根据本申请实施例提供的另一种虚拟形象生成方法流程图,如图10所示,在本申请实施例中以应用于游戏场景中的终端为例进行说明。该方法包括以下步骤:
1001、响应于获取到虚拟形象创建指令,显示第一页面,该第一页面上包括图像选择窗口或取景窗口。
其中,图像选择窗口用于选取终端上本地存储的目标人脸图像,取景窗口用于通过终端的摄像头对目标人脸进行拍摄以获取目标人脸图像。
可选地,本步骤1001包括以下步骤1001-1至步骤1001-4:
1001-1、响应于获取到虚拟形象创建指令,显示游戏角色选择页面,该游戏角色选择页面上包括至少一个游戏角色以供用户选择,该游戏角色选择页面还包括第一选项,该第一选项用于对目标游戏角色进行细节定制。
示意性地,参考图11,图11是本申请实施例提供的一种游戏角色选择页面的示意图。如图11所示,终端响应于虚拟形象创建指令,显示游戏角色选择页面,在该游戏角色选择页面上包括至少一个游戏角色10以供用户选择,例如,至少一个游戏角色10包括男、女和少女。在该游戏角色选择页面上还包括第一选项11,也即是“细节定制”选项。
1001-2、响应于对第一选项的触发操作,显示游戏角色定制页面,在该游戏角色定制页面上包括第二选项,该第二选项用于根据目标人脸图像定制游戏角色。
示意性地,参考图12,图12是本申请实施例提供的一种游戏角色定制页面的示意图。如图12所示,终端响应于对图11中第一选项11的触发操作,显示游戏角色定制页面,在该游戏角色定制页面上包括第二选项12,也即是“个性化定制”选项。
1001-3、响应于对该第二选项的触发操作,显示提示页面,该提示页面用于提示用户如何输入目标人脸图像,在该提示页面上包括第三选项,该第三选项用于获取目标人脸图像。
示意性地,参考图13,图13是本申请实施例提供的一种提示页面的示意图。如图13所示,终端响应于对该图12中第二选项12的触发操作,显示提示页面。在该提示页面上包括第三选项13,也即是“上传照片”选项。
1001-4、响应于对该第三选项的触发操作,显示第一页面,该第一页面上包括图像选择窗口或取景窗口。
示意性地,参考图14,图14是本申请实施例提供的一种第一页面的示意图。如图14所示,以第一页面上包括取景窗口为例,终端响应于对该图13中第三选项13的触发操作,显示第一页面,在该第一页面上包括取景窗口14。
需要说明的是,上述图11至图14中所示的页面形式仅为示意性地,在实际应用中,能够根据实际需求对上述各个页面和选项进行设置,本申请对此不作限定。
1002、获取通过该第一页面得到的目标人脸图像。
1003、在生成目标虚拟形象后,显示第二页面,该第二页面上显示有目标虚拟形象。
其中,终端在执行上述步骤1002后,获取到目标人脸图像,然后采用上述图3所示的虚拟形象生成方法,生成目标虚拟形象,并显示第二页面。该第二页面包括M个调整选项,M为正整数,该调整选项用于对该目标虚拟形象的脸部显示进行调整。
示意性地,参考图15,图15是本申请实施例提供的一种第二页面的示意图。如图15所示,该第二页面包括M个调整选项15。以对目标虚拟形象的脸部显示进行调整为例,第二页面包括多个调整部位,用户能够对想要调整的部位进行选择,其中,每个调整部位都对应M个调整选项。例如,用户选择对脸部形状进行调整,则调整选项15为“额头”、“脸颊”以及“下巴”等调整选项。本申请对此不作限定。
1004、响应于对该第二页面上任一调整选项的第一触发操作,显示该调整选项对应的至少一个目标操作项。
其中,第一触发操作可以是点击操作,本申请对此不作限定。
示意性地,继续参考图15,如图15所示,终端响应于对第二页面上任一调整选项的第一触发操作,显示该调整选项对应的至少一个目标操作项16,也即是“左右”、“上下”以及“前后”操作项。
1005、响应于对任一目标操作项的第二触发操作,获取该第二触发操作对应的调整参数;根据该目标操作项指示的调整方式和该调整参数,调整该目标虚拟形象的脸部显示。
其中,第二触发操作可以是针对目标操作项的点击操作,也可以是针对目标操作项的拖拽操作,本申请对此不作限定。
示意性地,继续参考图15,如图15所示,以调整选项15为“颧骨”调整选项、目标操作项16为“左右”操作项、调整参数为10个像素点、调整方向为向左为例,终端响应于对该目标操作项16的第二触发操作,获取该第二触发操作对应的调整参数10,根据该目标操作项指示的调整方向,将目标对象的颧骨向左移动10个像素点。
需要说明的第一点是,上述调整参数的形式仅为示意性地,在一些实施例中,调整参数还可以是预先设置的调整比例,等等,本申请对此不作限定。
需要说明的第二点是,在本申请实施例中,不同的虚拟角色类型不会受到目标人脸的性别影响。例如,目标人脸为男性,而用户所选择的目标虚拟角色为女性,终端依然能够根据目标人脸的各项特征,生成对应的目标虚拟形象。通过这种方式,能够大大丰富虚拟形象的显示效果。
需要说明的是第三点是,上述第二页面中还包括其他多个功能项,以便用户对生成的目标虚拟形象进行个性化调整。例如,美妆功能项用于调整目标虚拟形象的妆容显示,美发功能项用于调整目标虚拟形象的发型显示,等等。进一步地,第二页面上还包括“个性化定制”选项,能够用于重新上传目标人脸图像。在实际应用中,第二页面上的功能项能够根据需求进行设置,本申请对此不作限定。
本申请实施例提供的虚拟形象生成方法增加了目标虚拟形象与目标人脸之间的相似程度,使得根据不同的目标人脸图像生成的多个目标虚拟形象之间能够区分开,丰富了目标虚拟形象的显示效果。
下面结合图16,以本申请实施例提供的虚拟形象生成方法应用于游戏场景为例,对该虚拟形象生成方法进行示意性说明。参考图16,图16是本申请实施例提供的另一种虚拟形象生成方法流程图,如图16所示,该方法包括以下步骤1601至步骤1604:
1601、获取目标人脸图像。
1602、基于该目标人脸图像的三维人脸参数生成初始虚拟形象。
其中,终端对目标人脸图像进行人脸特征提取、基本属性分析与三维重建,基于此,提取出与目标人脸匹配的高维特征表达,也即是上述步骤3021-4中的中间特征。然后将高维特征表达进行加权融合,得到目标人脸的三维脸部特征。进一步地,将该三维脸部特征与目标比对库进行特征比对,得到目标人脸的三维人脸参数。最终将该三维人脸参数载入游戏引擎中,渲染出初始虚拟形象。
1603、对目标人脸图像进行精细稠密配准。
其中,终端基于人脸关键点识别模型,按照第一关键点数量,对目标人脸图像进行人脸关键点识别,也即是人脸配准,包括对目标人脸的五官进行识别,经过对人脸关键点位置进行稳定和精炼后,最终输出目标人脸的稠密识别结果。
1604、对该初始虚拟形象进行局部细节优化,生成目标虚拟形象。
终端基于五官比例参数调整初始虚拟形象的五官比例,然后基于稠密识别结果得到人脸细粒度属性信息,进一步地,对初始虚拟形象的脸部显示进行细节调整,最终得到目标虚拟形象。
示意性地,参考图17,图17是本申请实施例提供的一种局部细节优化流程图。如图17所示,在经过上述步骤1602后得到的初始虚拟形象存在五官位置变形的缺陷,针对这一缺陷,对初始虚拟形象的五官比例进行对齐调整。进一步地,引入1000点稠密识别结果,精确描绘目标人脸的五官细节,然后引入目标人脸的细粒度属性信息,对初始虚拟形象的脸部显示进行细节调整,最终得到目标虚拟形象。
在本申请实施例中,在根据用户选中的虚拟角色生成与目标人脸长相相似的虚拟形象时,首先在被选中的目标虚拟角色和目标人脸图像的基础上,生成与目标人脸匹配度较高的初始虚拟形象,然后通过目标人脸的细粒度属性信息,对初始虚拟形象的脸部区域进行细节上的调整,以确保最终得到的目标虚拟形象与目标人脸之间的匹配度。这种基于细粒度属性信息对初始虚拟形象进行调整的方式,大大增加了目标虚拟形象与目标人脸之间的相似程度,使得根据不同的人脸图像生成的多个虚拟形象之间能够明显区分开,丰富了虚拟形象的显示效果。
图18是根据本申请实施例提供的一种虚拟形象生成装置的结构示意图。该虚拟形象生成装置用于执行上述虚拟形象生成方法执行时的步骤,参见图18,该虚拟形象生成装置包括:第一获取模块1801、第一生成模块1802、第二获取模块1803以及第二生成模块1804。
第一获取模块1801,用于获取目标人脸图像,该目标人脸图像中包括目标人脸;
第一生成模块1802,用于基于该目标人脸图像和被选中的目标虚拟角色,生成初始虚拟形象;
第二获取模块1803,用于获取该目标人脸的细粒度属性信息,该细粒度属性信息用于标识该目标人脸的五官类别、发型类别或配件类别中至少一项;
第二生成模块1804,用于基于该细粒度属性信息,对该初始虚拟形象的脸部区域进行细节调整,生成目标虚拟形象;其中,第二匹配度大于第一匹配度,该第一匹配度是指该初始虚拟形象的脸部区域与该目标人脸的匹配度,该第二匹配度是指该目标虚拟形象的脸部区域与该目标人脸的匹配度。
在一种可选地实现方式中,该第二获取模块1803包括:
识别单元,用于按照第一关键点数量,对该目标人脸图像进行人脸关键点识别,得到该目标人脸的稠密识别结果;
分析单元,用于基于该稠密识别结果,对该目标人脸图像进行细粒度属性分析,得到该目标人脸的细粒度属性信息。
在一种可选地实现方式中,该分析单元用于:
基于该稠密识别结果,对该目标人脸图像进行局部剪裁,得到N个子区域,该N个子区域包括该目标人脸的五官区域、发型区域或配件区域中至少一项,N为正整数;
将该N个子区域输入细粒度属性分类模型,该细粒度属性分类模型为基于多任务分类的神经网络模型;
将该细粒度属性分类模型的输出结果,作为该目标人脸的细粒度属性信息。
在一种可选地实现方式中,该第一生成模块1801包括:
获取单元,用于基于该目标人脸图像,获取该目标人脸的三维人脸参数;其中,该三维人脸参数包括与该目标人脸匹配的轮廓形状参数和五官形状参数;
生成单元,用于从该目标虚拟角色的脸部素材库中,确定与该目标人脸匹配的脸部素材,基于确定的脸部素材对该三维人脸参数进行渲染处理,生成该初始虚拟形象。
在一种可选地实现方式中,该获取单元用于:
在该目标人脸图像中获取该目标人脸的三维脸部特征;
将该三维脸部特征与目标比对库进行特征比对,得到该目标人脸的三维人脸参数,该目标比对库用于提供该三维脸部特征与该三维人脸参数之间的对应关系。
在一种可选地实现方式中,该获取单元还用于:
对该目标人脸图像进行特征提取,得到该目标人脸的二维脸部特征;
对该目标人脸图像进行基本属性分析,得到该目标人脸的基本属性信息,该基本属性信息的分类精度小于该细粒度属性信息的分类精度;
基于该目标人脸图像对该目标人脸进行三维重建,得到该目标人脸的三维重建模型;
基于该二维脸部特征、该基本属性信息以及该三维重建模型,获取该目标人脸的中间特征,该中间特征的特征维度大于预设阈值;
对该中间特征进行加权融合,得到该目标人脸的三维脸部特征。
在一种可选地实现方式中,该装置还包括:
识别模块,用于按照第二关键点数量对该目标人脸图像进行人脸关键点识别,得到该目标人脸的五官比例参数,该第二关键点数量小于该第一关键点数量;
五官调整模块,用于基于该五官比例参数调整该初始虚拟形象的五官比例。
在一种可选地实现方式中,该装置还包括:
画风调整模块,用于根据该目标虚拟角色所处的虚拟场景风格,调整该目标虚拟形象的脸部区域的画风。
在一种可选地实现方式中,该装置还包括:
第一显示模块,用于响应于获取到虚拟形象创建指令,显示第一页面,该第一页面上包括图像选择窗口或取景窗口;
第三获取模块,用于获取通过该第一页面得到的该目标人脸图像;
第二显示模块,用于在生成该目标虚拟形象后,显示第二页面,该第二页面上显示有该目标虚拟形象。
在一种可选地实现方式中,该第二页面包括M个调整选项,M为正整数,该调整选项用于对该目标虚拟形象的脸部显示进行调整,该装置还包括:
第三显示模块,用于响应于对该第二页面上任一该调整选项的第一触发操作,显示该调整选项对应的至少一个目标操作项;
第四获取模块,用于响应于对任一该目标操作项的第二触发操作,获取该第二触发操作对应的调整参数;根据该目标操作项指示的调整方式和该调整参数,调整该目标虚拟形象的脸部显示。
在本申请实施例中,在根据用户选中的虚拟角色生成与目标人脸长相相似的虚拟形象时,首先在被选中的目标虚拟角色和目标人脸图像的基础上,生成与目标人脸匹配度较高的初始虚拟形象,然后通过目标人脸的细粒度属性信息,对初始虚拟形象的脸部区域进行细节上的调整,以确保最终得到的目标虚拟形象与目标人脸之间的匹配度。这种基于细粒度属性信息对初始虚拟形象进行调整的方式,大大增加了目标虚拟形象与目标人脸之间的相似程度,使得根据不同的人脸图像生成的多个虚拟形象之间能够明显区分开,丰富了虚拟形象的显示效果。
需要说明的是:上述实施例提供的虚拟形象生成装置在生成虚拟形象时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的虚拟形象生成装置与虚拟形象生成方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
在示例性实施例中,还提供了一种计算机设备。以计算机设备为终端为例,图19示出了本申请一个示例性实施例提供的终端1900的结构示意图。该终端1900可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1900还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1900包括有:处理器1901和存储器1902。
处理器1901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1901可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1901可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1901还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1902中的非暂态的计算机可读存储介质用于存储至少一个程序代码,该至少一个程序代码用于被处理器1901所执行以实现本申请中方法实施例提供的虚拟形象生成方法。
在一些实施例中,终端1900还可选包括有:***设备接口1903和至少一个***设备。处理器1901、存储器1902和***设备接口1903之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1903相连。具体地,***设备包括:射频电路1904、显示屏1905、摄像头组件1906、音频电路1907、定位组件1908和电源1909中的至少一种。
***设备接口1903可被用于将I/O(Input/Output,输入/输出)相关的至少一个***设备连接到处理器1901和存储器1902。在一些实施例中,处理器1901、存储器1902和***设备接口1903被集成在同一芯片或电路板上;在一些其他实施例中,处理器1901、存储器1902和***设备接口1903中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1904用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1904将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1904包括:天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1904还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1905用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1905是触摸显示屏时,显示屏1905还具有采集在显示屏1905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1901进行处理。此时,显示屏1905还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1905可以为一个,设置在终端1900的前面板;在另一些实施例中,显示屏1905可以为至少两个,分别设置在终端1900的不同表面或呈折叠设计;在另一些实施例中,显示屏1905可以是柔性显示屏,设置在终端1900的弯曲表面上或折叠面上。甚至,显示屏1905还可以设置成非矩形的不规则图形,也即异形屏。显示屏1905可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
摄像头组件1906用于采集图像或视频。可选地,摄像头组件1906包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1906还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1901进行处理,或者输入至射频电路1904以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1901或射频电路1904的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1907还可以包括耳机插孔。
定位组件1908用于定位终端1900的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1908可以是基于美国的GPS(GlobalPositioning System,全球定位***)、中国的北斗***、俄罗斯的格雷纳斯***或欧盟的伽利略***的定位组件。
电源1909用于为终端1900中的各个组件进行供电。电源1909可以是交流电、直流电、一次性电池或可充电电池。当电源1909包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1900还包括有一个或多个传感器1910。该一个或多个传感器1910包括但不限于:加速度传感器1911、陀螺仪传感器1912、压力传感器1913、指纹传感器1914、光学传感器1915以及接近传感器1916。
加速度传感器1911可以检测以终端1900建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1911可以用于检测重力加速度在三个坐标轴上的分量。处理器1901可以根据加速度传感器1911采集的重力加速度信号,控制显示屏1905以横向视图或纵向视图进行用户界面的显示。加速度传感器1911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1912可以检测终端1900的机体方向及转动角度,陀螺仪传感器1912可以与加速度传感器1911协同采集用户对终端1900的3D动作。处理器1901根据陀螺仪传感器1912采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1913可以设置在终端1900的侧边框和/或显示屏1905的下层。当压力传感器1913设置在终端1900的侧边框时,可以检测用户对终端1900的握持信号,由处理器1901根据压力传感器1913采集的握持信号进行左右手识别或快捷操作。当压力传感器1913设置在显示屏1905的下层时,由处理器1901根据用户对显示屏1905的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1914用于采集用户的指纹,由处理器1901根据指纹传感器1914采集到的指纹识别用户的身份,或者,由指纹传感器1914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1901授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1914可以被设置在终端1900的正面、背面或侧面。当终端1900上设置有物理按键或厂商Logo时,指纹传感器1914可以与物理按键或厂商Logo集成在一起。
光学传感器1915用于采集环境光强度。在一个实施例中,处理器1901可以根据光学传感器1915采集的环境光强度,控制显示屏1905的显示亮度。具体地,当环境光强度较高时,调高显示屏1905的显示亮度;当环境光强度较低时,调低显示屏1905的显示亮度。在另一个实施例中,处理器1901还可以根据光学传感器1915采集的环境光强度,动态调整摄像头组件1906的拍摄参数。
接近传感器1916,也称距离传感器,通常设置在终端1900的前面板。接近传感器1916用于采集用户与终端1900的正面之间的距离。在一个实施例中,当接近传感器1916检测到用户与终端1900的正面之间的距离逐渐变小时,由处理器1901控制显示屏1905从亮屏状态切换为息屏状态;当接近传感器1916检测到用户与终端1900的正面之间的距离逐渐变大时,由处理器1901控制显示屏1905从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图19中示出的结构并不构成对终端1900的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质应用于计算机设备,该计算机可读存储介质中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行以实现上述实施例的虚拟形象生成方法中计算机设备所执行的操作。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该计算机设备执行上述各种可选实现方式中提供的虚拟形象生成方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (15)

1.一种虚拟形象生成方法,其特征在于,所述方法包括:
获取目标人脸图像,所述目标人脸图像中包括目标人脸;
基于所述目标人脸图像和被选中的目标虚拟角色,生成初始虚拟形象;
获取所述目标人脸的细粒度属性信息,所述细粒度属性信息用于标识所述目标人脸的五官类别、发型类别或配件类别中至少一项;
基于所述细粒度属性信息,对所述初始虚拟形象的脸部区域进行细节调整,生成目标虚拟形象;其中,第二匹配度大于第一匹配度,所述第一匹配度是指所述初始虚拟形象的脸部区域与所述目标人脸的匹配度,所述第二匹配度是指所述目标虚拟形象的脸部区域与所述目标人脸的匹配度。
2.根据权利要求1所述的方法,其特征在于,所述获取所述目标人脸的细粒度属性信息,包括:
按照第一关键点数量,对所述目标人脸图像进行人脸关键点识别,得到所述目标人脸的稠密识别结果;
基于所述稠密识别结果,对所述目标人脸图像进行细粒度属性分析,得到所述目标人脸的细粒度属性信息。
3.根据权利要求2所述的方法,其特征在于,所述基于所述稠密识别结果,对所述目标人脸图像进行细粒度属性分析,包括:
基于所述稠密识别结果,对所述目标人脸图像进行局部剪裁,得到N个子区域,所述N个子区域包括所述目标人脸的五官区域、发型区域或配件区域中至少一项,N为正整数;
将所述N个子区域输入细粒度属性分类模型,所述细粒度属性分类模型为基于多任务分类的神经网络模型;
将所述细粒度属性分类模型的输出结果,作为所述目标人脸的细粒度属性信息。
4.根据权利要求1所述的方法,其特征在于,所述基于所述目标人脸图像和被选中的目标虚拟角色,生成初始虚拟形象,包括:
基于所述目标人脸图像,获取所述目标人脸的三维人脸参数;其中,所述三维人脸参数包括与所述目标人脸匹配的轮廓形状参数和五官形状参数;
从所述目标虚拟角色的脸部素材库中,确定与所述目标人脸匹配的脸部素材,基于确定的脸部素材对所述三维人脸参数进行渲染处理,生成所述初始虚拟形象。
5.根据权利要求4所述的方法,其特征在于,所述基于所述目标人脸图像,获取所述目标人脸的三维人脸参数,包括:
在所述目标人脸图像中获取所述目标人脸的三维脸部特征;
将所述三维脸部特征与目标比对库进行特征比对,得到所述目标人脸的三维人脸参数,所述目标比对库用于提供所述三维脸部特征与所述三维人脸参数之间的对应关系。
6.根据权利要求5所述的方法,其特征在于,所述在所述目标人脸图像中获取所述目标人脸的三维脸部特征,包括:
对所述目标人脸图像进行特征提取,得到所述目标人脸的二维脸部特征;
对所述目标人脸图像进行基本属性分析,得到所述目标人脸的基本属性信息,所述基本属性信息的分类精度小于所述细粒度属性信息的分类精度;
基于所述目标人脸图像对所述目标人脸进行三维重建,得到所述目标人脸的三维重建模型;
基于所述二维脸部特征、所述基本属性信息以及所述三维重建模型,获取所述目标人脸的中间特征,所述中间特征的特征维度大于预设阈值;
对所述中间特征进行加权融合,得到所述目标人脸的三维脸部特征。
7.根据权利要求2所述的方法,其特征在于,所述方法还包括:
按照第二关键点数量对所述目标人脸图像进行人脸关键点识别,得到所述目标人脸的五官比例参数,所述第二关键点数量小于所述第一关键点数量;
基于所述五官比例参数调整所述初始虚拟形象的五官比例。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述目标虚拟角色所处的虚拟场景风格,调整所述目标虚拟形象的脸部区域的画风。
9.根据权利要求1至8任一项所述的方法,其特征在于,所述方法还包括:
响应于获取到虚拟形象创建指令,显示第一页面,所述第一页面上包括图像选择窗口或取景窗口;
获取通过所述第一页面得到的所述目标人脸图像;
在生成所述目标虚拟形象后,显示第二页面,所述第二页面上显示有所述目标虚拟形象。
10.根据权利要求9所述的方法,其特征在于,所述第二页面包括M个调整选项,M为正整数,所述调整选项用于对所述目标虚拟形象的脸部显示进行调整,所述方法还包括:
响应于对所述第二页面上任一所述调整选项的第一触发操作,显示所述调整选项对应的至少一个目标操作项;
响应于对任一所述目标操作项的第二触发操作,获取所述第二触发操作对应的调整参数;根据所述目标操作项指示的调整方式和所述调整参数,调整所述目标虚拟形象的脸部显示。
11.一种虚拟形象生成装置,其特征在于,所述装置包括:
第一获取模块,用于获取目标人脸图像,所述目标人脸图像中包括目标人脸;
第一生成模块,用于基于所述目标人脸图像和被选中的目标虚拟角色,生成初始虚拟形象;
第二获取模块,用于获取所述目标人脸的细粒度属性信息,所述细粒度属性信息用于标识所述目标人脸的五官类别、发型类别或配件类别中至少一项;
第二生成模块,用于基于所述细粒度属性信息,对所述初始虚拟形象的脸部区域进行细节调整,生成目标虚拟形象;其中,第二匹配度大于第一匹配度,所述第一匹配度是指所述初始虚拟形象的脸部区域与所述目标人脸的匹配度,所述第二匹配度是指所述目标虚拟形象的脸部区域与所述目标人脸的匹配度。
12.根据权利要求11所述的装置,其特征在于,所述第二获取模块包括:
识别单元,用于按照第一关键点数量,对所述目标人脸图像进行人脸关键点识别,得到所述目标人脸的稠密识别结果;
分析单元,用于基于所述稠密识别结果,对所述目标人脸图像进行细粒度属性分析,得到所述目标人脸的细粒度属性信息。
13.根据权利要求12所述的装置,其特征在于,所述分析单元用于:
基于所述稠密识别结果,对所述目标人脸图像进行局部剪裁,得到N个子区域,所述N个子区域包括所述目标人脸的五官区域、发型区域或配件区域中至少一项,N为正整数;
将所述N个子区域输入细粒度属性分类模型,所述细粒度属性分类模型为基于多任务分类的神经网络模型;
将所述细粒度属性分类模型的输出结果,作为所述目标人脸的细粒度属性信息。
14.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器用于存储至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行如权利要求1至权利要求10中任一项所述的虚拟形象生成方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现如权利要求1至权利要求10中任一项所述的虚拟形象生成方法。
CN202110203806.0A 2021-02-23 2021-02-23 虚拟形象生成方法、装置、设备及存储介质 Pending CN113569614A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110203806.0A CN113569614A (zh) 2021-02-23 2021-02-23 虚拟形象生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110203806.0A CN113569614A (zh) 2021-02-23 2021-02-23 虚拟形象生成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113569614A true CN113569614A (zh) 2021-10-29

Family

ID=78161223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110203806.0A Pending CN113569614A (zh) 2021-02-23 2021-02-23 虚拟形象生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113569614A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092675A (zh) * 2021-11-22 2022-02-25 北京百度网讯科技有限公司 图像显示方法、图像显示装置、电子设备及存储介质
CN114119935A (zh) * 2021-11-29 2022-03-01 北京百度网讯科技有限公司 图像处理方法和装置
CN114120412A (zh) * 2021-11-29 2022-03-01 北京百度网讯科技有限公司 图像处理方法和装置
CN115393486A (zh) * 2022-10-27 2022-11-25 科大讯飞股份有限公司 虚拟形象的生成方法、装置、设备及存储介质
CN116229008A (zh) * 2023-03-06 2023-06-06 北京百度网讯科技有限公司 图像处理方法和装置
CN116246009A (zh) * 2022-09-06 2023-06-09 支付宝(杭州)信息技术有限公司 虚拟形象处理方法及装置
CN116778043A (zh) * 2023-06-19 2023-09-19 广州怪力视效网络科技有限公司 一种表情捕捉及动画自动生成***和方法
WO2024082180A1 (zh) * 2022-10-19 2024-04-25 云智联网络科技(北京)有限公司 一种虚拟形象塑造方法及相关设备

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114092675A (zh) * 2021-11-22 2022-02-25 北京百度网讯科技有限公司 图像显示方法、图像显示装置、电子设备及存储介质
CN114119935B (zh) * 2021-11-29 2023-10-03 北京百度网讯科技有限公司 图像处理方法和装置
CN114119935A (zh) * 2021-11-29 2022-03-01 北京百度网讯科技有限公司 图像处理方法和装置
CN114120412A (zh) * 2021-11-29 2022-03-01 北京百度网讯科技有限公司 图像处理方法和装置
CN116246009B (zh) * 2022-09-06 2024-04-16 支付宝(杭州)信息技术有限公司 虚拟形象处理方法及装置
CN116246009A (zh) * 2022-09-06 2023-06-09 支付宝(杭州)信息技术有限公司 虚拟形象处理方法及装置
WO2024082180A1 (zh) * 2022-10-19 2024-04-25 云智联网络科技(北京)有限公司 一种虚拟形象塑造方法及相关设备
CN115393486A (zh) * 2022-10-27 2022-11-25 科大讯飞股份有限公司 虚拟形象的生成方法、装置、设备及存储介质
CN115393486B (zh) * 2022-10-27 2023-03-24 科大讯飞股份有限公司 虚拟形象的生成方法、装置、设备及存储介质
CN116229008B (zh) * 2023-03-06 2023-12-12 北京百度网讯科技有限公司 图像处理方法和装置
CN116229008A (zh) * 2023-03-06 2023-06-06 北京百度网讯科技有限公司 图像处理方法和装置
CN116778043A (zh) * 2023-06-19 2023-09-19 广州怪力视效网络科技有限公司 一种表情捕捉及动画自动生成***和方法
CN116778043B (zh) * 2023-06-19 2024-02-09 广州怪力视效网络科技有限公司 一种表情捕捉及动画自动生成***和方法

Similar Documents

Publication Publication Date Title
US11798246B2 (en) Electronic device for generating image including 3D avatar reflecting face motion through 3D avatar corresponding to face and method of operating same
CN113569614A (zh) 虚拟形象生成方法、装置、设备及存储介质
US20220301341A1 (en) Method for processing images and electronic device
CN109308727B (zh) 虚拟形象模型生成方法、装置及存储介质
CN111541907B (zh) 物品显示方法、装置、设备及存储介质
CN111726536A (zh) 视频生成方法、装置、存储介质及计算机设备
CN112991494B (zh) 图像生成方法、装置、计算机设备及计算机可读存储介质
CN112337105B (zh) 虚拟形象生成方法、装置、终端及存储介质
CN111368116B (zh) 图像分类方法、装置、计算机设备及存储介质
CN112148404B (zh) 头像生成方法、装置、设备以及存储介质
CN110796083B (zh) 图像显示方法、装置、终端及存储介质
CN113705302A (zh) 图像生成模型的训练方法、装置、计算机设备及存储介质
CN113706678A (zh) 获取虚拟形象的方法、装置、设备及计算机可读存储介质
CN111738914A (zh) 图像处理方法、装置、计算机设备及存储介质
CN111339938A (zh) 信息交互方法、装置、设备及存储介质
CN113570614A (zh) 图像处理方法、装置、设备及存储介质
CN114741559A (zh) 确定视频封面的方法、设备及存储介质
CN110675473B (zh) 生成gif动态图的方法、装置、电子设备及介质
CN112528760A (zh) 图像处理方法、装置、计算机设备及介质
CN113918252A (zh) 界面展示方法、装置、计算机设备及存储介质
CN112907702A (zh) 图像处理方法、装置、计算机设备及存储介质
CN111797754A (zh) 图像检测的方法、装置、电子设备及介质
CN114004922B (zh) 骨骼动画显示方法、装置、设备、介质及计算机程序产品
CN116152900B (zh) 表情信息的获取方法、装置、计算机设备及存储介质
CN113763531B (zh) 三维人脸重建方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40054502

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination