CN111768488B - 一种虚拟角色脸部模型的处理方法和装置 - Google Patents

一种虚拟角色脸部模型的处理方法和装置 Download PDF

Info

Publication number
CN111768488B
CN111768488B CN202010648735.0A CN202010648735A CN111768488B CN 111768488 B CN111768488 B CN 111768488B CN 202010648735 A CN202010648735 A CN 202010648735A CN 111768488 B CN111768488 B CN 111768488B
Authority
CN
China
Prior art keywords
vertex
normal
target
model
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010648735.0A
Other languages
English (en)
Other versions
CN111768488A (zh
Inventor
范羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN202010648735.0A priority Critical patent/CN111768488B/zh
Publication of CN111768488A publication Critical patent/CN111768488A/zh
Application granted granted Critical
Publication of CN111768488B publication Critical patent/CN111768488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

本发明实施例提供了一种虚拟角色脸部模型的处理方法及装置,所述方法可以先获取初始脸部模型的目标网格拓扑结构,并根据该目标网络拓扑结构,获得初始脸部模型中待调整的目标区域,接着获取针对初始脸部模型的代理模型,以及针对目标区域的法线调整系数,其中,法线调整系数可以为通过代理模型对目标区域中顶点进行法线调整的程度,然后根据代理模型与法线调整系数,对目标区域进行顶点法线调整,获得目标脸部模型,从而根据代理模型与法线调整系数对需要进行顶点法线调整的区域进行整体的法线传递,使得法线调整精细化,实现更细致的顶点法线修改操作,且提高了顶点法线修改的效率。

Description

一种虚拟角色脸部模型的处理方法和装置
技术领域
本发明涉及图像处理技术领域,特别是涉及一种虚拟角色脸部模型的处理方法和一种虚拟角色脸部模型的处理装置。
背景技术
在游戏开发中,往往需要对游戏中的角色模型进行修改,如修改角色模型的顶点法线。顶点法线可以用来表示模型网格上每个顶点的朝向,在DCC(Digtial ContentCreation,数字内容创建工具)中可以自动为美工人员创建模型网络的顶点法线数据。但在NPR(Non-photography Rendering,非真实渲染)领域中,渲染卡通风格的角色模型时,经常需要对DCC工具生成的默认顶点法线数据进行认为修改,即法线传递。
目前常见的DCC工具中提供的顶点法线传递方式,包括如下步骤:
1、根据实际需求构建一个原脸部模型的代理体;
2、使用代理体将原模型包裹起来;
3、使用DCC工具将代理体的顶点法线信息映射到原脸部模型上,对顶点法线进行修改。
在上述方式中,存在较多的问题,包括代理体的顶点法线调整没有规律可循,无法实现批量操作;直接使用简单的代理体进行法线传递,容易将脸部模型的一些细节抹去,影响模型的展示效果;大部分的DCC工具的法线传递功能,并不是为了脸部模型顶点法线修改而提供的,通用性差等等。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种虚拟角色脸部模型的处理方法和相应的一种虚拟角色脸部模型的处理装置。
相应的,本发明实施例还提供了一种虚拟角色脸部模型的处理装置,用以保证上述方法的实现及应用。
为了解决上述问题,本发明实施例公开了一种虚拟角色脸部模型的处理方法,包括:
获取初始脸部模型的目标网格拓扑结构;
根据所述目标网格拓扑结构,获得所述初始脸部模型中待调整的目标区域;
获取针对所述初始脸部模型的代理模型,以及针对所述目标区域的法线调整系数,所述法线调整系数为通过所述代理模型对所述目标区域中顶点进行法线调整的程度;
根据所述代理模型与所述法线调整系数,对所述目标区域进行顶点法线调整,获得目标脸部模型。
可选地,所述获取初始脸部模型的目标网格拓扑结构,包括:
获取初始脸部模型的光影特征,以及初始网格拓扑结构;
根据所述光影特征对所述初始网格拓扑结构进行调整,获得目标网格拓扑结构。
可选地,所述根据所述目标网格拓扑结构,获得所述初始脸部模型中待调整的目标区域,包括:
根据所述目标网格拓扑结构对所述初始脸部模型的顶点进行顶点色设置;
根据所述初始脸部模型的顶点的顶点色,获得所述初始脸部模型中待调整的目标区域。
可选地,所述根据所述代理模型与所述法线调整系数,对所述目标区域进行顶点法线调整,获得目标脸部模型,包括:
获取所述目标区域中至少部分顶点分别对应的第一坐标信息与初始顶点法线,以及所述代理模型的第二坐标信息;
根据所述第一坐标信息与所述第二坐标信息,确定针对所述初始顶点法线的目标顶点法线;
根据所述目标顶点法线与所述法线调整系数,对所述至少部分顶点的初始顶点法线进行调整,获得目标脸部模型。
可选地,所述法线调整系数包括第一调整模式下的第一修改系数,所述根据所述目标顶点法线与所述法线调整系数,对所述初始顶点法线进行调整,获得目标脸部模型,包括:
按照所述第一修改系数,将所述目标顶点法线与所述初始顶点法线进行相加,获得所述至少部分顶点的顶点法线结果;
根据所述顶点法线结果对所述至少部分顶点的初始顶点法线进行调整,获得目标脸部模型。
可选地,所述按照所述第一修改系数,将所述目标顶点法线分别与对应顶点的初始顶点法线进行相加,获得顶点法线结果,包括:
将所述第一修改系数与所述目标顶点法线相乘,获得与所述第一修改系数对应的修改结果;
将所述修改结果与所述初始顶点法线相加,获得所述至少部分顶点的顶点法线结果。
可选地,所述法线调整系数包括第二调整模式下的第二修改系数,所述根据所述目标顶点法线与所述法线调整系数,对所述初始顶点法线进行调整,获得目标脸部模型,包括:
按照所述第二修改系数,对所述初始顶点法线与所述目标顶点法线进行插值计算,获得所述至少部分顶点的顶点法线结果;
根据所述顶点法线结果对所述至少部分顶点的初始顶点法线进行调整,获得所述目标脸部模型。
可选地,所述根据所述代理模型与所述法线调整系数,对所述目标区域进行顶点法线调整的过程中包括:
获取针对所述目标区域进行顶点法线调整的操作信息,生成针对所述初始脸部模型的修改记录。
本发明实施例还公开了一种虚拟角色脸部模型的处理装置,包括:
网格拓扑结构获取模块,用于获取初始脸部模型的目标网格拓扑结构;
目标区域获得模块,用于根据所述目标网格拓扑结构,获得所述初始脸部模型中待调整的目标区域;
模型调整信息获取模块,用于获取针对所述初始脸部模型的代理模型,以及针对所述目标区域的法线调整系数,所述法线调整系数为通过所述代理模型对所述目标区域中顶点进行法线调整的程度;
脸部模型调整模块,用于根据所述代理模型与所述法线调整系数,对所述目标区域进行顶点法线调整,获得目标脸部模型。
可选地,所述网格拓扑结构获取模块包括:
初始脸部模型获取子模块,用于获取初始脸部模型的光影特征,以及初始网格拓扑结构;
网络拓扑结构获得子模块,用于根据所述光影特征对所述初始网格拓扑结构进行调整,获得目标网格拓扑结构。
可选地,所述模型调整信息获取模块包括:
顶点色设置子模块,用于根据所述目标网格拓扑结构对所述初始脸部模型的顶点进行顶点色设置;
目标区域确定子模块,用于根据所述初始脸部模型的顶点的顶点色,获得所述初始脸部模型中待调整的目标区域。
可选地,所述脸部模型调整模块包括:
坐标与法线获取子模块,用于获取所述目标区域中至少部分顶点分别对应的第一坐标信息与初始顶点法线,以及所述代理模型的第二坐标信息;
第一顶点法线确定子模块,用于根据所述第一坐标信息与所述第二坐标信息,确定针对所述初始顶点法线的目标顶点法线;
第一脸部模型调整子模块,用于根据所述目标顶点法线与所述法线调整系数,对所述至少部分顶点的初始顶点法线进行调整,获得目标脸部模型。
可选地,所述法线调整系数包括第一调整模式下的第一修改系数,所述目标顶点法线确定子模块具体用于:
按照所述第一修改系数,将所述目标顶点法线与所述初始顶点法线进行相加,获得所述至少部分顶点的顶点法线结果;
根据所述顶点法线结果对所述至少部分顶点的初始顶点法线进行调整,获得目标脸部模型。
可选地,所述目标顶点法线确定子模块具体用于:
将所述第一修改系数与所述目标顶点法线相乘,获得与所述第一修改系数对应的修改结果;
将所述修改结果与所述初始顶点法线相加,获得所述至少部分顶点的顶点法线结果。
可选地,所述法线调整系数包括第二调整模式下的第二修改系数,所述脸部模型调整模块包括:
第二顶点法线确定子模块,用于按照所述第二修改系数,对所述初始顶点法线与所述目标顶点法线进行插值计算,获得所述至少部分顶点的顶点法线结果;
第二脸部模型调整子模块,用于根据所述顶点法线结果对所述至少部分顶点的初始顶点法线进行调整,获得目标脸部模型。
可选地,所述装置还包括:
修改记录生成模块,用于获取针对所述目标区域进行顶点法线调整的操作信息,生成针对所述初始脸部模型的修改记录。
本发明实施例还公开了一种电子设备,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述电子设备执行如上所述的方法。
本发明实施例还公开了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行如上所述的方法。
本发明实施例包括以下优点:
在本发明实施例中,可以先获取初始脸部模型的目标网格拓扑结构,并根据该目标网络拓扑结构,获得初始脸部模型中待调整的目标区域,接着获取针对初始脸部模型的代理模型,以及针对目标区域的法线调整系数,其中,法线调整系数可以为通过代理模型对目标区域中顶点进行法线调整的程度,然后根据代理模型与法线调整系数,对目标区域进行顶点法线调整,获得目标脸部模型,从而根据代理模型与法线调整系数对需要进行顶点法线调整的区域进行整体的法线传递,使得法线调整精细化,实现更细致的顶点法线修改操作,且提高了顶点法线修改的效率。
附图说明
图1是本发明的一种虚拟角色脸部模型的处理方法实施例的步骤流程图;
图2是本发明的一种虚拟角色脸部模型的处理方法实施例的步骤流程图;
图3是本发明实施例中代理模型位置调整的示意图;
图4是本发明实施例中一种法线传递的示意图;
图5是本发明实施例中另一种法线传递的示意图;
图6是本发明的一种虚拟角色脸部模型的处理装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明的一种虚拟角色脸部模型的处理方法实施例的步骤流程图,具体可以包括如下步骤:
步骤101,获取初始脸部模型的目标网格拓扑结构;
作为一种示例,在游戏开发过程中,美术人员经常需要使用顶点法线来表示模型网格上每个顶点的朝向,并根据需求对顶点法线进行修改,以便保证游戏角色模型的光影渲染效果。其中,在NPR领域中,在渲染卡通风格的角色模型时,需要对DCC工具生成的默认顶点法线数据进行认为修改,该操作称为法线传递。
具体的,在诸如3dsmax、Maya及blender等DCC工具中,可以自动为美工人员创建的游戏角色模型生成默认的顶点法线数据,然后由美工人员对顶点法线数据进行修改,在保证游戏角色模型结构的同时,赋予游戏角色模型不同的光影效果。
在具体实现中,美工人员可以在DCC工具中创建游戏角色的初始脸部模型,从而在DCC工具中展示初始脸部模型的网格拓扑结构,并为初始脸部模型生成相应的默认顶点法线数据,以便美工人员对网格拓扑结构中顶点的顶点法线数据进行调整。其中,目标网格拓扑结构可以为对初始脸部模型进行预处理后得到的网格拓扑结构,例如,可以对初始脸部模型中眉弓、下颚以及鼻子区域等进行布线调整,使得这些区域具有合适分割的拓扑结构等等。
步骤102,根据所述目标网格拓扑结构,获得所述初始脸部模型中待调整的目标区域;
当对初始脸部模型的网格拓扑结构调整完毕后,可以将目标网格拓扑结构划分为目标区域以及保留区域,其中,目标区域为需要进行顶点法线数据修改的模型网格,保留区域为不需要进行顶点法线数据修改的模型网格,例如,保留区域可以为保留初始脸部模型的原有光影特征的区域,而对目标区域中网格的顶点进行法线数据调整。
步骤103,获取针对所述初始脸部模型的代理模型,以及针对所述目标区域的法线调整系数;
代理模型可以为代理体,包括正方体、圆柱体以及球体等代理体。法线调整系数可以为DCC工具中的法线编辑工具中的编辑信息,其可以表示为通过代理模型对目标区域中顶点进行法线调整的程度。
当确定初始脸部模型中的目标区域后,可以创建一针对初始脸部模型的代理模型,同时获取针对目标区域的法线调整系数,以便对目标区域进行顶点法线调整。
步骤104,根据所述代理模型与所述法线调整系数,对所述目标区域进行顶点法线调整,获得目标脸部模型。
具体的,可以在DCC工具中创建一个参考代理体(即代理模型),接着可以将参考代理体移动至初始脸部模型的指定位置(例如正后方等),并选择目标区域中的模型网格作为修改对象,然后打开DCC工具中的法线编辑工具,根据法线调整系数对目标区域进行法线调整,从而在保留初始脸部模型重要的写实光影结构的同时,通过对脸部模型进行顶点法线数据修改,简化了脸部模型的光影,使得游戏角色模型的渲染更加干净。
在本发明实施例中,可以先获取初始脸部模型的目标网格拓扑结构,并根据该目标网络拓扑结构,获得初始脸部模型中待调整的目标区域,接着获取针对初始脸部模型的代理模型,以及针对目标区域的法线调整系数,其中,法线调整系数可以为通过代理模型对目标区域中顶点进行法线调整的程度,然后根据代理模型与法线调整系数,对目标区域进行顶点法线调整,获得目标脸部模型,从而根据代理模型与法线调整系数对需要进行顶点法线调整的区域进行整体的法线传递,使得法线调整精细化,实现更细致的顶点法线修改操作,且提高了顶点法线修改的效率。
参照图2,示出了本发明的一种虚拟角色脸部模型的处理方法实施例的步骤流程图,具体可以包括如下步骤:
步骤201,获取初始脸部模型的光影特征,以及初始网格拓扑结构;
作为一种示例,对于虚拟角色的脸部模型,其可以由写实光影特征、动漫光影特征等至少一种组成。在本发明实施例中,为了保留脸部模型的写实光影特征,可以先获取初始脸部模型的初始网格拓扑结构,以及写实光影特征,以便根据该写实光影特征对网格拓扑结构进行调整。
在具体实现中,美工人员可以在DCC工具中创建游戏角色的初始脸部模型,从而在DCC工具中展示初始脸部模型的初始网格拓扑结构,并为初始脸部模型生成相应的默认顶点法线数据,以便美工人员对网格拓扑结构中顶点的顶点法线数据进行调整。
步骤202,根据所述光影特征对所述初始网格拓扑结构进行调整,获得目标网格拓扑结构;
在本发明实施例中,对于脸部模型的写实光影特征所对应的区域,可以为脸部模型的眉弓、下颚以及鼻子等区域,则可以根据光影特征对初始脸部模型的网格拓扑结构进行调整,以获得调整后的目标网格拓扑结构。
具体的,初始脸部模型中的网格拓扑结构中存在一些区域并不具备明显分割的拓扑结构,则可以根据虚拟角色模型的写实光影特征对初始网格拓扑结构的布线进行调整,使其能够在眉弓、下颚以及鼻子等区域具有合适分割的拓扑结构,以便后续通过顶点色标记的方式保留虚拟角色脸部模型的写实光影特征。
步骤203,根据所述目标网格拓扑结构,获得所述初始脸部模型中待调整的目标区域;
在本发明实施例中,顶点色可以为用于区分目标网格拓扑结构中模型网格的顶点是否需要进行法线数据修改的显示样式,例如,可以对需要进行法线数据修改的模型网格进行顶点色标记,也可以对不需要进行法线数据修改的模型网格进行顶点色标记等等。
在具体实现中,可以根据目标网格拓扑结构对初始脸部模型的顶点进行顶点色设置,接着根据初始脸部模型的顶点的顶点色,获得初始脸部模型中待调整的目标区域。
在一种示例中,可以从初始脸部模型的目标网格拓扑结构中,提取脸部模型中具备写实光影特征的目标网格,并通过顶点色对所有目标网格进行标记,获得保留区域,然后将目标网格拓扑结构中除保留区域之外的模型网格,作为初始脸部模型的目标区域。其中,目标区域为需要进行顶点法线数据修改的模型网格,保留区域为不需要进行顶点法线数据修改的模型网格。
例如,顶点色可以为黄色,则对于虚拟角色脸部的写实光影特征,可以包括脸部模型的眉弓、下颚以及鼻子等区域,这些区域可以为脸部模型的光影交界区域,需要保留其本身的光影效果,因此,将这些区域对应的模型网格标记为黄色,保证后续法线传递的过程中,不会被修改,从而通过顶点色标记,可以保留游戏角色脸部模型的重要光影特征,使得模型可以保留其本身的特色。
需要说明的是,顶点色还可以设置为其他颜色,以及还可以对除写实光影特征之外的模型网格进行顶点色标记,并将标记的模型网格作为目标区域,进行法线数据的调整,本发明对此不作限制。
步骤204,获取针对所述初始脸部模型的代理模型,以及针对所述目标区域的法线调整系数;
当得到目标区域后,可以创建一针对初始脸部模型的代理模型,同时获取针对目标区域的法线调整系数,以便对目标区域进行顶点法线调整。
步骤205,根据所述代理模型与所述法线调整系数,对所述目标区域进行顶点法线调整,获得目标脸部模型。
具体的,可以在DCC工具中创建一个参考代理体(即代理模型),接着可以将参考代理体移动至初始脸部模型的指定位置,并选择目标区域中的模型网格作为修改对象,然后打开DCC工具中的法线编辑工具,根据法线调整系数对目标区域进行法线调整,从而在保留初始脸部模型重要的写实光影结构的同时,通过对脸部模型进行顶点法线数据修改,简化了脸部模型的光影,使得游戏角色模型的渲染更加干净。
在一种示例中,可以在DCC工具中创建一个正方形代理体,并将该正方形代理体移动至初始脸部模型的正后方,然后选择目标区域中至少部分顶点,或全部顶点的顶点法线作为修改对象,接着通过移动正方形代理体,以及根据法线调整系数对目标区域所对应的顶点法线进行调整,获得目标脸部模型,通过对脸部模型进行顶点法线数据修改,简化了脸部模型的光影,使得游戏角色模型的渲染更加干净。可选地,代理模型还可以包括圆柱体以及球体等代理体,代理模型的位置还可以是初始脸部模型的正前方、正右方以及正左方等等,本发明对此不作限制。
在本发明的一种可选实施例中,目标区域中的模型网格对应初始顶点法线,则步骤205可以包括如下子步骤:
获取目标区域中至少部分顶点分别对应的第一坐标信息与初始顶点法线,以及代理模型的第二坐标信息,接着根据第一坐标信息与第二坐标信息,确定针对初始顶点法线的目标顶点法线,然后根据目标顶点法线与法线调整系数,对至少部分顶点的初始顶点法线进行调整,获得目标脸部模型。
其中,坐标信息包括代理模型的第一坐标信息以及目标区域中至少部分顶点的第二坐标信息,然后采用所述第一坐标信息与所述第二坐标信息,计算针对至少部分顶点所对应的初始顶点法线的目标顶点法线。在对初始脸部模型的目标区域进行顶点法线数据修改之前,可以通过调整代理模型的位置,使得最终得到的目标顶点法线朝向变得集中或离散,如图3所示,示出了本发明实施例中代理模型位置调整的示意图,当代理模型与初始脸部模型重合时,则可以使目标顶点法线的朝向变得离散;当代理模型与初始脸部模型不重合,且保持一定距离时,则随着两者之间距离的增大,目标顶点法线的朝向也随之变得集中,距离越大则朝向越集中。
需要说明的是,对于目标区域的法线数据修改,可以针对其中的部分顶点的顶点法线进行修改,还可以针对目标区域中所有的顶点法线进行修改,本发明对此不作限制。
具体的,法线调整系数可以包括第一修改模式下的第一修改系数,与第二修改模式下的第二修改系数等等。在第一修改模式下,可以将第一修改系数与目标顶点法线相乘,获得与第一修改系数对应的修改结果,并将修改结果与初始顶点法线相加,获得至少部分顶点的顶点法线结果,从而根据该顶点法线结果对至少部分顶点的初始顶点法线进行调整,获得目标脸部模型;在第二修改模式下,可以按照第二修改系数,对初始顶点法线与目标顶点法线进行插值计算,获得至少部分顶点的顶点法线结果,并根据顶点法线结果对至少部分顶点的初始顶点法线进行调整,获得目标脸部模型。
在得到目标顶点法线后,可以打开DCC工具中的法线编辑工具,根据法线调整系数对目标区域中的初始顶点法线进行法线传递,具体的,法线编辑工具中可以包括相加模式(即第一修改模式)以及插值模式(即第二修改模式),分别对应不同的修改系数,则可以在特定的修改模式下,可以按照相应的修改系数,将目标顶点法线叠加于初始顶点法线中,实现对初始脸部模型的法线传递,生成目标脸部模型。
其中,修改系数可以表示有多少比例的目标顶点法线方向被叠加于初始顶点法线上。在相加模式下,add_coef可以为相加模式的修改比例系数,代表有多少比例的目标顶点法线方向被施加在原顶点法线上,该系数的数值越大,则面部的原顶点法线越偏向目标顶点法线。在插值模式下,lerp_coff为插值模式的修改比例系数,代表有多少比例的目标顶点法线方向被施加在原顶点法线上,该系数为0时,则面部的原顶点法线不受影响;该系数为1时,则面部的顶点法线等于目标顶点法线。随着修改系数的变化,模型的渲染效果也随之变化。
在一种示例中,在得到初始脸部模型的目标区域中至少部分顶点的初始顶点法线的坐标信息,以及代理模型的坐标信息后,可以通过如下公式(1)计算目标顶点法线。
VT_NORMAL=normalize(V_POS-T_POS) 公式(1)
其中,VT_NORMAL表示目标顶点法线,V_POS为每个初始顶点法线的坐标信息,T_POS为代理模型的坐标信息,normalize为归一化函数
对于相加模式下的法线传递,可以通过如下公式(2)实现法线传递。
VM_NORMAL=normalize(RAW_NORMAL+VT_NORMAL*add_coef) 公式(2)
其中,RAW_NORMAL为初始顶点法线;add_coef为相加模式的修改比例系数,代表有多少比例的目标顶点法线方向被施加在初始顶点法线上,该系数的数值越大,则脸部模型的原顶点法线越偏向目标顶点法线;VT_NORMAL*add_coef为修改结果,表示最终叠加至初始顶点法线的目标顶点法线。具体的,如图4所示,示出了本发明实施例中法线传递的示意图一,在相加模式下,图4所示的渲染效果由左至右分别对应修改比例系数为0、1、5、10。
对于插值模式下的法线传递,可以通过如下公式(3)实现法线传递。
VM_NORMAL=lerp(RAW_NORMAL,VT_NORMAL,lerp_coff) 公式(3)
其中,lerp_coff为插值模式的修改比例系数,代表有多少比例的目标顶点法线方向被施加在原顶点法线上,该系数为0时,则面部的原顶点法线不受影响;该系数为1时,则面部的顶点法线等于目标顶点法线。具体的,如图5所示,示出了本发明实施例中法线传递的示意图二,在插值模式下,图5所示的渲染效果由左至右分别对应修改比例系数为0.3、0.5、0.765、1。
需要说明的是,还可以同时对目标区域中的初始顶点法线进行相加与插值模式的法线传递,也可以在法线编辑工具中设置忽略垂直方向上的顶点法线,使得目标顶点发现在垂直方向上的向量始终为0等等,本发明对此不作限制。
在另一种示例中,在得到初始脸部模型中目标区域所有顶点的初始顶点法线,以及各个顶点法线对应的坐标信息后,可以在相加模式和/或插值模式下,通过对应的修改比例系数,得到对应的顶点法线结果,以对目标区域中所有顶点对应的初始顶点法线进行法线修改,从而得到目标脸部模型,进而在保留初始脸部模型重要的写实光影结构的同时,通过对脸部模型进行顶点法线数据修改,简化了脸部模型的光影,使得游戏角色模型的渲染更加干净。
需要说明的是,本发明实施例包括但不限于上述示例,可以理解的是,在本发明实施例的思想指导下,本领域技术人员可以根据实际情况进行设置,本发明对此不作限制。
在本发明的一种可选实施例中,在对脸部模型进行法线传递的过程中,可以通过获取针对目标区域进行顶点法线调整的操作信息,生成针对初始脸部模型的修改记录,从而对法线传递过程进行回溯,同时通过该修改记录,可以对同类型或相似的脸部模型修改进行铺量操作,大大提高了顶点法线数据修改的通用性。
在一种示例中,在DCC工具中,可以通过修改器功能,对每一个图层进行隐藏显示或删除操作,以便回溯对脸部模型进行顶点法线修改的编辑结果。具体的,在法线传递的过程中,每修改一次顶点法线数据,法线调整工具可以在模型修改器中自动创建相应的“EditNormal”(3dsmax的法线修改器)层,从而在最后得到目标脸部模型时,可以根据所有的调整操作信息,生成针对目标脸部模型的修改记录,使得美工人员可以回溯调整记录,且支持对修改过程进行反复调试,通用性强。
在本发明实施例中,可以先获取初始脸部模型的目标网格拓扑结构,并根据该目标网络拓扑结构,获得初始脸部模型中待调整的目标区域,接着获取针对初始脸部模型的代理模型,以及针对目标区域的法线调整系数,其中,法线调整系数可以为通过代理模型对目标区域中顶点进行法线调整的程度,然后根据代理模型与法线调整系数,对目标区域进行顶点法线调整,获得目标脸部模型,从而根据代理模型与法线调整系数对需要进行顶点法线调整的区域进行整体的法线传递,使得法线调整精细化,实现更细致的顶点法线修改操作,且提高了顶点法线修改的效率。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图6,示出了本发明的一种虚拟角色脸部模型的处理装置实施例的结构框图,具体可以包括如下模块:
网格拓扑结构获取模块601,用于获取初始脸部模型的目标网格拓扑结构;
目标区域获得模块602,用于根据所述目标网格拓扑结构,获得所述初始脸部模型中待调整的目标区域;
模型调整信息获取模块603,用于获取针对所述初始脸部模型的代理模型,以及针对所述目标区域的法线调整系数,所述法线调整系数为通过所述代理模型对所述目标区域中顶点进行法线调整的程度;
脸部模型调整模块604,用于根据所述代理模型与所述法线调整系数,对所述目标区域进行顶点法线调整,获得目标脸部模型。
在本发明的一种可选实施例中,所述网格拓扑结构获取模块601包括:
初始脸部模型获取子模块,用于获取初始脸部模型的光影特征,以及初始网格拓扑结构;
网络拓扑结构获得子模块,用于根据所述光影特征对所述初始网格拓扑结构进行调整,获得目标网格拓扑结构。
在本发明的一种可选实施例中,所述模型调整信息获取模块603
包括:
顶点色设置子模块,用于根据所述目标网格拓扑结构对所述初始脸部模型的顶点进行顶点色设置;
目标区域确定子模块,用于根据所述初始脸部模型的顶点的顶点色,获得所述初始脸部模型中待调整的目标区域
在本发明的一种可选实施例中,所述脸部模型调整模块604包括:
坐标与法线获取子模块,用于获取所述目标区域中至少部分顶点分别对应的第一坐标信息与初始顶点法线,以及所述代理模型的第二坐标信息;
第一顶点法线确定子模块,用于根据所述第一坐标信息与所述第二坐标信息,确定针对所述初始顶点法线的目标顶点法线;
第一脸部模型调整子模块,用于根据所述目标顶点法线与所述法线调整系数,对所述至少部分顶点的初始顶点法线进行调整,获得目标脸部模型。
在本发明的一种可选实施例中,所述法线调整系数包括第一调整模式下的第一修改系数,所述目标顶点法线确定子模块具体用于:
按照所述第一修改系数,将所述目标顶点法线与所述初始顶点法线进行相加,获得所述至少部分顶点的顶点法线结果;
根据所述顶点法线结果对所述至少部分顶点的初始顶点法线进行调整,获得目标脸部模型。
在本发明的一种可选实施例中,所述目标顶点法线确定子模块具体用于:
将所述第一修改系数与所述目标顶点法线相乘,获得与所述第一修改系数对应的修改结果;
将所述修改结果与所述初始顶点法线相加,获得所述至少部分顶点的顶点法线结果。
在本发明的一种可选实施例中,所述法线调整系数包括第二调整模式下的第二修改系数,所述脸部模型调整模块604包括:
第二顶点法线确定子模块,用于按照所述第二修改系数,对所述初始顶点法线与所述目标顶点法线进行插值计算,获得所述至少部分顶点的顶点法线结果;
第二脸部模型调整子模块,用于根据所述顶点法线结果对所述至少部分顶点的初始顶点法线进行调整,获得目标脸部模型。
在本发明的一种可选实施例中,所述装置还包括:
修改记录生成模块,用于获取针对所述目标区域进行顶点法线调整的操作信息,生成针对所述初始脸部模型的修改记录。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明实施例还提供了一种电子设备,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述电子设备执行本发明实施例所述的方法。
本发明实施例还提供了一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行本发明实施例所述的方法。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种虚拟角色脸部模型的处理方法和一种虚拟角色脸部模型的处理装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种虚拟角色脸部模型的处理方法,其特征在于,包括:
获取初始脸部模型的目标网格拓扑结构;
根据所述目标网格拓扑结构,获得所述初始脸部模型中待调整的目标区域;
获取针对所述初始脸部模型的代理模型,以及针对所述目标区域的法线调整系数,所述法线调整系数为通过所述代理模型对所述目标区域中顶点进行法线调整的程度;其中,所述代理模型为数字内容创建工具中创建的参考代理体;
根据所述代理模型与所述法线调整系数,对所述目标区域进行顶点法线调整,获得目标脸部模型;
其中,所述根据所述代理模型与所述法线调整系数,对所述目标区域进行顶点法线调整,获得目标脸部模型,包括:
获取所述目标区域中至少部分顶点分别对应的第一坐标信息与初始顶点法线,以及所述代理模型的第二坐标信息;
根据所述第一坐标信息与所述第二坐标信息,确定针对所述初始顶点法线的目标顶点法线;其中,所述目标顶点法线的朝向通过调整所述代理模型的位置确定;
根据所述目标顶点法线与所述法线调整系数,对所述至少部分顶点的初始顶点法线进行调整,获得目标脸部模型。
2.根据权利要求1所述的方法,其特征在于,所述获取初始脸部模型的目标网格拓扑结构,包括:
获取初始脸部模型的光影特征,以及初始网格拓扑结构;
根据所述光影特征对所述初始网格拓扑结构进行调整,获得目标网格拓扑结构。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标网格拓扑结构,获得所述初始脸部模型中待调整的目标区域,包括:
根据所述目标网格拓扑结构对所述初始脸部模型的顶点进行顶点色设置;
根据所述初始脸部模型的顶点的顶点色,获得所述初始脸部模型中待调整的目标区域。
4.根据权利要求1所述的方法,其特征在于,所述法线调整系数包括第一调整模式下的第一修改系数,所述根据所述目标顶点法线与所述法线调整系数,对所述初始顶点法线进行调整,获得目标脸部模型,包括:
按照所述第一修改系数,将所述目标顶点法线与所述初始顶点法线进行相加,获得所述至少部分顶点的顶点法线结果;
根据所述顶点法线结果对所述至少部分顶点的初始顶点法线进行调整,获得目标脸部模型。
5.根据权利要求4所述的方法,其特征在于,所述按照所述第一修改系数,将所述目标顶点法线分别与对应顶点的初始顶点法线进行相加,获得顶点法线结果,包括:
将所述第一修改系数与所述目标顶点法线相乘,获得与所述第一修改系数对应的修改结果;
将所述修改结果与所述初始顶点法线相加,获得所述至少部分顶点的顶点法线结果。
6.根据权利要求1所述的方法,其特征在于,所述法线调整系数包括第二调整模式下的第二修改系数,所述根据所述目标顶点法线与所述法线调整系数,对所述初始顶点法线进行调整,获得目标脸部模型,包括:
按照所述第二修改系数,对所述初始顶点法线与所述目标顶点法线进行插值计算,获得所述至少部分顶点的顶点法线结果;
根据所述顶点法线结果对所述至少部分顶点的初始顶点法线进行调整,获得所述目标脸部模型。
7.根据权利要求1所述的方法,其特征在于,所述根据所述代理模型与所述法线调整系数,对所述目标区域进行顶点法线调整的过程中包括:
获取针对所述目标区域进行顶点法线调整的操作信息,生成针对所述初始脸部模型的修改记录。
8.一种虚拟角色脸部模型的处理装置,其特征在于,包括:
网格拓扑结构获取模块,用于获取初始脸部模型的目标网格拓扑结构;
目标区域获得模块,用于根据所述目标网格拓扑结构,获得所述初始脸部模型中待调整的目标区域;
模型调整信息获取模块,用于获取针对所述初始脸部模型的代理模型,以及针对所述目标区域的法线调整系数,所述法线调整系数为通过所述代理模型对所述目标区域中顶点进行法线调整的程度;其中,所述代理模型为数字内容创建工具中创建的参考代理体;
脸部模型调整模块,用于根据所述代理模型与所述法线调整系数,对所述目标区域进行顶点法线调整,获得目标脸部模型;
其中,所述脸部模型调整模块,包括:
坐标与法线获取子模块,用于获取所述目标区域中至少部分顶点分别对应的第一坐标信息与初始顶点法线,以及所述代理模型的第二坐标信息;
第一顶点法线确定子模块,用于根据所述第一坐标信息与所述第二坐标信息,确定针对所述初始顶点法线的目标顶点法线;其中,所述目标顶点法线的朝向通过调整所述代理模型的位置确定;
第一脸部模型调整子模块,用于根据所述目标顶点法线与所述法线调整系数,对所述至少部分顶点的初始顶点法线进行调整,获得目标脸部模型。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;和
其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1-7任一项所述的方法。
10.一个或多个机器可读介质,其上存储有指令,当由一个或多个处理器执行时,使得所述处理器执行如权利要求1-7任一项所述的方法。
CN202010648735.0A 2020-07-07 2020-07-07 一种虚拟角色脸部模型的处理方法和装置 Active CN111768488B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010648735.0A CN111768488B (zh) 2020-07-07 2020-07-07 一种虚拟角色脸部模型的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010648735.0A CN111768488B (zh) 2020-07-07 2020-07-07 一种虚拟角色脸部模型的处理方法和装置

Publications (2)

Publication Number Publication Date
CN111768488A CN111768488A (zh) 2020-10-13
CN111768488B true CN111768488B (zh) 2023-12-29

Family

ID=72725534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010648735.0A Active CN111768488B (zh) 2020-07-07 2020-07-07 一种虚拟角色脸部模型的处理方法和装置

Country Status (1)

Country Link
CN (1) CN111768488B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113781653B (zh) * 2021-08-17 2022-09-23 北京百度网讯科技有限公司 对象模型生成方法、装置、电子设备及存储介质
CN115984506A (zh) * 2021-10-15 2023-04-18 华为技术有限公司 建立模型的方法和相关装置
CN114782645B (zh) * 2022-03-11 2023-08-29 科大讯飞(苏州)科技有限公司 虚拟数字人制作方法、相关设备及可读存储介质
CN114723890A (zh) * 2022-04-12 2022-07-08 北京字跳网络技术有限公司 虚拟对象的生成方法、装置、可读介质和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095937A (ja) * 2009-10-28 2011-05-12 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
CN108010119A (zh) * 2017-11-23 2018-05-08 网易(杭州)网络有限公司 阴影区域的调整方法、装置、存储介质、处理器及终端
CN109377563A (zh) * 2018-11-29 2019-02-22 广州市百果园信息技术有限公司 一种人脸网格模型的重建方法、装置、设备和存储介质
CN109395390A (zh) * 2018-10-26 2019-03-01 网易(杭州)网络有限公司 游戏角色脸部模型的处理方法、装置、处理器及终端
CN109523604A (zh) * 2018-11-14 2019-03-26 珠海金山网络游戏科技有限公司 一种虚拟脸型生成方法、装置、电子设备以及存储介质
CN110490958A (zh) * 2019-08-22 2019-11-22 腾讯科技(深圳)有限公司 动画绘制方法、装置、终端及存储介质
CN110517340A (zh) * 2019-08-30 2019-11-29 腾讯科技(深圳)有限公司 一种基于人工智能的脸部模型确定方法和装置
CN110648384A (zh) * 2019-06-19 2020-01-03 北京巴别时代科技股份有限公司 卡通风格化渲染方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810590B2 (en) * 2008-07-11 2014-08-19 Advanced Micro Devices, Inc. Method and apparatus for spatial binning on a GPU and global path planning to avoid spatially binned objects
US8731876B2 (en) * 2009-08-21 2014-05-20 Adobe Systems Incorporated Creating editable feature curves for a multi-dimensional model
WO2018195485A1 (en) * 2017-04-21 2018-10-25 Mug Life, LLC Systems and methods for automatically creating and animating a photorealistic three-dimensional character from a two-dimensional image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011095937A (ja) * 2009-10-28 2011-05-12 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
CN108010119A (zh) * 2017-11-23 2018-05-08 网易(杭州)网络有限公司 阴影区域的调整方法、装置、存储介质、处理器及终端
CN109395390A (zh) * 2018-10-26 2019-03-01 网易(杭州)网络有限公司 游戏角色脸部模型的处理方法、装置、处理器及终端
CN109523604A (zh) * 2018-11-14 2019-03-26 珠海金山网络游戏科技有限公司 一种虚拟脸型生成方法、装置、电子设备以及存储介质
CN109377563A (zh) * 2018-11-29 2019-02-22 广州市百果园信息技术有限公司 一种人脸网格模型的重建方法、装置、设备和存储介质
CN110648384A (zh) * 2019-06-19 2020-01-03 北京巴别时代科技股份有限公司 卡通风格化渲染方法
CN110490958A (zh) * 2019-08-22 2019-11-22 腾讯科技(深圳)有限公司 动画绘制方法、装置、终端及存储介质
CN110517340A (zh) * 2019-08-30 2019-11-29 腾讯科技(深圳)有限公司 一种基于人工智能的脸部模型确定方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨振 ; 董洪伟 ; 杜星悦 ; .基于单张图像的三维人脸重建.传感器与微***.2018,(第08期),147-149+153. *

Also Published As

Publication number Publication date
CN111768488A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN111768488B (zh) 一种虚拟角色脸部模型的处理方法和装置
CN109377546B (zh) 虚拟现实模型渲染方法及装置
CN108236783B (zh) 游戏场景中模拟光照的方法、装置、终端设备及存储介质
JP3294149B2 (ja) 立体テクスチャマッピング処理装置及びそれを用いた3次元画像生成装置
US8482569B2 (en) Mesh transfer using UV-space
US9183654B2 (en) Live editing and integrated control of image-based lighting of 3D models
CN115049811B (zh) 一种数字孪生虚拟三维场景的编辑方法、***及存储介质
WO2000054224A1 (en) Method and apparatus for processing images
CN113034662B (zh) 虚拟场景渲染方法、装置、存储介质及电子设备
CN112257657A (zh) 脸部图像融合方法及装置、存储介质、电子设备
US7508390B1 (en) Method and system for implementing real time soft shadows using penumbra maps and occluder maps
CN113240783B (zh) 风格化渲染方法和装置、可读存储介质、电子设备
CN112734896B (zh) 环境遮蔽渲染方法、装置、存储介质及电子设备
US20200005537A1 (en) Real-time collision deformation
US8847963B1 (en) Systems and methods for generating skin and volume details for animated characters
US9659396B1 (en) Clothwarp rigging cloth
CN111402385B (zh) 一种模型处理的方法及装置、电子设备、存储介质
US9317967B1 (en) Deformation of surface objects
CN110378948B (zh) 3d模型重建方法、装置及电子设备
Mattausch et al. Freeform shadow boundary editing
CN116843809A (zh) 针对虚拟角色的处理方法和装置
KR20130052241A (ko) 사용자 스케치기반 지형 저작 시스템 및 방법
CN113034350B (zh) 一种植被模型的处理方法和装置
US8786611B1 (en) Sliding skin deformer
CN114494545A (zh) 一种在3d场景中模拟雾天的实现方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant