CN108509846B - 图像处理方法、装置、计算机设备、存储介质及计算机程序产品 - Google Patents

图像处理方法、装置、计算机设备、存储介质及计算机程序产品 Download PDF

Info

Publication number
CN108509846B
CN108509846B CN201810134026.3A CN201810134026A CN108509846B CN 108509846 B CN108509846 B CN 108509846B CN 201810134026 A CN201810134026 A CN 201810134026A CN 108509846 B CN108509846 B CN 108509846B
Authority
CN
China
Prior art keywords
face
face image
image
makeup
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810134026.3A
Other languages
English (en)
Other versions
CN108509846A (zh
Inventor
张子鋆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810134026.3A priority Critical patent/CN108509846B/zh
Publication of CN108509846A publication Critical patent/CN108509846A/zh
Application granted granted Critical
Publication of CN108509846B publication Critical patent/CN108509846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种图像处理方法、装置、计算机设备、存储介质及计算机程序产品，其中，方法包括：获取第一用户的人脸处于未上妆状态时第一人脸图像和处于上妆状态时的第二人脸图像；分别提取第一人脸图像的第一人脸特征点和第二人脸图像的第二人脸特征点；根据预设的参考人脸特征点和第一人脸特征点、第二人脸特征点，分别对第一人脸图像和第二人脸图像进行形变得到第一映射人脸图像和第二映射人脸图像；根据第一映射人脸图像和第二映射人脸图像，提取第一用户的妆容信息；将妆容信息应用到选择的目标人脸上,得到上妆后的目标人脸图像。通过本方法，能够为不同的用户提供符合用户审美标准的妆容素材，满足用户的个性化需求，提高妆容素材的针对性和真实性。

Description

图像处理方法、装置、计算机设备、存储介质及计算机程序 产品
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、计算机设备、存储介质及计算机程序产品。
背景技术
目前，美图软件的功能越来越丰富，不仅可以拼图、美颜、增加特效等，有些美图软件还提供美妆功能。比如，天天P图的美妆功能具有美颜、大眼、瘦脸、亮眼、粉底、唇彩、眼影、染发等能力。
现有的美妆功能多是通过将上妆用的颜色或素材切图(如图1所示)与待上妆的人脸图像进行贴合实现的。由于美图软件提供的妆容图像的素材切图往往较为夸张，真实性较低，导致美妆后的人脸图像与素颜的人脸图像差别较大，美妆后的人脸图像明显是美化后的图像，缺乏真实感，并且可能不符合用户的期望。利用贴合方式进行美妆，还可能存在妆容漂移、妆容图像与人脸图像尺寸不匹配的问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种图像处理方法，通过获取用户未上妆时的第一人脸图像以及上妆时的第二人脸图像，分别提取第一人脸图像的第一人脸特征点和第二人脸图像的第二人脸特征点，并参照预设的参考人脸特征点进行形变分别得到第一映射人脸图像和第二映射人脸图像，根据第一映射人脸图像和第二映射人脸图像提取出用户的妆容信息，能够为不同的用户提供符合用户审美标准的妆容素材，满足用户的个性化需求，提高妆容素材的针对性和真实性。
本发明的第二个目的在于提出一种图像处理装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的，本发明第一方面实施例提出了一种图像处理方法，包括：
获取第一人脸图像和第二人脸图像，其中，所述第一人脸图像为在第一用户的人脸处于未上妆状态时采集的图像，所述第二人脸图像为所述第一用户的人脸处于上妆状态时采集的图像；
分别提取所述第一人脸图像的第一人脸特征点和所述第二人脸图像的第二人脸特征点；
根据预设的参考人脸特征点和所述第一人脸特征点，对所述第一人脸图像进行形变，生成第一映射人脸图像；
根据所述参考人脸特征点和所述第二人脸特征点，对所述第二人脸图像进行形变，生成第二映射人脸图像；
根据所述第一映射人脸图像和第二映射人脸图像，提取所述第一用户的妆容信息；
选择目标人脸,并将第一用户的妆容信息应用到所述目标人脸上,得到上妆后的目标人脸图像。
本发明实施例的图像处理方法，通过获取第一用户的人脸处于未上妆状态时第一人脸图像和处于上妆状态时的第二人脸图像，分别提取第一人脸图像的第一人脸特征点和第二人脸图像的第二人脸特征点，根据预设的参考人脸特征点和第一人脸特征点以及第二人脸特征点，对第一人脸图像和第二人脸图像进行形变，生成第一映射人脸图像和第二映射人脸图像，根据第一映射人脸图像和第二映射人脸图像，提取第一用户的妆容信息，将第一用户的妆容信息应用到选择的目标人脸上，得到上妆后的目标人脸图像。通过从用户的人脸处于上妆状态的图像中提取出妆容信息供用户选择，使得妆容信息更切合实际，从而能够为不同的用户提供符合用户审美标准的妆容素材，满足用户的个性化需求，提高妆容素材的针对性和真实性，解决现有技术中素材夸张、真实性低、美妆后的图像不符合用户预期的技术问题。
为达上述目的，本发明第二方面实施例提出了一种图像处理装置，包括：
图像获取模块，用于获取第一人脸图像和第二人脸图像，其中，所述第一人脸图像为在第一用户的人脸处于未上妆状态时采集的图像，所述第二人脸图像为所述第一用户的人脸处于上妆状态时采集的图像；
特征点提取模块，用于分别提取所述第一人脸图像的第一人脸特征点和所述第二人脸图像的第二人脸特征点；
映射模块，用于根据预设的参考人脸特征点和所述第一人脸特征点，对所述第一人脸图像进行形变，生成第一映射人脸图像，以及根据所述参考人脸特征点和所述第二人脸特征点，对所述第二人脸图像进行形变，生成第二映射人脸图像；
妆容提取模块，用于根据所述第一映射人脸图像和第二人脸映射图像，提取所述第一用户的妆容信息；
上妆模块，用于选择目标人脸,并将第一用户的妆容信息应用到所述目标人脸上,得到上妆后的目标人脸图像。
本发明实施例的图像处理装置，通过获取第一用户的人脸处于未上妆状态时第一人脸图像和处于上妆状态时的第二人脸图像，分别提取第一人脸图像的第一人脸特征点和第二人脸图像的第二人脸特征点，根据预设的参考人脸特征点和第一人脸特征点以及第二人脸特征点，对第一人脸图像和第二人脸图像进行形变，生成第一映射人脸图像和第二映射人脸图像，根据第一映射人脸图像和第二映射人脸图像，提取第一用户的妆容信息，将第一用户的妆容信息应用到选择的目标人脸上，得到上妆后的目标人脸图像。通过从用户的人脸处于上妆状态的图像中提取出妆容信息供用户选择，使得妆容信息更切合实际，从而能够为不同的用户提供符合用户审美标准的妆容素材，满足用户的个性化需求，提高妆容素材的针对性和真实性，解决现有技术中素材夸张、真实性低、美妆后的图像不符合用户预期的技术问题。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的图像处理方法。
为达上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的图像处理方法。
为达上述目的，本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时实现如第一方面实施例所述的图像处理方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为现有的美妆素材切图示意图；
图2为本发明实施例所提供的第一种图像处理方法的流程示意图；
图3为本发明实施例所提供的第二种图像处理方法的流程示意图；
图4为本发明实施例所提供的第三种图像处理方法的流程示意图；
图5为本发明实施例所提供的第四种图像处理方法的流程示意图；
图6为本发明实施例所提供的第五种图像处理方法的流程示意图；
图7为脸型与妆容信息映射表的示例图；
图8为实现本发明实施例的图像处理方法的装置结构示意图；
图9为带有人像轮廓引导图像的取景器的示例图；
图10为人脸分析器提取人脸特征点的示例图；
图11为本发明实施例所提供的第一种图像处理装置的结构示意图；
图12为本发明实施例所提供的第二种图像处理装置的结构示意图；
图13为本发明实施例所提供的第三种图像处理装置的结构示意图；
图14为本发明实施例所提供的第四种图像处理装置的结构示意图；
图15为本发明实施例所提供的第五种图像处理装置的结构示意图；以及
图16为本发明实施例所提供的计算机设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的图像处理方法、装置、计算机设备、存储介质及计算机程序产品。
现有的美妆功能多是采用预设的妆容素材为用户的人脸图像进行上妆，容易出现与妆容素材的尺寸与人脸图像中人脸的尺寸不匹配的情形，上妆效果较差。多数用户在日常生活中的妆容一般较淡，而预设的妆容素材往往比较夸张，不符合用户的日常生活所需，美妆后的人脸图像通常无法满足用户预期，真实感较差。
针对上述问题，本发明实施例提供了一种图像处理方法，通过从用户的上妆图像中提取出妆容信息作为妆容素材供用户使用，能够实现为用户提供符合用户上妆习惯和审美标准的妆容素材，使得美妆后的人脸图像符合用户期望，提升用户体验。
图2为本发明实施例所提供的第一种图像处理方法的流程示意图。
如图2所示，该图像处理方法包括以下步骤：
步骤101，获取第一人脸图像和第二人脸图像，其中，第一人脸图像为在第一用户的人脸处于未上妆状态时采集的图像，第二人脸图像为第一用户的人脸处于上妆状态时采集的图像。
大多数女性用户在日常生活中会有化妆的***时工作时的妆容比较淡，出席晚会时的妆容相对平时要重一些。
目前的电子设备几乎都具有相机功能，且相机的功能也较为丰富，比如具有滤镜、美颜、特效等功能，用户也越来越喜欢使用电子设备的相机功能进行拍照，尤其是女性用户，且随时随地可以拍照。比如，用户觉得自己今天的妆容特别美，打开电子设备的相机拍张自拍照；再比如，用户外出游玩时，拍摄与景点的合照作为纪念。用户的电子设备中可能存储有很多用户的照片，比如用户自己的独照、自拍照、与他人的合照等，从而，本实施例中，可以从用户的电子设备的相册中获取不同的图像。
具体地，可以获取在第一用户的人脸处于未上妆状态时采集的图像作为第一人脸图像，获取在第一用户的人脸处于上妆状态时采集的图像作为第二人脸图像。其中，第一用户可以是电子设备的持有者，也可以是持有者的亲友。
此处需要说明的是，获取的第一用户的第一人脸图像可以为一张，获取的第二人脸图像可以为多张，以获取第一用户的人脸处于不同妆容状态时的图像。
步骤102，分别提取第一人脸图像的第一人脸特征点和第二人脸图像的第二人脸特征点。
本实施例中，可以采用相关的人脸特征点提取算法，分别从第一人脸图像中提取出第一人脸图像的第一人脸特征点，以及从第二人脸图像中提取出第二人脸图像的第二人脸特征点。比如，可以采用主动形状模型(Active Shape Model，ASM)提取人脸特征点，或者，也可以采用活动外观模型(Active Appreance Model，AAM)提取人脸图像的人脸特征点。通常，提取的人脸特征点的个数为68个、83个，甚至更多，人脸特征点能够刻画出人脸轮廓以及人脸五官的关键部位，比如眼睛、鼻子、嘴巴等。
步骤103，根据预设的参考人脸特征点和第一人脸特征点，对第一人脸图像进行形变，生成第一映射人脸图像。
其中，参考人脸特征点是对预设的参考人脸图像进行脸部特征点标定后得到的，特征点标定的方法可以与提取第一人脸特征点和第二人脸特征点的算法一致，以使对人脸图像进行形变的结果较为准确。预设的参考人脸图像可以是一张标准的模特人脸图像，用于作为输入的人脸图像进行三角划分与贴合的参照对象。
本实施例中，提取出第一人脸特征点之后，可以根据预设的参考人脸特征点和第一人脸特征点对第一人脸图像进行形变，得到第一映射人脸图像。
作为一种可能的实现方式，可以先采用相关的三角剖分算法，基于第一人脸特征点对用户的人脸进行三角剖分，形成多个三角区域。相应地，基于参考人脸特征点对参考人脸进行三角剖分，形成多个三角区域。用户人脸上的三角区域，与参考人脸上的三角区域是一一对应的。进一步地，利用参考人脸特征点构成的每个三角区域，对第一人脸特征点构成的存在对应关系的三角区域进行映射发生形变，当每个三角区域形变后，就可以得到一个形变后的第一人脸图像，将形变后的第一人脸图像作为第一映射人脸图像。以鼻子上的特征点构成的三角区域为例，用户人脸上的鼻子三角区域，大于参考人脸上的鼻子三角区域，在形变的过程中，可以对用户人脸上的鼻子三角区域进行一个缩小的形变，得到变小后的鼻子三角区域，使得用户人脸上的鼻子在参考人脸上的鼻子的约束下变小了。
此处需要说明的是，三角剖分算法为现有技术中较为成熟的剖分算法，比如常用的Delaunay三角剖分算法，为避免赘余，本发明对此不作详细说明。
步骤104，根据参考人脸特征点和第二人脸特征点，对第二人脸图像进行形变，生成第二映射人脸图像。
采用与生成第一映射人脸图像的方法相同的方法，从第二人脸图像中提取出第二人脸特征点之后，可以根据参考人脸特征点和第二人脸特征点对第二人脸图像进行形变，得到第二映射人脸图像。
步骤105，根据第一映射人脸图像和第二映射人脸图像，提取第一用户的妆容信息。
第一映射人脸图像是基于第一用户的人脸处于未上妆状态时采集的图像得到的，第二映射人脸图像是基于第一用户的人脸处于上妆状态时采集的图像得到的，从而，本实施例中，获得第一映射人脸图像和第二映射人脸图像之后，可以进一步根据第一映射人脸图像和第二映射人脸图像，提取出第一用户的妆容信息。其中，妆容信息中可以包括因上妆而引起的人脸图像的颜色和光照反射的变化情况。
作为一种可能的实现方式，可以分别从第一映射人脸图像和第二映射人脸图像中提取出相同像素点的像素值，进而将从第二映射人脸图像中提取出的像素值与从第一映射人脸图像中提取出的对应像素点的像素值做比值，将所得比值作为第一用户的妆容信息。
作为一种可能的实现方式，可以分别从第一映射人脸图像和第二映射人脸图像中提取出相同像素点的像素值，进而将从第二映射人脸图像中提取出的像素值与从第一映射人脸图像中提取出的对应像素点的像素值做差，将所得差值作为第一用户的妆容信息。
步骤106，选择目标人脸,并将第一用户的妆容信息应用到目标人脸上,得到上妆后的目标人脸图像。
本实施例中，提取出第一用户的妆容信息之后，即可利用提取的妆容信息为待上妆的图像进行上妆。在进行上妆时，可以先确定待上妆的人脸作为目标人脸，再通过摄像头拍摄包含目标人脸的图像，或者从电子设备的图库中选择一张包含目标人脸的图像，并从图像中提取出目标人脸，进而将第一用户的妆容信息应用到目标人脸上，得到上妆后的目标人脸图像。
可选地，当从图像中提取出的人脸为多个时，可以从多个人脸中选择一个作为目标人脸，进而将第一用户的妆容信息应用到目标人脸上，得到上妆后的目标人脸图像。
本实施例的图像处理方法，通过获取第一用户的人脸处于未上妆状态时第一人脸图像和处于上妆状态时的第二人脸图像，分别提取第一人脸图像的第一人脸特征点和第二人脸图像的第二人脸特征点，根据预设的参考人脸特征点和第一人脸特征点以及第二人脸特征点，对第一人脸图像和第二人脸图像进行形变，生成第一映射人脸图像和第二映射人脸图像，根据第一映射人脸图像和第二映射人脸图像，提取第一用户的妆容信息，将第一用户的妆容信息应用到选择的目标人脸上，得到上妆后的目标人脸图像。通过从用户的人脸处于上妆状态的图像中提取出妆容信息供用户选择，使得妆容信息更切合实际，从而能够为不同的用户提供符合用户审美标准的妆容素材，满足用户的个性化需求，提高妆容素材的针对性和真实性，解决现有技术中素材夸张、真实性低、美妆后的图像不符合用户预期的技术问题。
为了更加清楚地描述前述实施例中根据第一映射人脸图像和第二映射人脸图像得到第一用户的妆容信息的具体实现过程，本发明实施例提出了另一种图像处理方法，图3为本发明实施例所提供的第二种图像处理方法的流程示意图。
如图3所示，在如图2所示实施例的基础上，步骤105可以包括以下步骤：
步骤201，提取第一映射人脸图像的像素点的第一像素值。
步骤202，提取第二映射人脸图像的像素点的第二像素值。
本实施例中，获得第一映射人脸图像和第二映射人脸图像之后，可以从第一映射人脸图像中提取出各个像素点的第一像素值，以及从第二映射人脸图像中提取出各个像素点的第二像素值。
步骤203，针对每个对应的像素点，将对应的像素点的第二像素值和第一像素值做比值，将比值作为对应的像素点的妆容参数。
第一映射人脸图像和第二映射人脸图像是由第一人脸图像和第二人脸图像根据同一个参考人脸特征点进行形变后得到的，第一映射人脸图像和第二映射人脸图像中的像素点应当是一一对应的。从而，本实施例中，可以针对第一映射人脸图像和第二映射人脸图像中每一个对应的像素点，将对应的像素点的第二像素值和第一像素值做比值，将所得的各个比值作为对应的像素点的妆容参数。
假设第一映射人脸图像为A，第二映射人脸图像为A’，则每个对应的像素点的妆容信息可以用公式(1)表示。
cp＝a'p/ap (1)
其中，a'p表示第二映射人脸图像A’中像素点p的像素值，即第二像素值，ap表示第一映射人脸图像A中像素点p的像素值，即第一像素值；cp表示像素点p处的妆容参数。
步骤204，利用每个对应像素点的妆容参数，构成第一用户的妆容信息。
本实施例中，确定了第一映射人脸图像和第二映射人脸图像中每个对应的像素点的妆容参数之后，可以利用所有像素点的妆容参数构成第一用户的妆容信息。
具体地，可以将每个对应像素点的妆容参数的集合作为第一用户的妆容信息。假设第一用户的妆容信息用集合C表示，则C中的元素为像素点p处的妆容参数cp。
本实施例的图像处理方法，通过从第一映射人脸图像和第二映射人脸图像中提取对应像素点的第一像素值和第二像素值，针对每个对应的像素点，将对应的像素点的第二像素值和第一像素值做比值，将比值作为对应的像素点的妆容参数，利用每个对应像素点的妆容参数，构成第一用户的妆容信息，能够获得针对第一用户的妆容素材，使得用户利用妆容素材对人脸图像进行上妆后能够获得符合期望的妆容图像，提升用户体验。
图4为本发明实施例所提供的第三种图像处理方法的流程示意图。
如图4所示，该图像处理方法可以包括以下步骤：
步骤301，获取第一人脸图像和第二人脸图像，其中，第一人脸图像为在第一用户的人脸处于未上妆状态时采集的图像，第二人脸图像为第一用户的人脸处于上妆状态时采集的图像。
步骤302，分别提取第一人脸图像的第一人脸特征点和第二人脸图像的第二人脸特征点。
需要说明的是，本实施例中对步骤301-步骤302的描述可以参见前述实施例中对步骤101-步骤102的描述，为避免重复，此处不再赘述。
步骤303，对第一人脸图像进行人脸识别，得到第一用户的第一脸型。
具体地，可以采用相关的人脸识别技术对第一人脸图像进行人脸识别，从第一人脸图像中识别出人脸，并确定人脸的轮廓数据，进而根据人脸的轮廓数据确定第一用户的第一脸型。
作为一种示例，可以在电子设备中预先设置并存储脸型与脸部的轮廓数据的对应关系，进而在确定了第一用户的人脸的轮廓数据之后，通过查询对应关系，确定第一用户的第一脸型。
步骤304，从预设的多个候选参考人脸图像中，选取与第一脸型相似的一个候选参考人脸图像作为参考人脸图像。
其中，预设的候选参考人脸图像可以是根据不同的脸型设置的标准人脸图像，比如，预先存储瓜子脸型、鹅蛋脸型、圆脸脸型、国字脸脸型等不同脸型的人脸图像作为候选参考人脸图像。
进而，本实施例中，确定了第一用户的第一脸型之后，可以根据第一脸型，从预设的多个候选参考人脸图像中选取与第一脸型相似的一个候选参考人脸图像作为参考人脸图像。
作为一种可能的实现方式，可以针对每个候选参考人脸图像，采用相关的人脸识别技术对候选参考人脸图像进行人脸识别，得到每个候选参考人脸图像的第二脸型，进而将第二脸型与第一脸型进行比较，将与第一脸型一致的第二脸型对应的候选参考人脸图像作为参考人脸图像。
作为一种可能的实现方式，可以预先存储每个候选参考人脸图像与匹配的第二脸型的对应关系，进而根据第一脸型查询对应关系，确定与第一脸型一致的第二脸型对应的候选参考人脸图像作为参考人脸图像。
步骤305，对预设的参考人脸图像进行特征点标定，得到参考人脸特征点。
具体地，可以采用相关的特征点提取算法(比如ASM算法、AAM算法等)对参考人脸图像进特征点标定，得到参考人脸特征点。
此处需要说明的是，步骤303-步骤305可以在获取了第一人脸图像之后，以及生成映射人脸图像之前的任意时刻执行，本实施例中仅以步骤303-步骤305在步骤302之后执行为例进行解释说明本发明，而不能作为对本发明的限制。
步骤306，基于三角剖分算法，在参考人脸特征点和第一人脸特征点的约束下，对第一人脸图像和参考人脸图像进行人脸纹理映射，得到第一映射人脸图像。
其中，参考人脸图像为与参考人脸特征点对应的人脸图像。
例如，可以先采用Delaunay三角剖分算法将第一人脸特征点和参考人脸特征点中的空间点连接为三角形，三角剖分的原则是任何三角形的外接圆均不包括任何其他顶点。Delaunay三角剖分算法的步骤为：
(1)构造一个三角形区域，该区域包含所有人脸特征点，并将构造的三角形***至三角形链表中；
(2)依次***新的人脸特征点，在当前三角形链表中查找出外接圆区域包含新***人脸特征点的所有三角形，这些三角形被称为影响三角形；
(3)删除影响三角形的公共边，连接影响三角形的所有顶点和新***的人脸特征点，形成新的三角形，并将新形成的三角形***至三角形链表中；
(4)重复执行步骤(2)，直至所有的人脸特征点***完毕。
使用Delaunay三角剖分算法对第一人脸特征点和参考人脸特征点进行三角划分后，第一人脸特征点和参考人脸特征点被划分为一系列三角形，且第一人脸特征点和参考人脸特征点中的三角形是相互对应的，可以在参考人脸特征点和第一人脸特征点的约束下，采用相关的人脸文理映射方法对第一人脸图像和参考人脸图像进行人脸纹理映射，使得第一人脸图像发生形变，并映射至参考人脸图像上，得到第一映射人脸图像。
步骤307，在参考人脸特征点和第二人脸特征点的约束下，基于三角剖分算法，对第二人脸图像和参考人脸图像进行人脸纹理映射，得到第二映射人脸图像。
本实施例中，采用获取第一映射人脸图像相同的方法，可以得到第二映射人脸图像，其实现原理类似，此处不再赘述。
步骤308，根据第一映射人脸图像和第二映射人脸图像，提取第一用户的妆容信息。
步骤309，选择目标人脸,并将第一用户的妆容信息应用到目标人脸上,得到上妆后的目标人脸图像。
需要说明的是，本实施例中对步骤308-步骤309的描述可以参见前述实施例中对步骤105-步骤106的描述，为避免重复，此处不再赘述。
本实施例的图像处理方法，通过对获取的第一人脸图像进行人脸识别得到第一用户的第一脸型，根据第一脸型从预设的多个候选参考人脸图像中选择与第一脸型相似的一个候选参考人脸图像作为参考人脸图像，能够获得与用户脸型相似的人脸图像作为参考人脸图像，为将第一人脸图像向参考人脸图像映射奠定了基础，能够降低映射难度。通过对参考人脸图像进行特征点标定得到参考人脸特征点，基于三角剖分算法，在参考人脸特征点和第一人脸特征点以及第二人脸特征点的约束下，分别得到第一映射人脸图像和第二映射人脸图像，进而根据第一映射人脸图像和第二映射人脸图像提取出第一用户的妆容信息，能够获得符合用户上妆习惯的妆容素材，针对性强，且更加真实。
本发明实施例中，提取出第一用户的妆容信息之后，可以利用妆容信息作为妆容素材为待上妆的人脸图像进行上妆，以使得上妆后的人脸图像能够符合用户的期望，提高上妆后人脸图像的真实感。为了更加清楚地描述前述实施例中选择目标人脸，并将第一用户的妆容信息应用到目标人脸上，得到上妆后的目标人脸图像的具体实现过程，本发明实施例提出了另一种图像处理方法，图5为本发明实施例所提供的第四种图像处理方法的流程示意图。
如图5所示，在前述实施例的基础上，选择目标人脸,并将第一用户的妆容信息应用到目标人脸上,得到上妆后的目标人脸图像，可以包括以下步骤：
步骤401，获取待上妆的目标人脸的第三人脸图像。
当用户想要获得某一人脸的上妆图像时，可以将该人脸作为目标人脸，从电子设备的相册中选择一张包含目标人脸的待上妆的人脸图像作为第三人脸图像。其中，第三人脸图像是相册中存储的任意一张包含目标人脸的照片，可以是第一用户的人脸图像，也可以是她人的人脸图像，也就是说，目标人脸可以是用户本人的人脸，也可以是她人的人脸。为了保证上妆效果，提高妆容迁移的还原度，优选地，第三人脸图像为用户选择的包含第一用户人脸的人脸图像。
当用户想要对自己的照片进行上妆时，用户除了可以从相册中选择自己的照片之外，还可以开启电子设备中相机的自拍功能，通过拍摄获取待上妆的包含自身人脸的第三人脸图像。优选地，为了获得较好的上妆效果，在拍摄时，可以在相机的拍摄界面中向用户显示拍摄引导曲线，通过拍摄引导曲线来引导用户以正确的姿态拍照，提醒用户将头像尽可能放置在拍摄引导曲线内，以获取用户的正脸头像照作为第三人脸图像。
步骤402，提取第三人脸图像的第三人脸特征点。
比如，可以采用ASM算法、AAM算法等对第三人脸图像进行特征点标定，以提取出第三人脸特征点。
步骤403，根据参考人脸特征点和第三人脸特征点，对第三人脸图像进行形变，生成第三映射人脸图像。
本实施例中，提取出第三人脸特征点之后，可以采用与前述实施例中所述的获取第一映射人脸图像的方法相同的方法，根据参考人脸特征点和第三人脸特征点，对第三人脸图像进行形变，生成第三映射人脸图像，为避免重复，此处不再对获取第三映射人脸图像的具体过程进行详细描述。
步骤404，利用妆容信息，对第三映射人脸图像进行上妆处理，得到第四人脸图像。
作为一种可能的实现方式，当构成妆容信息的妆容参数是第二像素值和第一像素值的比值时，利用妆容信息对第三映射人脸图像进行上妆处理时，可以先获取第三映射人脸图像中每个像素点的第三像素值，针对每个像素点，将第三像素值与妆容信息中对应像素点的妆容参数进行相乘，得到像素点的第四像素值，进而利用所有像素点的第四像素值，生成第四人脸图像。
假设第三映射人脸图像为B，第四人脸图像为B’，则B’中的像素点p处的第四像素值可以用公式(2)计算得到。
b'p＝cp*bp (2)
其中，bp表示第三映射人脸图像B中像素点p处的像素值，即第三像素值，cp表示妆容信息C中像素点p处的妆容参数，b'p表示第三人脸图像中像素点p处的像素值，即第四像素值，b'p的集合构成第四人脸图像B’。应当理解，B’为参考人脸图像下，第三人脸图像的带妆图像。
作为一种可能的实现方式，当构成妆容信息的妆容参数是第二像素值和第一像素值的差值时，利用妆容信息对第三映射人脸图像进行上妆处理时，可以先获取第三映射人脸图像中每个像素点的第三像素值，针对每个像素点，将第三像素值与妆容信息中对应像素点的妆容参数进行相加，得到像素点的第四像素值，进而利用所有像素点的第四像素值，生成第四人脸图像。
步骤405，提取第四人脸图像的第四人脸特征点。
本实施例中，可以采用ASM算法、AAM算法等对第三人脸图像进行特征点标定，以提取出第三人脸特征点。
步骤406，根据第三人脸特征点和第四人脸特征点，对第四人脸图像进行人脸还原操作，得到上妆后的目标人脸图像。
作为一种可能的实现方式，可以针对对应的由人脸特征点构成的剖分三角，获取第三人脸特征点下剖分三角与第四人脸特征点下剖分三角之间的差异信息，进而利用差异信息调整第四人脸特征点下剖分三角的形状，生成目标人脸图像，目标人脸图像即为从参考人脸图像中还原出的人脸图像，不难理解，目标人脸图像的特征点与第三人脸图像的特征点一致，即目标人脸图像为第三人脸图像上妆后的图像。
作为一种可能的实现方式，在生成第三映射人脸图像的同时，可以记录第三人脸特征点下剖分三角相对参考人脸特征点下对应的剖分三角的形变信息，进而，根据第三人脸特征点和第四人脸特征点，对第四人脸特征点进行人脸还原操作以得到上妆后的目标人脸图像时，可以根据每个剖分三角的形变信息，对第四人脸特征点下对应的剖分三角进行反向形变，生成目标人脸图像。比如，第三人脸特征点下剖分三角相对参考人脸特征点下对应的剖分三角的形变信息为缩小一定的尺寸，则可以将第四人脸特征点下对应的剖分三角放大相同的尺寸。
通过记录第三人脸特征点下剖分三角相对参考人脸特征点下对应的剖分三角的形变信息，以根据形变信息对第四人脸特征点下对应的剖分三角进行反向变换，能够降低第四人脸图像还原操作的处理量，提高还原效率。
本实施例的图像处理方法，通过提取待上妆的第三人脸图像的第三人脸特征点，根据参考人脸特征点和第三人脸特征点对第三人脸图像进行形变生成第三映射人脸图像，利用妆容信息对第三映射人脸图像进行上妆处理得到第四人脸图像，能够为待上妆图像搭配符合用户期望的妆容，提高妆容迁移的准确度。通过提取第四人脸图像的第四人脸特征点，根据第三人脸特征点和第四人脸特征点对第四人脸图像进行人脸还原操作，得到上妆后的目标人脸图像，能够实现对待上妆图像的上妆操作，提高妆容的还原度和真实感。
用户的电子设备中可能不止存储有用户自身的照片，还可能存储有用户的亲戚朋友的照片，根据用户的电子设备中存储的照片，可以获取用户自身、用户的亲戚朋友等多个人物的多个妆容信息。由于每个人的脸型可能有所不同，从而，在本发明实施例一种可能的实现方式中，在获取待上妆的目标人脸的第三人脸图像之前，可以先建立妆容信息与第一人脸图像对应的脸型之间的映射关系，在对目标人脸进行上妆时，获取与目标人脸的脸型匹配的妆容信息为目标人脸上妆，以提高妆容信息的还原度。从而，在前述实施例的基础上，如图6所示，选择目标人脸,并将第一用户的妆容信息应用到目标人脸上,得到上妆后的目标人脸图像，还可以包括以下步骤：
步骤501，建立妆容信息与第一人脸图像对应的脸型之间的映射关系。
针对根据不同的第一用户的第一人脸图像和第二人脸图像提取出的不同的妆容信息，可以从第一人脸图像中提取出人脸的脸型，建立妆容信息与第一人脸图像对应的脸型之间的映射关系，并将映射关系存储在脸型与妆容信息映射表中，以便于后续根据脸型查询对应的妆容信息。
图7为脸型与妆容信息映射表的示例图。如图7所示，每一种脸型对应不同的妆容信息，脸型A对应妆容信息1，脸型B对应妆容信息2等，在脸型已知的情况下，通过查询映射表，能够唯一确定对应的妆容信息。
步骤502，获取待上妆的目标人脸的第三人脸图像。
步骤503，提取第三人脸图像的第三人脸特征点。
步骤504，根据参考人脸特征点和第三人脸特征点，对第三人脸图像进行形变，生成第三映射人脸图像。
需要说明的是，本实施例中对步骤502-步骤504的描述，可以参见前述实施例中对步骤401-步骤403的描述，此处不再赘述。
步骤505，对第三人脸图像进行人脸识别，得到第三人脸图像的第三脸型。
步骤506，根据第三脸型查询映射关系，得到与第三脸型匹配的妆容信息。
比如，可以采用相关的人脸识别技术对第三人脸图像进行识别，从第三人脸图像中识别出人脸，并确定人脸的轮廓数据，进而根据人脸的轮廓数据确定第三人脸图像中包含的人脸的第三脸型。进而，根据第三脸型，通过查询脸型与妆容信息的映射关系，确定与第三脸型匹配的妆容信息。
举例而言，脸型与妆容信息的映射关系如图7所示，当确定的第三脸型为脸型B时，则通过查询图7所示的脸型与妆容信息映射表，可以确定第三脸型对应的妆容信息为妆容信息2。
步骤507，利用妆容信息，对第三映射人脸图像进行上妆处理，得到第四人脸图像。
本实施例中，确定了与第三脸型匹配的妆容信息后，利用确定的妆容信息对第三映射人脸图像进行上妆处理，可以得到带妆的第四人脸图像。
步骤508，提取第四人脸图像的第四人脸特征点。
步骤509，根据第三人脸特征点和第四人脸特征点，对第四人脸图像进行人脸还原操作，得到上妆后的目标人脸图像。
需要说明的是，本实施例中对步骤508-步骤509的描述，可以参见前述实施例中对步骤405-步骤406的描述，此处不再赘述。
本实施例的图像处理方法，通过建立妆容信息与第一人脸图像对应的脸型之间的映射关系，在对待上妆的第三人脸图像进行上妆时，先确定第三人脸图像对应的脸型，进而根据脸型查询映射关系确定匹配的妆容信息，利用妆容信息对第三映射人脸图像进行上妆处理得到第四人脸图像，能够保证得到的第四人脸图像的上妆效果，提高妆容信息的还原度和上妆后人脸图像的真实度。
图8为实现本发明实施例的图像处理方法的装置结构示意图。如图8所示，该装置由取景器、人脸分析器、人脸规约映射器、人脸妆容提取器和人脸上妆器组成。其中，取景器中可以设置有人像轮廓引导图像。不难理解，获取的人脸图像越规范，从人脸图像中提取的妆容信息越准确，妆容信息中携带的细节信息越多，将妆容信息迁移至待上妆人脸图像的效果越好，在取景器中设置人像轮廓引导图像能够引导用户以正确的姿态拍照，以获取正脸头像照，为提取准确的妆容信息奠定基础。带有人像轮廓引导图像的取景器如图9所示，该取景器能够引导用户将正脸头像尽可能地放置在人像轮廓引导图像内进行拍照，以获取规范的正脸头像照。
人脸分析器用于标定人脸图像的人脸特征点，将取景器当前获取的和/或之前获取的用户人脸图像(包括未上妆人脸图像和带妆人脸图像)输入至人脸分析器中，能够得到所输入用户人脸图像的人脸特征点，例如如图10所示，人脸特征点刻画了人脸及五官的关键部位。
人脸规约映射器用于对用户人脸图像进行映射。将用户人脸图像、用户人脸图像的人脸特征点、标准人脸图像以及标准人脸图像的人脸特征点输入至人脸规约映射器中，人脸规约映射器根据用户人脸图像的人脸特征点和标准人脸图像的人脸特征点对用户人脸图像和标准人脸图像进行三角剖分、映射与贴合，使用户人脸图像发生形变并映射至标准人脸模型上，得到标准化的用户人脸图像。
人脸妆容提取器用于提取妆容图像。将标准化的用户人脸图像(包括标准化的未上妆人脸图像和标准化的带妆人脸图像)输入至人脸妆容提取器中，人脸妆容提取器根据标准化后的未上妆用户人脸图像和标准化后的带妆用户人脸图像，能够提取出妆容图像。
人脸上妆器用于对待上妆人脸图像利用妆容图像进行上妆。其中，待上妆人脸图像可以是取景器当前获取的人脸图像，也可以是取景器之前获取并存储的人脸图像。对待上妆人脸图像进行上妆操作时，先将待上妆人脸图像输入至人脸分析器中获取待上妆人脸图像的人脸特征点，进而将待上妆人脸图像的人脸特征点输入至人脸规约映射器，得到标准化的待上妆人脸图像，将标准化的待上妆人脸图像以及获取的妆容图像输入至人脸上妆器，得到标准化的待上妆人脸图像上妆后的带妆图像，对获取的带妆图像进行反规约变换，得到与待上妆人脸图像匹配的目标带妆图像并输出。
进一步地，人脸分析器不仅可以提取人脸的人脸特征点，还可以识别出用户的脸型，并将脸型的相关信息发送给人脸妆容提取器，将提取的妆容信息与脸型建立对应关系，并存储到人脸与妆容信息的映射关系表。该映射关系表可以存储在人脸妆容提取器中，以便于后续使用时进行查询获取。
利用上述装置对待上妆的人脸图像进行上妆，能够得到符合用户期望的带妆图像，提高妆容迁移效果，提高带妆图像的真实度，提升用户体验。
为了实现上述实施例，本发明还提出一种图像处理装置。
图11为本发明实施例所提供的第一种图像处理装置的结构示意图。
如图11所示，该图像处理装置90包括：图像获取模块910、特征点提取模块920、映射模块930、妆容提取模块940，以及上妆模块950。其中，
图像获取模块910，用于获取第一人脸图像和第二人脸图像，其中，第一人脸图像为在第一用户的人脸处于未上妆状态时采集的图像，第二人脸图像为第一用户的人脸处于上妆状态时采集的图像。
特征点提取模块920，用于分别提取第一人脸图像的第一人脸特征点和第二人脸图像的第二人脸特征点。
映射模块930，用于根据预设的参考人脸特征点和第一人脸特征点，对第一人脸图像进行形变，生成第一映射人脸图像，以及根据参考人脸特征点和第二人脸特征点，对第二人脸图像进行形变，生成第二映射人脸图像。
妆容提取模块940，用于根据第一映射人脸图像和第二人脸映射图像，提取第一用户的妆容信息。
上妆模块950，用于选择目标人脸,并将第一用户的妆容信息应用到目标人脸上,得到上妆后的目标人脸图像。
进一步地，在本发明实施例一种可能的实现方式中，如图12所示，在如图11所示实施例的基础上，妆容提取模块940包括：
像素值提取单元941，用于提取第一映射人脸图像的像素点的第一像素值；以及，提取第二映射人脸图像的像素点的第二像素值。
妆容提取单元942，用于针对每个对应的像素点，将对应的像素点的第二像素值和第一像素值做比值，将比值作为对应的像素点的妆容参数，利用每个对应像素点的妆容参数，构成第一用户的妆容信息。
通过从第一映射人脸图像和第二映射人脸图像中提取对应像素点的第一像素值和第二像素值，针对每个对应的像素点，将对应的像素点的第二像素值和第一像素值做比值，将比值作为对应的像素点的妆容参数，利用每个对应像素点的妆容参数，构成第一用户的妆容信息，能够获得针对第一用户的妆容素材，使得用户利用妆容素材对人脸图像进行上妆后能够获得符合期望的妆容图像，提升用户体验。
在本发明实施例一种可能的实现方式中，如图13所示，在如图11所示实施例的基础上，该妆容提取装置90还包括：
参考图像选取模块900，用于对第一人脸图像进行人脸识别，得到第一用户的第一脸型，从预设的多个候选参考人脸图像中，选取与第一脸型相似的一个候选参考人脸图像作为参考人脸图像。
参考特征点标定模块901，用于对预设的参考人脸图像进行特征点标定，得到参考人脸特征点。
本实施例中，映射模块930具体用于基于三角剖分算法，在参考人脸特征点和第一人脸特征点的约束下，对第一人脸图像和参考人脸图像进行人脸纹理映射，得到第一映射人脸图像；以及，在参考人脸特征点和第二人脸特征点的约束下，基于三角剖分算法，对第二人脸图像和参考人脸图像进行人脸纹理映射，得到第二映射人脸图像；其中，参考人脸图像为与参考人脸特征点对应的人脸图像。
通过对获取的第一人脸图像进行人脸识别得到第一用户的第一脸型，根据第一脸型从预设的多个候选参考人脸图像中选择与第一脸型相似的一个候选参考人脸图像作为参考人脸图像，能够获得与用户脸型相似的人脸图像作为参考人脸图像，为将第一人脸图像向参考人脸图像映射奠定了基础，能够降低映射难度。通过对参考人脸图像进行特征点标定得到参考人脸特征点，基于三角剖分算法，在参考人脸特征点和第一人脸特征点以及第二人脸特征点的约束下，分别得到第一映射人脸图像和第二映射人脸图像，进而根据第一映射人脸图像和第二映射人脸图像提取出第一用户的妆容信息，能够获得符合用户上妆习惯的妆容素材，针对性强，且更加真实。
在本发明实施例一种可能的实现方式中，如图14所示，在如图11所示实施例的基础上，上妆模块950可以包括：
获取单元951，用于获取待上妆的目标人脸的第三人脸图像，并提取第三人脸图像的第三人脸特征点。
映射单元952，用于根据参考人脸特征点和第三人脸特征点，对第三人脸图像进行形变，生成第三映射人脸图像。
上妆单元953，用于利用妆容信息，对第三映射人脸图像进行上妆处理，得到第四人脸图像。
具体地，上妆单元953用于获取第三映射人脸图像中每个像素点的第三像素值；针对每个像素点，将第三像素值与妆容信息中对应像素点的妆容参数进行相乘，得到像素点的第四像素值，利用所有像素点的第四像素值，生成第四人脸图像。
还原单元954，用于提取第四人脸图像的第四人脸特征点，并根据第三人脸特征点和第四人脸特征点，对第四人脸图像进行人脸还原操作，得到上妆后的目标人脸图像。
作为一种可能的实现方式，还原单元954可以针对对应的由人脸特征点构成的剖分三角，获取第三人脸特征点下剖分三角与第四人脸特征点下剖分三角之间的差异信息；利用差异信息调整第四人脸特征点下剖分三角的形状，生成目标人脸图像。
作为一种可能的实现方式，映射模块930在生成第三映射人脸图像的同时，还可以记录第三人脸特征点下剖分三角，相对参考人脸特征点下对应的剖分三角的形变信息，进而，还原单元954可以根据记录的每个剖分三角的形变信息，对第四人脸特征点下对应的剖分三角进行反向形变，生成目标人脸图像。
通过记录第三人脸特征点下剖分三角相对参考人脸特征点下对应的剖分三角的形变信息，以根据形变信息对第四人脸特征点下对应的剖分三角进行反向变换，能够降低第四人脸图像还原操作的处理量，提高还原效率。
通过提取待上妆的目标人脸的第三人脸图像的第三人脸特征点，根据参考人脸特征点和第三人脸特征点对第三人脸图像进行形变生成第三映射人脸图像，利用妆容信息对第三映射人脸图像进行上妆处理得到第四人脸图像并提取第四人脸图像的第四人脸特征点，进而根据第三人脸特征点和第四人脸特征点对第四人脸图像进行人脸还原操作，得到上妆后的目标人脸图像，能够实现对待上妆图像的上妆操作，为待上妆图像搭配符合用户期望的妆容，提高妆容迁移的准确度和真实感。
用户的电子设备中可能不止存储有用户自身的照片，还可能存储有用户的亲戚朋友的照片，根据用户的电子设备中存储的照片，可以获取用户自身、用户的亲戚朋友等多个人物的多个妆容信息。由于每个人的脸型可能有所不同，从而，在本发明实施例一种可能的实现方式中，如图15所示，在如图14所示实施例的基础上，上妆模块950还可以包括：
映射关系建立单元955，用于建立妆容信息与第一人脸图像对应的脸型之间的映射关系。
妆容信息匹配单元956，用于对第三人脸图像进行人脸识别，得到第三人脸图像的第三脸型；根据第三脸型查询映射关系，得到与第三脸型匹配的妆容信息。
通过建立妆容信息与第一人脸图像对应的脸型之间的映射关系，在对待上妆目标人脸的第三人脸图像进行上妆时，先确定第三人脸图像对应的脸型，进而根据脸型查询映射关系确定匹配的妆容信息，利用妆容信息对第三映射人脸图像进行上妆处理得到第四人脸图像，能够保证得到的第四人脸图像的上妆效果，提高妆容信息的还原度和上妆后人脸图像的真实度。
需要说明的是，前述对图像处理方法实施例的解释说明也适用于该实施例的图像处理装置，其实现原理类似，此处不再赘述。
本实施例的图像处理装置，通过获取第一用户的人脸处于未上妆状态时第一人脸图像和处于上妆状态时的第二人脸图像，分别提取第一人脸图像的第一人脸特征点和第二人脸图像的第二人脸特征点，根据预设的参考人脸特征点和第一人脸特征点以及第二人脸特征点，对第一人脸图像和第二人脸图像进行形变，生成第一映射人脸图像和第二映射人脸图像，根据第一映射人脸图像和第二映射人脸图像，提取第一用户的妆容信息，将第一用户的妆容信息应用到选择的目标人脸上，得到上妆后的目标人脸图像。通过从用户的人脸处于上妆状态的图像中提取出妆容信息供用户选择，使得妆容信息更切合实际，从而能够为不同的用户提供符合用户审美标准的妆容素材，满足用户的个性化需求，提高妆容素材的针对性和真实性，解决现有技术中素材夸张、真实性低、美妆后的图像不符合用户预期的技术问题。
为了实现上述实施例，本发明还提出一种计算机设备。
图16为本发明实施例所提供的计算机设备的结构示意图。如图16所示，该计算机设备10包括：处理器110和存储器120。其中，处理器110通过读取存储器120中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如前述实施例所述的图像处理方法。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述实施例所述的图像处理方法。
为了实现上述实施例，本发明还提出一种计算机程序产品，当该计算机程序产品中的指令由处理器执行时实现如前述实施例所述的图像处理方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (16)

1.一种图像处理方法，其特征在于，包括：
获取第一人脸图像和第二人脸图像，其中，所述第一人脸图像为在第一用户的人脸处于未上妆状态时采集的图像，所述第二人脸图像为所述第一用户的人脸处于上妆状态时采集的图像；
分别提取所述第一人脸图像的第一人脸特征点和所述第二人脸图像的第二人脸特征点；
对所述第一人脸图像进行人脸识别，得到所述第一用户的第一脸型；
从预设的多个候选参考人脸图像中，选取与所述第一脸型相似的一个候选参考人脸图像作为参考人脸图像；对所述参考人脸图像进行特征点标定，得到参考人脸特征点；
根据所述参考人脸特征点和所述第一人脸特征点，对所述第一人脸图像进行形变，生成第一映射人脸图像；
根据所述参考人脸特征点和所述第二人脸特征点，对所述第二人脸图像进行形变，生成第二映射人脸图像，其中，所述参考人脸特征点、所述第一人脸特征点和所述第二人脸特征点的提取方式一致；
根据所述第一映射人脸图像和所述第二映射人脸图像，提取所述第一用户的妆容信息；
提取第三人脸图像的第三人脸特征点；
根据所述参考人脸特征点和所述第三人脸特征点，对所述第三人脸图像进行形变生成第三映射人脸图像；
对所述第三人脸图像进行人脸识别，得到所述第三人脸图像的第三脸型；
根据所述第三脸型查询映射关系，得到与所述第三脸型匹配的妆容信息；
利用所述与所述第三脸型匹配的妆容信息，对所述第三映射人脸图像进行上妆处理，得到第四人脸图像，并提取所述第四人脸图像的第四人脸特征点；
根据所述第三人脸特征点和所述第四人脸特征点，对所述第四人脸图像进行人脸还原操作，得到上妆后的目标人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一映射人脸图像和所述第二映射人脸图像，提取所述第一用户的妆容信息，包括：
提取所述第一映射人脸图像的像素点的第一像素值；
提取所述第二映射人脸图像的像素点的第二像素值；
针对每个对应的像素点，将所述对应的像素点的所述第二像素值和所述第一像素值做比值，将所述比值作为所述对应的像素点的妆容参数；
利用每个对应像素点的所述妆容参数，构成所述第一用户的妆容信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述参考人脸特征点和所述第一人脸特征点，对所述第一人脸图像进行形变，生成第一映射人脸图像，包括：
基于三角剖分算法，在所述参考人脸特征点和所述第一人脸特征点的约束下，对所述第一人脸图像和参考人脸图像进行人脸纹理映射，得到所述第一映射人脸图像；其中，所述参考人脸图像为与所述参考人脸特征点对应的人脸图像；
所述根据所述参考人脸特征点和所述第二人脸特征点，对所述第二人脸图像进行形变，生成第二映射人脸图像，包括：
在所述参考人脸特征点和所述第二人脸特征点的约束下，基于三角剖分算法，对所述第二人脸图像和所述参考人脸图像进行人脸纹理映射，得到所述第二映射人脸图像。
4.根据权利要求1所述的方法，其特征在于，所述利用所述与所述第三脸型匹配的妆容信息，对所述第三映射人脸图像进行上妆处理，得到第四人脸图像，包括：
获取所述第三映射人脸图像中每个像素点的第三像素值；
针对每个像素点，将所述第三像素值与所述妆容信息中对应像素点的妆容参数进行相乘，得到所述像素点的第四像素值；
利用所有像素点的所述第四像素值，生成所述第四人脸图像。
5.根据权利要求1所述的方法，其特征在于，所述根据所述参考人脸特征点和所述第三人脸特征点，对所述第三人脸图像进行形变生成第三映射人脸图像之前，所述方法还包括：
建立所述妆容信息与所述第一人脸图像对应的脸型之间的映射关系；
所述利用所述妆容信息，对所述第三映射人脸图像进行上妆处理，得到第四人脸图像之前，还包括：
对所述第三人脸图像进行人脸识别，得到所述第三人脸图像的第三脸型；
根据所述第三脸型查询所述映射关系，得到与所述第三脸型匹配的所述妆容信息。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第三人脸特征点和所述第四人脸特征点，对所述第四人脸图像进行人脸还原操作，得到上妆后的目标人脸图像，包括：
针对对应的由人脸特征点构成的剖分三角，获取所述第三人脸特征点下所述剖分三角与所述第四人脸特征点下所述剖分三角之间的差异信息；
利用所述差异信息调整所述第四人脸特征点下所述剖分三角的形状，生成所述目标人脸图像。
7.根据权利要求1所述的方法，其特征在于，在生成第三映射人脸图像的同时，所述方法还包括：
记录所述第三人脸特征点下的剖分三角与所述参考人脸特征点下的剖分三角之间的形变信息；
所述根据所述第三人脸特征点和所述第四人脸特征点，对所述第四人脸图像进行人脸还原操作，得到上妆后的目标人脸图像，包括：
根据每个剖分三角的形变信息，对所述第四人脸特征点下的剖分三角进行反向形变，生成所述目标人脸图像。
8.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取第一人脸图像和第二人脸图像，其中，所述第一人脸图像为在第一用户的人脸处于未上妆状态时采集的图像，所述第二人脸图像为所述第一用户的人脸处于上妆状态时采集的图像；
特征点提取模块，用于分别提取所述第一人脸图像的第一人脸特征点和所述第二人脸图像的第二人脸特征点；
映射模块，用于对所述第一人脸图像进行人脸识别，得到所述第一用户的第一脸型；从预设的多个候选参考人脸图像中，选取与所述第一脸型相似的一个候选参考人脸图像作为参考人脸图像；对所述参考人脸图像进行特征点标定，得到参考人脸特征点；根据所述参考人脸特征点和所述第一人脸特征点，对所述第一人脸图像进行形变，生成第一映射人脸图像，以及根据所述参考人脸特征点和所述第二人脸特征点，对所述第二人脸图像进行形变，生成第二映射人脸图像，其中，所述参考人脸特征点、所述第一人脸特征点和所述第二人脸特征点的提取方式一致；
妆容提取模块，用于根据所述第一映射人脸图像和所述第二映射人脸图像，提取所述第一用户的妆容信息；提取第三人脸图像的第三人脸特征点；根据所述参考人脸特征点和所述第三人脸特征点，对所述第三人脸图像进行形变生成第三映射人脸图像；对所述第三人脸图像进行人脸识别，得到所述第三人脸图像的第三脸型；根据所述第三脸型查询映射关系，得到与所述第三脸型匹配的妆容信息；
上妆模块，用于利用所述与所述第三脸型匹配的妆容信息，对所述第三映射人脸图像进行上妆处理，得到第四人脸图像，并提取所述第四人脸图像的第四人脸特征点；根据所述第三人脸特征点和所述第四人脸特征点，对所述第四人脸图像进行人脸还原操作，得到上妆后的目标人脸图像。
9.根据权利要求8所述的装置，其特征在于，所述妆容提取模块，包括：
像素值提取单元，用于提取所述第一映射人脸图像的像素点的第一像素值；以及，提取所述第二映射人脸图像的像素点的第二像素值；
妆容提取单元，用于针对每个对应的像素点，将所述对应的像素点的所述第二像素值和所述第一像素值做比值，将所述比值作为对应的像素点的妆容参数，利用每个对应像素点的所述妆容参数，构成所述第一用户的妆容信息。
10.根据权利要求8所述的装置，其特征在于，所述映射模块，还用于：
基于三角剖分算法，在所述参考人脸特征点和所述第一人脸特征点的约束下，对所述第一人脸图像和参考人脸图像进行人脸纹理映射，得到所述第一映射人脸图像；其中，所述参考人脸图像为与所述参考人脸特征点对应的人脸图像；以及，在所述参考人脸特征点和所述第二人脸特征点的约束下，基于三角剖分算法，对所述第二人脸图像和所述参考人脸图像进行人脸纹理映射，得到所述第二映射人脸图像。
11.根据权利要求8所述的装置，其特征在于，所述上妆模块，还用于：
获取所述第三映射人脸图像中每个像素点的第三像素值；
针对每个像素点，将所述第三像素值与所述妆容信息中对应像素点的妆容参数进行相乘，得到所述像素点的第四像素值；
利用所有像素点的所述第四像素值，生成所述第四人脸图像。
12.根据权利要求8所述的装置，其特征在于，所述上妆模块，还用于：
针对对应的由人脸特征点构成的剖分三角，获取所述第三人脸特征点下所述剖分三角与所述第四人脸特征点下所述剖分三角之间的差异信息；
利用所述差异信息调整所述第四人脸特征点下所述剖分三角的形状，生成所述目标人脸图像。
13.根据权利要求8所述的装置，其特征在于，所述映射模块，还用于：
在生成第三映射人脸图像的同时，记录所述第三人脸特征点下剖分三角，相对所述参考人脸特征点下对应的剖分三角的形变信息；
所述上妆模块，还用于：
根据每个剖分三角的形变信息，对所述第四人脸特征点下对应的所述剖分三角进行反向形变，生成所述目标人脸图像。
14.一种计算机设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-7中任一项所述的图像处理方法。
15.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的图像处理方法。
16.一种计算机程序产品，其特征在于，所述计算机程序产品存储于计算机可读存储介质上，当所述计算机程序产品中的指令由处理器执行时实现如权利要求1-7中任一项所述的图像处理方法。
CN201810134026.3A 2018-02-09 2018-02-09 图像处理方法、装置、计算机设备、存储介质及计算机程序产品 Active CN108509846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810134026.3A CN108509846B (zh) 2018-02-09 2018-02-09 图像处理方法、装置、计算机设备、存储介质及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810134026.3A CN108509846B (zh) 2018-02-09 2018-02-09 图像处理方法、装置、计算机设备、存储介质及计算机程序产品

Publications (2)

Publication Number Publication Date
CN108509846A CN108509846A (zh) 2018-09-07
CN108509846B true CN108509846B (zh) 2022-02-11

Family

ID=63374622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810134026.3A Active CN108509846B (zh) 2018-02-09 2018-02-09 图像处理方法、装置、计算机设备、存储介质及计算机程序产品

Country Status (1)

Country Link
CN (1) CN108509846B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712090A (zh) * 2018-12-18 2019-05-03 维沃移动通信有限公司 一种图像处理方法、装置和移动终端
CN109858392B (zh) * 2019-01-11 2021-02-02 复旦大学 一种用于化妆前后人脸图像自动识别方法
CN110349239B (zh) * 2019-07-05 2020-11-10 厦门大学 图像特征保持的圆点绘制方法
CN110458121B (zh) * 2019-08-15 2023-03-14 京东方科技集团股份有限公司 一种人脸图像生成的方法及装置
CN110825765B (zh) * 2019-10-23 2022-10-04 中国建设银行股份有限公司 一种人脸识别的方法和装置
CN111507259B (zh) * 2020-04-17 2023-03-24 腾讯科技（深圳）有限公司 脸部特征提取方法、装置、电子设备
CN111563855B (zh) * 2020-04-29 2023-08-01 百度在线网络技术（北京）有限公司 图像处理的方法及装置
CN111583163B (zh) * 2020-05-07 2023-06-13 厦门美图之家科技有限公司 基于ar的人脸图像处理方法、装置、设备及存储介质
CN111815533B (zh) * 2020-07-14 2024-01-19 厦门美图之家科技有限公司 妆容处理方法、装置、电子设备和可读存储介质
CN112422817B (zh) * 2020-10-28 2022-04-12 维沃移动通信有限公司 图像处理方法及装置
CN112734661A (zh) * 2020-12-30 2021-04-30 维沃移动通信有限公司 图像处理方法及装置
CN113780047A (zh) * 2021-01-11 2021-12-10 北京沃东天骏信息技术有限公司 虚拟试妆的方法、装置、电子设备和存储介质
CN112734894B (zh) * 2021-01-25 2023-07-14 腾讯科技（深圳）有限公司 虚拟毛发的绘制方法、装置和存储介质及电子设备
CN113313660A (zh) * 2021-05-14 2021-08-27 北京市商汤科技开发有限公司 妆容迁移方法、装置、设备和计算机可读存储介质
CN113469903A (zh) * 2021-06-11 2021-10-01 维沃移动通信有限公司 图像处理方法、装置、电子设备及可读存储介质
CN113781330A (zh) * 2021-08-23 2021-12-10 北京旷视科技有限公司 图像处理方法、装置及电子***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104205162A (zh) * 2013-02-01 2014-12-10 松下电器产业株式会社 化妆辅助装置、化妆辅助方法、以及化妆辅助程序
CN104463938A (zh) * 2014-11-25 2015-03-25 福建天晴数码有限公司 三维虚拟试妆方法和装置
CN104732506A (zh) * 2015-03-27 2015-06-24 浙江大学 一种基于人脸语义分析的人物照片颜色风格转换方法
CN105427238A (zh) * 2015-11-30 2016-03-23 维沃移动通信有限公司 一种图像处理方法及移动终端
CN105488472A (zh) * 2015-11-30 2016-04-13 华南理工大学 一种基于样本模板的数字化妆方法
CN105787981A (zh) * 2016-02-25 2016-07-20 上海斐讯数据通信技术有限公司 移动终端辅助化妆的方法及***
CN107403185A (zh) * 2016-05-20 2017-11-28 北京大学 人像颜色转换方法和人像颜色转换***
CN107622472A (zh) * 2017-09-12 2018-01-23 北京小米移动软件有限公司 人脸妆容迁移方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104205162A (zh) * 2013-02-01 2014-12-10 松下电器产业株式会社 化妆辅助装置、化妆辅助方法、以及化妆辅助程序
CN104463938A (zh) * 2014-11-25 2015-03-25 福建天晴数码有限公司 三维虚拟试妆方法和装置
CN104732506A (zh) * 2015-03-27 2015-06-24 浙江大学 一种基于人脸语义分析的人物照片颜色风格转换方法
CN105427238A (zh) * 2015-11-30 2016-03-23 维沃移动通信有限公司 一种图像处理方法及移动终端
CN105488472A (zh) * 2015-11-30 2016-04-13 华南理工大学 一种基于样本模板的数字化妆方法
CN105787981A (zh) * 2016-02-25 2016-07-20 上海斐讯数据通信技术有限公司 移动终端辅助化妆的方法及***
CN107403185A (zh) * 2016-05-20 2017-11-28 北京大学 人像颜色转换方法和人像颜色转换***
CN107622472A (zh) * 2017-09-12 2018-01-23 北京小米移动软件有限公司 人脸妆容迁移方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《Example-Based Cosmetic Transfer》;Dickson Tong, Chi-Keung Tang, Michael S. Brown, Ying-Qing Xu;《IEEE Computer Society》;20071031;211-218 *

Also Published As

Publication number Publication date
CN108509846A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN108509846B (zh) 图像处理方法、装置、计算机设备、存储介质及计算机程序产品
US10467779B2 (en) System and method for applying a reflectance modifying agent to change a person's appearance based on a digital image
CN108305312B (zh) 3d虚拟形象的生成方法和装置
CN108876708B (zh) 图像处理方法、装置、电子设备和存储介质
US10818038B2 (en) Techniques for capturing dynamic appearance of skin
CN110390632B (zh) 基于妆容模板的图像处理方法、装置、存储介质及终端
KR101560508B1 (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
Fyffe et al. Multi‐view stereo on consistent face topology
CN106021550B (zh) 一种发型设计方法和***
CN107705240B (zh) 虚拟试妆方法、装置和电子设备
WO1998039735A1 (fr) Procede de correction de l'image du visage, procede de simulation du maquillage, procede de maquillage, dispositif de support du maquillage et film de transfert du fond de teint
CN108537126B (zh) 一种人脸图像处理方法
US10217265B2 (en) Methods and systems of generating a parametric eye model
WO2013189101A1 (zh) 一种基于单幅图像的头发建模和肖像编辑方法
US9710965B2 (en) Capturing and stylizing hair for 3D fabrication
KR101711684B1 (ko) 3d 아바타 출력 장치 및 방법
WO2022237081A1 (zh) 妆容迁移方法、装置、设备和计算机可读存储介质
CN113628327A (zh) 一种头部三维重建方法及设备
CN108765265B (zh) 图像处理方法、装置、终端设备和存储介质
CN107343148B (zh) 图像补全方法、装置和终端
CN113657357B (zh) 图像处理方法、装置、电子设备及存储介质
Dessein et al. Seamless texture stitching on a 3D mesh by poisson blending in patches
US20190362561A1 (en) Image display method, electronic device, and non-transitory computer readable recording medium
US11120624B2 (en) Three-dimensional head portrait generating method and electronic device
Johnson et al. Inferring illumination direction estimated from disparate sources in paintings: An investigation into Jan Vermeer's Girl with a pearl earring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant