CN108765351A - 图像处理方法、装置、电子设备和存储介质 - Google Patents

图像处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN108765351A
CN108765351A CN201810551066.8A CN201810551066A CN108765351A CN 108765351 A CN108765351 A CN 108765351A CN 201810551066 A CN201810551066 A CN 201810551066A CN 108765351 A CN108765351 A CN 108765351A
Authority
CN
China
Prior art keywords
face
grid model
dimensional
dimensional grid
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810551066.8A
Other languages
English (en)
Other versions
CN108765351B (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810551066.8A priority Critical patent/CN108765351B/zh
Priority to CN202011241111.3A priority patent/CN112330824A/zh
Publication of CN108765351A publication Critical patent/CN108765351A/zh
Application granted granted Critical
Publication of CN108765351B publication Critical patent/CN108765351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种图像处理方法、装置、电子设备和存储介质。其中方法包括：获取预先设定的目标对象人脸三维网格模型上的整形参数；基于人脸三维网格模型上的整形参数，计算人脸三维网格模型中的各个3D关键点在三维空间上的位移向量；针对每个关键点，将每个关键点的3D位移向量映射至二维平面上，得到每个关键点在二维平面上的位移向量；根据人脸三维网格模型和每个关键点在二维平面上的位移向量，生成目标对象的经过3D整形后的人脸图像。该方法可以得到更为精准的人脸整形结果，提高了图像形变的精确度，提升了用户的使用体验。

Description

图像处理方法、装置、电子设备和存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
背景技术
现有的人脸图像整形技术通常是基于2D平面图像，对平面图像上的像素点进行移位。相关技术中，实现人脸图像整形所使用的主流方法有两种：一种是通过划定像素点位移范围，对该范围内的每个像素点设定位移权重，然后对每个像素点按照某个方向进行位移；另一种是通过将2D平面图像划分为多个三角形，并对每个三角形顶点按照需求方向进行位移，然后对变化后的三角形内部进行线性拉伸，便可得到形变后的图像。
但是目前存在的问题是：上述两种方式均是从2D平面图像中获取人脸2D关键点，依据2D关键点设定位移变量，该位移变量是平面图像上的关键点相对值，由于量化程度不高导致图像形变不够精准。
发明内容
本申请的目的旨在至少在一定程度上解决上述的技术问题之一。
为此，本申请的第一个目的在于提出一种图像处理方法。该方法可以得到更为精准的人脸整形结果，提高了图像形变的精确度，提升了用户的使用体验。
本申请的第二个目的在于提出一种图像处理装置。
本申请的第三个目的在于提出一种电子设备。
本申请的第四个目的在于提出一种计算机可读存储介质。
为达到上述目的，本申请第一方面实施例提出的图像处理方法，包括：获取预先设定的目标对象人脸三维网格模型上的整形参数；基于所述人脸三维网格模型上的整形参数，计算所述人脸三维网格模型中的各个3D关键点在三维空间上的位移向量；针对每个关键点，将所述每个关键点的3D位移向量映射至二维平面上，得到所述每个关键点在所述二维平面上的位移向量；根据所述人脸三维网格模型和所述每个关键点在所述二维平面上的位移向量，生成所述目标对象的经过3D整形后的人脸图像。
为达到上述目的，本申请第二方面实施例提出的图像处理装置，包括：整形参数获取模块，用于获取预先设定的目标对象人脸三维网格模型上的整形参数；计算模块，用于基于所述人脸三维网格模型上的整形参数，计算所述人脸三维网格模型中的各个3D关键点在三维空间上的位移向量；位移向量映射模块，用于针对每个关键点，将所述每个关键点的3D位移向量映射至二维平面上，得到所述每个关键点在所述二维平面上的位移向量；整形图像生成模块，用于根据所述人脸三维网格模型和所述每个关键点在所述二维平面上的位移向量，生成所述目标对象的经过3D整形后的人脸图像。
为达到上述目的，本申请第三方面实施例提出的电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本申请第一方面实施例所述的图像处理方法。
为达到上述目的，本申请第四方面实施例提出的非临时性计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请第一方面实施例所述的图像处理方法。
根据本申请实施例的图像处理方法、装置、电子设备和存储介质，可通过设定的人脸三维网格模型上的整形参数，得到人脸3D关键点的3D位移向量，并根据图像上人脸的朝向角度计算出3D关键点位移向量到2D平面的映射关系，从而得到2D平面上的位移向量并计算出新的人脸关键点，最后根据3D关键点的网格结构对图像进行线性拉伸即可得到人脸的整形结果。即基于人脸三维网格模型对人脸图像上的像素点位移进行量化，首先设定三维网格模型上的位移量，随后进行3D到2D方向的映射，得到量化后的2D图像上的像素位移量，从而得到更为精准的人脸整形结果，提高了图像形变的精确度，提升了用户的使用体验。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本申请一个实施例的图像处理方法的流程图；
图2是根据本申请实施例的人脸三维网格模型的建立方法的流程图；
图3是根据本申请一个具体实施例的图像处理方法的流程图；
图4是根据本申请一个实施例的图像处理装置的结构示意图；
图5是根据本申请一个具体实施例的图像处理装置的结构示意图；
图6是根据本申请另一个具体实施例的图像处理装置的结构示意图；
图7是根据本申请一个实施例的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的图像处理方法、装置、电子设备和计算机可读存储介质。
图1是根据本申请一个实施例的图像处理方法的流程图。需要说明的是，本申请实施例的图像处理方法可应用于本申请实施例的图像处理装置，该图像处理装置可被配置于本申请实施例的电子设备上。其中，该电子设备可以是移动终端，比如手机、平板电脑、个人数字助理等具有各种操作***的硬件设备。
如图1所示，该图像处理方法可以包括：
S110，获取预先设定的目标对象人脸三维网格模型上的整形参数。
具体地，可预先设定目标对象人脸三维网格模型上的整形参数。作为一种示例，所述人脸三维网格模型上的整形参数可通过以下方式设定：获取预先建立的目标对象的人脸三维网格模型，并接收目标对象针对该人脸三维网格模型的编辑操作，并根据所述编辑操作确定所述人脸三维网格模型上的整形参数。
可选地，在对目标对象的人脸图像进行整形之前，可先获取该目标对象的人脸三维网格模型。此时，目标对象可根据自己需求和喜好对该人脸三维网格模型进行编辑，例如，可对该人脸三维网格模型进行瘦脸、隆鼻、缩小颧骨、垫下巴等操作。当接收到目标对象针对自己的人脸三维网格模型的编辑操作时，可根据所述编辑操作确定所述人脸三维网格模型上的整形参数。其中，该整形参数可包括但不限于待处理的像素点、和所述待处理的像素点所要移动的位移变量。例如，以所述编辑操作为瘦脸操作为例，根据该瘦脸操作确定所述人脸三维网格模型上哪些像素点需要被处理，且这些像素点需要被移动到哪里等信息。
在本申请的一个实施例中，如图2所示，可通过以下步骤预先建立所述目标对象的人脸三维网格模型：
S210，获取目标对象的多帧图像；
S220，根据多帧图像构建目标对象的人脸三维模型；
S230，基于人脸三维模型的网格信息，从所述网格信息中提取人脸轮廓上的多个3D关键点；
例如，可基于人脸三维模型的网格信息，从所述网格信息中提取人脸轮廓上的296个3D关键点。
S240，基于插值算法，根据人脸轮廓上的多个3D关键点生成人脸内部的多个3D关键点和人脸轮廓外部的多个3D关键点；
S250，根据人脸轮廓上的多个3D关键点、人脸内部的多个3D关键点和人脸轮廓外部的多个3D关键点，建立目标对象的人脸三维网格模型。
例如，可根据人脸轮廓上的多个3D关键点，插值得到人脸内部3D关键点33个和人脸轮廓外部3D关键点8个，根据这些3D关键点构成新的3D网格模型，即所述目标对象的人脸三维网格模型。
由此，通过目标对象预先对自身的人脸三维网格模型进行编辑，根据该编辑操作即可确定所述人脸三维网格模型上的整形参数，这样，在对目标对象的平面图像进行整形时，可获取该预先设定的人脸三维网格模型上的整形参数，进而后续可基于所述整形参数实现对目标对象的平面图像的整形。
S120，基于人脸三维网格模型上的整形参数，计算人脸三维网格模型中的各个3D关键点在三维空间上的位移向量。
例如，以对所述人脸三维网格模型进行瘦脸操作为例，可确定针对所述瘦脸操作对应的整形参数，比如，该整形参数可为人脸三维网格模型上哪些像素点需要被处理，且这些像素点需要被移动到哪里等信息，这样，可基于该整形参数计算出所述人脸三维网格模型中的各个3D关键点在三维空间上的位移向量。
S130，针对每个关键点，将每个关键点的3D位移向量映射至二维平面上，得到每个关键点在二维平面上的位移向量。
可选地，确定二维平面上的人脸朝向角度，并根据所述二维平面上的人脸朝向角度计算所述每个关键点的3D位移向量到所述二维平面的映射关系，并根据所述映射关系确定所述每个关键点在所述二维平面上的位移向量。
也就是说，可根据二维平面图像上的人脸朝向角度，将各个3D关键点在三维空间上的位移向量投影到二维平面上，得到每个关键点的3D位移向量在二维平面上的投影向量，该投影向量即为关键点在二维平面上的位移向量。
S140，根据人脸三维网格模型和每个关键点在二维平面上的位移向量，生成目标对象的经过3D整形后的人脸图像。
作为一种示例，可根据所述每个关键点在所述二维平面上的位移向量，生成平面图像上变形后的3D关键点，并根据所述人脸三维网格模型和所述变形后的3D关键点对所述平面图像进行线性拉伸，得到所述目标对象经过3D整形后的人脸图像。
也就是说，可根据所述每个关键点在所述二维平面上的位移向量，计算得到平面图像上所述每个关键点将要变形后的关键点位置，并依据所述人脸三维网格模型和所述每个关键点将要变形后的关键点位置，对所述平面图像进行线性拉伸，得到所述目标对象经过3D整形后的人脸图像。
根据本申请实施例的图像处理方法，可通过设定的人脸三维网格模型上的整形参数，得到人脸3D关键点的3D位移向量，并根据图像上人脸的朝向角度计算出3D关键点位移向量到2D平面的映射关系，从而得到2D平面上的位移向量并计算出新的人脸关键点，最后根据3D关键点的网格结构对图像进行线性拉伸即可得到人脸的整形结果。即基于人脸三维网格模型对人脸图像上的像素点位移进行量化，首先设定三维网格模型上的位移量，随后进行3D到2D方向的映射，得到量化后的2D图像上的像素位移量，从而得到更为精准的人脸整形结果，提高了图像形变的精确度，提升了用户的使用体验。
图3是根据本申请一个具体实施例的图像处理方法的流程图。
为了提升用户体验，本申请实施例的图像处理方法可应用于用户自拍场景下，比如当检测到用户使用自拍模式时，可自动对预览界面上显示的图像进行整形处理，这样，当检测到用户点击确认拍摄按钮时，可直接得到已整形处理后的人脸图像。具体地，如图3所示，该图像处理方法可以包括：
S310，在检测到用户使用自拍模式时，获取预先设定的用户人脸三维网格模型上的整形参数。
具体地，可预先设定用户人脸三维网格模型上的整形参数。作为一种示例，所述人脸三维网格模型上的整形参数可通过以下方式设定：获取预先建立的用户的人脸三维网格模型，并接收用户针对该人脸三维网格模型的编辑操作，并根据所述编辑操作确定所述人脸三维网格模型上的整形参数。
可选地，在对用户的人脸图像进行整形之前，可先获取该用户的人脸三维网格模型。此时，用户可根据自己需求和喜好对该人脸三维网格模型进行编辑，例如，可对该人脸三维网格模型进行瘦脸、隆鼻、缩小颧骨、垫下巴等操作。当接收到用户针对自己的人脸三维网格模型的编辑操作时，可根据所述编辑操作确定所述人脸三维网格模型上的整形参数。其中，该整形参数可包括但不限于待处理的像素点、和所述待处理的像素点所要移动的位移变量。例如，以所述编辑操作为瘦脸操作为例，根据该瘦脸操作确定所述人脸三维网格模型上哪些像素点需要被处理，且这些像素点需要被移动到哪里等信息。
S320，基于人脸三维网格模型上的整形参数，计算人脸三维网格模型中的各个3D关键点在三维空间上的位移向量。
S330，针对每个关键点，将每个关键点的3D位移向量映射至二维平面上，得到每个关键点在二维平面上的位移向量。
S340，根据人脸三维网格模型和每个关键点在二维平面上的位移向量，生成用户的经过3D整形后的人脸图像。
作为一种示例，可根据所述每个关键点在所述二维平面上的位移向量，生成拍摄预览界面中的平面图像上变形后的3D关键点，并根据所述人脸三维网格模型和所述变形后的3D关键点对所述平面图像进行线性拉伸，得到所述用户经过3D整形后的人脸图像。
S350，将所述用户经过3D整形后的人脸图像显示在拍摄预览界面上。
可选地，在得到所述用户经过3D整形后的人脸图像之后，可将该人脸图像显示在拍摄预览界面上，这样，在检测到用户点击确认拍摄按钮时，可直接得到已整形处理后的人脸图像。
根据本申请实施例的图像处理方法，在检测到用户使用自拍模式时，可自动对预览界面上显示的图像进行整形处理，这样，当检测到用户点击确认拍摄按钮时，可直接得到已整形处理后的人脸图像，提升了用户的拍照体验。
需要说明的是，在本申请的一个实施例中，本申请实施例的图像处理方法还可应用于对已拍摄得到的平面图像进行整形处理的场景中，例如，可利用本申请实施例的图像处理方法对用户已拍摄过的自拍图像进行整形处理，得到经过3D整形后的自拍图像。
与上述几种实施例提供的图像处理方法相对应，本申请的一种实施例还提供一种图像处理装置，由于本申请实施例提供的图像处理装置与上述几种实施例提供的图像处理方法相对应，因此在前述图像处理方法的实施方式也适用于本实施例提供的图像处理装置，在本实施例中不再详细描述。图4是根据本申请一个实施例的图像处理装置的结构示意图。如图4所示，该图像处理装置400可以包括：整形参数获取模块410、计算模块420、位移向量映射模块430和整形图像生成模块440。
具体地，整形参数获取模块410用于获取预先设定的目标对象人脸三维网格模型上的整形参数。
计算模块420用于基于人脸三维网格模型上的整形参数，计算人脸三维网格模型中的各个3D关键点在三维空间上的位移向量。
位移向量映射模块430用于针对每个关键点，将每个关键点的3D位移向量映射至二维平面上，得到每个关键点在二维平面上的位移向量。作为一种示例，位移向量映射模块430可确定所述二维平面上的人脸朝向角度，并根据所述二维平面上的人脸朝向角度计算所述每个关键点的3D位移向量到所述二维平面的映射关系，并根据所述映射关系确定所述每个关键点在所述二维平面上的位移向量。
整形图像生成模块440用于根据人脸三维网格模型和每个关键点在二维平面上的位移向量，生成目标对象的经过3D整形后的人脸图像。作为一种示例，整形图像生成模块440可根据所述每个关键点在所述二维平面上的位移向量，生成平面图像上变形后的3D关键点，并根据所述人脸三维网格模型和所述变形后的3D关键点对所述平面图像进行线性拉伸，得到所述目标对象经过3D整形后的人脸图像。
需要说明的是，可预先设定目标对象人脸三维网格模型上的整形参数。可选地，在本申请的一个实施例中，如图5所示，该图像处理装置400还可包括：整形参数预先设定模块450，用于预先设定所述目标对象人脸三维网格模型上的整形参数。其中，在本申请的实施例中，如图5所示，整形参数预先设定模块450可包括：获取单元451、接收单元452和确定单元453。其中，获取单元451用于获取预先建立的所述目标对象的人脸三维网格模型；接收单元452用于接收所述目标对象针对所述人脸三维网格模型的编辑操作；确定单元453用于根据所述编辑操作，确定所述人脸三维网格模型上的整形参数。
还需要说明的是，在对目标对象的人脸图像进行整形之前，可先获取该目标对象的人脸三维网格模型。此时，目标对象可根据自己需求和喜好对该人脸三维网格模型进行编辑，例如，可对该人脸三维网格模型进行瘦脸、隆鼻、缩小颧骨、垫下巴等操作。当接收到目标对象针对自己的人脸三维网格模型的编辑操作时，可根据所述编辑操作确定所述人脸三维网格模型上的整形参数。其中，该整形参数可包括但不限于待处理的像素点、和所述待处理的像素点所要移动的位移变量。例如，以所述编辑操作为瘦脸操作为例，根据该瘦脸操作确定所述人脸三维网格模型上哪些像素点需要被处理，且这些像素点需要被移动到哪里等信息。
可选地，在本申请的一个实施例中，如图6所示，该图像处理装置400还可包括：模型预先建立模块460，用于预先建立所述目标对象的人脸三维网格模型。其中，在本申请的实施例中，如图6所示，该模型预先建立模块460可以包括：获取单元461、第一建立单元462、提取单元463、生成单元464和第二建立单元465。
其中，获取单元461用于获取所述目标对象的多帧图像；第一建立单元462用于根据所述多帧图像构建所述目标对象的人脸三维模型；提取单元463用于基于所述人脸三维模型的网格信息，从所述网格信息中提取人脸轮廓上的多个3D关键点；生成单元464用于基于插值算法，根据所述人脸轮廓上的多个3D关键点生成人脸内部的多个3D关键点和人脸轮廓外部的多个3D关键点；第二建立单元465用于根据所述人脸轮廓上的多个3D关键点、所述人脸内部的多个3D关键点和所述人脸轮廓外部的多个3D关键点，建立所述目标对象的人脸三维网格模型。
根据本申请实施例的图像处理装置，可基于人脸三维网格模型对人脸图像上的像素点位移进行量化，首先设定三维网格模型上的位移量，随后进行3D到2D方向的映射，得到量化后的2D图像上的像素位移量，从而得到更为精准的人脸整形结果，提高了图像形变的精确度，提升了用户的使用体验。
为了实现上述实施例，本申请还提出了一种电子设备。
图7是根据本申请一个实施例的电子设备的结构示意图。如图7所示，该电子设备700可以包括：存储器710、处理器720及存储在存储器710上并可在处理器720上运行的计算机程序730，处理器720执行所述程序730时，实现本申请上述任一个实施例所述的图像处理方法。
为了实现上述实施例，本申请还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本申请上述任一个实施例所述的图像处理方法。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种图像处理方法，其特征在于，包括以下步骤：
获取预先设定的目标对象人脸三维网格模型上的整形参数；
基于所述人脸三维网格模型上的整形参数，计算所述人脸三维网格模型中的各个3D关键点在三维空间上的位移向量；
针对每个关键点，将所述每个关键点的3D位移向量映射至二维平面上，得到所述每个关键点在所述二维平面上的位移向量；
根据所述人脸三维网格模型和所述每个关键点在所述二维平面上的位移向量，生成所述目标对象的经过3D整形后的人脸图像。
2.如权利要求1所述的图像处理方法，其特征在于，通过以下方式预先设定所述目标对象人脸三维网格模型上的整形参数：
获取预先建立的所述目标对象的人脸三维网格模型；
接收所述目标对象针对所述人脸三维网格模型的编辑操作；
根据所述编辑操作，确定所述人脸三维网格模型上的整形参数。
3.如权利要求2所述的图像处理方法，其特征在于，所述目标对象的人脸三维网格模型通过以下方式建立的：
获取所述目标对象的多帧图像；
根据所述多帧图像构建所述目标对象的人脸三维模型；
基于所述人脸三维模型的网格信息，从所述网格信息中提取人脸轮廓上的多个3D关键点；
基于插值算法，根据所述人脸轮廓上的多个3D关键点生成人脸内部的多个3D关键点和人脸轮廓外部的多个3D关键点；
根据所述人脸轮廓上的多个3D关键点、所述人脸内部的多个3D关键点和所述人脸轮廓外部的多个3D关键点，建立所述目标对象的人脸三维网格模型。
4.如权利要求1所述的图像处理方法，其特征在于，所述将所述每个关键点的3D位移向量映射至二维平面上，得到所述每个关键点在所述二维平面上的位移向量，包括：
确定所述二维平面上的人脸朝向角度；
根据所述二维平面上的人脸朝向角度计算所述每个关键点的3D位移向量到所述二维平面的映射关系；
根据所述映射关系确定所述每个关键点在所述二维平面上的位移向量。
5.如权利要求1所述的图像处理方法，其特征在于，所述根据所述人脸三维网格模型和所述每个关键点在所述二维平面上的位移向量，生成所述目标对象的经过3D整形后的人脸图像，包括：
根据所述每个关键点在所述二维平面上的位移向量，生成平面图像上变形后的3D关键点；
根据所述人脸三维网格模型和所述变形后的3D关键点对所述平面图像进行线性拉伸，得到所述目标对象经过3D整形后的人脸图像。
6.一种图像处理装置，其特征在于，包括：
整形参数获取模块，用于获取预先设定的目标对象人脸三维网格模型上的整形参数；
计算模块，用于基于所述人脸三维网格模型上的整形参数，计算所述人脸三维网格模型中的各个3D关键点在三维空间上的位移向量；
位移向量映射模块，用于针对每个关键点，将所述每个关键点的3D位移向量映射至二维平面上，得到所述每个关键点在所述二维平面上的位移向量；
整形图像生成模块，用于根据所述人脸三维网格模型和所述每个关键点在所述二维平面上的位移向量，生成所述目标对象的经过3D整形后的人脸图像。
7.如权利要求6所述的图像处理装置，其特征在于，所述装置还包括：
整形参数预先设定模块，用于预先设定所述目标对象人脸三维网格模型上的整形参数；
其中，所述整形参数预先设定模块包括：
获取单元，用于获取预先建立的所述目标对象的人脸三维网格模型；
接收单元，用于接收所述目标对象针对所述人脸三维网格模型的编辑操作；
确定单元，用于根据所述编辑操作，确定所述人脸三维网格模型上的整形参数。
8.如权利要求7所述的图像处理装置，其特征在于，所述装置还包括：
模型预先建立模块，用于预先建立所述目标对象的人脸三维网格模型；
其中，所述模型预先建立模块包括：
获取单元，用于获取所述目标对象的多帧图像；
第一建立单元，用于根据所述多帧图像构建所述目标对象的人脸三维模型；
提取单元，用于基于所述人脸三维模型的网格信息，从所述网格信息中提取人脸轮廓上的多个3D关键点；
生成单元，用于基于插值算法，根据所述人脸轮廓上的多个3D关键点生成人脸内部的多个3D关键点和人脸轮廓外部的多个3D关键点；
第二建立单元，用于根据所述人脸轮廓上的多个3D关键点、所述人脸内部的多个3D关键点和所述人脸轮廓外部的多个3D关键点，建立所述目标对象的人脸三维网格模型。
9.如权利要求6所述的图像处理装置，其特征在于，所述位移向量映射模块具体用于：
确定所述二维平面上的人脸朝向角度；
根据所述二维平面上的人脸朝向角度计算所述每个关键点的3D位移向量到所述二维平面的映射关系；
根据所述映射关系确定所述每个关键点在所述二维平面上的位移向量。
10.如权利要求6所述的图像处理装置，其特征在于，所述整形图像生成模块具体用于：
根据所述每个关键点在所述二维平面上的位移向量，生成平面图像上变形后的3D关键点；
根据所述人脸三维网格模型和所述变形后的3D关键点对所述平面图像进行线性拉伸，得到所述目标对象经过3D整形后的人脸图像。
11.一种电子设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1至5中任一项所述的图像处理方法。
12.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法。
CN201810551066.8A 2018-05-31 2018-05-31 图像处理方法、装置、电子设备和存储介质 Active CN108765351B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810551066.8A CN108765351B (zh) 2018-05-31 2018-05-31 图像处理方法、装置、电子设备和存储介质
CN202011241111.3A CN112330824A (zh) 2018-05-31 2018-05-31 图像处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810551066.8A CN108765351B (zh) 2018-05-31 2018-05-31 图像处理方法、装置、电子设备和存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011241111.3A Division CN112330824A (zh) 2018-05-31 2018-05-31 图像处理方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN108765351A true CN108765351A (zh) 2018-11-06
CN108765351B CN108765351B (zh) 2020-12-08

Family

ID=64001235

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011241111.3A Pending CN112330824A (zh) 2018-05-31 2018-05-31 图像处理方法、装置、电子设备和存储介质
CN201810551066.8A Active CN108765351B (zh) 2018-05-31 2018-05-31 图像处理方法、装置、电子设备和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011241111.3A Pending CN112330824A (zh) 2018-05-31 2018-05-31 图像处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (2) CN112330824A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711390A (zh) * 2019-01-17 2019-05-03 深圳英飞拓科技股份有限公司 人脸抠图图片的优选方法及装置
CN109741277A (zh) * 2018-12-29 2019-05-10 广州华多网络科技有限公司 图像处理方法、装置、存储介质和服务器
CN110060287A (zh) * 2019-04-26 2019-07-26 北京迈格威科技有限公司 人脸图像鼻部整形方法及装置
CN110060348A (zh) * 2019-04-26 2019-07-26 北京迈格威科技有限公司 人脸图像整形方法及装置
CN110457846A (zh) * 2019-08-16 2019-11-15 广东商鼎智能设备有限公司 电火花加工参数生成方法、装置、电子设备及存储介质
CN110675489A (zh) * 2019-09-25 2020-01-10 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备和存储介质
CN111031305A (zh) * 2019-11-21 2020-04-17 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
CN111445568A (zh) * 2018-12-28 2020-07-24 广州市百果园网络科技有限公司 人物表情编辑方法、装置、计算机存储介质和终端
CN111467131A (zh) * 2020-04-30 2020-07-31 浙江大学 一种3d打印定制护目镜框的自动设计方法
CN111754431A (zh) * 2020-06-17 2020-10-09 北京百度网讯科技有限公司 一种图像区域替换方法、装置、设备及存储介质
CN112241933A (zh) * 2020-07-15 2021-01-19 北京沃东天骏信息技术有限公司 人脸图像处理方法、装置、存储介质及电子设备
CN112614228A (zh) * 2020-12-17 2021-04-06 北京达佳互联信息技术有限公司 三维网格的简化方法、装置、电子设备和存储介质
CN112669447A (zh) * 2020-12-30 2021-04-16 网易（杭州）网络有限公司 一种模型头像创建方法、装置、电子设备和存储介质
CN113033341A (zh) * 2021-03-09 2021-06-25 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113570634A (zh) * 2020-04-28 2021-10-29 北京达佳互联信息技术有限公司 对象三维重建方法、装置、电子设备及存储介质
KR20220044156A (ko) 2020-09-22 2022-04-06 썬전 그린조이 테크놀로지 컴퍼니 리미티드 골프공 오버헤드 검출방법, 시스템 및 저장매체
US11450068B2 (en) 2019-11-21 2022-09-20 Beijing Sensetime Technology Development Co., Ltd. Method and device for processing image, and storage medium using 3D model, 2D coordinates, and morphing parameter
CN115409951A (zh) * 2022-10-28 2022-11-29 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质
WO2023001095A1 (zh) * 2021-07-23 2023-01-26 百果园技术(新加坡)有限公司 人脸关键点的插值方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739719A (zh) * 2009-12-24 2010-06-16 四川大学 二维正面人脸图像的三维网格化方法
CN103077553A (zh) * 2012-12-28 2013-05-01 海纳医信（北京）软件科技有限责任公司 三维坐标的确定方法及装置
US20130173235A1 (en) * 2010-05-21 2013-07-04 My Orthodontics Pty Ltd Prediction of post-procedural appearance
CN105938627A (zh) * 2016-04-12 2016-09-14 湖南拓视觉信息技术有限公司 用于人脸虚拟整形的处理方法和***
CN106909875A (zh) * 2016-09-12 2017-06-30 湖南拓视觉信息技术有限公司 人脸脸型分类方法和***

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100468465C (zh) * 2007-07-13 2009-03-11 中国科学技术大学 基于虚拟图像对应的立体视觉三维人脸建模方法
CN101311966A (zh) * 2008-06-20 2008-11-26 浙江大学 一种基于运行传播和Isomap分析的三维人脸动画编辑与合成方法
CN101561874B (zh) * 2008-07-17 2011-10-26 清华大学 一种人脸虚拟图像生成的方法
CN101320484B (zh) * 2008-07-17 2012-01-04 清华大学 一种人脸虚图像生成的方法及一种三维人脸识别方法
CN101383055B (zh) * 2008-09-18 2010-09-29 北京中星微电子有限公司 一种三维人脸模型的构造方法和***
CN101777195B (zh) * 2010-01-29 2012-04-25 浙江大学 一种三维人脸模型的调整方法
CN104036546B (zh) * 2014-06-30 2017-01-11 清华大学 一种基于自适应形变模型的任意视角人脸三维重构方法
CN105787878B (zh) * 2016-02-25 2018-12-28 杭州格像科技有限公司 一种美颜处理方法及装置
CN105913416A (zh) * 2016-04-06 2016-08-31 中南大学 一种自动分割三维人脸模型区域的方法
WO2018053703A1 (en) * 2016-09-21 2018-03-29 Intel Corporation Estimating accurate face shape and texture from an image
US10614633B2 (en) * 2016-10-18 2020-04-07 Microsoft Technology Licensing, Llc Projecting a two-dimensional image onto a three-dimensional graphical object
CN106570822B (zh) * 2016-10-25 2020-10-16 宇龙计算机通信科技(深圳)有限公司 一种人脸贴图方法及装置
CN106503671B (zh) * 2016-11-03 2019-07-12 厦门中控智慧信息技术有限公司 确定人脸姿态的方法和装置
CN106920274B (zh) * 2017-01-20 2020-09-04 南京开为网络科技有限公司 移动端2d关键点快速转换为3d融合变形的人脸建模方法
CN107464212B (zh) * 2017-07-28 2021-01-01 Oppo广东移动通信有限公司 美颜方法、电子装置和计算机可读存储介质
CN107730465B (zh) * 2017-10-09 2020-09-04 武汉斗鱼网络科技有限公司 一种图像中人脸美颜方法及装置
CN107730445B (zh) * 2017-10-31 2022-02-18 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN107948499A (zh) * 2017-10-31 2018-04-20 维沃移动通信有限公司 一种图像拍摄方法及移动终端
CN107886484B (zh) * 2017-11-30 2020-01-10 Oppo广东移动通信有限公司 美颜方法、装置、计算机可读存储介质和电子设备
CN107944435A (zh) * 2017-12-27 2018-04-20 广州图语信息科技有限公司 一种三维人脸识别方法、装置及处理终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739719A (zh) * 2009-12-24 2010-06-16 四川大学 二维正面人脸图像的三维网格化方法
US20130173235A1 (en) * 2010-05-21 2013-07-04 My Orthodontics Pty Ltd Prediction of post-procedural appearance
CN103077553A (zh) * 2012-12-28 2013-05-01 海纳医信（北京）软件科技有限责任公司 三维坐标的确定方法及装置
CN105938627A (zh) * 2016-04-12 2016-09-14 湖南拓视觉信息技术有限公司 用于人脸虚拟整形的处理方法和***
CN106909875A (zh) * 2016-09-12 2017-06-30 湖南拓视觉信息技术有限公司 人脸脸型分类方法和***

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445568A (zh) * 2018-12-28 2020-07-24 广州市百果园网络科技有限公司 人物表情编辑方法、装置、计算机存储介质和终端
CN111445568B (zh) * 2018-12-28 2023-08-15 广州市百果园网络科技有限公司 人物表情编辑方法、装置、计算机存储介质和终端
CN109741277A (zh) * 2018-12-29 2019-05-10 广州华多网络科技有限公司 图像处理方法、装置、存储介质和服务器
CN109711390A (zh) * 2019-01-17 2019-05-03 深圳英飞拓科技股份有限公司 人脸抠图图片的优选方法及装置
CN110060348B (zh) * 2019-04-26 2023-08-11 北京迈格威科技有限公司 人脸图像整形方法及装置
CN110060287A (zh) * 2019-04-26 2019-07-26 北京迈格威科技有限公司 人脸图像鼻部整形方法及装置
CN110060348A (zh) * 2019-04-26 2019-07-26 北京迈格威科技有限公司 人脸图像整形方法及装置
CN110457846A (zh) * 2019-08-16 2019-11-15 广东商鼎智能设备有限公司 电火花加工参数生成方法、装置、电子设备及存储介质
CN110457846B (zh) * 2019-08-16 2023-08-18 广东商鼎智能设备有限公司 电火花加工参数生成方法、装置、电子设备及存储介质
CN110675489B (zh) * 2019-09-25 2024-01-23 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备和存储介质
CN110675489A (zh) * 2019-09-25 2020-01-10 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备和存储介质
CN111031305A (zh) * 2019-11-21 2020-04-17 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
KR102406438B1 (ko) * 2019-11-21 2022-06-08 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체
WO2021098143A1 (zh) * 2019-11-21 2021-05-27 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
KR20210064113A (ko) * 2019-11-21 2021-06-02 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체
US11450068B2 (en) 2019-11-21 2022-09-20 Beijing Sensetime Technology Development Co., Ltd. Method and device for processing image, and storage medium using 3D model, 2D coordinates, and morphing parameter
TWI750710B (zh) * 2019-11-21 2021-12-21 中國商北京市商湯科技開發有限公司 圖像處理方法及裝置、圖像處理設備及儲存媒體
CN113570634A (zh) * 2020-04-28 2021-10-29 北京达佳互联信息技术有限公司 对象三维重建方法、装置、电子设备及存储介质
CN111467131A (zh) * 2020-04-30 2020-07-31 浙江大学 一种3d打印定制护目镜框的自动设计方法
CN111754431B (zh) * 2020-06-17 2023-08-01 北京百度网讯科技有限公司 一种图像区域替换方法、装置、设备及存储介质
CN111754431A (zh) * 2020-06-17 2020-10-09 北京百度网讯科技有限公司 一种图像区域替换方法、装置、设备及存储介质
CN112241933A (zh) * 2020-07-15 2021-01-19 北京沃东天骏信息技术有限公司 人脸图像处理方法、装置、存储介质及电子设备
WO2022012085A1 (zh) * 2020-07-15 2022-01-20 北京沃东天骏信息技术有限公司 人脸图像处理方法、装置、存储介质及电子设备
KR20220044156A (ko) 2020-09-22 2022-04-06 썬전 그린조이 테크놀로지 컴퍼니 리미티드 골프공 오버헤드 검출방법, 시스템 및 저장매체
CN112614228A (zh) * 2020-12-17 2021-04-06 北京达佳互联信息技术有限公司 三维网格的简化方法、装置、电子设备和存储介质
CN112614228B (zh) * 2020-12-17 2023-09-05 北京达佳互联信息技术有限公司 三维网格的简化方法、装置、电子设备和存储介质
CN112669447B (zh) * 2020-12-30 2023-06-30 网易（杭州）网络有限公司 一种模型头像创建方法、装置、电子设备和存储介质
CN112669447A (zh) * 2020-12-30 2021-04-16 网易（杭州）网络有限公司 一种模型头像创建方法、装置、电子设备和存储介质
CN113033341A (zh) * 2021-03-09 2021-06-25 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113033341B (zh) * 2021-03-09 2024-04-19 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
WO2023001095A1 (zh) * 2021-07-23 2023-01-26 百果园技术(新加坡)有限公司 人脸关键点的插值方法、装置、计算机设备和存储介质
CN115409951A (zh) * 2022-10-28 2022-11-29 北京百度网讯科技有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112330824A (zh) 2021-02-05
CN108765351B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN108765351A (zh) 图像处理方法、装置、电子设备和存储介质
CN109285215B (zh) 一种人体三维模型重建方法、装置和存储介质
CN107705333B (zh) 基于双目相机的空间定位方法及装置
CN107230225B (zh) 三维重建的方法和装置
KR101560508B1 (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
CN111199579B (zh) 一种目标物的三维模型构建方法、装置、设备及介质
US20210241495A1 (en) Method and system for reconstructing colour and depth information of a scene
CN110070611A (zh) 一种基于深度图像融合的人脸三维重建方法和装置
US11928778B2 (en) Method for human body model reconstruction and reconstruction system
CN110443884B (zh) 手部运动重建方法和装置
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
Pighin et al. Realistic facial animation using image-based 3D morphing
CN110443874A (zh) 基于卷积神经网络的视点数据生成方法和装置
JP2018133059A (ja) 情報処理装置及び三次元モデルの生成方法
CN113538682B (zh) 模型训练、头部重建方法、电子设备及存储介质
Anasosalu et al. Compact and accurate 3-D face modeling using an RGB-D camera: let's open the door to 3-D video conference
EP3906530B1 (en) Method for 3d reconstruction of an object
CN112883920A (zh) 基于点云深度学习的三维人脸扫描特征点检测方法和装置
CN108876704A (zh) 人脸图像变形的方法、装置及计算机存储介质
Oisel et al. One-dimensional dense disparity estimation for three-dimensional reconstruction
US10861174B2 (en) Selective 3D registration
JP5400802B2 (ja) 階層化深さ画像を使用する接触シミュレーション方法及び装置
KR20220085694A (ko) 시퀀스의 압축을 위한 스켈레톤 기반의 동적 포인트 클라우드 추정 시스템
EP4111420A1 (en) Face mesh deformation with detailed wrinkles
CN113112606B (zh) 一种基于三维实景建模的人脸校正方法、***及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant