CN110675489B - 一种图像处理方法、装置、电子设备和存储介质 - Google Patents
一种图像处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN110675489B CN110675489B CN201910911254.1A CN201910911254A CN110675489B CN 110675489 B CN110675489 B CN 110675489B CN 201910911254 A CN201910911254 A CN 201910911254A CN 110675489 B CN110675489 B CN 110675489B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- dimensional model
- shaping
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000007493 shaping process Methods 0.000 claims abstract description 125
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 210000000887 face Anatomy 0.000 description 8
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 210000000216 zygoma Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开关于一种图像处理方法、装置、电子设备和存储介质，属于图像处理技术领域，该方法包括：接收对图像中的人脸进行三维整形的请求，请求中携带有整形模式的标识信息，根据检测到的人脸关键点和标准人脸三维模型，对图像中的人脸进行三维重建，根据标识信息获取对应相应整形模式下对标准人脸三维模型预标注的整形信息，根据该整形信息对重建的人脸三维模型进行整形，根据整形后的人脸三维模型确定整形图像。这样，借助于标准人脸三维模型对图像中的人脸进行三维重建，并根据在对应整形模式下标准人脸三维模型的整形信息对重建的人脸三维模型进行整形，人脸三维模型上的网格比较稠密，可很容易做到精细整形，最终得到的图像中人脸的真实度较好。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备和存储介质。
背景技术
目前，社交应用的种类越来越丰富如短视频应用、自拍美颜应用等，在这些社交应用中对图像中人脸进行美化的3维(dimension，D)整形也得到了广泛应用。
相关技术中，对图像中人脸的3D整形实际上是利用对2D图像中的人脸进行变形得到的，具体地，确定2D图像中的一些人脸特征点，对每个人脸特征点，计算变形后该人脸特征点的2D坐标位置，根据变形后各人脸特征点的2D坐标位置构建变形后的人脸图像，然而，由于这些人脸特征点比较离散，所以很难对人脸图像做到精细的整形处理，并且，在2D平面上对人脸图像进行变形，最终得到的人脸图像的真实度也有所欠缺。
发明内容
本公开提供一种图像处理方法、装置、电子设备和存储介质，以至少解决相关技术中在对图像中的人脸进行整形时存在的整形精度低、且最终得到的图像中人脸的真实度不好的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
接收对图像中的人脸进行三维整形的请求，所述请求中携带有整形模式的标识信息，所述整形模式用于指示待整形的人脸部位和对所述人脸部位采用的整形方式；
对所述图像中的人脸进行关键点检测，根据检测到的人脸关键点和标准人脸三维模型，对所述图像中的人脸进行三维重建，得到所述图像中人脸的三维模型；
根据所述标识信息获取在对应整形模式下对所述标准人脸三维模型预标注的整形信息，根据所述整形信息对所述图像中人脸的三维模型进行整形；
根据整形后所述图像中人脸的三维模型确定整形后的图像。
可选地，根据所述整形信息对所述图像中人脸的三维模型进行整形，包括：
对所述整形信息中记录的标准人脸三维模型中的每个第一顶点，确定所述图像中人脸的三维模型中与所述第一顶点对应的第二顶点；
根据所述第一顶点对应的三维坐标调整信息对所述第二顶点的三维坐标进行调整。
可选地，根据整形后所述图像中人脸的三维模型确定整形后的图像，包括：
对所述图像中人脸的三维模型进行渲染，得到对所述人脸部位整形后的人脸信息；
以所述整形后的人脸信息替代所述图像中的人脸信息，得到对所述人脸部位整形后的图像。
可选地，对所述图像中人脸的三维模型进行渲染，得到对所述人脸部位整形后的人脸信息，包括：
对所述图像中人脸的三维模型中的每个网格，确定所述网格在二维平面上对应的像素区域；
根据所述网格对应的人脸纹理信息对所述像素区域进行纹理填充，得到所述像素区域的人脸信息。
可选地，根据检测到的人脸关键点和标准人脸三维模型，对所述图像中的人脸进行三维重建，包括：
根据检测到的人脸关键点，确定设备在采集所述图像时所述图像中人脸的姿态信息，所述姿态信息至少包括人脸的位置和朝向；
根据所述图像中人脸的姿态信息、所述设备的投影参数和所述标准人脸三维模型中各顶点的三维坐标，确定所述标准人脸三维模型在对应姿态下各顶点投影到二维平面上的坐标；
根据各顶点投影到二维平面上的坐标和所述图像，对所述标准人脸三维模型进行纹理贴图，得到所述图像中人脸的三维模型。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
接收模块，被配置为执行接收对图像中的人脸进行三维整形的请求，所述请求中携带有整形模式的标识信息，所述整形模式用于指示待整形的人脸部位和对所述人脸部位采用的整形方式；
重建模块，被配置为执行对所述图像中的人脸进行关键点检测，根据检测到的人脸关键点和标准人脸三维模型，对所述图像中的人脸进行三维重建，得到所述图像中人脸的三维模型；
整形模块，被配置为执行根据所述标识信息获取在对应整形模式下对所述标准人脸三维模型预标注的整形信息，根据所述整形信息对所述图像中人脸的三维模型进行整形；
确定模块，被配置为执行根据整形后所述图像中人脸的三维模型确定整形后的图像。
可选地，所述整形模块具体被配置为执行：
对所述图像中人脸的三维模型中的每个顶点，从所述整形信息中查找所述顶点对应的三维坐标调整信息；
根据所述三维坐标调整信息对所述顶点的三维坐标进行调整。
可选地，所述确定模块具体被配置为执行：
对所述图像中人脸的三维模型进行渲染，得到对所述人脸部位整形后的人脸信息；
以所述整形后的人脸信息替代所述图像中的人脸信息，得到对所述人脸部位整形后的图像。
可选地，所述确定模块具体被配置为执行：
对所述图像中人脸的三维模型中的每个网格，确定所述网格在二维平面上对应的像素区域；
根据所述网格对应的人脸纹理信息对所述像素区域进行纹理填充，得到所述像素区域的人脸信息。
可选地，所述重建模块具体被配置为执行：
根据检测到的人脸关键点，确定设备在采集所述图像时所述图像中人脸的姿态信息，所述姿态信息至少包括人脸的位置和朝向；
根据所述图像中人脸的姿态信息、所述设备的投影参数和所述标准人脸三维模型中各顶点的三维坐标，确定所述标准人脸三维模型在对应姿态下各顶点投影到二维平面上的坐标；
根据各顶点投影到二维平面上的坐标和所述图像，对所述标准人脸三维模型进行纹理贴图，得到所述图像中人脸的三维模型。
根据本公开实施例的第三方面，提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一图像处理方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行上述任一图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，该程序产品在被电子设备调用执行时，可以使得电子设备执行上述任一图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
接收对图像中的人脸进行三维整形的请求，该请求中携带有整形模式的标识信息，对图像中的人脸进行关键点检测，根据检测到的人脸关键点和标准人脸三维模型，对图像中的人脸进行三维重建，得到图像中人脸的三维模型，进而根据标识信息获取在对应整形模式下对标准人脸三维模型预标注的整形信息，根据该整形信息对图像中人脸的三维模型进行整形，根据整形后图像中人脸的三维模型确定整形后的图像，这样，在对图像中的人脸进行整形时，借助于标准人脸三维模型建立图像中人脸的三维模型，并根据在对应整形模式下标准人脸三维模型的整形信息对建立的人脸三维模型进行整形，因为建立的人脸三维模型上的网格比较稠密，所以对人脸部位可很容易做到精细整形，并且，最终得到的图像中人脸的真实度也较好。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种计算装置的结构示意图。
图2是根据一示例性实施例示出的一种标准人脸三维模型的示意图。
图3是根据一示例性实施例示出的一种图像处理方法的流程示意图。
图4是根据一示例性实施例示出的一种图像处理方法的流程图。
图5是根据一示例性实施例示出的一种对图像中的人脸进行三维重建的方法流程图。
图6是根据一示例性实施例示出的一副整形前的图像。
图7是根据一示例性实施例示出的对图6所示的图像进行整形后的图像。
图8是根据一示例性实施例示出的一种图像处理装置的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开提供的图像处理方法可以应用到多种计算装置中，图1给出了一种计算装置的结构示意图，这里，图1所示的计算装置10仅仅是一个示例，并不对本公开实施例的功能和使用范围带来任何限制。
如图1所示，计算装置10以通用计算设备的形式表现，计算装置10的组件可以包括但不限于：至少一个处理单元101、至少一个存储单元102、连接不同***组件(包括存储单元102和处理单元101)的总线103。
总线103表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、***总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元102可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)1021和/或高速缓存存储器1022，还可以进一步包括只读存储器(ROM)1023。
存储单元102还可以包括具有一组(至少一个)程序模块1024的程序/实用工具1025，这样的程序模块1024包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算装置10也可以与一个或多个外部设备104(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置10交互的设备通信，和/或与使得该计算装置10能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口105进行。并且，计算装置10还可以通过网络适配器106与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图1所示，网络适配器106通过总线103与用于计算装置10的其它模块通信。应当理解，尽管图1中未示出，可以结合计算装置10使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
本领域技术人员应当理解，图1仅仅是计算装置的举例，并不构成对计算装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
为了便于理解本公开，先对标准人脸三维模型进行介绍，图2是根据一示例性实施例示出的一种标准人脸三维模型的示意图，标准人脸三维模型包括多个三角形网格，每个三角形网格包含三个顶点，每个顶点会被若干个三角形共享。假设标准人脸三维模型中的顶点数量为n，则第i个顶点在三维空间中的位置为(xi，yi，zi)。
具体实施时，预先选定几个可进行整形的人脸部位，如鼻子、眼睛、嘴巴、颧骨等，然后，对每种人脸部位确定至少一种整形方式，一种人脸部位+一种整形方式即得到一种整形模式，比如，瘦鼻头、隆鼻、开眼角、***、去除眼部皱纹、减小嘴唇厚度、颧骨增高等均是整形模式。
进一步地，确定在每种整形模式下标准人脸三维模型的整形信息。具体地，对每种整形模式，根据该种整形模式指示的人脸部位和对人脸部位采用的整形方式，对标准人脸三维模型中相关顶点的三维坐标反复进行调整，以改变标准人脸三维模型中该人脸部位的3D形状，在得到满意的3D整形效果时，可记录调整前后标准人脸三维模型中发生了移动的每个顶点的标识信息和三维坐标调整信息，将各顶点的标识信息和三维坐标调整信息作为在该种整形模式下标准人脸三维模型预标注的整形信息。
后续，可提供多种可选的整形模式，用户选择哪种整形模式，则根据标准人脸三维模型对图像中的人脸进行三维重建，并根据标准人脸三维模型在对应整形模式下的整形信息，对重建的人脸三维模型进行整形，根据整形后的人脸三维模型确定整形后的二维图像，以实现真正意义上的3D整形，提升最终得到的二维图像中人脸的真实感。
图3是根据一示例性实施例示出的一种图像处理方法的流程示意图，具体过程如下：
首先，获取包含有人脸的图像，将图像输入到电子设备中，电子设备可对图像提供多种整形模式。假设用户选择某种整形模式S，则可对图像进行人脸检测，并在检测到人脸的区域中进行人脸定位，即进行人脸关键点检测，进而根据检测到的人脸关键点和标准人脸三维模型，对图像中的人脸进行三维重建，获得人脸网格信息、人脸纹理图像和人脸网格到二维人脸的变换矩阵M。
假设标准人脸三维模型为(V，G)，重建的人脸三维模型为(U，G)，其中，V＝{V1,V2,…Vn}，表示标准人脸三维模型中的n个顶点，Vi为第i个顶点的三维坐标，1≤i≤n，U＝{U1,U2,…Un}，表示重建的人脸三维模型中的n个顶点，即人脸网格信息，Ui为第i个顶点的三维坐标，1≤i≤n，G表示标准人脸三维模型的网格拓扑，即各顶点之间的连接关系，重建的人脸三维模型的网络拓扑与标准人脸三维模型一致。
具体实施时，变换矩阵M可为4*4的矩阵，假设重建的人脸三维模型中特定位置(如鼻尖、左眼角等)的顶点Ui＝(xi,yi,zi)，二维图像中该特定位置的坐标为Bi＝(ai,bi)，则满足M*(xi,yi,zi,1)T＝(ai,bi,ci,1)T，其中，ci是一个占位符。
另外，若记人脸纹理图像为J，则重建的人脸三维模型在人脸区域内满足：Raster(V，G，M，J)＝I，其中Raster()表示光栅化算子，功能是将三维模型(V，G)使用变换矩阵M进行变换后，进行光栅化，并使用人脸纹理图像J作为纹理贴图计算颜色值，根据计算的颜色值对光栅化后得到的像素区域进行着色，从而渲染出二维图像。
其次，根据预先确定的在整形模式S下标准人脸三维模型的整形信息，对重建的人脸三维模型进行整形，得到整形后的人脸三维模型(W，G)。
假设在整形模式S下，标准人脸三维模型的整形信息ΔV为：ΔV＝{ΔV1,ΔV2,…ΔVn}，其中，ΔVi表示标准人脸三维模型中第i个顶点的三维坐标调整信息，那么，W＝U+ΔV。
然后，根据整形后的人脸三维模型(W，G)、人脸纹理图像J和映射矩阵M，渲染出整形后的面部区域图像，即求Raster(W，G，M，J)。
最后，结合输入图像和整形后的面部区域图像，获得最终的整形图像。
具体地，使用整形后的面部区域图像中的像素代替输入图像中同样位置上的像素。
需要说明的是，如果图像中包含多个人脸，则对每个人脸依次按照上述过程进行处理，在此不再赘述。
图4是根据一示例性实施例示出的一种图像处理方法的流程图，包括以下步骤。
S401：接收对图像中的人脸进行三维整形的请求，其中，请求中携带有整形模式的标识信息。
这里，整形模式用于指示待整形的人脸部位和对人脸部位采用的整形方式，比如，瘦鼻头所指示的待整形的人脸部位为鼻头、对鼻头采用的整形方式为缩小；开眼角所指示的待整形的人脸部位为眼角、对眼角采用的整形方式为扩大。
S402：对图像中的人脸进行关键点检测。
具体实施时，可先在图像中检测人脸区域，然后在人脸区域中进行关键点检测，其中，可进行检测的人脸关键点如脸的轮廓点、眼睛轮廓点、鼻子轮廓点、眉毛轮廓点、额头轮廓点、上嘴唇轮廓点、下嘴唇轮廓点等。
S403：根据检测到的人脸关键点和标准人脸三维模型，对图像中的人脸进行三维重建，得到图像中人脸的三维模型。
具体实施时，可根据检测到的人脸关键点确定设备在采集该图像时图像中人脸的姿态信息，如人脸的位置和朝向，进而根据图像中人脸的姿态信息和设备的投影参数，将标准人脸三维模型中各顶点的三维坐标转换为二维坐标，根据这些二维坐标和该图像，对标准人脸三维模型进行纹理贴图，得到图像中人脸的三维模型。
图5是根据一示例性实施例示出的一种对图像中的人脸进行三维重建的方法流程图，包括以下步骤。
S501a：根据检测到的人脸关键点，确定设备在采集图像时图像中人脸的姿态信息，其中，姿态信息至少包括图像中人脸的位置和朝向。
这里，人脸的位置和朝向可以是指设备在采集图像时图像中人脸在三维空间中的位置和朝向，例如，人脸的位置可以是人脸在设备的视野范围内偏左的位置、偏右的位置或正中间等位置，人脸的朝向可以是正面人脸、左侧脸、右侧脸、抬头或低头等朝向。
具体实施时，根据检测到的人脸关键点，可确定位移矩阵和旋转矩阵，其中，位移矩阵用于表示设备在采集图像时图像中人脸在三维空间中的位置；旋转矩阵用于表示设备在采集图像时图像中人脸在三维空间中的朝向，位移矩阵和旋转矩阵相乘后得到的矩阵(记作姿态矩阵)可作为图像中人脸的姿态信息。
S502a：根据图像中人脸的姿态信息、设备的投影参数和标准人脸三维模型中各顶点的三维坐标，确定标准人脸三维模型在对应姿态下各顶点投影到二维平面上的坐标。
其中，设备的投影参数包括投影矩阵。
具体实施时，对每个顶点，将该顶点的三维坐标与姿态矩阵和投影矩阵相乘，即可得到该顶点投影到二维平面上的坐标。
S503a：根据各顶点投影到二维平面上的坐标和图像，对标准人脸三维模型进行纹理贴图，得到图像中人脸的三维模型。
具体实施时，可根据各顶点投影到二维平面上的坐标对图像进行纹理信息采集，再根据采集到的纹理信息对标准人脸三维模型进行纹理贴图，即可得到图像中人脸的三维模型。
需要说明的是，图像中人脸的三维模型和标准人脸三维模型的顶点个数是相同的。假设标准人脸三维模型中的顶点统称为第一顶点，图像中人脸的三维模型中的顶点统称为第二顶点，则对标准人脸三维模型中的每个第一顶点，在图像中人脸的三维模型中均对应一个第二顶点，两者对应同一人脸位置。
S404：根据标识信息获取在对应整形模式下对标准人脸三维模型预标注的整形信息。
S405：根据在对应整形模式下对标准人脸三维模型预标注的整形信息对图像中人脸的三维模型进行整形。
具体实施时，对整形信息中记录的标准人脸三维模型中的每个第一顶点，确定图像中人脸的三维模型中与第一顶点对应的第二顶点，进而根据第一顶点对应的三维坐标调整信息对第二顶点的三维坐标进行调整，这样，逐顶点地对图像中人脸的三维模型进行调整，整形的精细度更高，最终得到的整形图像中人脸的真实度也更好。
S406：对图像中人脸的三维模型进行渲染，得到对人脸部位整形后的人脸信息。
具体地，对图像中人脸的三维模型中的每个网格，确定该网格在二维平面上对应的像素区域，比如，对该网格进行光栅化处理来确定该网格在二维平面上对应的像素区域，根据该网格对应的人脸纹理信息对该像素区域进行纹理填充，得到该像素区域的人脸信息，这样，得到每个网格对应的像素区域的人脸信息，即得到对人脸部位整形后的人脸信息。
S407：以对人脸部位整形后的人脸信息替代图像中的人脸信息，得到对人脸部位整形后的图像。
具体实施时，对图像中人脸的三维模型进行渲染，得到对人脸部位整形后的人脸信息只有人脸信息，而图像中除了人脸信息通常还包含一些非人物信息如汽车、水杯等，因此，可以对人脸部位整形后的人脸信息替代图像中的人脸信息的方式来得到对人脸部位整形后的图像。
下面结合具体的实施例对本公开实施例进行说明。
假设获取到图6所示的图像，且用户选择了对图像中的人脸进行瘦鼻头处理的请求，则可在图像中检测人脸区域，然后在人脸区域中进行关键点检测，进而根据检测到的人脸关键点和标准人脸三维模型，对图像中的人脸进行三维重建，得到图像中人脸的三维模型。
进一步地，从整形信息库中获取进行瘦鼻头处理时对标准人脸三维模型预标注的整形信息，对整形信息中记录的标准人脸三维模型中的每个第一顶点，确定图像中人脸的三维模型中与该第一顶点对应的第二顶点，进而根据该第一顶点对应的三维坐标调整信息对该第二顶点的三维坐标进行调整。
然后，对图像中人脸的三维模型进行渲染，得到整形后的面部区域图像，对面部区域图像中的每个像素，以该像素替换图像中相同位置处的像素，从而得到整形后的图像，参见图7，图7是整形后的图像。
当本公开实施例中提供的方法以软件或硬件或软硬件结合实现的时候，电子设备中可以包括多个功能模块，每个功能模块可以包括软件、硬件或其结合。
图8是根据一示例性实施例示出的一种图像处理装置的框图，该装置包括接收模块801，重建模块802、整形模块803和确定模块804。
接收模块801，被配置为执行接收对图像中的人脸进行三维整形的请求，所述请求中携带有整形模式的标识信息，所述整形模式用于指示待整形的人脸部位和对所述人脸部位采用的整形方式；
重建模块802，被配置为执行对所述图像中的人脸进行关键点检测，根据检测到的人脸关键点和标准人脸三维模型，对所述图像中的人脸进行三维重建，得到所述图像中人脸的三维模型；
整形模块803，被配置为执行根据所述标识信息获取在对应整形模式下对所述标准人脸三维模型预标注的整形信息，根据所述整形信息对所述图像中人脸的三维模型进行整形；
确定模块804，被配置为执行根据整形后所述图像中人脸的三维模型确定整形后的图像。
可选地，所述整形模块803具体被配置为执行：
对所述图像中人脸的三维模型中的每个顶点，从所述整形信息中查找所述顶点对应的三维坐标调整信息；
根据所述三维坐标调整信息对所述顶点的三维坐标进行调整。
可选地，所述确定模块804具体被配置为执行：
对所述图像中人脸的三维模型进行渲染，得到对所述人脸部位整形后的人脸信息；
以所述整形后的人脸信息替代所述图像中的人脸信息，得到对所述人脸部位整形后的图像。
可选地，所述确定模块804具体被配置为执行：
对所述图像中人脸的三维模型中的每个网格，确定所述网格在二维平面上对应的像素区域；
根据所述网格对应的人脸纹理信息对所述像素区域进行纹理填充，得到所述像素区域的人脸信息。
可选地，所述重建模块802具体被配置为执行：
根据检测到的人脸关键点，确定设备在采集所述图像时所述图像中人脸的姿态信息，所述姿态信息至少包括人脸的位置和朝向；
根据所述图像中人脸的姿态信息、所述设备的投影参数和所述标准人脸三维模型中各顶点的三维坐标，确定所述标准人脸三维模型在对应姿态下各顶点投影到二维平面上的坐标；
根据各顶点投影到二维平面上的坐标和所述图像，对所述标准人脸三维模型进行纹理贴图，得到所述图像中人脸的三维模型。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本公开各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
本公开实施例还提供一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行时，所述至少一个处理器能够执行上述任一图像处理方法中的步骤。
本公开实施例还提供一种存储介质，当存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行上述任一图像处理方法中的步骤。
在一些可能的实施方式中，本公开提供的图像处理方法的各个方面还可以实现为一种计算机程序产品的形式，当所述程序产品在电子设备上运行时，可使所述电子设备执行上述任一图像处理方法中的步骤。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本公开的实施方式的用于图像处理的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
本领域内的技术人员应明白，本公开的实施例可提供为方法、***、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、装置(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。
显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
接收对图像中的人脸进行三维整形的请求，所述请求中携带有整形模式的标识信息，所述整形模式用于指示待整形的人脸部位和对所述人脸部位采用的整形方式；
对所述图像中的人脸进行关键点检测，根据检测到的人脸关键点和标准人脸三维模型，对所述图像中的各人脸进行三维重建，得到所述图像中各人脸的三维模型；
根据所述标识信息获取在对应整形模式下对所述标准人脸三维模型预标注的整形信息，根据所述整形信息对所述图像中各人脸的三维模型进行整形；
根据整形后所述图像中各人脸的三维模型确定整形后的图像；
根据所述整形信息对所述图像中各人脸的三维模型进行整形，包括：
对所述整形信息中记录的标准人脸三维模型中的每个第一顶点，确定所述图像中每个人脸的三维模型中与所述第一顶点对应的第二顶点；
根据所述第一顶点对应的三维坐标调整信息对所述第二顶点的三维坐标进行调整，以对所述人脸的三维模型进行整形。
2.根据权利要求1所述的方法，其特征在于，根据整形后所述图像中各人脸的三维模型确定整形后的图像，包括：
对所述图像中各人脸的三维模型进行渲染，得到对所述人脸部位整形后的人脸信息；
以所述整形后的人脸信息替代所述图像中各人脸的人脸信息，得到对所述人脸部位整形后的图像。
3.根据权利要求2所述的方法，其特征在于，对所述图像中各人脸的三维模型进行渲染，得到对所述人脸部位整形后的人脸信息，包括：
对所述图像中每个人脸的三维模型中的每个网格，确定所述网格在二维平面上对应的像素区域；
根据所述网格对应的人脸纹理信息对所述像素区域进行纹理填充，得到所述像素区域的人脸信息。
4.根据权利要求1所述的方法，其特征在于，所述根据检测到的人脸关键点和标准人脸三维模型，对所述图像中的各人脸进行三维重建，包括：
根据检测到的人脸关键点，确定设备在采集所述图像时所述图像中每个人脸的姿态信息，所述姿态信息至少包括人脸的位置和朝向；
根据所述图像中每个人脸的姿态信息、所述设备的投影参数和所述标准人脸三维模型中各顶点的三维坐标，确定所述标准人脸三维模型在对应姿态下各顶点投影到二维平面上的坐标；
根据各顶点投影到二维平面上的坐标和所述图像，对所述标准人脸三维模型进行纹理贴图，得到所述图像中所述人脸的三维模型。
5.一种图像处理装置，其特征在于，包括：
接收模块，被配置为执行接收对图像中的人脸进行三维整形的请求，所述请求中携带有整形模式的标识信息，所述整形模式用于指示待整形的人脸部位和对所述人脸部位采用的整形方式；
重建模块，被配置为执行对所述图像中的人脸进行关键点检测，根据检测到的人脸关键点和标准人脸三维模型，对所述图像中的各人脸进行三维重建，得到所述图像中各人脸的三维模型；
整形模块，被配置为执行根据所述标识信息获取在对应整形模式下对所述标准人脸三维模型预标注的整形信息，根据所述整形信息对所述图像中各人脸的三维模型进行整形；
确定模块，被配置为执行根据整形后所述图像中各人脸的三维模型确定整形后的图像；
所述整形模块，具体被配置为执行对所述图像中每个人脸的三维模型中的每个顶点，从所述整形信息中查找所述顶点对应的三维坐标调整信息；根据所述三维坐标调整信息对所述顶点的三维坐标进行调整，以对所述人脸的三维模型进行整形。
6.根据权利要求5所述的装置，其特征在于，所述确定模块具体被配置为执行：
对所述图像中各人脸的三维模型进行渲染，得到对所述人脸部位整形后的人脸信息；
以所述整形后的人脸信息替代所述图像中各人脸的人脸信息，得到对所述人脸部位整形后的图像。
7.根据权利要求6所述的装置，其特征在于，所述确定模块具体被配置为执行：
对所述图像中每个人脸的三维模型中的每个网格，确定所述网格在二维平面上对应的像素区域；
根据所述网格对应的人脸纹理信息对所述像素区域进行纹理填充，得到所述像素区域的人脸信息。
8.根据权利要求5所述的装置，其特征在于，所述重建模块具体被配置为执行：
根据检测到的人脸关键点，确定设备在采集所述图像时所述图像中每个人脸的姿态信息，所述姿态信息至少包括人脸的位置和朝向；
根据所述图像中每个人脸的姿态信息、所述设备的投影参数和所述标准人脸三维模型中各顶点的三维坐标，确定所述标准人脸三维模型在对应姿态下各顶点投影到二维平面上的坐标；
根据各顶点投影到二维平面上的坐标和所述图像，对所述标准人脸三维模型进行纹理贴图，得到所述图像中所述人脸的三维模型。
9.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至4任一项权利要求所述的方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，所述电子设备能够执行如权利要求1至4中任一项权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910911254.1A CN110675489B (zh) | 2019-09-25 | 2019-09-25 | 一种图像处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910911254.1A CN110675489B (zh) | 2019-09-25 | 2019-09-25 | 一种图像处理方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110675489A CN110675489A (zh) | 2020-01-10 |
| CN110675489B true CN110675489B (zh) | 2024-01-23 |
Family
ID=69079453
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910911254.1A Active CN110675489B (zh) | 2019-09-25 | 2019-09-25 | 一种图像处理方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110675489B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111274916B (zh) * | 2020-01-16 | 2024-02-02 | 华为技术有限公司 | 人脸识别方法和人脸识别装置 |
| CN112241933A (zh) * | 2020-07-15 | 2021-01-19 | 北京沃东天骏信息技术有限公司 | 人脸图像处理方法、装置、存储介质及电子设备 |
| CN112669198A (zh) * | 2020-10-29 | 2021-04-16 | 北京达佳互联信息技术有限公司 | 图像特效的处理方法、装置、电子设备和存储介质 |
| CN112308955A (zh) * | 2020-10-30 | 2021-02-02 | 北京字跳网络技术有限公司 | 基于图像的纹理填充方法、装置、设备及存储介质 |
| CN112257657B (zh) * | 2020-11-11 | 2024-02-27 | 网易（杭州）网络有限公司 | 脸部图像融合方法及装置、存储介质、电子设备 |
| CN112669447B (zh) * | 2020-12-30 | 2023-06-30 | 网易（杭州）网络有限公司 | 一种模型头像创建方法、装置、电子设备和存储介质 |
| CN113240814A (zh) * | 2021-05-12 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113343879A (zh) * | 2021-06-18 | 2021-09-03 | 厦门美图之家科技有限公司 | 全景面部图像的制作方法、装置、电子设备及存储介质 |
| CN114581987A (zh) * | 2021-10-20 | 2022-06-03 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114187408B (zh) * | 2021-12-15 | 2023-04-07 | 中国电信股份有限公司 | 三维人脸模型重建方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5751363A (en) * | 1995-02-15 | 1998-05-12 | Nec Corporation | System and method for coding and/or decoding image-adaptive split region of motion picture |
| CN106920277A (zh) * | 2017-03-01 | 2017-07-04 | 浙江神造科技有限公司 | 模拟美容整形效果可视化在线自由面雕的方法及*** |
| CN108447017A (zh) * | 2018-05-31 | 2018-08-24 | Oppo广东移动通信有限公司 | 人脸虚拟整容方法和装置 |
| CN108765351A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN108765273A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 人脸拍照的虚拟整容方法和装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0117157D0 (en) * | 2001-07-16 | 2001-09-05 | Imec Inter Uni Micro Electr | Extraction, hierarchical representation and flexible compression of surface meshes derived from 3D data |
-
2019
- 2019-09-25 CN CN201910911254.1A patent/CN110675489B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5751363A (en) * | 1995-02-15 | 1998-05-12 | Nec Corporation | System and method for coding and/or decoding image-adaptive split region of motion picture |
| CN106920277A (zh) * | 2017-03-01 | 2017-07-04 | 浙江神造科技有限公司 | 模拟美容整形效果可视化在线自由面雕的方法及*** |
| CN108447017A (zh) * | 2018-05-31 | 2018-08-24 | Oppo广东移动通信有限公司 | 人脸虚拟整容方法和装置 |
| CN108765351A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN108765273A (zh) * | 2018-05-31 | 2018-11-06 | Oppo广东移动通信有限公司 | 人脸拍照的虚拟整容方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110675489A (zh) | 2020-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110675489B (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
| CN108648269B (zh) | 三维建筑物模型的单体化方法和*** | |
| US11395715B2 (en) | Methods and systems for generating and using 3D images in surgical settings | |
| EP3992918A1 (en) | Method for generating 3d expression base, voice interactive method, apparatus and medium | |
| CN104574267B (zh) | 引导方法和信息处理设备 | |
| US6434278B1 (en) | Generating three-dimensional models of objects defined by two-dimensional image data | |
| US10762704B2 (en) | Method for establishing a deformable 3D model of an element, and associated system | |
| US8884947B2 (en) | Image processing apparatus and image processing method | |
| EP3859681A1 (en) | Method for generating facial animation from single image | |
| CN104376594A (zh) | 三维人脸建模方法和装置 | |
| KR101744079B1 (ko) | 치과 시술 시뮬레이션을 위한 얼굴모델 생성 방법 | |
| KR20150107063A (ko) | 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 | |
| JP2002197443A (ja) | ３次元形状データの生成装置 | |
| WO2018190805A1 (en) | Depth image pose search with a bootstrapped-created database | |
| CN108182663A (zh) | 一种毫米波图像效果增强方法、设备和可读存储介质 | |
| CN111382618A (zh) | 一种人脸图像的光照检测方法、装置、设备和存储介质 | |
| CN108655571A (zh) | 一种数控激光雕刻机、控制***及控制方法、计算机 | |
| CN114863061A (zh) | 一种远程监护医学图像处理的三维重建方法及*** | |
| CN117422802B (zh) | 三维人像数字化重建方法、装置、终端设备及存储介质 | |
| CN110599535A (zh) | 基于哈希表的高分辨率人体实时动态重建方法及装置 | |
| KR20210147647A (ko) | 얼굴 이미지 색상 합성 장치 및 방법 | |
| CN112634439B (zh) | 一种3d信息展示方法及装置 | |
| CN113781653A (zh) | 对象模型生成方法、装置、电子设备及存储介质 | |
| CN112967329A (zh) | 图像数据优化方法、装置、电子设备及存储介质 | |
| US20240096041A1 (en) | Avatar generation based on driving views |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |