CN111047526B - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents
一种图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111047526B CN111047526B CN201911158610.3A CN201911158610A CN111047526B CN 111047526 B CN111047526 B CN 111047526B CN 201911158610 A CN201911158610 A CN 201911158610A CN 111047526 B CN111047526 B CN 111047526B
- Authority
- CN
- China
- Prior art keywords
- image
- nail
- information
- processed
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 142
- 238000000034 method Methods 0.000 claims abstract description 38
- 210000000282 nail Anatomy 0.000 claims description 356
- 230000000694 effects Effects 0.000 claims description 56
- 238000009499 grossing Methods 0.000 claims description 45
- 230000003287 optical effect Effects 0.000 claims description 31
- 230000010365 information processing Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 239000002537 cosmetic Substances 0.000 claims description 10
- 238000012216 screening Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 230000015572 biosynthetic process Effects 0.000 claims description 5
- 238000003786 synthesis reaction Methods 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 210000004905 finger nail Anatomy 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 2
- 210000003811 finger Anatomy 0.000 description 32
- 238000010586 diagram Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 210000004247 hand Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000004932 little finger Anatomy 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本公开实施例提供了一种图像处理方法、装置、电子设备及存储介质，所述方法包括：获取待处理图像；将待处理图像输入预先建立的图像处理模型中，确定所述指甲在所述待处理图像中所占的第一区域、所述指甲的关键点信息及可见性信息；基于所述第一区域、所述关键点信息及所述可见性信息，得到指甲区域信息，其中，所述指甲区域信息包括：可见指甲区域及指甲方向信息。由于根据第一区域、关键点信息及可见性信息确定的指甲区域信息包括：可见指甲区域及指甲方向信息，因此得到的指甲区域信息更加全面，准确度更高。
Description
技术领域
本公开涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着图像处理技术的发展，用户对于图像处理的需要变得多种多样，例如，进行模拟真实效果的美妆、美甲等。在进行图像处理时首先需要确定出图像中需要进行处理的区域，然后采用相应的处理方式对该区域进行处理，以达到用户需要的处理效果。
以美甲处理为例，目前采用的处理方式为：首先利用图像检测算法确定图像中手部的关键点，例如图1(a)所示的效果。然后根据手部的关键点以及预估的指甲的大小，对手部的顶端进行涂色处理，达到模拟真实美甲的效果。
然而，由于并不能准确分割出图像中指甲的区域，而是直接对手部的顶端进行涂色，所以处理效果并不准确，很不自然，甚至会出现如图1(b)所示的结果，即美甲涂色涂到指腹的情况，可见，目前的图像处理方式确定的指甲区域的准确度很低。
发明内容
为克服相关技术中存在的问题，本公开实施例提供一种图像处理方法、装置、电子设备及存储介质。具体技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，所述方法包括：
获取待处理图像，其中，所述待处理图像中包括指甲；
将所述待处理图像输入预先建立的图像处理模型中，确定所述指甲在所述待处理图像中所占的第一区域、所述指甲的关键点信息及可见性信息；
基于所述第一区域、所述关键点信息及所述可见性信息，得到指甲区域信息，其中，所述指甲区域信息包括：可见指甲区域及指甲方向信息。
作为一种实施方式，在所述得到指甲区域信息的步骤之后，所述方法还包括：
根据所述指甲区域信息，对所述待处理图像中的所述可见指甲区域进行美妆处理，得到第一效果图像。
作为一种实施方式，所述获取待处理图像的步骤，包括：
获取目标图像，并对所述目标图像进行手部检测，确定手部区域；
对所述目标图像的所述手部区域进行剪切，得到所述待处理图像；
在所述得到第一效果图像的步骤之后，所述方法还包括：
基于所述手部区域，将所述第一效果图像与所述目标图像合成，得到第二效果图像。
作为一种实施方式，所述基于所述第一区域、所述关键点信息及所述可见性信息，得到指甲区域信息的步骤，包括：
根据所述可见性信息，从所述第一区域中筛选可见指甲区域；
根据所述关键点信息，确定所述可见指甲区域对应的指甲方向信息；
作为一种实施方式，所述指甲区域信息还包括手指信息；
所述基于所述第一区域、所述关键点信息及所述可见性信息，得到指甲区域信息的步骤，还包括：
根据所述关键点信息以及预设的关键点顺序与手指信息的对应关系，确定所述可见指甲区域对应的手指信息。
作为一种实施方式，所述待处理图像为视频图像中的一帧图像；
所述指甲的关键点信息的确定方式，包括：
获取所述待处理图像的前一帧图像对应的关键点信息以及所述图像处理模型输出的所述指甲的当前关键点信息；
根据所述前一帧图像对应的关键点信息确定所述指甲在所述前一帧图像中的光流信息；
基于所述指甲在所述前一帧图像中的光流信息，确定所述指甲在所述待处理图像中的预估关键点信息；
对所述预估关键点信息及所述当前关键点信息进行平滑处理，得到所述指甲的关键点信息。
作为一种实施方式，所述确定所述指甲在所述待处理图像中所占的第一区域的步骤，包括：
获取预设的引导图像；
利用所述引导图像对所述图像处理模型输出的掩码图像进行滤波处理，得到处理后的掩码图像；
将所述处理后的掩码图像所标识的区域确定为所述指甲在所述待处理图像中所占的第一区域。
作为一种实施方式，所述待处理图像为视频图像中的一帧图像；
所述确定所述指甲在所述待处理图像中所占的第一区域的步骤，包括：
获取所述待处理图像的前一帧图像以及所述前一帧图像对应的掩码图像；
计算所述待处理图像与所述前一帧图像的差异度；
根据所述差异度及预设平滑规则，确定所述待处理图像对应的平滑系数；
基于所述平滑系数及第一掩码图像，对第二掩码图像进行平滑处理，得到处理后的掩码图像，其中，所述第一掩码图像为所述前一帧图像对应的掩码图像，所述第二掩码图像为所述图像处理模型输出的的掩码图像；
将所述处理后的掩码图像所标识的区域确定为所述指甲在所述待处理图像中所占的第一区域。
根据本公开实施例的第二方面，提供一种图像处理装置，所述装置包括：
图像获取模块，被配置为执行获取待处理图像，其中，所述待处理图像中包括指甲；
模型处理模块，被配置为执行将所述待处理图像输入预先建立的图像处理模型中，确定所述指甲在所述待处理图像中所占的第一区域、所述指甲的关键点信息及可见性信息；
信息处理模块，被配置为执行基于所述第一区域、所述关键点信息及所述可见性信息，得到指甲区域信息，其中，所述指甲区域信息包括：可见指甲区域及指甲方向信息。
作为一种实施方式，所述装置还包括：
图像处理模块，图像处理被配置为执行根据所述指甲区域信息，对所述待处理图像中的所述可见指甲区域进行美妆处理，得到第一效果图像。
作为一种实施方式，所述图像获取模块包括：
图像检测单元，被配置为执行获取目标图像，并对所述目标图像进行手部检测，确定手部区域；
图像剪切单元，被配置为执行对所述目标图像的所述手部区域进行剪切，得到所述待处理图像；
所述装置还包括：
图像合成模块，被配置为执行在所述得到第一效果图像之后，基于所述手部区域，将所述第一效果图像与所述目标图像合成，得到第二效果图像。
作为一种实施方式，所述信息处理模块包括：
区域筛选单元，被配置为执行根据所述可见性信息，从所述第一区域中筛选可见指甲区域；
方向信息确定单元，被配置为执行根据所述关键点信息，确定所述指甲区域对应的指甲方向信息。
作为一种实施方式，所述指甲区域信息还包括手指信息；
所述信息处理模块还包括：
手指信息确定单元，被配置为执行根据所述关键点信息以及预设的关键点顺序与手指信息的对应关系，确定所述可见指甲区域对应的手指信息。
作为一种实施方式，所述待处理图像为视频图像中的一帧图像；
所述模型处理模块包括：
关键点信息获取单元，被配置为执行获取所述待处理图像的前一帧图像对应的关键点信息以及所述图像处理模型输出的所述指甲的当前关键点信息；
光流信息确定单元，被配置为执行根据所述前一帧图像对应的关键点信息确定所述指甲在所述前一帧图像中的光流信息；
关键点信息预估单元，被配置为执行基于所述指甲在所述前一帧图像中的光流信息，确定所述指甲在所述待处理图像中的预估关键点信息；
关键点信息处理单元，被配置为执行对所述预估关键点信息及所述当前关键点信息进行平滑处理，得到所述指甲的关键点信息。
作为一种实施方式，所述模型处理模块包括：
引导图像获取单元，被配置为执行获取预设的引导图像；
第一掩码图像处理单元，被配置为执行利用所述引导图像对所述图像处理模型输出的掩码图像进行滤波处理，得到处理后的掩码图像；
第一区域确定单元，被配置为执行将所述处理后的掩码图像所标识的区域确定为所述指甲在所述待处理图像中所占的第一区域。
作为一种实施方式，所述待处理图像为视频图像中的一帧图像；
所述模型处理模块包括：
掩码图像获取单元，被配置为执行获取所述待处理图像的前一帧图像以及所述前一帧图像对应的掩码图像；
差异度计算单元，被配置为执行计算所述待处理图像与所述前一帧图像的差异度；
平滑系数计算单元，被配置为执行根据所述差异度及预设平滑规则，确定所述待处理图像对应的平滑系数；
第二掩码图像处理单元，被配置为执行基于所述平滑系数及第一掩码图像，对第二掩码图像进行平滑处理，得到处理后的掩码图像，其中，所述第一掩码图像为所述前一帧图像对应的掩码图像，所述第二掩码图像为所述待处理图像对应的掩码图像；
第二区域确定单元，被配置为执行将所述处理后的掩码图像所标识的区域确定为所述指甲在所述待处理图像中所占的第一区域。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述第一方面所述的方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述第一方面所述的方法。
本公开实施例所提供的方案中，电子设备可以获取待处理图像，其中，待处理图像中包括指甲，然后将待处理图像输入预先建立的图像处理模型中，确定指甲在待处理图像中所占的第一区域、指甲的关键点信息及可见性信息，进而基于第一区域、关键点信息及可见性信息，得到指甲区域信息，其中，指甲区域信息包括可见指甲区域及指甲方向信息。由于根据第一区域、关键点信息及可见性信息确定的指甲区域信息包括：可见指甲区域及指甲方向信息，因此得到的指甲区域信息更加全面，准确度更高。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1(a)是根据一示例性实施例示出的手部的关键点的示意图；
图1(b)是根据一示例性实施例示出的美甲效果的示意图；
图2是根据一示例性实施例示出的一种图像处理方法的流程图；
图3是根据一示例性实施例示出的图2所示实施例中步骤S203的一种具体流程图；
图4(a)是根据一示例性实施例示出的一种原始图像的示意图；
图4(b)是根据一示例性实施例示出的一种待处理图像的示意图；
图4(c)是根据一示例性实施例示出的一种掩码图像的示意图；
图4(d)是根据一示例性实施例示出的一种待处理图像与特征信息合成的示意图；
图4(e)是根据一示例性实施例示出的一种第一效果图像的示意图；
图5是根据一示例性实施例示出的一种关键点信息的处理方式的流程图；
图6是根据一示例性实施例示出的一种掩码图像的处理方式的流程图；
图7是根据一示例性实施例示出的一种掩码图像的另一种处理方式的流程图
图8是根据一示例性实施例示出的图像处理装置的第一种结构框图；
图9是根据一示例性实施例示出的图像处理装置的第二种结构框图；
图10是根据一示例性实施例示出的图像处理装置的第三种结构框图；
图11是根据一示例性实施例示出的信息处理模块830的一种结构框图；
图12是根据一示例性实施例示出的信息处理模块830的另一种结构框图；
图13是根据一示例性实施例示出的信息处理模块820的第一种结构框图；
图14是根据一示例性实施例示出的信息处理模块820的第二种结构框图；
图15是根据一示例性实施例示出的信息处理模块820的第三种结构框图；
图16是根据一示例性实施例示出的一种电子设备的结构框图；
图17是根据一示例性实施例示出的电子设备的一种具体结构框图；
图18是根据一示例性实施例示出的电子设备的另一种具体结构框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
为了提高图像中指甲区域信息的准确度，本公开实施例提供了一种图像处理方法、装置、电子设备及计算机可读存储介质。
下面首先对本公开实施例所提供的一种图像处理方法进行介绍。
本公开实施例所提供的图像处理方法可以应用于任意需要进行图像处理的电子设备，例如，可以为电脑、处理器、手机等，为了描述方便及清楚，以下称为电子设备。
如图2所示，一种图像处理方法，所述方法包括步骤S201-步骤S203：
在步骤S201中，获取待处理图像；
其中，所述待处理图像中包括指甲。
在步骤S202中，将所述待处理图像输入预先建立的图像处理模型中，确定所述指甲在所述待处理图像中所占的第一区域、所述指甲的关键点信息及可见性信息；
在步骤S203中，基于所述第一区域、所述关键点信息及所述可见性信息，得到指甲区域信息。
其中，所述指甲区域信息包括：可见指甲区域及指甲方向信息。
可见，本公开实施例所提供的方案中，电子设备可以获取待处理图像，其中，待处理图像中包括指甲，然后将待处理图像输入预先建立的图像处理模型中，确定指甲在待处理图像中所占的第一区域、指甲的关键点信息及可见性信息，进而基于第一区域、关键点信息及可见性信息，得到指甲区域信息，其中，指甲区域信息包括可见指甲区域及指甲方向信息。由于根据第一区域、关键点信息及可见性信息确定的指甲区域信息包括：可见指甲区域及指甲方向信息，因此得到的指甲区域信息更加全面，准确度更高。
当需要对某图像进行处理时，电子设备可以获取该图像，作为待处理图像。该待处理图像中包括指甲，指甲可以为人的手部指甲或者脚部指甲。待处理图像可以为用户提供的一幅图像，也可以为电子设备本地存储的一幅图像，也可以为用户上传的视频中的一帧图像，这都是合理的。
作为一种实施方式，为了方便后续图像处理模型对待处理图像的处理，当指甲在原始图像中所占面积较小时，可以对原始图像进行剪切，获得指甲所占面积较大的待处理图像。例如，电子设备可以对原始图像进行剪切，获得包括手部的图像，作为待处理图像。这样，指甲在待处理图像中的面积会远大于在原始图像中的面积，可以提高图像处理的准确度。
获取待处理图像后，为了确定待处理图像中指甲所在区域以及相关的对图像处理有帮助的信息，例如，指甲的关键点信息及可见性信息等，电子设备可以执行上述步骤S202，即将待处理图像输入预先建立的图像处理模型中，图像处理模型可以基于待处理图像的图像特征确定指甲在待处理图像中所占的第一区域、指甲的关键点信息及可见性信息。
其中，指甲在待处理图像中所占的第一区域可以通过掩码图像表示。在一种实施方式中，掩码图像可以为与待处理图像的大小相同的图像，可以采用不同颜色表示指甲所占第一区域以及其他区域。例如，采用白色表示指甲所占第一区域，其他区域使用黑色表示。指甲的可见性信息为能够标识指甲在待处理图像中是否可见的信息。
上述图像处理模型可以为基于预设训练集进行训练得到的，该预设训练集可以包括多个样本图像，以及每个样本图像所包括的指甲在该样本图像中所占的区域及指甲的关键点信息及可见性信息。其中，图像处理模型可以为卷积神经网络、循环神经网络等深度学习模型，本公开实施例不对图像处理模型的具体结构进行限定。
多个样本图像可以为预先收集的包括指甲的图像，其包括的指甲可以为各种不同环境下的指甲，例如，可以为不同角度、不同光照、不同背景、不同颜色的指甲。这样，可以对样本图像进行数据增强，以使训练得到的图像处理模型可以对各种状态下的指甲图像进行准确处理。
在模型训练过程中，首先可以获取预先建立的初始模型及上述预设训练集，标定每个样本图像所包括的指甲在该样本图像中所占的区域及指甲的关键点信息及可见性信息，作为标定标签。然后可以将每个样本图像输入初始模型进行处理，初始模型便可以基于当前的网络参数对样本图像进行图像特征提取，进而确定每个样本图像对应的掩码图像及指甲的关键点信息及可见性信息，作为预估结果进行输出。
由于初始模型一般还不能对样本图像进行准确处理，所以可以根据每个样本图像对应的标定标签及预估结果之间的差异计算预设损失函数的函数值，进而基于该函数值调整初始模型的网络参数，使其能够越来越准确地处理图像。具体可以采用梯度下降算法、随机梯度下降算法等算法，通过反向传播方式调整初始模型的网络参数。
当预设损失函数收敛，或者迭代次数达到预设次数时，说明此时的初始模型已经可以对图像进行准确处理，达到使用要求，此时便可以停止训练，也就得到了上述图像处理模型。
在上述训练过程中，初始模型可以不断学习图像特征与指甲在图像中所占的区域、关键点信息及可见性信息之间的对应关系，因此，得到的图像处理模型便可以根据待处理图像的图像特征以及学习到的对应关系，准确确定待处理图像对应的指甲在待处理图像中所占的第一区域、指甲的关键点信息及可见性信息。
接下来，电子设备便可以基于上述第一区域、关键点信息及可见性信息，得到指甲区域信息，也就是执行上述步骤S203。其中，指甲区域信息可以包括可见指甲区域，也就是可见的指甲在待处理图像中的区域，以及指甲方向信息。
一方面，人的手部或者脚部一般具有五个指甲，但是待处理图像中有的指甲可能并不可见，例如，在图1(b)所示的图像中，指甲均是不可见的，可见，指甲是否可见对于后续美妆处理效果的影响非常大，所以电子设备可以根据上述可见性信息确定指甲在待处理图像中是否可见。
另一方面，指甲在待处理图像中的方向也是影响后续美妆处理效果的重要因素，因此电子设备可以根据上述关键点信息确定指甲在待处理图像中的方向。
进而将可见的指甲在待处理图像中所占区域以及指甲方向信息作为指甲区域信息，可以得到更全面更准确的指甲区域信息。
作为本公开实施例的一种实施方式，在上述得到指甲区域信息的步骤之后，上述方法还可以包括：
根据所述指甲区域信息，对所述待处理图像中的所述可见指甲区域进行美妆处理，得到第一效果图像。
得到上述指甲区域信息后，为了实现更加准确、自然的美甲效果，电子设备可以根据指甲区域信息，对待处理图像中的可见指甲区域进行美妆处理，以达到美甲效果。
具体来说，由于掩码图像所标识的可见指甲区域即为指甲在待处理图像中所占的区域，正是需要进行处理的区域，所以电子设备可以根据可见的指甲方向信息，对待处理图像中掩码图像所标识的可见指甲区域，按照预设美甲样式进行美妆处理，进而便可以得到第一效果图像。
其中，预设美甲样式可以为纯色样式或者花式样式，在此不做具体限定。对于纯色样式来说，由于一般指甲的方向对于美甲效果的影响并不大，所以电子设备可以对可见指甲区域按照美甲样式进行渲染，得到第一效果图像。对于花式样式来说，由于指甲的方向对于美甲效果的影响较大，所以电子设备可以根据方向信息对可见指甲区域按照美甲样式进行处理，得到第一效果图像。
可见，在本实施例中，电子设备可以根据指甲区域信息，对待处理图像中的可见指甲区域进行美妆处理，得到第一效果图像，由于确定的指甲区域信息准确全面，所以可以得到准确自然的美甲效果。
作为本公开实施例的一种实施方式，上述获取待处理图像的步骤，可以包括：
获取目标图像，并对所述目标图像进行手部检测，确定手部区域；对所述目标图像的所述手部区域进行剪切，得到所述待处理图像。
当指甲在目标图像中所占面积较小时，电子设备可以对目标图像进行手部检测，确定其中的手部区域，进而对目标图像进行剪切，获得指甲所占面积较大的待处理图像。
相应的，在上述得到第一效果图像的步骤之后，上述方法还可以包括：
基于所述手部区域，将所述第一效果图像与所述目标图像合成，得到第二效果图像。
如果待处理图像为从目标图像中剪切出的一部分，那么为了还原目标图像的真实效果，电子设备可以基于目标图像中的手部区域，将得到的第一效果图像与目标图像进行合成处理，便可以得到目标图像对应的处理后的效果图，也就是第二效果图像。其中，合成处理的具体方式可以为利用第一效果图像替换目标图像中的手部区域即可。
作为本公开实施例的一种实施方式，如图3所示，上述基于所述第一区域、所述关键点信息及所述可见性信息，得到指甲区域信息的步骤，可以包括：
S301，根据所述可见性信息，从所述第一区域中筛选可见的指甲区域；
S302，根据所述关键点信息，确定所述可见指甲区域对应的指甲方向信息。
由于指甲在待处理图像中的方向和是否可见等信息对于美甲处理效果的影响至关重要，所以电子设备可以根据可见性信息，从第一区域中筛选可见指甲区域，通过关键点信息可以确定筛选出的可见指甲区域在待处理图像中的方向信息。
在一种实施方式中，每个指甲可以具有四个关键点，每个关键点信息采用其在待处理图像中的坐标表示。该四个关键点即为指甲的最大长度和最大宽度对应的顶点，那么通过该四个关键点的位置便可以确定指甲在待处理图像中的方向。
由于人体每只手具有五个指甲，但是在一些情况下该五个指甲在待处理图像中不一定均可见，为了确定每个指甲是否可见。具体来说，可以采用-1表示指甲不可见，可见可以采用1表示，或者可以直接输出关键点信息，具有关键点信息的指甲也就是可见的。
举例而言，对于图4(a)所示的目标图像，电子设备可以将其中的手部部分剪切出来，得到如图4(b)所示的待处理图像。进而将待处理图像输出上述图像处理模型进行处理，图像处理模型可以输出待处理图像对应的掩码图像，如图4(c)所示，其中，白色区域标识待处理图像中指甲所在的第一区域，黑色表示其他区域。
可见，在本实施例中，电子设备可以根据可见性信息，从上述第一区域中筛选可见指甲区域，根据关键点信息，确定指甲区域对应的指甲方向信息，进而将可见指甲区域以及指甲方向信息作为指甲区域信息。这样，不仅可以得到指甲的语义分割信息，也就是指甲在待处理图像中所占第一区域，同时还可以得到指甲是否可见信息，以及可见的指甲的方向信息，实现更为自然逼真的美甲上妆效果，提升用户体验。
作为本公开实施例的一种实施方式，上述指甲区域信息还可以包括手指信息。在这种情况下，上述基于所述第一区域、所述关键点信息及所述可见性信息，得到指甲区域信息的步骤，还可以包括：
根据所述关键点信息以及预设的关键点顺序与手指信息的对应关系，确定所述指甲区域对应的手指信息。
为了方便确定可见指甲区域属于哪一个手指，也就是对应的手指信息，可以预先设定关键点顺序与手指信息的对应关系，这样便可以根据该对应关系确定可见指甲区域对应的手指信息。
在一种实施方式中，由于一般采用四个关键点作为一个指甲对应的关键点信息，所以可以设定对应关系为：按照拇指、食指、中指、无名指、小拇指的顺序，分别对应四个关键点。
例如，对于图4(b)所示的待处理图像，由于待处理图像中无名指和小拇指是不可见的，如果以-1表示不可见类别，可见的指甲采用四个关键点的坐标表示，那么可以得到如下表所示的手指信息、关键点信息及可见性信息。
进而，便可以将上述可见的可见指甲区域、手指信息以及指甲方向信息作为指甲区域信息。
为了清楚地体现手指信息以及指甲方向信息对于图像处理效果的影响，可以将关键点信息按照可见性信息以手指信息与待处理图像合成，得到如图4(d)所示的示意图，可以看出，关键点信息可以准确确定指甲的方向以及归属于哪只手指，可见性信息可以准确标识对应的指甲在待处理图像中是否可见，为后续进行美甲处理提供准确地处理基础。
当美甲样式为纯色美甲时，电子设备基于指甲区域信息，按照该美甲样式，对待处理图像中的可见的指甲区域进行渲染处理，得到的第一效果图像可以如图4(e)所示。
可见，在本实施例中，电子设备还可以根据关键点信息以及预设的关键点顺序与手指信息的对应关系，确定可见指甲区域对应的手指信息，进而将可见指甲区域、手指信息以及指甲方向信息作为指甲区域信息。这样，不仅可以得到指甲的语义分割信息，也就是指甲在待处理图像中所占第一区域，同时还可以得到指甲是否可见信息，以及可见的指甲的方向信息和归属于哪个手指的信息，实现更为自然逼真的美甲上妆效果，提升用户体验。
针对上述待处理图像为视频图像中的一帧图像的情况而言，作为本公开实施例的一种实施方式，如图5所示，上述指甲的关键点信息的确定方式，可以包括：
步骤S501，获取所述待处理图像的前一帧图像对应的关键点信息以及所述图像处理模型输出的所述指甲的当前关键点信息；
由于对于指甲在待处理图像中所占面积可能较小，那么图像处理模型输出的关键点信息便可能存在不够准确的问题，为了进一步提高图像处理模型输出的关键点信息的准确度，电子设备可以获取待处理图像的前一帧图像对应的关键点信息以及图像处理模型输出的指甲的当前关键点信息。
其中，待处理图像的前一帧图像对应的关键点信息也可以采用图像处理模型处理得到，在此不再进行赘述。当然，当待处理图像的前一帧图像不是第一张图像时，待处理图像的前一帧图像对应的关键点信息可以是采用该实施例所述的方式进行处理后得到的关键点信息，这样可以更加准确地对待处理图像对应的关键点信息进行处理。
步骤S502，根据所述前一帧图像对应的关键点信息确定所述指甲在所述前一帧图像中的光流信息；
接下来，电子设备可以根据前一帧图像对应的关键点信息确定指甲在前一帧图像中的光流信息，光流信息也就是时变图像中模式运动速度，光流表达了图像的变化，由于它包含了指甲的运动的信息，因此可用来确定指甲的运动情况。
也就是说，指甲在前一帧图像中的光流信息可以反映指甲从前一帧图像对应的时刻到待处理图像对应的时刻的运动情况。
步骤S503，基于所述指甲在所述前一帧图像中的光流信息，确定所述指甲在所述待处理图像中的预估关键点信息；
由于指甲在前一帧图像中的光流信息可以反映指甲从前一帧图像对应的时刻到待处理图像对应的时刻的运动情况，因此电子设备便可以基于指甲在前一帧图像中的光流信息，通过光流假设算法，预估指甲在所述待处理图像中的关键点信息，作为预估关键点信息。
该预估关键点信息即为符合上述光流信息所反映的指甲的运动情况的关键点信息，也就是说，如果指甲按照光流信息所反映的指甲的运动情况进行运动，那么其在待处理图像中的关键点信息即为预估关键点信息。
步骤S504，对所述预估关键点信息及所述当前关键点信息进行平滑处理，得到处理后的所述待处理图像对应的关键点信息。
由于不管是预估关键点信息还是图像处理模型输出的关键点信息，均会存在一定的误差，为了尽量减小误差，电子设备可以对预估关键点信息及当前关键点信息进行平滑处理，例如，可以采用计算二者的平均值等方式对二者进行平滑。
得到的平滑结果便可以作为待处理图像对应的关键点信息，电子设备便可以采用该关键点信息对待处理图像进行下一步处理，以获得第一效果图像。
可见，在本实施例中，电子设备还可以获取待处理图像的前一帧图像对应的关键点信息以及图像处理模型输出的指甲的当前关键点信息，根据前一帧图像对应的关键点信息确定指甲在前一帧图像中的光流信息，然后基于指甲在前一帧图像中的光流信息，通过光流假设算法，确定指甲在待处理图像中的预估关键点信息，进而对预估关键点信息及当前关键点信息进行平滑处理，得到待处理图像对应的关键点信息。这样，可以尽量消除图像处理模型输出的关键点信息的误差，进一步提高图像处理结果的准确度。
为了尽量减少上述掩码图像的误差，作为本公开实施例的一种实施方式，如图6所示，上述确定所述指甲在所述待处理图像中所占的第一区域的步骤，可以包括：
步骤S601，获取预设的引导图像；
由于掩码图像的准确度对于最终处理得到的第一效果图像的准确度的影响很大，所以为了尽量减少上述掩码图像的误差，提高其准确度，电子设备可以获取预设的引导图像，以对掩码图像进行引导滤波处理。
其中，预设的引导图像即为用于进行引导滤波处理的图像，在本实施例中，预设的引导图像可以为一手部图像。
步骤S602，利用所述引导图像对所述图像处理模型输出的掩码图像进行滤波处理，得到处理后的掩码图像；
获取预设的引导图像后，电子设备便可以利用该引导图像通过引导滤波算法对图像处理模型输出的掩码图像进行滤波处理，进而得到处理后的掩码图像。对于利用该引导图像通过引导滤波算法对掩码图像进行滤波处理的具体方式，可以采用图像处理领域的任意引导滤波方式，在此不做具体限定及说明。
步骤S603，将所述处理后的掩码图像所标识的区域确定为所述指甲在所述待处理图像中所占的第一区域。
得到处理后的掩码图像后，便可以将该处理后的掩码图像所标识的区域确定为指甲在待处理图像中所占的第一区域。
可见，在本实施例中，电子设备可以获取预设的引导图像，进而利用引导图像对图像处理模型输出的掩码图像进行滤波处理，得到处理后的掩码图像。由于引导滤波是一种自适应权重滤波器，能够在平滑图像的同时起到保持边界的作用，所以采用该方式进行处理得到的处理后的掩码图像的边界不会受到影响，同时可以对掩码图像进行平滑，使其更加准确。
针对上述待处理图像为视频图像中的一帧图像的情况而言，作为本公开实施例的一种实施方式，如图7所示，上述确定所述指甲在所述待处理图像中所占的第一区域的步骤，可以包括：
步骤S701，获取所述待处理图像的前一帧图像以及所述前一帧图像对应的掩码图像；
由于对于视频中的图像来说，连续的视频帧之间是存在关联性的，因此，为了对待处理图像对应的掩码图像进行进一步处理，以减小其误差，电子设备可以获取待处理图像的前一帧图像以及该前一帧图像对应的掩码图像。
其中，待处理图像的前一帧图像对应的掩码图像也可以采用图像处理模型处理得到，在此不再进行赘述。当然，当待处理图像的前一帧图像不是第一张图像时，待处理图像的前一帧图像对应的掩码图像可以是采用该实施例所述的方式进行处理后得到的掩码图像，这样可以更加准确地对待处理图像对应的掩码图像进行处理。
步骤S702，计算所述待处理图像与所述前一帧图像的差异度；
接下来，电子设备可以计算待处理图像与前一帧图像的差异度。其中，可以采用灰度值差异的平均值、方差等作为差异度，在此不做具体限定。
步骤S703，根据所述差异度及预设平滑规则，确定所述待处理图像对应的平滑系数；
由于待处理图像与前一帧图像的差异度可以反映二者所对应的掩码图像的差异度，所以电子设备可以根据待处理图像与前一帧图像的差异度及预设平滑规则，确定待处理图像对应的平滑系数。
步骤S704，基于所述平滑系数及第一掩码图像，对第二掩码图像进行平滑处理，得到处理后的掩码图像；
进而，电子设备便可以基于该平滑系数及第一掩码图像，对第二掩码图像进行平滑处理，得到处理后的掩码图像。其中，第一掩码图像为前一帧图像对应的掩码图像，第二掩码图像为待处理图像对应的掩码图像。
步骤S705，将所述处理后的掩码图像所标识的区域确定为所述指甲在所述待处理图像中所占的第一区域。
得到处理后的掩码图像后，便可以将该处理后的掩码图像所标识的区域确定为指甲在待处理图像中所占的第一区域。
可见，在本实施例中，电子设备可以获取待处理图像的前一帧图像以及前一帧图像对应的掩码图像，计算待处理图像与前一帧图像的差异度，根据差异度及预设平滑规则，确定待处理图像对应的平滑系数，进而基于平滑系数及第一掩码图像，对第二掩码图像进行平滑处理，得到处理后的掩码图像，其中，第一掩码图像为前一帧图像对应的掩码图像，第二掩码图像为待处理图像对应的掩码图像。这样，电子设备能够根据计算待处理图像与前一帧图像的差异度，对掩码图像进行平滑，使其更加准确。
图8是根据一示例性实施例示出的一种图像处理装置框图。
如图8所示，一种图像处理装置，所述装置包括：
图像获取模块810，被配置为执行获取待处理图像；
其中，所述待处理图像中包括指甲。
模型处理模块820，被配置为执行将所述待处理图像输入预先建立的图像处理模型中，确定所述指甲在所述待处理图像中所占的第一区域、所述指甲的关键点信息及可见性信息；
信息处理模块830，被配置为执行基于所述第一区域、所述关键点信息及所述可见性信息，得到指甲区域信息。
其中，所述指甲区域信息包括：可见指甲区域及指甲方向信息。
可见，本公开实施例所提供的方案中，电子设备可以获取待处理图像，其中，待处理图像中包括指甲，然后将待处理图像输入预先建立的图像处理模型中，确定指甲在待处理图像中所占的第一区域、指甲的关键点信息及可见性信息，进而基于第一区域、关键点信息及可见性信息，得到指甲区域信息，其中，指甲区域信息包括可见指甲区域及指甲方向信息。由于根据第一区域、关键点信息及可见性信息确定的指甲区域信息包括：可见指甲区域及指甲方向信息，因此得到的指甲区域信息更加全面，准确度更高。
作为本公开实施例的一种实施方式，如图9所示，上述装置还可以包括：
图像处理模块840，被配置为执行根据所述指甲区域信息，对所述待处理图像中的所述可见指甲区域进行美妆处理，得到第一效果图像。
作为本公开实施例的一种实施方式，如图10所示，上述图像获取模块810可以包括：
图像检测单元8101，被配置为执行获取目标图像，并对所述目标图像进行手部检测，确定手部区域；
图像剪切单元8102，被配置为执行对所述目标图像的所述手部区域进行剪切，得到所述待处理图像；
上述装置还可以包括：
图像合成模块850，被配置为执行在所述得到第一效果图像之后，基于所述手部区域，将所述第一效果图像与所述目标图像合成，得到第二效果图像。
作为本公开实施例的一种实施方式，如图11所示，上述信息处理模块830可以包括：
区域筛选单元8301，被配置为执行根据所述可见性信息，从所述第一区域中筛选可见指甲区域；
方向信息确定单元8302，被配置为执行根据所述关键点信息，确定所述指甲区域对应的指甲方向信息。
作为本公开实施例的一种实施方式，如图12所示，上述指甲区域信息还可以包括手指信息；
上述信息处理模块830还可以包括：
手指信息确定单元8303，被配置为执行根据所述关键点信息以及预设的关键点顺序与手指信息的对应关系，确定所述指甲区域对应的手指信息。
作为本公开实施例的一种实施方式，如图13所示，上述待处理图像可以为视频图像中的一帧图像；
上述模型处理模块820可以包括：
关键点信息获取单元8201，被配置为执行获取所述待处理图像的前一帧图像对应的关键点信息以及所述图像处理模型输出的所述指甲的当前关键点信息；
光流信息确定单元8202，被配置为执行根据所述前一帧图像对应的关键点信息确定所述指甲在所述前一帧图像中的光流信息；
关键点信息预估单元8203，被配置为执行基于所述指甲在所述前一帧图像中的光流信息，确定所述指甲在所述待处理图像中的预估关键点信息；
关键点信息处理单元8204，被配置为执行对所述预估关键点信息及所述当前关键点信息进行平滑处理，得到所述指甲的关键点信息。
作为本公开实施例的一种实施方式，如图14所示，上述模型处理模块820可以包括：
引导图像获取单元8211，被配置为执行获取预设的引导图像；
第一掩码图像处理单元8212，被配置为执行利用所述引导图像对所述图像处理模型输出的掩码图像进行滤波处理，得到处理后的掩码图像；
第一区域确定单元8213，被配置为执行将所述处理后的掩码图像所标识的区域确定为所述指甲在所述待处理图像中所占的第一区域。
作为本公开实施例的一种实施方式，如图15所示，上述待处理图像可以为视频图像中的一帧图像；
上述模型处理模块820可以包括：
掩码图像获取单元8221，被配置为执行获取所述待处理图像的前一帧图像以及所述前一帧图像对应的掩码图像；
差异度计算单元8222，被配置为执行计算所述待处理图像与所述前一帧图像的差异度；
平滑系数计算单元8223，被配置为执行根据所述差异度及预设平滑规则，确定所述待处理图像对应的平滑系数；
第二掩码图像处理单元8224，被配置为执行基于所述平滑系数及第一掩码图像，对第二掩码图像进行平滑处理，得到处理后的掩码图像；
其中，所述第一掩码图像为所述前一帧图像对应的掩码图像，所述第二掩码图像为所述待处理图像对应的掩码图像。
第二区域确定单元8225，被配置为执行将所述处理后的掩码图像所标识的区域确定为所述指甲在所述待处理图像中所占的第一区域。
本公开实施例还提供了一种电子设备，如图16所示，电子设备可以包括处理器901，用于存储处理器可执行指令的存储器902，其中，处理器901被配置为执行所述指令，以实现如上述任一实施例所示的图像处理方法步骤。
可见，本公开实施例所提供的方案中，电子设备可以获取待处理图像，其中，待处理图像中包括指甲，然后将待处理图像输入预先建立的图像处理模型中，确定指甲在待处理图像中所占的第一区域、指甲的关键点信息及可见性信息，进而基于第一区域、关键点信息及可见性信息，得到指甲区域信息，其中，指甲区域信息包括可见指甲区域及指甲方向信息。由于根据第一区域、关键点信息及可见性信息确定的指甲区域信息包括：可见指甲区域及指甲方向信息，因此得到的指甲区域信息更加全面，准确度更高。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
图17是根据一示例性实施例示出的上述电子设备为终端时的一种具体结构框图。例如，终端可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图17，终端可以包括以下一个或多个组件：处理组件1002，存储器1004，电源组件1006，多媒体组件1008，音频组件1010，输入/输出(I/O)的接口1012，传感器组件1014，以及通信组件1016。
处理组件1002通常控制终端的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。
存储器1004被配置为存储各种类型的数据以支持在终端的操作。这些数据的示例包括用于在终端上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1006为终端的各种组件提供电力。电源组件1006可以包括电源管理***，一个或多个电源，及其他与为终端生成、管理和分配电力相关联的组件。
多媒体组件1008包括在终端和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1008包括一个前置摄像头和/或后置摄像头。当终端处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件1010被配置为输出和/或输入音频信号。例如，音频组件1010包括一个麦克风(MIC)，当终端处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中，音频组件1010还包括一个扬声器，用于输出音频信号。
I/O接口1012为处理组件1002和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器，用于为终端提供各个方面的状态评估。例如，传感器组件1014可以检测到终端的打开/关闭状态，组件的相对定位，例如所述组件为终端的显示器和小键盘，传感器组件1014还可以检测终端或终端一个组件的位置改变，用户与终端接触的存在或不存在，终端方位或加速/减速和终端的温度变化。传感器组件1014可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1014还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1016被配置为便于终端和其他设备之间有线或无线方式的通信。终端可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1016经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1016还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，终端可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1004，上述指令可由终端的处理器1020执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图18是根据一示例性实施例示出的上述电子设备为服务器时的一种具体结构框图。服务器包括处理组件1122，其进一步包括一个或多个处理器，以及由存储器1132所代表的存储器资源，用于存储可由处理组件1122的执行的指令，例如应用程序。存储器1132中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1122被配置为执行指令，以执行上述视频内容主题的确定方法。
服务器还可以包括一个电源组件1126被配置为执行服务器的电源管理，一个有线或无线网络接口1150被配置为将服务器连接到网络，和一个输入输出(I/O)接口1158。服务器可以操作基于存储在存储器1132的操作***，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
本公开实施例还提供了一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例中任一所述的图像处理方法。
可见，本公开实施例所提供的方案中，电子设备可以获取待处理图像，其中，待处理图像中包括指甲，然后将待处理图像输入预先建立的图像处理模型中，确定指甲在待处理图像中所占的第一区域、指甲的关键点信息及可见性信息，进而基于第一区域、关键点信息及可见性信息，得到指甲区域信息，其中，指甲区域信息包括可见指甲区域及指甲方向信息。由于根据第一区域、关键点信息及可见性信息确定的指甲区域信息包括：可见指甲区域及指甲方向信息，因此得到的指甲区域信息更加全面，准确度更高。
本公开实施例还提供了一种应用程序产品，该应用程序产品用于在运行时执行上述实施例中任一所述的图像处理方法。
可见，本公开实施例所提供的方案中，该应用程序产品在运行时可以获取待处理图像，其中，待处理图像中包括指甲，然后将待处理图像输入预先建立的图像处理模型中，确定指甲在待处理图像中所占的第一区域、指甲的关键点信息及可见性信息，进而基于第一区域、关键点信息及可见性信息，得到指甲区域信息，其中，指甲区域信息包括可见指甲区域及指甲方向信息。由于根据第一区域、关键点信息及可见性信息确定的指甲区域信息包括：可见指甲区域及指甲方向信息，因此得到的指甲区域信息更加全面，准确度更高。
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由上面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (16)
1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像，其中，所述待处理图像中包括指甲；
将所述待处理图像输入预先建立的图像处理模型中，确定所述指甲在所述待处理图像中所占的第一区域、所述指甲的关键点信息及可见性信息，所述指甲的关键点信息包括：所述指甲的最大长度和最大宽度对应的顶点的坐标信息；
基于所述第一区域、所述关键点信息及所述可见性信息，得到指甲区域信息，其中，所述指甲区域信息包括：可见指甲区域及指甲方向信息；
所述基于所述第一区域、所述关键点信息及所述可见性信息，得到指甲区域信息的步骤，包括：
根据所述可见性信息，从所述第一区域中筛选可见指甲区域；
根据所述关键点信息，确定所述可见指甲区域对应的指甲方向信息。
2.如权利要求1所述的方法，其特征在于，在所述得到指甲区域信息的步骤之后，所述方法还包括：
根据所述指甲区域信息，对所述待处理图像中的所述可见指甲区域进行美妆处理，得到第一效果图像。
3.如权利要求2所述的方法，其特征在于，所述获取待处理图像的步骤，包括：
获取目标图像，并对所述目标图像进行手部检测，确定手部区域；
对所述目标图像的所述手部区域进行剪切，得到所述待处理图像；
在所述得到第一效果图像的步骤之后，所述方法还包括：
基于所述手部区域，将所述第一效果图像与所述目标图像合成，得到第二效果图像。
4.如权利要求1所述的方法，其特征在于，所述指甲区域信息还包括手指信息；
所述基于所述第一区域、所述关键点信息及所述可见性信息，得到指甲区域信息的步骤，还包括：
根据所述关键点信息以及预设的关键点顺序与手指信息的对应关系，确定所述可见指甲区域对应的手指信息。
5.如权利要求1所述的方法，其特征在于，所述待处理图像为视频图像中的一帧图像；
所述指甲的关键点信息的确定方式，包括：
获取所述待处理图像的前一帧图像对应的关键点信息以及所述图像处理模型输出的所述指甲的当前关键点信息；
根据所述前一帧图像对应的关键点信息确定所述指甲在所述前一帧图像中的光流信息；
基于所述指甲在所述前一帧图像中的光流信息，确定所述指甲在所述待处理图像中的预估关键点信息；
对所述预估关键点信息及所述当前关键点信息进行平滑处理，得到所述指甲的关键点信息。
6.如权利要求1-5任一项所述的方法，其特征在于，所述确定所述指甲在所述待处理图像中所占的第一区域的步骤，包括：
获取预设的引导图像；
利用所述引导图像对所述图像处理模型输出的掩码图像进行滤波处理，得到处理后的掩码图像；
将所述处理后的掩码图像所标识的区域确定为所述指甲在所述待处理图像中所占的第一区域。
7.如权利要求1-5任一项所述的方法，其特征在于，所述待处理图像为视频图像中的一帧图像；
所述确定所述指甲在所述待处理图像中所占的第一区域的步骤，包括：
获取所述待处理图像的前一帧图像以及所述前一帧图像对应的掩码图像；
计算所述待处理图像与所述前一帧图像的差异度；
根据所述差异度及预设平滑规则，确定所述待处理图像对应的平滑系数；
基于所述平滑系数及第一掩码图像，对第二掩码图像进行平滑处理，得到处理后的掩码图像，其中，所述第一掩码图像为所述前一帧图像对应的掩码图像，所述第二掩码图像为所述图像处理模型输出的掩码图像；
将所述处理后的掩码图像所标识的区域确定为所述指甲在所述待处理图像中所占的第一区域。
8.一种图像处理装置，其特征在于，所述装置包括：
图像获取模块，被配置为执行获取待处理图像，其中，所述待处理图像中包括指甲；
模型处理模块，被配置为执行将所述待处理图像输入预先建立的图像处理模型中，确定所述指甲在所述待处理图像中所占的第一区域、所述指甲的关键点信息及可见性信息，所述指甲的关键点信息包括：所述指甲的最大长度和最大宽度对应的顶点的坐标信息；
信息处理模块，被配置为执行基于所述第一区域、所述关键点信息及所述可见性信息，得到指甲区域信息，其中，所述指甲区域信息包括：可见指甲区域及指甲方向信息；
所述信息处理模块包括：
区域筛选单元，被配置为执行根据所述可见性信息，从所述第一区域中筛选可见指甲区域；
方向信息确定单元，被配置为执行根据所述关键点信息，确定所述指甲区域对应的指甲方向信息。
9.如权利要求8所述的装置，其特征在于，所述装置还包括：
图像处理模块，被配置为执行根据所述指甲区域信息，对所述待处理图像中的所述可见指甲区域进行美妆处理，得到第一效果图像。
10.如权利要求9所述的装置，其特征在于，所述图像获取模块包括：
图像检测单元，被配置为执行获取目标图像，并对所述目标图像进行手部检测，确定手部区域；
图像剪切单元，被配置为执行对所述目标图像的所述手部区域进行剪切，得到所述待处理图像；
所述装置还包括：
图像合成模块，被配置为执行在所述得到第一效果图像之后，基于所述手部区域，将所述第一效果图像与所述目标图像合成，得到第二效果图像。
11.如权利要求8所述的装置，其特征在于，所述指甲区域信息还包括手指信息；
所述信息处理模块还包括：
手指信息确定单元，被配置为执行根据所述关键点信息以及预设的关键点顺序与手指信息的对应关系，确定所述可见指甲区域对应的手指信息。
12.如权利要求8所述的装置，其特征在于，所述待处理图像为视频图像中的一帧图像；
所述模型处理模块包括：
关键点信息获取单元，被配置为执行获取所述待处理图像的前一帧图像对应的关键点信息以及所述图像处理模型输出的所述指甲的当前关键点信息；
光流信息确定单元，被配置为执行根据所述前一帧图像对应的关键点信息确定所述指甲在所述前一帧图像中的光流信息；
关键点信息预估单元，被配置为执行基于所述指甲在所述前一帧图像中的光流信息，确定所述指甲在所述待处理图像中的预估关键点信息；
关键点信息处理单元，被配置为执行对所述预估关键点信息及所述当前关键点信息进行平滑处理，得到所述指甲的关键点信息。
13.如权利要求8-12任一项所述的装置，其特征在于，所述模型处理模块包括：
引导图像获取单元，被配置为执行获取预设的引导图像；
第一掩码图像处理单元，被配置为执行利用所述引导图像对所述图像处理模型输出的掩码图像进行滤波处理，得到处理后的掩码图像；
第一区域确定单元，被配置为执行将所述处理后的掩码图像所标识的区域确定为所述指甲在所述待处理图像中所占的第一区域。
14.如权利要求8-12任一项所述的装置，其特征在于，所述待处理图像为视频图像中的一帧图像；
所述模型处理模块包括：
掩码图像获取单元，被配置为执行获取所述待处理图像的前一帧图像以及所述前一帧图像对应的掩码图像；
差异度计算单元，被配置为执行计算所述待处理图像与所述前一帧图像的差异度；
平滑系数计算单元，被配置为执行根据所述差异度及预设平滑规则，确定所述待处理图像对应的平滑系数；
第二掩码图像处理单元，被配置为执行基于所述平滑系数及第一掩码图像，对第二掩码图像进行平滑处理，得到处理后的掩码图像，其中，所述第一掩码图像为所述前一帧图像对应的掩码图像，所述第二掩码图像为所述待处理图像对应的掩码图像；
第二区域确定单元，被配置为执行将所述处理后的掩码图像所标识的区域确定为所述指甲在所述待处理图像中所占的第一区域。
15.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的图像处理方法。
16.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行权利要求1至7中任一项所述的图像处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911158610.3A CN111047526B (zh) | 2019-11-22 | 2019-11-22 | 一种图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911158610.3A CN111047526B (zh) | 2019-11-22 | 2019-11-22 | 一种图像处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111047526A CN111047526A (zh) | 2020-04-21 |
| CN111047526B true CN111047526B (zh) | 2023-09-26 |
Family
ID=70233148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911158610.3A Active CN111047526B (zh) | 2019-11-22 | 2019-11-22 | 一种图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111047526B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111739028A (zh) * | 2020-05-26 | 2020-10-02 | 华南理工大学 | 指甲区域图像获取方法、***、计算设备及存储介质 |
| CN111882408B (zh) * | 2020-09-27 | 2021-07-09 | 北京达佳互联信息技术有限公司 | 虚拟试用方法、装置、电子设备及存储介质 |
| CN112200183A (zh) * | 2020-09-30 | 2021-01-08 | 北京字节跳动网络技术有限公司 | 图像处理的方法、装置、设备和计算机可读介质 |
| CN112183388A (zh) * | 2020-09-30 | 2021-01-05 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、设备和介质 |
| CN112669198A (zh) * | 2020-10-29 | 2021-04-16 | 北京达佳互联信息技术有限公司 | 图像特效的处理方法、装置、电子设备和存储介质 |
| CN112347911A (zh) * | 2020-11-05 | 2021-02-09 | 北京达佳互联信息技术有限公司 | 指甲特效的添加方法、装置、电子设备及存储介质 |
| CN112766050B (zh) * | 2020-12-29 | 2024-04-16 | 富泰华工业（深圳）有限公司 | 着装及作业检查方法、计算机装置及存储介质 |
| CN113222993A (zh) * | 2021-06-25 | 2021-08-06 | 北京市商汤科技开发有限公司 | 图像处理方法、装置、设备以及存储介质 |
| CN113486761A (zh) * | 2021-06-30 | 2021-10-08 | 北京市商汤科技开发有限公司 | 一种指甲识别方法、装置、设备及存储介质 |
| CN115830231A (zh) * | 2022-11-30 | 2023-03-21 | 阿里巴巴（中国）有限公司 | 生成手部3d模型的方法、装置及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105310249A (zh) * | 2014-07-01 | 2016-02-10 | 卡西欧计算机株式会社 | 描绘装置以及描绘装置的描绘控制方法 |
| CN106942877A (zh) * | 2016-01-06 | 2017-07-14 | 卡西欧计算机株式会社 | 描绘装置及其描绘控制方法 |
| CN109147001A (zh) * | 2017-06-19 | 2019-01-04 | 亮风台（上海）信息科技有限公司 | 一种用于呈现虚拟指甲的方法与设备 |
| CN109272457A (zh) * | 2018-08-09 | 2019-01-25 | 腾讯科技（深圳）有限公司 | 一种图像掩膜生成方法、装置及服务器 |
| CN109492608A (zh) * | 2018-11-27 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| CN109829463A (zh) * | 2019-01-23 | 2019-05-31 | 深圳市邻友通科技发展有限公司 | 一种指甲识别方法、装置、美甲机及存储介质 |
| CN110428366A (zh) * | 2019-07-26 | 2019-11-08 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| KR20190127127A (ko) * | 2018-05-03 | 2019-11-13 | 주식회사 비즈모델라인 | 모바일 웹기반의 증강된 네일아트 서비스 제공 방법 |
-
2019
- 2019-11-22 CN CN201911158610.3A patent/CN111047526B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105310249A (zh) * | 2014-07-01 | 2016-02-10 | 卡西欧计算机株式会社 | 描绘装置以及描绘装置的描绘控制方法 |
| CN106942877A (zh) * | 2016-01-06 | 2017-07-14 | 卡西欧计算机株式会社 | 描绘装置及其描绘控制方法 |
| CN109147001A (zh) * | 2017-06-19 | 2019-01-04 | 亮风台（上海）信息科技有限公司 | 一种用于呈现虚拟指甲的方法与设备 |
| KR20190127127A (ko) * | 2018-05-03 | 2019-11-13 | 주식회사 비즈모델라인 | 모바일 웹기반의 증강된 네일아트 서비스 제공 방법 |
| CN109272457A (zh) * | 2018-08-09 | 2019-01-25 | 腾讯科技（深圳）有限公司 | 一种图像掩膜生成方法、装置及服务器 |
| CN109492608A (zh) * | 2018-11-27 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、计算机设备及存储介质 |
| CN109829463A (zh) * | 2019-01-23 | 2019-05-31 | 深圳市邻友通科技发展有限公司 | 一种指甲识别方法、装置、美甲机及存储介质 |
| CN110428366A (zh) * | 2019-07-26 | 2019-11-08 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 孙宁.基于感知哈希算法和深度学习的指甲定位与疾病识别***.《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》.2020,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111047526A (zh) | 2020-04-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111047526B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN109858524B (zh) | 手势识别方法、装置、电子设备及存储介质 | |
| CN110782468B (zh) | 图像分割模型的训练方法及装置及图像分割方法及装置 | |
| RU2577188C1 (ru) | Способ, аппарат и устройство для сегментации изображения | |
| CN108256555B (zh) | 图像内容识别方法、装置及终端 | |
| US10007841B2 (en) | Human face recognition method, apparatus and terminal | |
| WO2021135601A1 (zh) | 辅助拍照方法、装置、终端设备及存储介质 | |
| EP2977959B1 (en) | Method and device for adjusting skin color | |
| CN107392933B (zh) | 一种图像分割的方法及移动终端 | |
| CN109410276B (zh) | 关键点位置确定方法、装置及电子设备 | |
| CN110443769B (zh) | 图像处理方法、图像处理装置及终端设备 | |
| CN109961094B (zh) | 样本获取方法、装置、电子设备及可读存储介质 | |
| CN112115894B (zh) | 手部关键点检测模型的训练方法、装置及电子设备 | |
| US11403789B2 (en) | Method and electronic device for processing images | |
| CN106980840A (zh) | 脸型匹配方法、装置及存储介质 | |
| CN114266840A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112597944B (zh) | 关键点检测方法及装置、电子设备和存储介质 | |
| CN112669198A (zh) | 图像特效的处理方法、装置、电子设备和存储介质 | |
| CN111783517B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN111144266A (zh) | 人脸表情的识别方法及装置 | |
| CN112347911A (zh) | 指甲特效的添加方法、装置、电子设备及存储介质 | |
| CN110619325A (zh) | 一种文本识别方法及装置 | |
| CN113902869A (zh) | 三维头部网格生成方法、装置、电子设备和存储介质 | |
| CN111582258A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| CN116091664A (zh) | 动作重定向方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |