CN113129319B - 图像处理方法、装置、计算机设备和存储介质 - Google Patents

图像处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113129319B
CN113129319B CN202110473429.2A CN202110473429A CN113129319B CN 113129319 B CN113129319 B CN 113129319B CN 202110473429 A CN202110473429 A CN 202110473429A CN 113129319 B CN113129319 B CN 113129319B
Authority
CN
China
Prior art keywords
image
feature
dimension
skin
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110473429.2A
Other languages
English (en)
Other versions
CN113129319A (zh
Inventor
吴尧
四建楼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202110473429.2A priority Critical patent/CN113129319B/zh
Publication of CN113129319A publication Critical patent/CN113129319A/zh
Application granted granted Critical
Publication of CN113129319B publication Critical patent/CN113129319B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像处理方法、装置、计算机设备和存储介质，其中，该方法包括：获取待处理图像；利用预先训练好的深度神经网络对待处理图像进行皮肤区域的分割处理，得到待处理图像对应的皮肤分割图像，皮肤分割图像标识有皮肤区域和非皮肤区域；基于皮肤分割图像以及待处理图像，对待处理图像中皮肤区域和/或非皮肤区域进行特效处理。本公开实施例基于训练好的深度神经网络对待处理图像进行皮肤区域的分割，能够准确地确定皮肤分割结果，提高皮肤分割的精度。

Description

图像处理方法、装置、计算机设备和存储介质
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术
图像的处理越来越多样化，在许多场景中，用户会需要对图像中自身的脸部或者手部等区域进行美颜等特效处理，从而改变皮肤状态，如磨皮、美白等。这些处理都需要事先知图像中属于皮肤的像素点，也就是需要对图像进行皮肤分割。
现有的皮肤分割大多是基于颜色空间的方式对待处理图像进行皮肤区域的分割处理，这种方式容易受待处理图像的图像背景颜色或者拍摄图像时的光照强度的影响，造成皮肤分割结果的精度的降低。皮肤分割精度的降低会影响图像特效处理的效果。
发明内容
本公开实施例至少提供一种图像处理方法、装置、计算机设备和存储介质，以提高皮肤分割的精度。
第一方面，本公开实施例提供了一种图像处理方法，包括：
获取待处理图像；
利用预先训练好的深度神经网络对所述待处理图像进行皮肤区域的分割处理，得到所述待处理图像对应的皮肤分割图像，所述皮肤分割图像标识有皮肤区域和非皮肤区域；
基于所述皮肤分割图像以及所述待处理图像，对所述待处理图像中皮肤区域和/或非皮肤区域进行特效处理。
利用训练好的深度神经网络，能够确定反映待处理图像的深度特征的图像特征信息，基于待处理图像的深度特征能够准确地确定待处理图像中每个像素点是否属于皮肤，这种利用深度学习的方式进行皮肤分割的方案，能够克服现有技术中光照强度和背景颜色对皮肤分割的干扰，提高皮肤分割的抗干扰性和准确性。进而，利用准确的皮肤分割结果对待处理图像进行特效处理，能够提高特效处理的效果。
在一种可能的实施方式中，所述利用预先训练好的深度神经网络对所述待处理图像进行皮肤区域的分割处理，得到所述待处理图像对应的皮肤分割图像，包括：
利用预先训练好的所述深度神经网络，提取所述待处理图像的图像特征信息和结构化信息；
基于提取的图像特征信息和结构化信息对所述待处理图像进行皮肤区域的分割处理，得到所述待处理图像对应的皮肤分割图像。
图像特征信息能够反映待处理图像的深度特征，结构化信息能够反映图像特征信息中的特征点之间的位置关系，基于特征点之间的位置关系以及特征点对应的深度特征，能够准确地确定每个像素点是否属于皮肤，即够准确地确定皮肤分割结果，得到准确的皮肤分割图像。
在一种可能的实施方式中，所述基于提取的图像特征信息和结构化信息对所述待处理图像进行皮肤区域的分割处理，得到所述待处理图像对应的皮肤分割图像，包括：
利用预先训练好的所述深度神经网络，提取所述待处理图像中与不同特征维度分别对应的图像特征信息；其中，所述多个特征维度中包括相邻的第一特征维度和第二特征维度，所述第一特征维度低于所述第二特征维度；所述第一特征维度对应的图像特征信息是基于所述第二特征维度对应的图像特征信息以及第二特征维度对应的图像特征信息的结构化信息确定的；所述第二特征维度对应的图像特征信息的结构化信息为利用预先训练好的所述深度神经网络提取得到的；
基于不同特征维度分别对应的图像特征信息对所述待处理图像进行皮肤区域的分割处理，得到所述待处理图像对应的皮肤分割图像。
低特征维度能够反映待处理图像主体部分的深度特征，高特征维度能够反映待处理图像边缘部分的深度特征，因此，利用不同特征维度的图像特征信息，能够完整、准确地反映待处理图像整体的深度特征，从而，基于不同特征维度的图像特征信息进行皮肤分割，提高了皮肤分割的精度。
在一种可能的实施方式中，所述第二特征维度对应的图像特征信息的结构化信息包括所述第二特征维度对应的图像特征信息中的第一特征点之间的位置关系；
所述方法还包括确定所述第一特征维度对应的图像特征信息的步骤：
针对所述第一特征维度中的每个第二特征点，基于该第二特征点的位置信息，从所述第二特征维度对应的第一特征点中筛选与该第二特征点对应的第一目标特征点；
基于所述第一特征维度和所述第二特征维度，确定所述第一特征维度中的一个第二特征点对应于所述第二特征维度中的第一特征点的目标数量；
基于所述第一特征点之间的位置关系以及所述第一目标特征点的位置信息，从所述第二特征维度对应的第一特征点中筛选所述目标数量的第二目标特征点；
基于所述第二目标特征点的图像特征信息，确定该第二特征点的图像特征信息，并基于确定的所述第一特征维度中的每个第二特征点的图像特征信息，确定所述第一特征维度对应的图像特征信息。
利用第二特征维度的图像特征信息中的结构化信息，能够准确地确定第一特征维度的图像特征信息中的每个第二特征点对应的第二目标特征点，再通过第二目标特征点中每个第一特征点的深度特征的结合，能够准确地确定第一特征维度的图像特征信息中的每个第二特征点的深度特征，从而，实现了第一特征维度的图像特征信息中的一个第二特征点能够反映相邻的特征维度的图像特征信息中的多个第二特征点的深度特征。
在一种可能的实施方式中，所述基于不同特征维度分别对应的图像特征信息对所述待处理图像进行皮肤区域的分割处理，包括：
针对所述不同特征维度中的每个特征维度，基于该特征维度对应的图像特征信息，确定所述待处理图像在该特征维度下的第一语义预测结果；
基于所述待处理图像在每个特征维度下的第一语义预测结果，确定所述待处理图像中各个像素点为皮肤对应的像素点的概率；
基于所述待处理图像中各个像素点为皮肤对应的像素点的概率和预设分割概率值，对所述待处理图像进行皮肤区域的分割处理。
第一语义预测结果用于表征每个像素点为皮肤对应的像素点的概率，利用预设分割概率值能够筛选出概率较低的像素点，保留了概率较高的像素点，利用像素点对应的多个维度的概率和预设分割概率值进行皮肤分割，有利于提高皮肤分割的精度。
在一种可能的实施方式中，所述基于所述待处理图像在每个特征维度下的第一语义预测结果，确定所述待处理图像中各个像素点为皮肤对应的像素点的概率，包括：
按照所述不同特征维度由低到高的顺序执行多次融合处理之后，得到所述待处理图像中各个像素点为皮肤对应的像素点的概率；
其中，所述多次融合处理中第i次融合处理包括：
确定所述第一特征维度下的第一语义预测结果的置信度信息；
利用所述第一特征维度下的第一语义预测结果的置信度信息，对所述第一特征维度下的第一语义预测结果和所述第二特征维度下的第一语义预测结果进行融合，得到所述第二特征维度下的目标语义预测结果；
将所述目标语义预测结果更新为第i+1次融合过程中第一特征维度的第一语义预测结果。
置信度信息能够反映第一语义预测结果的准确性，按照不同特征维度由低到高的顺序执行多次融合处理，最终得到融合各个第一语义预测结果的目标语义预测结果，能够使深度神经网络能够对多个特征维度的第一语义预测结果产生不同的注意力，进而提高深度神经网络的精确度。
在一种可能的实施方式中，所述针对所述不同特征维度中的每个特征维度，基于该特征维度对应的图像特征信息，确定所述待处理图像在该特征维度下的第一语义预测结果，包括：
针对最低特征维度，基于所述最低特征维度对应的图像特征信息，确定所述待处理图像在所述最低特征维度下的第一语义预测结果；
针对除最低特征维度外的每个所述第二特征维度，基于该第二特征维度对应的图像特征信息和所述待处理图像在所述第一特征维度下的第一语义预测结果，确定所述待处理图像在该第二特征维度下的第一语义预测结果。
通过前一特征维度的第一语义预测结果以及当前特征维度对应的图像特征信息确定当前特征维度的第一语义预测结果，使第一语义预测结果携带各个特征维度的特征，进而提高神经网络的精确度。
在一种可能的实施方式中，所述方法还包括训练所述深度神经网络的步骤：
获取样本图像，所述样本图像包含皮肤区域；
将所述样本图像输入到待训练的深度神经网络，确定所述样本图像的预测分割图像；
基于所述样本图像对应的样本分割图像和所述预测分割图像，生成目标损失，并利用所述目标损失训练所述待训练的深度神经网络，得到训练好的深度神经网络，其中，所述样本分割图像标注有皮肤标识信息。
基于样本分割图像和预测分割图像确定目标损失，并利用确定的目标损失对待训练的深度神经网络进行训练，能够保证训练得到的深度神经网络能够输出准确的预测分割图像，从而，实现皮肤区域的精准分割。
在一种可能的实施方式中，所述获取样本图像，包括：
获取具有不同皮肤特征的第一样本图像；
对所述第一样本图像中的至少部分第一样本图像执行改变图像亮度操作，得到第二样本图像；
将所述第一样本图像和所述第二样本图像作为所述样本图像。
利用具有不同皮肤特征的样本图像对待训练的深度神经网络进行训练，能够提高训练好的深度神经网络对不同皮肤特征的待处理图像进行皮肤分割时的皮肤分割精度。并且，利用改变了图像亮度的第二样本图像对待训练的深度神经网络进行训练，能够提高训练好的深度神经网络对于图像亮度变化的适应能力，进一步提高皮肤分割精度。
在一种可能的实施方式中，所述获取样本图像，包括：
获取不同光照强度下的第三样本图像；
将所述第一样本图像、所述第二样本图像和所述第三样本图像作为所述样本图像。
利用获取的不同光照强度下的第三样本图像对待训练的深度神经网络进行训练，不仅能够提高用于训练的样本图像的数量，还能够提高训练好的深度神经网络对于光照变化的适应能力，从而，提高皮肤分割精度。
第二方面，本公开实施例还提供一种图像处理装置，包括：
获取模块，用于获取待处理图像；
分割模块，用于利用预先训练好的深度神经网络对所述待处理图像进行皮肤区域的分割处理，得到所述待处理图像对应的皮肤分割图像，所述皮肤分割图像标识有皮肤区域和非皮肤区域；
处理模块，用于基于所述皮肤分割图像以及所述待处理图像，对所述待处理图像中皮肤区域和/或非皮肤区域进行特效处理。
在一种可能的实施方式中，所述分割模块，用于利用预先训练好的所述深度神经网络，提取所述待处理图像的图像特征信息和结构化信息；
基于提取的图像特征信息和结构化信息对所述待处理图像进行皮肤区域的分割处理，得到所述待处理图像对应的皮肤分割图像。
在一种可能的实施方式中，所述分割模块，用于利用预先训练好的所述深度神经网络，提取所述待处理图像中与不同特征维度分别对应的图像特征信息；其中，所述多个特征维度中包括相邻的第一特征维度和第二特征维度，所述第一特征维度低于所述第二特征维度；所述第一特征维度对应的图像特征信息是基于所述第二特征维度对应的图像特征信息以及第二特征维度对应的图像特征信息的结构化信息确定的；所述第二特征维度对应的图像特征信息的结构化信息为利用预先训练好的所述深度神经网络提取得到的；
基于不同特征维度分别对应的图像特征信息对所述待处理图像进行皮肤区域的分割处理，得到所述待处理图像对应的皮肤分割图像。
在一种可能的实施方式中，所述第二特征维度对应的图像特征信息的结构化信息包括所述第二特征维度对应的图像特征信息中的第一特征点之间的位置关系；
所述分割模块，还用于按照以下步骤确定所述第一特征维度对应的图像特征信息：
针对所述第一特征维度中的每个第二特征点，基于该第二特征点的位置信息，从所述第二特征维度对应的第一特征点中筛选与该第二特征点对应的第一目标特征点；
基于所述第一特征维度和所述第二特征维度，确定所述第一特征维度中的一个第二特征点对应于所述第二特征维度中的第一特征点的目标数量；
基于所述第一特征点之间的位置关系以及所述第一目标特征点的位置信息，从所述第二特征维度对应的第一特征点中筛选所述目标数量的第二目标特征点；
基于所述第二目标特征点的图像特征信息，确定该第二特征点的图像特征信息，并基于确定的所述第一特征维度中的每个第二特征点的图像特征信息，确定所述第一特征维度对应的图像特征信息。
在一种可能的实施方式中，所述分割模块，用于针对所述不同特征维度中的每个特征维度，基于该特征维度对应的图像特征信息，确定所述待处理图像在该特征维度下的第一语义预测结果；
基于所述待处理图像在每个特征维度下的第一语义预测结果，确定所述待处理图像中各个像素点为皮肤对应的像素点的概率；
基于所述待处理图像中各个像素点为皮肤对应的像素点的概率和预设分割概率值，对所述待处理图像进行皮肤区域的分割处理。
在一种可能的实施方式中，所述分割模块，用于按照所述不同特征维度由低到高的顺序执行多次融合处理之后，得到所述待处理图像中各个像素点为皮肤对应的像素点的概率；
其中，所述多次融合处理中第i次融合处理包括：
确定所述第一特征维度下的第一语义预测结果的置信度信息；
利用所述第一特征维度下的第一语义预测结果的置信度信息，对所述第一特征维度下的第一语义预测结果和所述第二特征维度下的第一语义预测结果进行融合，得到所述第二特征维度下的目标语义预测结果；
将所述目标语义预测结果更新为第i+1次融合过程中第一特征维度的第一语义预测结果。
在一种可能的实施方式中，所述分割模块，用于针对最低特征维度，基于所述最低特征维度对应的图像特征信息，确定所述待处理图像在所述最低特征维度下的第一语义预测结果；
针对除最低特征维度外的每个所述第二特征维度，基于该第二特征维度对应的图像特征信息和所述待处理图像在所述第一特征维度下的第一语义预测结果，确定所述待处理图像在该第二特征维度下的第一语义预测结果。
在一种可能的实施方式中，所述装置还包括：
训练模块，用于按照以下步骤训练所述深度神经网络：
获取样本图像，所述样本图像包含皮肤区域；；
将所述样本图像输入到待训练的深度神经网络，确定所述样本图像的预测分割图像；
基于所述样本图像对应的样本分割图像和所述预测分割图像，生成目标损失，并利用所述目标损失训练所述待训练的深度神经网络，得到训练好的深度神经网络，其中，所述样本分割图像标注有皮肤标识信息。
在一种可能的实施方式中，所述训练模块，用于获取具有不同皮肤特征的第一样本图像；
对所述第一样本图像中的至少部分第一样本图像执行改变图像亮度操作，得到第二样本图像；
将所述第一样本图像和所述第二样本图像作为所述样本图像。
在一种可能的实施方式中，所述训练模块，用于获取不同光照强度下的第三样本图像；
将所述第一样本图像、所述第二样本图像和所述第三样本图像作为所述样本图像。
第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
关于上述图像处理装置、计算机设备、及计算机可读存储介质的效果描述参见上述图像处理方法的说明，这里不再赘述。
本公开实施例提供的图像处理方法、装置、计算机设备和存储介质，利用训练好的深度神经网络，能够确定反映待处理图像的深度特征的图像特征信息，基于待处理图像的深度特征能够准确地确定待处理图像中每个像素点是否属于皮肤，这种利用深度学习的方式进行皮肤分割的方案，能够克服现有技术中光照强度和背景颜色对皮肤分割的干扰，提高皮肤分割的抗干扰性和准确性。进而，利用准确的皮肤分割结果对待处理图像进行特效处理，能够提高特效处理的效果。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像处理方法的流程图；
图2示出了本公开实施例所提供的一种皮肤分割图像的示意图；
图3示出了本公开实施例所提供的一种对处理图像进行皮肤分割处理的流程图；
图4示出了本公开实施例所提供的一种确定第一特征维度对应的图像特征信息的方法的流程图；
图5示出了本公开实施例所提供的一种对待处理图像进行皮肤区域的分割处理的方法的流程图；
图6示出了本公开实施例所提供的一种融合处理过程的流程图；
图7示出了本公开实施例所提供的一种深度神经网络对待处理图像进行皮肤区域的分割处理的示意图；
图8示出了本公开实施例所提供的一种融合结构的融合示意图；
图9示出了本公开实施例所提供的一种训练深度神经网络的方法的流程图；
图10示出了本公开实施例所提供的一种图像处理装置的示意图；
图11示出了本公开实施例所提供的一种计算机设备结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
另外，本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。
在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
经研究发现，图像的处理越来越多样化，在许多场景中，用户会需要对图像中自身的脸部或者手部等区域进行美颜等特效处理，从而改变皮肤状态，如磨皮、美白等。这些处理都需要事先知图像中属于皮肤的像素点，也就是需要对图像进行皮肤分割。现有的皮肤分割大多是基于颜色空间的方式对待处理图像进行皮肤区域的分割处理，这种方式容易受待处理图像的图像背景颜色或者拍摄图像时的光照强度的影响，造成皮肤分割结果的精度的降低。皮肤分割精度的降低会影响图像特效处理的效果。
基于上述研究，本公开提供了一种图像处理方法、装置、计算机设备和存储介质，利用训练好的深度神经网络，能够确定反映待处理图像的深度特征的图像特征信息，基于待处理图像的深度特征能够准确地确定待处理图像中每个像素点是否属于皮肤，这种利用深度学习的方式进行皮肤分割的方案，能够克服现有技术中光照强度和背景颜色对皮肤分割的干扰，提高皮肤分割的抗干扰性和准确性。进而，利用准确的皮肤分割结果对待处理图像进行特效处理，能够提高特效处理的效果。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像处理方法进行详细介绍，本公开实施例所提供的图像处理方法的执行主体一般为具有一定计算能力的计算机设备，在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面以执行主体为计算机设备为例对本公开实施例提供的图像处理方法加以说明。
如图1所示，为本公开实施例提供的一种图像处理方法的流程图，可以包括以下步骤：
S101：获取待处理图像。
这里，待处理图像中可以包括至少一个目标对象的至少部分皮肤区域，至少部分皮肤区域可以具有不同的皮肤特征，皮肤特征可以包括皮肤颜色、皮肤光滑程度等。例如，皮肤颜色可以包括黄皮肤、白皮肤、黑皮肤等。
S102：利用预先训练好的深度神经网络对待处理图像进行皮肤区域的分割处理，得到待处理图像对应的皮肤分割图像。
其中，皮肤分割图像标识有皮肤区域和非皮肤区域。
在获取待处理图像之后，可以将待处理图像输入至预先训练好的深度神经网络，预先训练好的深度神经网络可以基于提取的能够反映待处理图像的深度特征的图像特征信息，确定待处理图像中各个像素点的语义特征。然后可以基于各个像素点的语义特征，确定待处理图像中属于皮肤的像素点和不属于皮肤的像素点，进而，完成对待处理图像进行的皮肤区域的分割处理，得到待处理图像对应的皮肤分割图像。
其中，皮肤分割图像可以是一个指示待处理图像中属于皮肤的像素点的位置的掩码图片。如图2所示，为本公开实施例所提供的一种皮肤分割图像的示意图。
并且，得到的皮肤分割图像可以是与待处理图像大小相同、图像分辨率相同的图像。
另外，本公开实施例中所提及的预先训练好的深度神经网络还可以根据应用于的计算机设备的处理能力进行调整，在不影响皮肤分割精度的基础上，兼容各种计算机设备。
预先训练的深度神经网络可以是mfnv2神经网络。
S103：基于皮肤分割图像以及待处理图像，对待处理图像中皮肤区域和/或非皮肤区域进行特效处理。
本步骤中，得到皮肤分割图像之后，可以接收针对待处理图像中的皮肤区域和/或非皮肤区域进行特效处理的请求，然后可以基于皮肤分割图像中指示的各个属于皮肤的像素点的位置和待处理图像中各个像素点的位置，确定待处理图像中需要进行特效处理的图像范围，进而，完成对待处理图像中的皮肤区域和/或非皮肤区域的特效处理。
其中，针对皮肤区域的特效处理可以包括如皮肤换色处理、美白处理、皮肤滤镜、美颜处理等，这里不进行限定。针对非皮肤区域的特效处理可以包括如亮度调整、背景虚化等，这里也不进行限定。
这样，利用训练好的深度神经网络，能够确定反映待处理图像的深度特征的图像特征信息，基于待处理图像的深度特征能够准确地确定待处理图像中每个像素点是否属于皮肤，这种利用深度学习的方式进行皮肤分割的方案，能够克服现有技术中光照强度和背景颜色对皮肤分割的干扰，提高皮肤分割的抗干扰性和准确性。进而，利用准确的皮肤分割结果对待处理图像进行特效处理，能够提高特效处理的效果。
在一种实施例中，针对S102，可以按照如图3所示的方法，对处理图像进行皮肤区域的分割处理，如图3所示，为本公开实施例所提供的一种对处理图像进行皮肤分割处理的流程图，可以包括以下步骤：
S301：利用预先训练好的深度神经网络，提取待处理图像的图像特征信息和结构化信息。
这里，图像特征信息可以包括颜色特征信息、特征点、结构化信息等，其中，特征点可以根据待处理图像中的像素点确定，与待处理图像中的像素点存在对应关系。颜色特征信息能够反映特征点的颜色。结构化信息是一种用于表征图像特征信息中特征点的位置关系的信息。
具体实施时，在将待处理图像输入到预先训练好的深度神经网络之后，该深度神经网络可以提取出待处理图像的图像特征信息，也即可以提取出待处理图像的结构化信息。
S302：基于提取的图像特征信息和结构化信息对待处理图像进行皮肤区域的分割处理，得到待处理图像对应的皮肤分割图像。
本步骤中，根据图像特征信息中特征点的颜色特征信息和结构化信息，可以确定该特征点是否属于皮肤区域。从而，可以确定待处理图像的皮肤区域和非皮肤区域，完成对待处理图像的分割处理，得到皮肤分割图像。
在一种实施例中，针对S302，可以按照以下步骤确定完成待处理图像的分割处理：
步骤一、利用预先训练好的深度神经网络，提取待处理图像中与不同特征维度分别对应的图像特征信息。
其中，多个特征维度中包括相邻的第一特征维度和第二特征维度，第一特征维度低于第二特征维度。
第一特征维度对应的图像特征信息是基于第二特征维度对应的图像特征信息以及第二特征维度对应的图像特征信息的结构化信息确定的；第二特征维度对应的图像特征信息的结构化信息为利用预先训练好的深度神经网络提取得到的。
本步骤中，预先训练好的深度神经网络包括分别与多个特征维度对应的特征提取器；每个特征提取器可以提取其对应的特征维度下的图像特征信息。基于多个特征提取器，可以分别提取出待处理图像中与不同特征维度分别对应的图像特征信息。例如，预先训练好的深度神经网络可以包括4个特征提取器，能够提出4个特征维度下的图像特征信息。
其中，特征维度可以为图像分辨率，且待处理图像具有初始图像分辨率。
具体实施时，首先可以利用预先训练好的深度神经网络提取出与待处理图像的初始图像分辨对应的图像特征信息和结构化信息。然后将该初始图像分辨率作为第二特征维度，基于该第二特征维度对应的图像特征信息和结构化信息，确定与第一特征维度对应的图像特征信息。并且，在确定与第一特征维度对应的图像特征信息的同时，还可以确定该图像特征信息的结构化信息。
之后，可以将该第一特征维度作为新的第二特征维度，确定低于该新的第二特征维度的、下一个第一特征维度对应的图像特征信息和结构化信息。从而，可以实现分别提取出待处理图像中与不同特征维度分别对应的图像特征信息以及图像特征信息中的结构化信息。其中，初始图像分辨对应的特征维度为最高的特征维度。
步骤二、基于不同特征维度分别对应的图像特征信息对待处理图像进行皮肤区域的分割处理，得到待处理图像对应的皮肤分割图像。
高特征维度下的图像特征信息能够反映待处理图像边缘部分的深度特征，低特征维度下的图像特征信息能够反映待处理图像主体部分的深度特征。
具体实施时，基于不同特征维度分别对应的图像特征信息，可以确定待处理图像中属于皮肤区域的主体区域和边缘区域，进而，可以确定待处理图像中的皮肤区域，也即可以确定待处理图像中每个像素点是否属于皮肤对应的像素点。
进一步的，基于确定的皮肤区域，能够完成对待处理图像的分割处理，并得到待处理图像对应的皮肤分割图像。
在一种实施例中，第二特征维度对应的图像特征信息的结构化信息包括第二特征维度对应的图像特征信息中的第一特征点之间的位置关系。关于确定第一特征维度对应的图像特征信息的步骤，可以如图4所示的方法，如图4所示，为本公开实施例所提供的一种确定第一特征维度对应的图像特征信息的方法的流程图，可以包括以下步骤：
S401：针对第一特征维度中的每个第二特征点，基于该第二特征点的位置信息，从第二特征维度对应的第一特征点中筛选与该第二特征点对应的第一目标特征点。
这里，每个特征维度对应的图像特征信息包括不同数量的特征点，第一特征维度对应的图像特征信息中的第二特征点的数量小于第二特征维度对应的图像特征信息中的第一特征点的数量。也即，低图像分辨率对应的特征点的数量小于高图像分辨率对应的特征点的数量。
第一特征维度对应的每个第二特征点，在第二特征维度中都存在一个与该第二特征点对应的第一特征点。
本步骤中，针对第一特征维度中的每个第二特征点，可以确定该第二特征点的位置信息，针对第二特征维度中的每个第一特征点，也可以确定该第一特征点的位置信息。之后，基于第一特征维度中每个第二特征点的位置信息和第二特征维度中的每个第一特征点的位置信息，可以分别在第一特征维度中和第二特征维度中确定位置相同的第一特征点和第二特征点，并将上述第二特征点作为筛选出的与上述第一特征点对应的第一目标特征点。也即，可以从第二特征维度对应的第一特征点中，确定与第一特征维度中的每个第二特征点对应的第一目标特征点。
S402：基于第一特征维度和第二特征维度，确定第一特征维度中的一个第二特征点对应于第二特征维度中的第一特征点的目标数量。
这里，第一特征维度中的一个第二特征点的图像特征信息可以根据第二特征维度中的多个第一特征点的图像特征信息确定。
具体实施时，可以基于第一特征维度和第二特征维度之间的转换关系，确定第一特征维度中一个第二特征点对应于第二特征维度中的第一特征点的目标数量。例如，一个第一特征维度中第二特征点可以对应于10个第二特征维度中的第二特征点。
S403：基于第一特征点之间的位置关系以及第一目标特征点的位置信息，从第二特征维度对应的第一特征点中筛选目标数量的第二目标特征点。
本步骤中，基于第二特征维度对应的结构化信息，可以确定第二特征维度中的第一特征点之间的位置关系，然后，针对确定的每个第一目标特征点，可以根据该第一目标特征点的位置信息和第一特征点之间的位置关系，从第二特征维度对应的第一特征点选筛选出目标数量的第一特征点，作为第二目标特征点。
具体实施时，可以根据该第一目标特征点的位置信息和第一特征点之间的位置关系，从第二特征维度对应的第一特征点中筛选出与第一目标特征点具有预设距离的、目标数量的第一特征点作为第二目标特征点。
S404：基于第二目标特征点的图像特征信息，确定该第二特征点的图像特征信息，并基于确定的第一特征维度中的每个第二特征点的图像特征信息，确定第一特征维度对应的图像特征信息。
这里，根据确定的目标数量的第二目标特征点中每个第二目标特征点的图像特征信息，可以确定第二目标特征点对应的第一特征维度中的第二特征点的图像特征信息。
进而，基于上述步骤，可以确定第一特征维度中的每个第二特征点的图像特征信息，基于每个第二特征点的图像特征信息，可以确定第一特征维度对应的图像特征信息。
这样，能够分别提取出待处理图像中与不同特征维度分别对应的图像特征信息。
具体实施时，针对第二特征维度对应的图像特征信息，第一特征维度对应的特征提取器可以利用下采样的方式，对第二特征维度对应的图像特征信息进行下采样以确定第一特征维度对应的图像特征信息。
进一步的，在得到不同特征维度分别对应的图像特征信息之后，可以按照如图5所示的方法对待处理图像进行皮肤区域的分割处理，如图5所示，为本公开实施例所提供的一种对待处理图像进行皮肤区域的分割处理的方法的流程图，可以包括以下步骤：
S501：针对不同特征维度中的每个特征维度，基于该特征维度对应的图像特征信息，确定待处理图像在该特征维度下的第一语义预测结果。
这里，第一语义预测结果用于表征待处理图像中像素点为皮肤对应的像素点的概率。
具体实施时，针对每个特征维度，深度神经网络中与该特征维度对应的特征提取器在确定该特征维度对应的图像特征信息之后，可以根据该特征维度对应的图像特征信息，确定待处理图像在该特征维度下的第一语义预测结果。
进而，基于深度神经网络中的每个特征提取器，可以确定待处理图像在不同特征维度下的第一语义预测结果。
在一种实施方式中，针对S501，可以按照以下步骤确定待处理图像在每个特征维度下的第一语义预测结果：
步骤一、针对最低特征维度，基于最低特征维度对应的图像特征信息，确定待处理图像在所述最低特征维度下的第一语义预测结果。
在得到每个特征维度对应的图像特征信息之后，针对最低特征维度，该最低特征维度对应的分类器，可以根据该最低特征维度对应的图像特征信息，输出待处理图像在最低特征维度下的第一语义预测结果。
步骤二、针对除最低特征维度外的每个第二特征维度，基于该第二特征维度对应的图像特征信息和待处理图像在第一特征维度下的第一语义预测结果，确定待处理图像在该第二特征维度下的第一语义预测结果。
这里，由于第一特征维度低于第二特征维度，所以最低特征维度一定是一个第一特征维度。在最低特征维度对应的分类器确定该最低特征维度下的第一语义预测结果之后，该最低特征维度对应的第二特征维度所对应的分类器，可以基于最低特征维度下的第一语义预测结果和该第二特征维度下的图像特征信息，确定待处理图像在该第二特征维度的下的第一语义预测结果。进而，每个第二特征维度对应的分类器，可以基于第一特征维度下的第一语义预测结果和该第二特征维度下的图像特征信息，确定该第二特征维度的下的第一语义预测结果。
具体实施时，不同特征维度对应的分类器可以利用上采样的方式，对低特征维度对应的第一语义预测结果和第二特征维度的图像特征信息进行上采样，确定该特征维度的第一语义预测结果。
S502：基于待处理图像在每个特征维度下的第一语义预测结果，确定待处理图像中各个像素点为皮肤对应的像素点的概率。
这里，在得到每个特征维度下的第一语义预测结果之后，可以按照不同特征维度由低到高的顺序执行多次融合处理，之后，可以得到待处理图像中各个像素点为皮肤对应的像素点的概率。
S503：基于待处理图像中各个像素点为皮肤对应的像素点的概率和预设分割概率值，对待处理图像进行皮肤区域的分割处理。
具体实施时，可以将待处理图像中各个像素点为皮肤对应的像素点的概率与预设分割概率值比较，在确定上述概率大于预设分割概率值的情况下，将该像素点作为皮肤对应的像素点，在确定上述概率不大于预设分割概率值的情况下，确定该像素点不是皮肤对应的像素点。
进而，可以确定待处理图像中属于皮肤区域的像素点和非皮肤区域的像素点，并基于确定的结果，完成对待处理图像的分割处理，得到皮肤分割图像。
在一种实施例中，针对多次融合处理中第i次融合处理，可以按照如图6所示的融合处理过程进行融合处理，如图6所示，为本公开实施例所提供一种融合处理过程的流程图，可以包括以下步骤：
S601：确定第一特征维度下的第一语义预测结果的置信度信息。
这里，第一特征维度为最低特征维度。
具体实施时，可以先确定与该第一特征维度对应的第二特征维度，并确定与该第二特征维度对应的融合结构。之后，该第二特征维度对应的融合结构，可以根据其中的激活函数公式，确定第一特征维度下的第一语义预测结果的置信度，得到置信度信息。
其中，激活函数公式可以为softmax函数的公式。
S602：利用第一特征维度下的第一语义预测结果的置信度信息，对第一特征维度下的第一语义预测结果和第二特征维度下的第一语义预测结果进行融合，得到第二特征维度下的目标语义预测结果。
本步骤中，在得到第一特征维度下的第一语义预测结果的置信度信息之后，融合结构可以基于该置信度信息，对第一特征维度下的第一语义预测结果和第二特征维度下的第一语义预测结果进行融合，得到第二特征维度下的目标语义预测结果。
具体实施时，根据每个像素点的第一语义预测结果的置信度信息，确定每个像素点的第一语义预测结果置信度，将每个像素点的第一语义预测结果的置信度与预设的置信度阈值进行比较，在确定置信度不小于预设的置信度阈值的情况下，将该置信度对应的像素点的第一语义预测结果作为第二特征维度下的第一语义预测结果。在确定置信度小于预设的置信度阈值的情况下，将该置信度对应的像素点在第二特征维度下的第一语义预测结果作为目标语义预测结果。
之后，可以将上述第二特征维度作为新的第一特征维度，将上述第二特征维度下的目标语义预测结果更新为第i+1次融合过程中的新的第一特征维度第一语义预测结果。
基于上述步骤，可以确定最高特征维度下的目标语义预测结果，其中，目标语义预测结果也用于表征待处理图像中每个像素点为皮肤对应的像素点的概率。
从而，基于最高特征维度下的目标语义预测结果，可以确定待处理图像中各个像素点为皮肤对应的像素点的概率。
如图7所示，为本公开实施例所提供的一种深度神经网络对待处理图像进行皮肤区域的分割处理的示意图，其中，特征提取器a，特征提取器b，特征提取器c和特征提取器d为不同特征维度对应的特征提取器，能够提取待处理图像与不同特征维度对应的图像特征信息。其中，特征提取器a能够提取特征维度X1对应的图像特征信息、特征提取器b能够提取特征维度X2对应的图像特征信息、特征提取器c能够提取特征维度X3对应的图像特征信息、特征提取器d能够提取特征维度X4对应的图像特征信息，其中，X1高于X2高于X3高于X4。分类器a，分类器b，分类器c，分类器d为不同特征维度对应的分类器，分类器d可以基于特征维度X4对应的图像特征信息，确定特征维度X4下的第一语义预测结果，分类器c可以基于特征维度X4下的第一语义预测结果和特征维度X3对应的图像特征信息，确定特征维度X3下的第一语义预测结果，分类器b可以基于特征维度X3下的第一语义预测结果和特征维度X2对应的图像特征信息，确定特征维度X2下的第一语义预测结果，分类器a以基于特征维度X2下的第一语义预测结果和特征维度X1对应的图像特征信息，确定特征维度X1下的第一语义预测结果。融合结构c可以基于分类器d输出的第一语义预测结果和分类器c输出的第一语义预测结果，确定与分类器c对应的特征维度X3下的目标语义预测结果，融合结构b可以基于融合结构c输出的目标语义预测结果和分类器b输出的第一语义预测结果，确定与分类器b对应的特征维度X2下的目标语义预测结果，融合结构a可以基于融合结构b输出的目标语义预测结果和分类器a输出的第一语义预测结果，确定与分类器a对应的特征维度X1下的目标语义预测结果，之后，深度神经网络可以基于分类器a对应的特征维度X1下的目标语义预测结果输出皮肤分割图像。
如图8所示，为本公开实施例所提供的一种融合结构的融合示意图，其中，融合结构利用激活函数公式softmax确定第一特征维度下的第一语义预测结果Low prediction的置信度信息Low confidence，然后根据第二特征维度下的第一语义预测结果Highprediction和Low prediction的Low confidence以及Low prediction，确定第二特征维度下的目标语义预测结果Final prediction。
在另一种实施方式中，本公开实施例所提供的图像处理方法，在基于最高特征维度下的目标语义预测结果，确定待处理图像中各个像素点为皮肤对应的像素点的概率之后，还可以不利用预设分割概率值对其分割处理。基于接收到的特效处理请求，可以根据各个像素点对应的概率，对每个像素点进行不同程度的处理。
以接收到的特效处理请求为对属于皮肤区域的像素点进行美白处理为例，根据各个像素点对应的概率，可以对概率大于80％的像素点的进行一级美白处理，对概率处于60％～80％的像素点的进行二级美白处理，对概率低于60％的像素点的进行三级美白处理，从而，完成特效处理。
在一种实施例中，由于本公开实施例提供的深度神经网络为预先训练好的深度神经网络，所以本公开实施例还提供了训练深度神经网络的步骤，如图9所示，为本公开实施例所提供的一种训练深度神经网络的方法的流程图，可以包括以下步骤：
S901：获取样本图像。
其中，样本图像包含皮肤区域。
这里，样本图像中可以包括至少一个样本对象的至少部分皮肤区域，不同的样本图像还可以具有不同的图像背景、图像颜色等图像特征。
S902：将样本图像输入到待训练的深度神经网络，确定样本图像的预测分割图像。
这里，在将样本图像输入到待训练的深度神经网络，待训练的深度神经网络可以输出对该样本图像进行分割处理之后，得到的预测分割图像。
S903：基于样本图像对应的样本分割图像和预测分割图像，生成目标损失，并利用目标损失训练待训练的深度神经网络，得到训练好的深度神经网络。
其中，样本分割图像标注有皮肤标识信息，能够标识出样本图像中的皮肤区域和非皮肤区域。
这里，样本图像对应的样本分割图像可以预先根据样本图像中的皮肤区域，对样本图像进行分割处理得到图像。
然后，根据样本分割图像和预测分割图像，可以确定两个图像之间的目标损失，之后，可以利用确定的目标损失训练待训练的深度神经网络，在确定达到训练截止条件的情况下，完成训练，得到训练好的深度神经网络。
这样，训练得到的深度神经网络能够输出准确的预测分割图像，从而，实现皮肤区域的精准分割。
在一种可能的实施方式中，针对S901，可以先获取具有不同皮肤特征的第一样本图像。其中，皮肤特征可以包括皮肤颜色、皮肤光滑程度等。例如，皮肤颜色可以包括黄皮肤、白皮肤、黑皮肤等。
然后，可以对获取的第一样本图像中的至少部分第一样本图像执行改变图像亮度操作，得到第二样本图像。进而，可以得到具有不同图像亮度的第二样本图像。
最后，可以将第一样本图像和第二样本图像作为最终的样本图像。
这样，利用具有不同皮肤特征的样本图像对待训练的深度神经网络进行训练，能够提高训练好的深度神经网络对不同皮肤特征的待处理图像进行皮肤分割时的皮肤分割精度。并且，通过利用改变了图像亮度的第二样本图像对待训练的深度神经网络进行训练，能够提高训练好的深度神经网络对于图像亮度变化的适应能力，进一步提高皮肤分割精度。
在一种实施方式中，针对S901，在获取第一样本图像、第二样本图像之后，还可以获取不同光照强度下的第三样本图像，并将第一样本图像、第二样本图像和第三样本图像一起作为样本图像。
这样，利用获取的不同光照强度下的第三样本图像、以及第一样本图像和第二样本图像一起对待训练的深度神经网络进行训练，不仅能够提高用于训练的样本图像的数量，还能够提高训练好的深度神经网络对于光照变化的适应能力，从而，提高皮肤分割精度。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与图像处理方法对应的图像处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
如图10所示，为本公开实施例提供的一种图像处理装置的示意图，包括：
获取模块1001，用于获取待处理图像；
分割模块1002，用于利用预先训练好的深度神经网络对所述待处理图像进行皮肤区域的分割处理，得到所述待处理图像对应的皮肤分割图像，所述皮肤分割图像标识有皮肤区域和非皮肤区域；
处理模块1003，用于基于所述皮肤分割图像以及所述待处理图像，对所述待处理图像中皮肤区域和/或非皮肤区域进行特效处理。
在一种可能的实施方式中，所述分割模块1002，用于利用预先训练好的所述深度神经网络，提取所述待处理图像的图像特征信息和结构化信息；
基于提取的图像特征信息和结构化信息对所述待处理图像进行皮肤区域的分割处理，得到所述待处理图像对应的皮肤分割图像。
在一种可能的实施方式中，所述分割模块1002，用于利用预先训练好的所述深度神经网络，提取所述待处理图像中与不同特征维度分别对应的图像特征信息；其中，所述多个特征维度中包括相邻的第一特征维度和第二特征维度，所述第一特征维度低于所述第二特征维度；所述第一特征维度对应的图像特征信息是基于所述第二特征维度对应的图像特征信息以及第二特征维度对应的图像特征信息的结构化信息确定的；所述第二特征维度对应的图像特征信息的结构化信息为利用预先训练好的所述深度神经网络提取得到的；
基于不同特征维度分别对应的图像特征信息对所述待处理图像进行皮肤区域的分割处理，得到所述待处理图像对应的皮肤分割图像。
在一种可能的实施方式中，所述第二特征维度对应的图像特征信息的结构化信息包括所述第二特征维度对应的图像特征信息中的第一特征点之间的位置关系；
所述分割模块1002，还用于按照以下步骤确定所述第一特征维度对应的图像特征信息：
针对所述第一特征维度中的每个第二特征点，基于该第二特征点的位置信息，从所述第二特征维度对应的第一特征点中筛选与该第二特征点对应的第一目标特征点；
基于所述第一特征维度和所述第二特征维度，确定所述第一特征维度中的一个第二特征点对应于所述第二特征维度中的第一特征点的目标数量；
基于所述第一特征点之间的位置关系以及所述第一目标特征点的位置信息，从所述第二特征维度对应的第一特征点中筛选所述目标数量的第二目标特征点；
基于所述第二目标特征点的图像特征信息，确定该第二特征点的图像特征信息，并基于确定的所述第一特征维度中的每个第二特征点的图像特征信息，确定所述第一特征维度对应的图像特征信息。
在一种可能的实施方式中，所述分割模块1002，用于针对所述不同特征维度中的每个特征维度，基于该特征维度对应的图像特征信息，确定所述待处理图像在该特征维度下的第一语义预测结果；
基于所述待处理图像在每个特征维度下的第一语义预测结果，确定所述待处理图像中各个像素点为皮肤对应的像素点的概率；
基于所述待处理图像中各个像素点为皮肤对应的像素点的概率和预设分割概率值，对所述待处理图像进行皮肤区域的分割处理。
在一种可能的实施方式中，所述分割模块1002，用于按照所述不同特征维度由低到高的顺序执行多次融合处理之后，得到所述待处理图像中各个像素点为皮肤对应的像素点的概率；
其中，所述多次融合处理中第i次融合处理包括：
确定所述第一特征维度下的第一语义预测结果的置信度信息；
利用所述第一特征维度下的第一语义预测结果的置信度信息，对所述第一特征维度下的第一语义预测结果和所述第二特征维度下的第一语义预测结果进行融合，得到所述第二特征维度下的目标语义预测结果；
将所述目标语义预测结果更新为第i+1次融合过程中第一特征维度的第一语义预测结果。
在一种可能的实施方式中，所述分割模块1002，用于针对最低特征维度，基于所述最低特征维度对应的图像特征信息，确定所述待处理图像在所述最低特征维度下的第一语义预测结果；
针对除最低特征维度外的每个所述第二特征维度，基于该第二特征维度对应的图像特征信息和所述待处理图像在所述第一特征维度下的第一语义预测结果，确定所述待处理图像在该第二特征维度下的第一语义预测结果。
在一种可能的实施方式中，所述装置还包括：
训练模块1004，用于按照以下步骤训练所述深度神经网络：
获取样本图像，所述样本图像包含皮肤区域；
将所述样本图像输入到待训练的深度神经网络，确定所述样本图像的预测分割图像；
基于所述样本图像对应的样本分割图像和所述预测分割图像，生成目标损失，并利用所述目标损失训练所述待训练的深度神经网络，得到训练好的深度神经网络，其中，所述样本分割图像标注有皮肤标识信息。
在一种可能的实施方式中，所述训练模块1004，用于获取具有不同皮肤特征的第一样本图像；
对所述第一样本图像中的至少部分第一样本图像执行改变图像亮度操作，得到第二样本图像；
将所述第一样本图像和所述第二样本图像作为所述样本图像。
在一种可能的实施方式中，所述训练模块1004，用于获取不同光照强度下的第三样本图像；
将所述第一样本图像、所述第二样本图像和所述第三样本图像作为所述样本图像。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
本公开实施例还提供了一种计算机设备，如图11所示，为本公开实施例提供的一种计算机设备结构示意图，包括：
处理器1101和存储器1102；所述存储器1102存储有处理器1101可执行的机器可读指令，处理器1101用于执行存储器1102中存储的机器可读指令，所述机器可读指令被处理器1101执行时，处理器1101执行下述步骤：S101：获取待处理图像；S102：利用预先训练好的深度神经网络对待处理图像进行皮肤区域的分割处理，得到待处理图像对应的皮肤分割图像以及S103：基于皮肤分割图像以及待处理图像，对待处理图像中皮肤区域和/或非皮肤区域进行特效处理。
上述存储器1102包括内存1121和外部存储器1122；这里的内存1121也称内存储器，用于暂时存放处理器1101中的运算数据，以及与硬盘等外部存储器1122交换的数据，处理器1101通过内存1121与外部存储器1122进行数据交换。
上述指令的具体执行过程可以参考本公开实施例中所述的图像处理方法的步骤，此处不再赘述。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的图像处理方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
利用预先训练好的深度神经网络，提取所述待处理图像中与不同特征维度分别对应的图像特征信息和结构化信息；其中，多个特征维度中包括相邻的第一特征维度和第二特征维度，所述第一特征维度低于所述第二特征维度；所述第一特征维度对应的图像特征信息是基于所述第二特征维度对应的图像特征信息以及第二特征维度对应的图像特征信息的结构化信息确定的；所述第二特征维度对应的图像特征信息的结构化信息为利用预先训练好的所述深度神经网络提取得到的；
基于不同特征维度分别对应的图像特征信息对所述待处理图像进行皮肤区域的分割处理，得到所述待处理图像对应的皮肤分割图像，所述皮肤分割图像标识有皮肤区域和非皮肤区域；所述结构化信息用于表征图像特征信息中特征点的位置关系；其中，所述第二特征维度对应的图像特征信息的结构化信息包括所述第二特征维度对应的图像特征信息中的第一特征点之间的位置关系；
所述方法还包括确定所述第一特征维度对应的图像特征信息的步骤：
针对所述第一特征维度中的每个第二特征点，基于该第二特征点的位置信息，从所述第二特征维度对应的第一特征点中筛选与该第二特征点对应的第一目标特征点；
基于所述第一特征维度和所述第二特征维度，确定所述第一特征维度中的一个第二特征点对应于所述第二特征维度中的第一特征点的目标数量；
基于所述第一特征点之间的位置关系以及所述第一目标特征点的位置信息，从所述第二特征维度对应的第一特征点中筛选所述目标数量的第二目标特征点；所述第二目标特征点与所述第一目标特征点具有预设距离；
基于所述第二目标特征点的图像特征信息，确定该第二特征点的图像特征信息，并基于确定的所述第一特征维度中的每个第二特征点的图像特征信息，确定所述第一特征维度对应的图像特征信息；
基于所述皮肤分割图像以及所述待处理图像，对所述待处理图像中皮肤区域和/或非皮肤区域进行特效处理。
2.根据权利要求1所述的方法，其特征在于，所述基于不同特征维度分别对应的图像特征信息对所述待处理图像进行皮肤区域的分割处理，包括：
针对所述不同特征维度中的每个特征维度，基于该特征维度对应的图像特征信息，确定所述待处理图像在该特征维度下的第一语义预测结果；
基于所述待处理图像在每个特征维度下的第一语义预测结果，确定所述待处理图像中各个像素点为皮肤对应的像素点的概率；
基于所述待处理图像中各个像素点为皮肤对应的像素点的概率和预设分割概率值，对所述待处理图像进行皮肤区域的分割处理。
3.根据权利要求2所述的方法，其特征在于，所述基于所述待处理图像在每个特征维度下的第一语义预测结果，确定所述待处理图像中各个像素点为皮肤对应的像素点的概率，包括：
按照所述不同特征维度由低到高的顺序执行多次融合处理之后，得到所述待处理图像中各个像素点为皮肤对应的像素点的概率；
其中，所述多次融合处理中第i次融合处理包括：
确定所述第一特征维度下的第一语义预测结果的置信度信息；
利用所述第一特征维度下的第一语义预测结果的置信度信息，对所述第一特征维度下的第一语义预测结果和所述第二特征维度下的第一语义预测结果进行融合，得到所述第二特征维度下的目标语义预测结果；
将所述目标语义预测结果更新为第i+1次融合过程中第一特征维度的第一语义预测结果。
4.根据权利要求2或3所述的方法，其特征在于，所述针对所述不同特征维度中的每个特征维度，基于该特征维度对应的图像特征信息，确定所述待处理图像在该特征维度下的第一语义预测结果，包括：
针对最低特征维度，基于所述最低特征维度对应的图像特征信息，确定所述待处理图像在所述最低特征维度下的第一语义预测结果；
针对除最低特征维度外的每个所述第二特征维度，基于该第二特征维度对应的图像特征信息和所述待处理图像在所述第一特征维度下的第一语义预测结果，确定所述待处理图像在该第二特征维度下的第一语义预测结果。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括训练所述深度神经网络的步骤：
获取样本图像，所述样本图像包含皮肤区域；
将所述样本图像输入到待训练的深度神经网络，确定所述样本图像的预测分割图像；
基于所述样本图像对应的样本分割图像和所述预测分割图像，生成目标损失，并利用所述目标损失训练所述待训练的深度神经网络，得到训练好的深度神经网络，其中，所述样本分割图像标注有皮肤标识信息。
6.根据权利要求5所述的方法，其特征在于，所述获取样本图像，包括：
获取具有不同皮肤特征的第一样本图像；
对所述第一样本图像中的至少部分第一样本图像执行改变图像亮度操作，得到第二样本图像；
将所述第一样本图像和所述第二样本图像作为所述样本图像。
7.根据权利要求6所述的方法，其特征在于，所述获取样本图像，包括：
获取不同光照强度下的第三样本图像；
将所述第一样本图像、所述第二样本图像和所述第三样本图像作为所述样本图像。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待处理图像；
分割模块，用于利用预先训练好的深度神经网络，提取所述待处理图像中与不同特征维度分别对应的图像特征信息和结构化信息；其中，多个特征维度中包括相邻的第一特征维度和第二特征维度，所述第一特征维度低于所述第二特征维度；所述第一特征维度对应的图像特征信息是基于所述第二特征维度对应的图像特征信息以及第二特征维度对应的图像特征信息的结构化信息确定的；所述第二特征维度对应的图像特征信息的结构化信息为利用预先训练好的所述深度神经网络提取得到的；
基于不同特征维度分别对应的图像特征信息对所述待处理图像进行皮肤区域的分割处理，得到所述待处理图像对应的皮肤分割图像，所述皮肤分割图像标识有皮肤区域和非皮肤区域；所述结构化信息用于表征图像特征信息中特征点的位置关系；其中，所述第二特征维度对应的图像特征信息的结构化信息包括所述第二特征维度对应的图像特征信息中的第一特征点之间的位置关系；
所述分割模块，还用于按照以下步骤确定所述第一特征维度对应的图像特征信息：
针对所述第一特征维度中的每个第二特征点，基于该第二特征点的位置信息，从所述第二特征维度对应的第一特征点中筛选与该第二特征点对应的第一目标特征点；
基于所述第一特征维度和所述第二特征维度，确定所述第一特征维度中的一个第二特征点对应于所述第二特征维度中的第一特征点的目标数量；
基于所述第一特征点之间的位置关系以及所述第一目标特征点的位置信息，从所述第二特征维度对应的第一特征点中筛选所述目标数量的第二目标特征点；所述第二目标特征点与所述第一目标特征点具有预设距离；
基于所述第二目标特征点的图像特征信息，确定该第二特征点的图像特征信息，并基于确定的所述第一特征维度中的每个第二特征点的图像特征信息，确定所述第一特征维度对应的图像特征信息；
处理模块，用于基于所述皮肤分割图像以及所述待处理图像，对所述待处理图像中皮肤区域和/或非皮肤区域进行特效处理。
9.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至7任意一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至7任意一项所述的图像处理方法的步骤。
CN202110473429.2A 2021-04-29 2021-04-29 图像处理方法、装置、计算机设备和存储介质 Active CN113129319B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110473429.2A CN113129319B (zh) 2021-04-29 2021-04-29 图像处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110473429.2A CN113129319B (zh) 2021-04-29 2021-04-29 图像处理方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113129319A CN113129319A (zh) 2021-07-16
CN113129319B true CN113129319B (zh) 2023-06-23

Family

ID=76781170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110473429.2A Active CN113129319B (zh) 2021-04-29 2021-04-29 图像处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113129319B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017204864A1 (en) * 2016-05-26 2017-11-30 Raytheon Company Systems and methods for facilitating tracking a target in an imaged scene
WO2018177237A1 (zh) * 2017-03-29 2018-10-04 腾讯科技（深圳）有限公司 图像处理方法、装置和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523546B (zh) * 2020-04-16 2023-06-16 湖南大学 图像语义分割方法、***及计算机存储介质
CN112287763A (zh) * 2020-09-27 2021-01-29 北京旷视科技有限公司 图像处理方法、装置、设备及介质
CN112258605A (zh) * 2020-10-16 2021-01-22 北京达佳互联信息技术有限公司 特效添加方法、装置、电子设备及存储介质
CN112651364B (zh) * 2020-12-31 2023-06-20 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017204864A1 (en) * 2016-05-26 2017-11-30 Raytheon Company Systems and methods for facilitating tracking a target in an imaged scene
WO2018177237A1 (zh) * 2017-03-29 2018-10-04 腾讯科技（深圳）有限公司 图像处理方法、装置和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Using Segmentation to Enhance Frame Prediction in a Multi-Scale Spatial-Temporal Feature Extraction Network;Michael Mu-Chien Hsu等;《2020 International Conference on Pervasive Artificial Intelligence (ICPAI)》;第164-169页 *

Also Published As

Publication number Publication date
CN113129319A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
JP6778247B2 (ja) 眼球血管および顔認識のための画像および特徴品質、画像強化および特徴抽出、ならびにバイオメトリックシステムのための眼球血管と顔領域および／またはサブ顔領域との融合
Wang et al. Salient object detection based on multi-scale contrast
Radman et al. Fast and reliable iris segmentation algorithm
D'Elia et al. A tree-structured Markov random field model for Bayesian image segmentation
CN110210276A (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
JP2016081212A (ja) 画像認識装置、画像認識方法、および、画像認識プログラム
CN113469040B (zh) 一种图像处理方法、装置、计算机设备和存储介质
EP4085369A1 (en) Forgery detection of face image
KR102592551B1 (ko) Ar장치를 위한 객체 인식 처리 장치 및 방법
CN111598065B (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
CN112651364B (zh) 图像处理方法、装置、电子设备及存储介质
Shukla et al. Geometry of deep generative models for disentangled representations
CN112818955A (zh) 一种图像分割方法、装置、计算机设备以及存储介质
CN112733946A (zh) 一种训练样本的生成方法、装置、电子设备及存储介质
Liu et al. Physics-guided spoof trace disentanglement for generic face anti-spoofing
CN112507981B (zh) 模型生成方法、虹膜图像质量评估方法及电子设备
CN113129319B (zh) 图像处理方法、装置、计算机设备和存储介质
CN116563303B (zh) 一种场景可泛化的交互式辐射场分割方法
CN113762117A (zh) 一种图像处理模型的训练方法、图像处理模型及计算机设备
CN112613460A (zh) 人脸生成模型的建立方法和人脸生成方法
JP2020038731A (ja) 画像認識装置、画像認識方法、および、画像認識プログラム
US11755688B2 (en) Apparatus and method for generating training data for a machine learning system
CN115861122A (zh) 脸部图像处理方法、装置、计算机设备及存储介质
CN115546908A (zh) 一种活体检测方法、装置及设备
CN114612989A (zh) 人脸识别数据集的生成方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant