CN111369559A - 妆容评估方法、装置、化妆镜和存储介质 - Google Patents
妆容评估方法、装置、化妆镜和存储介质 Download PDFInfo
- Publication number
- CN111369559A CN111369559A CN202010298899.5A CN202010298899A CN111369559A CN 111369559 A CN111369559 A CN 111369559A CN 202010298899 A CN202010298899 A CN 202010298899A CN 111369559 A CN111369559 A CN 111369559A
- Authority
- CN
- China
- Prior art keywords
- model
- makeup
- deep learning
- training
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 54
- 238000013136 deep learning model Methods 0.000 claims abstract description 145
- 238000013210 evaluation model Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 43
- 239000002537 cosmetic Substances 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims description 168
- 230000006835 compression Effects 0.000 claims description 67
- 238000007906 compression Methods 0.000 claims description 67
- 238000001514 detection method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000003321 amplification Effects 0.000 claims description 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 13
- 230000000694 effects Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000013140 knowledge distillation Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000013434 data augmentation Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种妆容评估方法、装置、化妆镜和存储介质。所述方法包括：获取用户的脸部图像，通过训练好的妆容评估模型对脸部图像进行检测，得到用户妆容评分并输出，其中，妆容评估模型为经过模型压缩后的轻量级深度学习模型，适用场景广泛且计算速度快，能够在保证妆容评估准确性的同时保证妆容评估的及时性，尤其适用于受限于设备成本处理器性能一般的化妆镜，从而在用户化妆时为用户提供及时且较为准确的妆容评分，便于用户根据该妆容反馈进行妆容调整，有效地提高了用户体验。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种妆容评估方法、装置、化妆镜和存储介质。
背景技术
随着生活条件的提高和思想意识的变化，人们对自身的外在形象越来越注重。其中，提升外在形象的方式包括改善着装和化妆等方式。
在化妆时，用户需要通过观察镜中的映像来设计、调整自己的妆容。对于不善于化妆的用户来说，一是受限于化妆经验，二是自身信心不足，化妆的过程中也无法获得较为专业的反馈意见，导致化妆耗时长且化妆技术进步慢。目前，市场上的化妆镜能够提供智能化的光照，或者在镜面上显示时间、温度等信息，但在为用户提供妆容反馈方面尚待改进。
发明内容
基于此，有必要针对上述技术问题，提供一种能够及时对用户妆容进行评估和反馈的的妆容评估方法、装置、化妆镜和存储介质。
一种妆容评估方法，所述方法包括：
获取用户的脸部图像；
通过训练好的妆容评估模型对所述脸部图像进行检测，得到所述用户的妆容评分并输出，所述妆容评估模型为经过模型压缩后的轻量级深度学习模型。
在其中一个实施例中，所述获取用户的脸部图像之前，所述方法还包括：
获取训练图像和所述训练图像对应的预设妆容评分；
通过所述训练图像和所述训练图像对应的预设妆容评分，对所述轻量级深度学习模型进行有监督训练；
对有监督训练后的所述轻量级深度学习模型进行模型压缩，得到所述训练好的妆容评估模型。
在其中一个实施例中，所述对所述轻量级深度学习模型进行有监督训练的步骤，包括：
对所述训练图像进行数据增广处理；
将处理后的所述训练图像输入所述轻量级深度学习模型，获得所述轻量级深度学习模型输出的检测结果；
根据所述检测结果和所述训练图像对应的预设妆容评分，对所述轻量级深度学习模型的模型参数进行调整。
在其中一个实施例中，所述对有监督训练后的所述轻量级深度学习模型进行模型压缩，得到所述训练好的妆容评估模型的步骤，包括：
对有监督训练后的所述轻量级深度学习模型进行模型压缩，判断模型压缩后的所述轻量级深度学习模型是否满足预设的模型条件；
如果模型压缩后的所述轻量级深度学习模型不满足预设的模型条件，则跳转至执行对所述轻量级深度学习模型进行有监督训练的步骤。
在其中一个实施例中，所述对有监督训练后的所述轻量级深度学习模型进行模型压缩的步骤，还包括：
对所述轻量级深度学习模型中的滤波器进行裁剪。
在其中一个实施例中，所述对所述轻量级深度学习模型中的滤波器进行裁剪的步骤，包括：
按照所述轻量级深度学习模型中滤波器的权重，确定筛选阈值；
按照所述筛选阈值对所述滤波器进行裁剪。
一种妆容评估装置，所述装置包括：
图像获取模块，用于获取用户的脸部图像；以及
妆容检测模块，用于通过训练好的妆容评估模型对所述脸部图像进行检测，得到所述用户的妆容评分并输出，所述妆容评估模型为经过模型压缩后的轻量级深度学习模型。
在其中一个实施例中，所述装置还包括：
训练数据获取模块，用于获取训练图像和所述训练图像对应的预设妆容评分；
模型训练模块，用于通过所述训练图像和所述训练图像对应的预设妆容评分，对所述轻量级深度学习模型进行有监督训练；
模型压缩模块，用于对有监督训练后的所述轻量级深度学习模型进行模型压缩，得到所述训练好的妆容评估模型。
一种化妆镜，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述妆容评估方法所述的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述妆容评估方法所述的步骤。
上述妆容评估方法、装置、化妆镜和存储介质，获取用户的脸部图像，通过训练好的妆容评估模型对脸部图像进行检测，得到用户的妆容评分并输出，其中，妆容评估模型为经过模型压缩后的轻量级深度学习模型，对处理器的性能要求不高，适用场景广泛且计算速度快，能够在保证妆容评估准确性的同时保证妆容评估的及时性，尤其适用于受限于设备成本处理器性能一般的化妆镜，从而在用户化妆时为用户提供及时且较为准确的妆容评分，便于用户根据该妆容反馈进行妆容调整，有效地提高了用户体验。
附图说明
图1为一个实施例中妆容评估方法的流程示意图；
图2为另一个实施例中妆容评估方法的流程示意图；
图3为另一个实施例中妆容评估方法的流程示意图；
图4为一个实施例中妆容评估装置的结构框图；
图5为另一个实施例中妆容评估装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的妆容评估方法，可以应用于配置有处理器的用户终端上，例如计算机、手机，尤其可应用于配置有处理器的化妆镜上，便于在用户化妆时及时为用户提供进行妆容评估服务。
在一个实施例中，如图1所示，提供了一种妆容评估方法，包括以下步骤：
步骤102，获取用户的脸部图像。
具体地，可通过预设的摄像头采集用户的脸部图像。为确保所采集的脸部图像为带有妆容效果的脸部图像，可在接收到用户的妆容评估请求或者脸部图像采集请求时，开启摄像头进行图像采集，也可以预先设置妆容评估模式，当检测到妆容评估模式启动时，开启摄像头进行图像采集，其中，用户可通过预设的设备按键或者屏幕虚拟按键启动妆容评估模式。
具体地，在采集脸部图像时，可通过检测环境亮度是否达到预设亮度阈值，来确定是否打开预设的灯光设备，当环境亮度未达到预设亮度阈值时，打开灯光设备，以提高图像采集效果。
步骤104，通过训练好的妆容评估模型对脸部图像进行检测，得到用户的妆容评分并输出，妆容评估模型为经过模型压缩后的轻量级深度学习模型。
具体地，传统的深度学习模型架构复杂、计算量大，轻量级深度学习模型为具有轻量级架构的深度学习模型，能够有效地减少计算量，适用于受限于设备成本、处理器性能一般的妆容评估模型。模型压缩是降低深度学习模型架构复杂度的模型处理方式。通过模型压缩对轻量级深度学习模型进行处理，能够进一步降低轻量级深度学习模型的架构复杂度。模型压缩和模型训练内容详见在后续训练过程，在此不进行赘述。
具体地，将脸部图像输入训练好的妆容评估模型，可获得妆容评估模型的输出结果，该输出结果即脸部图像对应的妆容评分，也即用户的妆容评分。在将脸部图像输入训练好的妆容评估模型之前，可先对脸部图像进行预处理，以提高妆容评分的准确度。其中，预处理可包括：对脸部图像进行去噪、根据脸部图像中脸部位置将将去噪后的脸部图像裁剪至预设尺寸、以及对裁剪后的脸部图像进行数据标准化处理(例如z-score标准化处理)。
上述妆容评估方法中，将用户的脸部图像输入训练好的妆容评估模型进行检测，得到妆容评估模型的输出结果，即用户的妆容评分，其中，妆容评估模型为经过模型压缩后的轻量级深度学习模型，对处理器的性能要求不高，适用场景广泛且计算速度快，尤其适用于受限于设备成本处理器性能一般的化妆镜，从而在用户化妆时为用户提供及时且较为准确的妆容评分，便于用户根据该妆容反馈进行妆容调整，有效地提高了用户体验。
在一个实施例中，如图2所示，提供了一种妆容评估方法中妆容评估模型的训练方法，该训练方法即可运行在用户终端的处理器上，也可以先单独在服务器上运行，再将训练好的妆容评估模型配置于用户终端的处理器上，该训练方法包括以下步骤：
步骤202，获取训练图像和训练图像对应的预设妆容评分。
具体地，可从预设的训练数据库中获取训练图像和训练图像对应的预设妆容评分。其中，在构建训练数据库时，可从网络平台上采集不同的人脸图像作为训练图像，并采集不同的人对每个训练图像给出的妆容评分，对于每个训练图像，可将该训练图像对应的所有妆容评分的平均分设置为该训练图像最终的妆容评分。
步骤204，通过训练图像和训练图像对应的预设妆容评分，对轻量级深度学习模型进行有监督训练。
具体地，预先构建轻量级深度学习模型，将训练图像一一输入轻量级深度学习模型，得到轻量级深度学习模型输出的检测结果，即轻量级深度学习模型对训练图像的预测妆容评分。将训练图像的预测妆容评分与训练图像的预设妆容评分进行比较，根据比较结果和反向传播算法对轻量级深度学习模型进行模型参数调整。再将训练图像一一输出参数调整后的轻量级深度学习模型，实现对轻量级深度学习迭代的有监督训练，直至轻量级深度学习模型输出的检测结果与训练图像的预设妆容评分之间的比较结果满足预设的训练停止条件。
在一个实施例中，在将训练图像输入轻量级深度学习模型时，可对训练图像进行数据增广处理，数据增广包括镜像、旋转、缩放、裁剪、颜色扰动等操作，以增加训练图像的数量和多样性，进而提高轻量级深度学习模型的训练效果。在数据增广后，可对训练图像进行预处理，包括：对训练图像进行去噪、根据训练图像中脸部位置将将去噪后的训练图像裁剪至预设尺寸、以及对裁剪后的训练图像进行数据标准化处理(例如z-score标准化处理)。
在一个实施例中，轻量级深度学习模型可采用深度可分离卷积神经网络(Depthwise separable convolutions)，相较于传统的卷积神经网络，深度可分离卷积神经网络的紧凑设计，能够在保留较高运算精度的情况下大幅度减少模型计算量。
在一个实施例中，训练图像的预测妆容评分与训练图像的预设妆容评分之间的比较结果可采用该二者间的均方误差，依据训练图像的预测妆容评分与训练图像的预设妆容评分之间的军方误差和反向传播算法，计算轻量级深度学习模型上各模型参数的梯度，再通过梯度下降算法更新轻量级深度学习模型上的模型参数，从而有效地提高轻量级深度学习模型的有监督训练效果。
步骤206，对有监督训练后的轻量级深度学习模型进行模型压缩，得到训练好的妆容评估模型。
具体地，有监督训练后的轻量级深度学习模型尚存在冗余的模型参数，模型压缩可以减少模型参数的数量，降低模型复杂度，提高模型计算速度，有利于实现妆容评估模型进行妆容评估的及时性。
具体地，可采用卷积神经网络的模型裁剪技术对轻量级深度学习模型进行模型压缩。模型裁剪技术的裁剪粒度从小到大可分为神经元级、向量级、卷积核级、滤波器级、层级和块级，可选择任一裁剪粒度对轻量级深度学习模型进行裁剪。其中，卷积神经网络中卷积层的权重尺寸可表示为：
out_channel×in_channel×kernel_h×kernel_w，out_channel、in_channel、kernel_h、kernel_w分别为该卷积层的输入通道数、输出通道数、卷积核的高、卷积核的宽。可将该权重尺寸看作一个四维向量，从第一个维度上进行裁剪称为滤波器级裁剪(将所有权重值分为out_channel组，每组in_channel×kernel_h×kernel_w个权重，以每组为一个裁剪单位)，从第二个维度上进行裁剪称为卷积核级裁剪(将所有权重值分为in_channel组，每组out_channel×kernel_h×kernel_w个权重，以每组为一个裁剪单位)，依此类推，从第三个维度、第四个维度上进行裁剪分别称为向量级裁剪和神经元级裁剪。层级裁剪即裁剪掉一整个卷积层。若干个卷积核组合可构成块，块级裁剪即裁剪掉整个这样的块。
在一个实施例中，由于裁剪粒度越小，可裁剪空间越大但也越难实现优化，裁剪粒度越大，可裁剪空间越小越容易实现优化。按照滤波器级的裁剪粒度对轻量级深度学习模型中的滤波器进行裁剪，以提高模型压缩效果。
在一个实施例中，按照滤波器级的裁剪粒度对轻量级深度学习模型进行裁剪时，可获取轻量级深度学习模型中各滤波器的权重，按照这些权重确定筛选阈值，再按照筛选阈值对各个滤波器进行筛选，例如可将不满足筛选阈值的滤波器的权重设置为零，即实现对滤波器的裁剪。其中，在确定筛选阈值时，可将各滤波器的权重的归一化L1范数设置为筛选阈值。
上述妆容评估方法中妆容评估模型的训练方法，对轻量级深度学习模型进行有监督训练，对训练后的轻量级深度学习模型进行模型压缩，得到训练好的妆容评估模型，既保证了妆容评估模型的评估准确度，又降低了妆容评估模型的模型复杂度和计算量、提高了运算速度，从而有效地提高了妆容评估的准确度和及时性。
在一个实施例中，如图3所示，提供了一种妆容评估方法中中妆容评估模型的训练方法，该训练方法即可运行在用户终端的处理器上，也可以先单独在服务器上运行，再将训练好的妆容评估模型配置于用户终端的处理器上，该训练方法包括以下步骤：
步骤302，获取训练图像和训练图像对应的预设妆容评分。
步骤304，通过训练图像和训练图像对应的预设妆容评分，对轻量级深度学习模型进行有监督训练。
步骤306，对有监督训练后的轻量级深度学习模型进行模型压缩。
具体地，步骤302～306可参照步骤202～步骤206的描述，在此不再赘述。
步骤308，判断模型压缩后轻量级深度学习模型是否满足预设的模型条件。
具体地，对轻量级深度学习模型进行模型压缩后，判断压缩后的轻量级深度学习模型是否满足满足预设的模型条件，若满足，则说明压缩后的轻量级深度学习模型的模型复杂度已经达到预期，无需继续进行压缩，执行步骤310。否则，跳转至执行步骤304，继续对轻量级深度学习模型进行训练和压缩。
具体地，预设的模型条件可为滤波器数量阈值，也可为轻量级深度学习模型的运算速度阈值，通过判断模型压缩后轻量级深度学习模型中的滤波器数量是否达到预设的滤波器数量阈值，或者通过判断判断模型压缩后轻量级深度学习模型的运算速度是否达到预设的运算速度阈值，来确定模型压缩后轻量级深度学习模型是否满足预设的模型条件。
步骤310，获得训练好的妆容评估模型。
上述妆容评估方法中妆容评估模型的训练方法，对轻量级深度学习模型进行有监督训练和模型压缩，若压缩后的轻量级深度学习模型满足预设的模型条件，则得到训练好的妆容评估模型，否则继续对轻量级深度学习模型进行有监督训练和模型压缩，从而有效地确保了妆容评估的准确度和及时性。
在一个实施例中，由于模型压缩会在一定程度上损失模型的计算准确度，在轻量级深度学习模型压缩完成后，可运用知识蒸馏(Knowledge Distillation)方式对轻量级深度学习模型进行恢复训练，以提高该模型的计算准确度。
具体地，知识蒸馏是借助训练好的教师网络(有监督训练后、且模型压缩前的轻量级深度学习模型)诱导学生网络(模型压缩完成后的轻量级深度学习模型)的训练过程，也即在轻量级深度学习模型压缩达到预设的模型条件后，借助教师网络再对轻量级深度学习模型进行恢复训练。
具体地，在知识蒸馏技术过程中，可将同一训练图像分别输入教师网络和学生网络，得到教师网络的输出结果(通过YS进行表示)和学生网络的输出结果(通过YT进行表示)，通过YS和YT计算损失值，根据该损失值对学生网络的模型参数进行调整。其中，计算损失值的方式在此不进行限制。
应该理解的是，虽然图1-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种妆容评估装置400，包括：图像获取模块402和妆容检测模块404，其中：
图像获取模块402，用于获取用户的脸部图像。
具体地，可通过预设的摄像头采集用户的脸部图像。为确保所采集的脸部图像为带有妆容效果的脸部图像，可在接收到用户的妆容评估请求或者脸部图像采集请求时，开启摄像头进行图像采集，也可以预先设置妆容评估模式，当检测到妆容评估模式启动时，开启摄像头进行图像采集，其中，用户可通过预设的设备按键或者屏幕虚拟按键启动妆容评估模式。
具体地，在采集脸部图像时，可通过检测环境亮度是否达到预设亮度阈值，来确定是否打开预设的灯光设备，当环境亮度未达到预设亮度阈值时，打开灯光设备，以提高图像采集效果。
妆容检测模块404，用于通过训练好的妆容评估模型对脸部图像进行检测，得到用户的妆容评分并输出，妆容评估模型为经过模型压缩后的轻量级深度学习模型。
具体地，传统的深度学习模型架构复杂、计算量大，轻量级深度学习模型为具有轻量级架构的深度学习模型，能够有效地减少计算量，适用于受限于设备成本、处理器性能一般的妆容评估模型。模型压缩是降低深度学习模型架构复杂度的模型处理方式。通过模型压缩对轻量级深度学习模型进行处理，能够进一步降低轻量级深度学习模型的架构复杂度。模型压缩和模型训练内容详见在上述方法实施例的描述，在此不进行赘述。
上述妆容评估装置中，将用户的脸部图像输入训练好的妆容评估模型进行检测，得到妆容评估模型的输出结果，即用户的妆容评分，其中，妆容评估模型为经过模型压缩后的轻量级深度学习模型，对处理器的性能要求不高，适用场景广泛且计算速度快，尤其适用于受限于设备成本处理器性能一般的化妆镜，从而在用户化妆时为用户提供及时且较为准确的妆容评分，便于用户根据该妆容反馈进行妆容调整，有效地提高了用户体验。
在一个实施例中，如图5所示，提供了一种妆容评估装置500，包括：训练数据获取模块502、模型训练模块504、模型压缩模块506、图像获取模块508和妆容检测模块510，其中：
训练数据获取模块502，用于获取训练图像和训练图像对应的预设妆容评分。
具体地，可从预设的训练数据库中获取训练图像和训练图像对应的预设妆容评分。其中，在构建训练数据库时，可从网络平台上采集不同的人脸图像作为训练图像，并采集不同的人对每个训练图像给出的妆容评分，对于每个训练图像，可将该训练图像对应的所有妆容评分的平均分设置为该训练图像最终的妆容评分。
模型训练模块504，用于通过训练图像和训练图像对应的预设妆容评分，对轻量级深度学习模型进行有监督训练。
具体地，预先构建轻量级深度学习模型，将训练图像一一输入轻量级深度学习模型，得到轻量级深度学习模型输出的检测结果，即轻量级深度学习模型对训练图像的预测妆容评分。将训练图像的预测妆容评分与训练图像的预设妆容评分进行比较，根据比较结果和反向传播算法对轻量级深度学习模型进行模型参数调整。再将训练图像一一输出参数调整后的轻量级深度学习模型，实现对轻量级深度学习迭代的有监督训练，直至轻量级深度学习模型输出的检测结果与训练图像的预设妆容评分之间的比较结果满足预设的训练停止条件。
在一个实施例中，轻量级深度学习模型可采用深度可分离卷积神经网络，相较于传统的卷积神经网络，深度可分离卷积神经网络的紧凑设计，能够在保留较高运算精度的情况下大幅度减少模型计算量。
在一个实施例中，训练图像的预测妆容评分与训练图像的预设妆容评分之间的比较结果可采用该二者间的均方误差，依据训练图像的预测妆容评分与训练图像的预设妆容评分之间的军方误差和反向传播算法，计算轻量级深度学习模型上各模型参数的梯度，再通过梯度下降算法更新轻量级深度学习模型上的模型参数，从而有效地提高轻量级深度学习模型的有监督训练效果。
模型压缩模块506，用于对有监督训练后的轻量级深度学习模型进行模型压缩，得到训练好的妆容评估模型。
具体地，有监督训练后的轻量级深度学习模型尚存在冗余的模型参数，模型压缩可以减少模型参数的数量，降低模型复杂度，提高模型计算速度，有利于实现妆容评估模型进行妆容评估的及时性。
在一个实施例中，可采用模型裁剪技术对轻量级深度学习模型进行模型压缩。模型裁剪技术的裁剪粒度从小到大可分为神经元级、向量级、卷积核级、滤波器级、层级和块级，可选择任一裁剪粒度对轻量级深度学习模型进行裁剪。
图像获取模块508，用于获取用户的脸部图像。
妆容检测模块510，用于通过训练好的妆容评估模型对脸部图像进行检测，得到用户的妆容评分并输出，妆容评估模型为经过模型压缩后的轻量级深度学习模型。
具体地，图像获取模块508与妆容检测模块510可参照上述实施例相应模块的具体描述，在此不再赘述。
上述妆容评估装置中，通过有监督训练和模型压缩的方式对轻量级深度学习模型进行训练和压缩，得到训练好的妆容评估模型，使得妆容评估模型对处理器的性能要求不高，适用场景广泛且计算速度快，尤其适用于受限于设备成本处理器性能一般的化妆镜，将用户的脸部图像输入训练好的妆容评估模型进行检测，即可得到相应的妆容评分，从而有效地提高了妆容评估的及时性和准确度，用户能够根据该妆容反馈进行妆容调整，有效地提高了用户体验。
在一个实施例中，模型训练模块504包括：
增广处理模块，用于对训练图像进行数据增广处理。
模型运算模块，用于将处理后的训练图像输入轻量级深度学习模型，获得轻量级深度学习模型输出的检测结果；以及
参数调整模块，用于根据检测结果和训练图像对应的预设妆容评分，对轻量级深度学习模型的模型参数进行调整。
具体地，在将训练图像输入轻量级深度学习模型时，可对训练图像进行数据增广处理，数据增广包括镜像、旋转、缩放、裁剪、颜色扰动等操作，以增加训练图像的数量和多样性，进而提高轻量级深度学习模型的训练效果。在数据增广后，可对训练图像进行预处理，包括：对训练图像进行去噪、根据训练图像中脸部位置将将去噪后的训练图像裁剪至预设尺寸、以及对裁剪后的训练图像进行数据标准化处理(例如z-score标准化处理)。
在一个实施例中，模型压缩模块506包括：
模型条件判断模块，用于对有监督训练后的轻量级深度学习模型进行模型压缩，判断模型压缩后的轻量级深度学习模型是否满足预设的模型条件，若不满足，则由模型训练模块504执行对轻量级深度学习模型进行有监督训练的步骤。
具体地，判断模型压缩后的轻量级深度学习模型是否满足满足预设的模型条件，若满足，则说明压缩后的轻量级深度学习模型的模型复杂度已经达到预期，无需继续进行压缩，得到训练好的妆容评估模型。否则，继续对轻量级深度学习模型进行训练和压缩。
具体地，预设的模型条件可为滤波器数量阈值，也可为轻量级深度学习模型的运算速度阈值，通过判断模型压缩后轻量级深度学习模型中的滤波器数量是否达到预设的滤波器数量阈值，或者通过判断判断模型压缩后轻量级深度学习模型的运算速度是否达到预设的运算速度阈值，来确定模型压缩后轻量级深度学习模型是否满足预设的模型条件。
在一个实施例中，模型压缩模块506还包括：
滤波器裁剪模块，用于对轻量级深度学习模型中的滤波器进行裁剪。
具体地，由于裁剪粒度越小，可裁剪空间越大但也越难实现优化，裁剪粒度越大，可裁剪空间越小越容易实现优化。按照滤波器级的裁剪粒度对轻量级深度学习模型中的滤波器进行裁剪，以提高模型压缩效果。
在一个实施例中，滤波器裁剪模块包括：
筛选阈值确定模块，用于按照轻量级深度学习模型中滤波器的权重，确定筛选阈值；以及
裁剪模块，用于按照筛选阈值对滤波器进行裁剪。
具体地，按照滤波器级的裁剪粒度对轻量级深度学习模型进行裁剪时，可获取轻量级深度学习模型中各滤波器的权重，按照这些权重确定筛选阈值，再按照筛选阈值对各个滤波器进行筛选，例如可将不满足筛选阈值的滤波器的权重设置为零，即实现对滤波器的裁剪。其中，在确定筛选阈值时，可将各滤波器的权重的归一化L1范数设置为筛选阈值。
在一个实施例中，妆容评估装置500还包括：
恢复训练模块，用于在轻量级深度学习模型压缩完成后，运用知识蒸馏方式对轻量级深度学习模型进行恢复训练。
具体地，由于模型压缩会在一定程度上损失模型的计算准确度，在轻量级深度学习模型压缩完成后，可运用知识蒸馏方式对轻量级深度学习模型进行恢复训练，以提高该模型的计算准确度。
具体地，知识蒸馏是借助训练好的教师网络(有监督训练后、且模型压缩前的轻量级深度学习模型)诱导学生网络(模型压缩完成后的轻量级深度学习模型)的训练过程，也即在轻量级深度学习模型压缩达到预设的模型条件后，借助教师网络再对轻量级深度学习模型进行恢复训练。
具体地，在知识蒸馏技术过程中，可将同一训练图像分别输入教师网络和学生网络，得到教师网络的输出结果(通过YS进行表示)和学生网络的输出结果(通过YT进行表示)，通过YS和YT计算损失值，根据该损失值对学生网络的模型参数进行调整。其中，计算损失值的方式在此不进行限制。
关于妆容评估装置的具体限定可以参见上文中对于妆容评估方法的限定，在此不再赘述。上述妆容评估装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种化妆镜，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的各步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的各步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种妆容评估方法，其特征在于，所述方法包括：
获取用户的脸部图像；
通过训练好的妆容评估模型对所述脸部图像进行检测，得到所述用户的妆容评分并输出，所述妆容评估模型为经过模型压缩后的轻量级深度学习模型。
2.根据权利要求1所述的方法，其特征在于，所述获取用户的脸部图像之前，所述方法还包括：
获取训练图像和所述训练图像对应的预设妆容评分；
通过所述训练图像和所述训练图像对应的预设妆容评分，对所述轻量级深度学习模型进行有监督训练；
对有监督训练后的所述轻量级深度学习模型进行模型压缩，得到所述训练好的妆容评估模型。
3.根据权利要求2所述的方法，其特征在于，所述对所述轻量级深度学习模型进行有监督训练的步骤，包括：
对所述训练图像进行数据增广处理；
将处理后的所述训练图像输入所述轻量级深度学习模型，获得所述轻量级深度学习模型输出的检测结果；
根据所述检测结果和所述训练图像对应的预设妆容评分，对所述轻量级深度学习模型的模型参数进行调整。
4.根据权利要求2所述的方法，其特征在于，所述对有监督训练后的所述轻量级深度学习模型进行模型压缩，得到所述训练好的妆容评估模型的步骤，包括：
对有监督训练后的所述轻量级深度学习模型进行模型压缩，判断模型压缩后的所述轻量级深度学习模型是否满足预设的模型条件；
如果模型压缩后的所述轻量级深度学习模型不满足预设的模型条件，则跳转至执行对所述轻量级深度学习模型进行有监督训练的步骤。
5.根据权利要求4所述的方法，其特征在于，所述对有监督训练后的所述轻量级深度学习模型进行模型压缩的步骤，还包括：
对所述轻量级深度学习模型中的滤波器进行裁剪。
6.根据权利要求5所述的方法，其特征在于，所述对所述轻量级深度学习模型中的滤波器进行裁剪的步骤，包括：
按照所述轻量级深度学习模型中滤波器的权重，确定筛选阈值；
按照所述筛选阈值对所述滤波器进行裁剪。
7.一种妆容评估装置，其特征在于，所述装置包括：
图像获取模块，用于获取用户的脸部图像；以及
妆容检测模块，用于通过训练好的妆容评估模型对所述脸部图像进行检测，得到所述用户的妆容评分并输出，所述妆容评估模型为经过模型压缩后的轻量级深度学习模型。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
训练数据获取模块，用于获取训练图像和所述训练图像对应的预设妆容评分；
模型训练模块，用于通过所述训练图像和所述训练图像对应的预设妆容评分，对所述轻量级深度学习模型进行有监督训练；
模型压缩模块，用于对有监督训练后的所述轻量级深度学习模型进行模型压缩，得到所述训练好的妆容评估模型。
9.一种化妆镜，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010298899.5A CN111369559A (zh) | 2020-04-16 | 2020-04-16 | 妆容评估方法、装置、化妆镜和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010298899.5A CN111369559A (zh) | 2020-04-16 | 2020-04-16 | 妆容评估方法、装置、化妆镜和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111369559A true CN111369559A (zh) | 2020-07-03 |
Family
ID=71207178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010298899.5A Pending CN111369559A (zh) | 2020-04-16 | 2020-04-16 | 妆容评估方法、装置、化妆镜和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111369559A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111899846A (zh) * | 2020-07-14 | 2020-11-06 | 苏州睿达科技有限公司 | 基于端云协同的舌象检测仪及其检测方法 |
| CN112004033A (zh) * | 2020-09-27 | 2020-11-27 | 北京小米松果电子有限公司 | 视频封面确定方法及装置、存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013171409A (ja) * | 2012-02-20 | 2013-09-02 | Kao Corp | 化粧顔画像評価装置及び化粧顔画像評価方法 |
| CN110163342A (zh) * | 2019-04-17 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种模型压缩方法、装置、设备及存储介质 |
| CN110235169A (zh) * | 2017-02-01 | 2019-09-13 | 株式会社Lg生活健康 | 化妆评价***及其动作方法 |
| CN110663063A (zh) * | 2017-05-25 | 2020-01-07 | 华为技术有限公司 | 一种评价脸妆的方法及装置 |
| CN110728361A (zh) * | 2019-10-15 | 2020-01-24 | 四川虹微技术有限公司 | 一种基于强化学习的深度神经网络压缩方法 |
-
2020
- 2020-04-16 CN CN202010298899.5A patent/CN111369559A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013171409A (ja) * | 2012-02-20 | 2013-09-02 | Kao Corp | 化粧顔画像評価装置及び化粧顔画像評価方法 |
| CN110235169A (zh) * | 2017-02-01 | 2019-09-13 | 株式会社Lg生活健康 | 化妆评价***及其动作方法 |
| CN110663063A (zh) * | 2017-05-25 | 2020-01-07 | 华为技术有限公司 | 一种评价脸妆的方法及装置 |
| CN110163342A (zh) * | 2019-04-17 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 一种模型压缩方法、装置、设备及存储介质 |
| CN110728361A (zh) * | 2019-10-15 | 2020-01-24 | 四川虹微技术有限公司 | 一种基于强化学习的深度神经网络压缩方法 |
Non-Patent Citations (2)
| Title |
|---|
| 卢誉声: "《移动平台深度神经网络实战 原理、架构与优化》", 31 January 2020, 机械工业出版社, pages: 260 - 261 * |
| 董洪义: "《深度学习之PyTorch物体检测实战》", 机械工业出版社, pages: 252 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111899846A (zh) * | 2020-07-14 | 2020-11-06 | 苏州睿达科技有限公司 | 基于端云协同的舌象检测仪及其检测方法 |
| CN111899846B (zh) * | 2020-07-14 | 2023-07-25 | 苏州睿达科技有限公司 | 基于端云协同的舌象检测仪及其检测方法 |
| CN112004033A (zh) * | 2020-09-27 | 2020-11-27 | 北京小米松果电子有限公司 | 视频封面确定方法及装置、存储介质 |
| CN112004033B (zh) * | 2020-09-27 | 2023-05-26 | 北京小米松果电子有限公司 | 视频封面确定方法及装置、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220051025A1 (en) | Video classification method and apparatus, model training method and apparatus, device, and storage medium | |
| CN108898579B (zh) | 一种图像清晰度识别方法、装置和存储介质 | |
| WO2021073418A1 (zh) | 人脸识别方法、装置、设备及存储介质 | |
| CN111368672A (zh) | 一种用于遗传病面部识别模型的构建方法及装置 | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| CN110807757A (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
| CN112862023B (zh) | 对象密度确定方法、装置、计算机设备和存储介质 | |
| CN111339813B (zh) | 人脸属性识别方法、装置、电子设备和存储介质 | |
| CN110175526A (zh) | 狗情绪识别模型训练方法、装置、计算机设备及存储介质 | |
| CN107871103B (zh) | 一种人脸认证方法和装置 | |
| CN110136144B (zh) | 一种图像分割方法、装置及终端设备 | |
| CN113420651B (zh) | 深度卷积神经网络的轻量化方法、***及目标检测方法 | |
| CN111488855A (zh) | 疲劳驾驶检测方法、装置、计算机设备和存储介质 | |
| CN113205449A (zh) | 表情迁移模型的训练方法及装置、表情迁移方法及装置 | |
| CN113179421B (zh) | 视频封面选择方法、装置、计算机设备和存储介质 | |
| CN111369559A (zh) | 妆容评估方法、装置、化妆镜和存储介质 | |
| CN112257728A (zh) | 图像处理方法、装置、计算机设备以及存储介质 | |
| CN111814534A (zh) | 视觉任务的处理方法、装置和电子*** | |
| CN111612732B (zh) | 图像质量评估方法、装置、计算机设备及存储介质 | |
| CN112232292A (zh) | 应用于移动端的人脸检测方法及装置 | |
| CN117218013A (zh) | 事件相机图像处理方法、训练方法、***、设备及介质 | |
| CN115546491B (zh) | 一种跌倒报警方法、***、电子设备及存储介质 | |
| CN110163049B (zh) | 一种人脸属性预测方法、装置及存储介质 | |
| WO2024011859A1 (zh) | 一种基于神经网络的人脸检测方法和装置 | |
| CN111652238A (zh) | 一种多模型集成方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200703 |