CN113642358B - 肤色检测方法、装置、终端和存储介质 - Google Patents

肤色检测方法、装置、终端和存储介质 Download PDF

Info

Publication number
CN113642358B
CN113642358B CN202010345814.4A CN202010345814A CN113642358B CN 113642358 B CN113642358 B CN 113642358B CN 202010345814 A CN202010345814 A CN 202010345814A CN 113642358 B CN113642358 B CN 113642358B
Authority
CN
China
Prior art keywords
skin
color
skin color
detection
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010345814.4A
Other languages
English (en)
Other versions
CN113642358A (zh
Inventor
周一丹
卢曰万
陈晓棠
黄凯奇
董辰
郜文美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Institute of Automation of Chinese Academy of Science
Original Assignee
Huawei Technologies Co Ltd
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd, Institute of Automation of Chinese Academy of Science filed Critical Huawei Technologies Co Ltd
Priority to CN202010345814.4A priority Critical patent/CN113642358B/zh
Priority to US17/921,304 priority patent/US20230169749A1/en
Priority to PCT/CN2021/088275 priority patent/WO2021218696A1/zh
Priority to EP21796712.4A priority patent/EP4131065A4/en
Publication of CN113642358A publication Critical patent/CN113642358A/zh
Application granted granted Critical
Publication of CN113642358B publication Critical patent/CN113642358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种肤色检测方法、装置、终端和存储介质，涉及图像处理技术领域，可以提高肤色检测的准确性。肤色检测方法，包括：获取人脸图像；确定人脸图像中的人脸关键点；根据人脸关键点确定人脸图像中的肤色估计感兴趣区域和光照估计感兴趣区域；获取肤色估计感兴趣区域对应的肤色检测色值；获取光照估计感兴趣区域对应的光照检测色值；将肤色检测色值和光照检测色值作为肤色估计模型的特征输入，并获取通过肤色估计模型输出的肤色校正色值。

Description

肤色检测方法、装置、终端和存储介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种肤色检测方法、装置、终端和存储介质。
背景技术
随着手机等终端智能化的发展，终端所能够实现的功能越来越多，例如，可以通过手机来实现皮肤健康检测，以便于进一步实现皮肤护理。目前利用手机实现的皮肤检测方式都是基于对皮肤所拍摄的图像进行处理，以此来确定肤色，然而，由于通过终端检测得到的肤色与真实肤色之间差异较大，会导致检测结果不准确。
发明内容
本申请技术方案提供了一种肤色检测方法、装置、终端和存储介质，可以提高肤色检测的准确性。
第一方面，本申请实施例提供了一种肤色检测方法，包括：获取人脸图像；确定人脸图像中的人脸关键点；根据人脸关键点确定人脸图像中的肤色估计感兴趣区域和光照估计感兴趣区域；获取肤色估计感兴趣区域对应的肤色检测色值；获取光照估计感兴趣区域对应的光照检测色值；将肤色检测色值和光照检测色值作为肤色估计模型的特征输入，并获取通过肤色估计模型输出的肤色校正色值。
可选地，获取肤色估计感兴趣区域对应的肤色检测色值包括：通过椭圆肤色模型筛选肤色估计感兴趣区域中满足预设条件的像素；根据肤色估计感兴趣区域中满足预设条件的像素计算肤色估计感兴趣区域的肤色检测色值的平均值，并将平均值作为肤色估计感兴趣区域对应的肤色检测色值。
可选地，获取光照估计感兴趣区域对应的光照检测色值为：通过高斯滤波和灰色阴影算法获取光照估计感兴趣区域对应的光照检测色值。
可选地，通过肤色估计模型输出的肤色校正色值包括RGB色值或LAB色值。
可选地，获取通过肤色估计模型输出的肤色校正色值包括获取通过肤色估计模型输出的RGB色值；肤色检测方法还包括：将通过肤色估计模型输出的RGB色值转换为HSV色值，并根据HSV色值确定肤色色调；将通过肤色估计模型输出的RGB色值转换为LAB色值，根据LAB色值得到对应的个体类型角ITA，根据ITA确定肤色色号。
可选地，获取通过肤色估计模型输出的肤色校正色值包括获取通过所述肤色估计模型输出的RGB色值和个体类型角ITA；肤色检测方法还包括：将通过肤色估计模型输出的RGB色值转换为HSV色值，并根据HSV色值确定肤色色调；根据通过肤色估计模型输出的ITA确定肤色色号。
可选地，肤色检测方法还包括：生成皮肤检测结果界面，皮肤检测结果界面包括肤色栏，肤色栏包括所述肤色色号；响应于肤色栏的选择指令，生成肤色详情界面，肤色详情界面包括肤色色号、肤色色调以及皮肤护理建议。
可选地，在获取人脸图像之前，还包括：生成皮肤检测界面，皮肤检测界面包括皮肤检测历史信息以及皮肤检测图标；响应于皮肤检测图标的选择指令，进入获取人脸图像的过程。
第二方面，本申请实施例提供了一种肤色检测装置，包括：图像获取模块，用于获取人脸图像；关键点确定模块，用于确定人脸图像中的人脸关键点；区域确定模块，用于根据人脸关键点确定人脸图像中的肤色估计感兴趣区域和光照估计感兴趣区域；肤色检测模块，用于获取肤色估计感兴趣区域对应的肤色检测色值；光照检测模块，用于获取光照估计感兴趣区域对应的光照检测色值；肤色校正模块，用于将肤色检测色值和光照检测色值作为肤色估计模型的特征输入，并获取通过肤色估计模型输出的肤色校正色值。
第三方面，本申请实施例提供了一种肤色检测装置，包括：处理器和存储器，存储器用于存储至少一条指令，指令由所述处理器加载并执行时以实现上述的肤色检测方法。
第四方面，本申请实施例提供了一种终端，包括上述的肤色检测装置。
第五方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述的肤色检测方法。
本申请实施例中的肤色检测方法、装置、终端和存储介质，通过人脸关键点确定肤色估计感兴趣区域和光照估计感兴趣区域，并对两个区域分别进行检测得到肤色检测色值和光照检测色值，将这两种色值作为肤色估计模型的特征输入，获取肤色估计模型输出的肤色校正色值，由于肤色估计模型可以预先基于不同环境光源和不同终端的训练数据建立，因此，该肤色估计模型输出的肤色校正色值更加接近真实肤色，降低了由于终端中相机感光元件特性不同以及环境光照不同而对肤色的影响，提高了肤色检测的准确性。
附图说明
图1为本申请实施例中一种肤色检测方法的流程图；
图2为本申请实施例中一种人脸关键点的示意图；
图3为本申请实施例中一种肤色估计感兴趣区域的示意图；
图4为本申请实施例中一种光照估计感兴趣区域的示意图；
图5为本申请实施例中一种肤色满足的椭圆分布示意图；
图6为本申请实施例中一种皮肤检测结果界面的状态示意图；
图7为本申请实施例中一种肤色详情界面的状态示意图；
图8为本申请实施例中一种皮肤检测界面的状态示意图；
图9为本申请实施例种一种不同ITA阈值区间对应的人数分布示意图。
具体实施方式
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
在对本申请实施例进行介绍之前，首先对现有技术问题进行简单说明。对于手机等终端，不同型号相机成像素质不同，每个手机感光元件对不同频率光照的响应不同，当外界光照环境变化，会触发不同的白平衡算法，导致不同手机、不同光强色温环境下拍摄出来的照片往往存在较大的偏色，从而导致目前终端中肤色检测方法的准确性较差。以下对本申请实施例进行说明。
如图1所示，图1为本申请实施例中一种肤色检测方法的流程图，本申请实施例提供一种肤色检测方法，包括：
步骤101、获取人脸图像；
步骤102、确定人脸图像中的人脸关键点；
具体地，如图2所示，图2为本申请实施例中一种人脸关键点的示意图，图2中精确反馈了图像中人脸五官及轮廓的关键点所在位置，每个数字表示一个关键点，图2中示意了人脸71个关键点，需要说明的是，图2中关键点的数量和位置仅为举例，具体的关键点数量和位置与人脸检测库相关，本申请实施对于人脸关键点的数量和位置不作限定。
步骤103、根据人脸关键点确定人脸图像中的肤色估计感兴趣区域(Region OfInterest，ROI)和光照估计感兴趣区域ROI；
其中，对于肤色估计ROI的选取，在确定了人脸关键点之后，可以比较精确地获取人脸以及五官的空间位置信息，为了能够更准确地确定图像中人物的真实肤色，还需要选定合适的区域进行分析，这是因为人脸上并不是所有的区域都是皮肤，眼睛、眉毛、嘴唇等都不在肤色分析范围之类，由于角度原因，脸颊后侧可见区域会出现较大面积阴影，这些都会干扰后续对于肤色的分析，因此，本申请实施例选择了眼睛下方一块平坦的区域作为ROI进行后续的肤色估计，以避开阴影反光区域以及不属于肤色分析范围内的区域。由于人脸是左右对称的，因此在ROI的选择上，也选取了左右两个对称的区域，下面以左侧区域为例(观察者角度)，解释如何进行ROI区域的选择，如图3所示，图3为本申请实施例中一种肤色估计感兴趣区域的示意图，在确定了人脸关键点的图像中，以关键点14、31、56、60为顶点可以框选出一块四边形区域A1，以该四边形区域A1为内接四边形，可以进一步得到其外接矩形B1以及外接矩形B1的中心点O1，然后以该中心点O1为中心，等比例缩小外接矩形B1，形成与外接矩形B1具有相同中心的小矩形C1，将该小矩形C1作为其中一个肤色估计ROI，按照相同的原则，可以在右侧区域中确定矩形C2，将矩形C2作为另外一个肤色估计ROI，即图3中的C1和C2为肤色估计ROI。
其中，对于光照估计ROI的选取，首先，人脸图像中除了人脸区域之外还包括背景区域，后续步骤中会用到肤色估计模型，肤色估计模型是预先基于训练数据的训练得到的，训练数据的采集场景是摄影棚，背景比较单一，如果在全局光照估计的基础上进行训练模型，当模型应用到实际场景中时容易受到背景的干扰，因此只考虑在人脸区域进行光照估计，可以首先利用人脸检测算法确定出大致的人脸矩形区域，将该区域作为光照估计ROI，例如在本申请实施例中，如图4所示，图4为本申请实施例中一种光照估计感兴趣区域的示意图，例如以关键点4和8的水平高度作为高度上限，关键点54所在高度作为下限，左右宽度取61和47之间的宽度，选取一个矩形框，该矩形框区域作为光照估计ROI。
步骤104、获取肤色估计感兴趣区域对应的肤色检测色值；
步骤105、获取光照估计感兴趣区域对应的光照检测色值；
需要说明的是，本申请实施例对于步骤104和步骤105之间的执行顺序不做限定。
步骤106、将肤色检测色值和光照检测色值作为肤色估计模型的特征输入，并获取通过肤色估计模型输出的肤色校正色值。
具体地，肤色估计模型是一种回归模型，可以预先通过对训练数据的训练获得，例如，预先采集人脸图像，并使用肤色检测仪检测人的肤色真实色值，例如检测被拍摄者左右脸颊共12个点的色值，该色值可以包括RGB色值和LAB色值，还可以检测个体类型角(Individual Typology Angle，ITA)，其中RGB色值包括R、G、B，其中R表示红色色值，G表示绿色色值，B表示蓝色色值，LAB色值表示LAB色彩空间中的坐标，其中L代表黑白亮度，在肤色测量中主要受黑素的影响；a值代表红绿色度，正值表示红色，负值表示绿色，在肤色测量中主要是氧合血红蛋白氧合程度的影响；b值为水平轴代表黄蓝色度，正值表示黄色，负值表示蓝色，能够反映皮肤的黄色程度。ITA能够反映皮肤的色素沉积程度，ITA越高表示皮肤颜色越浅，反之越深。可以将12个点所对应的检测色值取平均值作为肤色的真实值。例如，如表1所示，对每个人使用多部手机在表1所示的18种光源环境下进行人脸图像拍摄，相机距离人脸20-40cm，闪光灯开启。
表1
光源种类 光照组合(5500k-3200k) 色温(k) 照度(lux)
1 33％-00％ 5630 300
2 01％-01％ 4100 100
3 00％-07％ 3100 100
4 00％-30％ 3200 300
5 00％-60％ 3200 550
6 00％-90％ 3200 765
7 30％-00％ 5700 315
8 30％-30％ 4130 620
9 30％-60％ 3800 845
10 30％-90％ 3650 1120
11 60％-00％ 5680 570
12 60％-30％ 4530 870
13 60％-60％ 4130 1130
14 60％-90％ 3935 1340
15 90％-00％ 5640 805
16 90％-30％ 4755 1100
17 90％-60％ 4357 1370
18 90％-90％ 4160 1570
表1表示了18种光源环境，每种光源环境具有对应的光照色值。例如，使用手机T1在光源种类1下对测试者P1进行人脸图像拍摄，得到人脸图像K1，对测试者P1使用肤色检测仪测量得到肤色真实色值X1，使用手机T1对人脸图像K1进行肤色检测得到肤色检测色值Y1，这里的肤色检测过程可以与上述步骤104中的方式相同，使用手机T1对人脸图像K1进行光照检测得到光照检测色值Z1，这里的光照检测过程可以与上述步骤105中的方式相同，得到第一组训练数据包括X1、Y1和Z1；使用手机T1在光源种类2下对测试者P1进行人脸图像拍摄，得到人脸图像K2，测试者P1的肤色真实色值为X1，使用手机T1对人脸图像K2进行肤色检测得到的肤色检测色值为Y2，使用手机T1对人脸图像K2进行光照检测得到光照检测色值Z2，得到第二组训练数据包括X1、Y2和Z2；依次类推，使用不同的手机以及在不同光源环境下，得到多组训练数据，对得到的多组训练数据进行训练，从而建立肤色估计模型，训练过程是预先进行的，在本申请实施例中的肤色检测方法中，在步骤106中，将当前检测得到的肤色检测色值和光照检测色值作为肤色估计模型的特征输入，由于肤色估计模型的建立是基于拍摄时不同的光源环境以及不同终端的训练数据得到的，因此，基于该肤色估计模型得到的肤色校正色值更加接近真实肤色。
本申请实施例中的肤色检测方法，通过人脸关键点确定肤色估计感兴趣区域和光照估计感兴趣区域，并对两个区域分别进行检测得到肤色检测色值和光照检测色值，将这两种色值作为肤色估计模型的特征输入，获取肤色估计模型输出的肤色校正色值，由于肤色估计模型可以预先基于不同环境光源和不同终端的训练数据建立，因此，该肤色估计模型输出的肤色校正色值更加接近真实肤色，降低了由于终端中相机感光元件特性不同以及环境光照不同而对肤色的影响，提高了肤色检测的准确性。
可选地，上述步骤104、获取肤色估计感兴趣区域对应的肤色检测色值包括：通过椭圆肤色模型筛选肤色估计感兴趣区域中满足预设条件的像素；根据肤色估计感兴趣区域中满足预设条件的像素计算肤色估计感兴趣区域的肤色检测色值的平均值，并将平均值作为肤色估计感兴趣区域对应的肤色检测色值。
具体地，由于每个人的皮肤状况因人而异，有的人脸部平滑，而有的人脸部存在较多的痘斑痣或其它非肤色区域，这些区域容易对肤色估计造成不同程度的干扰，所以在步骤104中需要排除这些非肤色像素，而仅保留纯皮肤像素，并根据纯皮肤像素进行肤色检测。皮肤颜色主要由血液和黑色素共同绝对，前者造成皮肤在色调上偏黄色和红色，后者造成皮肤在色调上偏棕褐色，而皮肤的饱和度有限。日常生活环境的光照变化有限，在这个有限的变化条件下，肤色能够在颜色空间中汇集在一定的有限区域中。椭圆肤色模型使用YCrCb颜色空间，假设一个像素的颜色为(R,G,B)，变换到YCrCb颜色空间如下：
由于肤色受Y值影响较大，故需要对Y进行调整。即对每个YCbCr颜色值进行一个分段的非线性变换。变换后表示为：
其中，Wcb＝46.95，WLcb＝23，WHcb＝14，Wcr＝38.76，WLcr＝20，WHci＝10，Kl＝25，Kh＝188，Ymi＝16，Yma＝235。最终，该分布可以用一个椭圆方程表示：
其中，cx＝109.38,cy＝152.02,θ＝2.53，ecx＝2.41,a＝25.39,b＝14.03。
如图5所示，图5为本申请实施例中一种肤色满足的椭圆分布示意图，图中的黑色样本点为从样本中采集得到的大量肤色色值，在步骤104中，获取肤色估计感兴趣区域中每个像素的肤色检测色值，将该像素点的肤色检测色值转换为Cr、Cb两个坐标，然后在图5所示的坐标系中找到该坐标对应的点，如果该坐标对应的点位于椭圆中，则判断该像素满足预设条件，属于皮肤，如果该坐标对应的点位于椭圆之外，则判断该像素不满足预设条件，属于痘斑痣等非皮肤。当对肤色估计感兴趣区域的所有像素进行检测并判断完成之后，即完成了筛选，计算其中所有满足预设条件的肤色检测色值的平均值，将该平均值作为肤色估计感兴趣区域对应的肤色检测色值。
可选地，上述步骤105、获取光照估计感兴趣区域对应的光照检测色值为：通过高斯滤波和灰色阴影Shades of Gray算法获取光照估计感兴趣区域对应的光照检测色值。
具体地，影响图像颜色的因素除了终端相机感光元器件特性外，光照条件是另一个重要因素，在标准光源下，物体成像被看作最接近真实颜色，当照射在物体表面的光照色温或强度发生变化后，物体成像颜色也随之发生变化，不同颜色物体搭配不同的光照，甚至可能使得他们呈现同一种颜色。Shades of Gray算法是一种无监督的算法，根据图像特征来检测场景光源的颜色，该类算法的优点是无需提前进行训练。Shades of Gray算法是在Gray World灰度世界算法基础上通过引入明科夫斯基范式改进而来的，基于的假设是：图像像素经过非线性的可逆变换之后仍然是无色差的，图像的平均颜色是图像的光照颜色，形式化描述为：
其中x表示像素值，p表示明科夫斯基范式。由此可以计算光照色度：
进一步地，对图像进行预高斯滤波被证明可以进一步地提升光照估计的效果，所以最终的光照估计形态如下，其中Gσ表示高斯滤波器。
通过上述算法获得的光照估计结果即为光照估计感兴趣区域对应的光照检测色值。
可选地，上述步骤106中，通过肤色估计模型输出的肤色校正色值包括RGB色值或LAB色值。
具体地，例如，在步骤104中获得的肤色检测色值为RGB色值(R1，G1，B1)，在步骤105中获得的光照检测色值为RGB色值(R2，G2，B2)，肤色估计模型输出的肤色校正色值为RGB色值(R3，G3，B3)，肤色估计模型可以为支持向量回归(support vector regression，SVR)模型，SVR可以认为是支持向量机(support vector machine，SVM)的回归版，SVM主要用于分类问题，其将输入特征依靠核函数映射到高维空间，并找到支持向量最大化间隔，从而确定超平面将不同样本的特征分开，SVM目的是要使到超平面最近的样本点的距离最大，而SVR则是要使到超平面最远的样本点的距离最小。肤色估计模型可以包括SVR1、SVR2、SVR3三个模型，分别用于实现三个通道色值的映射关系：
R3＝SVR1(R1,G1,B1,R2,G2,B2)
G3＝SVR2(R1,G1,B1,R2,G2,B2)
B3＝SVR3(R1,G1,B1,R2,G2,B2)
在另外一种可实现的实施方式中，肤色估计模型的输入和输出可以为LAB色值，即使用LAB坐标来作为模型的输入和输出。另外，在其他可实现的实施方式中，肤色估计模型也可以为其他类型的模型。
可选地，上述步骤106中，获取通过肤色估计模型输出的肤色校正色值包括获取通过肤色估计模型输出的RGB色值；肤色检测方法还包括：
将通过肤色估计模型输出的RGB色值转换为HSV色值，并根据HSV色值确定肤色色调；
将通过肤色估计模型输出的RGB色值转换为LAB色值，根据LAB色值得到对应的个体类型角(Individual Typology Angle，ITA)，根据ITA确定肤色色号。
具体地，HSV色值是色相、饱和度、明度(Hue,Saturation,Value)色彩空间中的坐标值，皮肤颜色的色调需要根据HSV色值来确定，因此需要先将RGB色值转换为HSV色值。ITA能够反映皮肤的色素沉积程度，ITA越高表示皮肤颜色越浅，反之越深。皮肤肤色由ITA来确定，而ITA需要通过LAB色值来计算，因此需要先将RGB色值转换为LAB色值，再根据LAB色值计算得到ITA，最后根据ITA来确定肤色色号，肤色色调和肤色色号可以共同作为皮肤护理的依据。根据LAB色值得到ITA的计算过程具体可以为：其中，L表示LAB色彩空间中的黑白亮度，b表示LAB色彩空间中的黄蓝色度。
可选地，上述步骤106中，获取通过肤色估计模型输出的肤色校正色值包括获取通过肤色估计模型输出的RGB色值和ITA个体类型角；肤色检测方法还包括：
将通过肤色估计模型输出的RGB色值转换为HSV色值，并根据HSV色值确定肤色色调；
根据通过肤色估计模型输出的ITA确定肤色色号。
具体地，肤色估计模型还可以包括第四个模型SVR4，ITA＝SVR4(R1,G1,B1,R2,G2,B2)，SVR4用于表示ITA与色值之间的映射关系，即在本实施例中，无需通过RGB色值来转换计算得到ITA，而是通过肤色估计模型直接输出ITA，并通过该ITA来确定肤色色号，对于肤色色调，则可以通过类似的方式，先将RGB色值转换为HSV色值，再根据HSV色值来确定肤色色调。
关于肤色色调的确定，本申请实施例中的技术方案是以潘通肤色的冷中暖色调划分方法为标准，统计了潘通肤色冷中暖在H通道的分布规律，设置了色调阈值，对检测到的肤色转换到HSV空间，根据H值划分色调等级，例如若H＞12，则确定色调为偏暖；若12≥H＞10，则确定色调为中性；若H≤10，且确定色调为偏冷。
另外，需要说明的是，本申请实施例中仅以RGB色值为例来进行说明，本申请实施例对于肤色或者光照的色值表示形式不做限定，可以为RGB色值，也可以为由其他色彩空间坐标来表示的色值。
可选地，如图6和图7所示，图6为本申请实施例中一种皮肤检测结果界面的状态示意图，图7为本申请实施例中一种肤色详情界面的状态示意图，肤色检测方法还包括：生成皮肤检测结果界面，如图6所示，皮肤检测结果界面包括肤色栏，肤色栏包括肤色色号，例如色号为米白；响应于肤色栏的选择指令，生成肤色详情界面，如图7所示，肤色详情界面包括肤色色号、肤色色调以及皮肤护理建议。
具体地，例如，在如图6所示的皮肤检测结果界面中，包括多种状态栏，其中肤色栏用于显示肤色检测结果，例如米白，还可以包括例如毛孔状态栏，用于显示毛孔检测分值，例如包括黑头状态栏，用于显示黑头检测分值，即皮肤检测结果界面可以用于显示对于各种肌肤项目的检测结果，其中每个单项栏目可以点击进入详情界面，例如响应于肤色栏的选择指令，会生成并进入如图7所示的肤色详情界面，其中包括肤色色号栏，用于具体显示肤色色号，可以通过可视化的形式更加直观的显示肤色色号，例如通过色卡的形式来显示肤色色号，其中检测结果所对应的色号“米白”突出显示，皮肤检测结果界面还包括肤色色调栏，用于显示肤色色调，这里的肤色色号和肤色色调为根据上述通过肤色估计模型输出的结果确定的检测结果，另外，肤色详情界面还可以包括皮肤护理建议，皮肤护理建议可以为根据相应的肤色色号和肤色色调确定的内容，用于基于检测结果给出针对性的皮肤护理建议。
可选地，如图8所示，图8为本申请实施例中一种皮肤检测界面的状态示意图，在上述步骤101、获取人脸图像之前，还包括：生成皮肤检测界面，皮肤检测界面包括皮肤检测历史信息以及皮肤检测图标；响应于皮肤检测图标的选择指令，进入获取人脸图像的过程。
具体地，例如，图8中的矩形框表示各项皮肤检测历史信息，例如包括上一次检测的毛孔检测分值、黑头检测分值和肤色检测结果等，以便于用户在进行肌肤检测之前了解历史检测信息，图8中的圆形框表示皮肤检测图标，用户点击该图标会生成皮肤检测图标的选择指令，响应于该皮肤检测图标的选择指令，会进入获取人脸图像的过程，即上述步骤101，例如，在点击皮肤检测图标后，可以先进入一个图像选择界面，其中包括拍摄选项和存储器读取选项，如果选择拍摄选项，则进入拍摄界面，用户可以控制终端进行图像拍摄，拍摄完成之后进入步骤101，并在步骤101中将当前拍摄得到的图像作为所获取的人脸图像；如果选择存储器读取选项，则进入读取选择界面，用户可以从终端的存储器中选择图片，选择完成之后进入步骤101，并在步骤101中将当前选择的图片作为所获取的人脸图像。
以下通过本申请实施例检测得到的结果和通过专用检测仪检测到的真实值进行对比，以进一步说明本申请实施例的效果，如表2所示。
表2
表2表示多种终端下的平均误差，其中包括三种终端下本申请实施例检测得到的RGB色值和通过专用测量仪器检测的真实RGB色值之间的平均误差，以及在三种终端下本申请实施例检测到的ITA与通过专用测量仪器检测到的真实ITA之间的平均误差。通过表格可知，本申请实施例检测得到的结果和真实结果之间的误差较小。
如图9所示，图9为本申请实施例种一种不同ITA阈值区间对应的人数分布示意图，其中横坐标表示ITA阈值区间，例如，根据亚洲人的肤色特点，将ITA划分为8个阈值区间，这8个阈值区间可以对应8个等级的肤色色号，纵坐标表示人数，斜线填充表示通过专用测量仪器检测到的不同色号等级之间的人数分布结果，点状填充表示本申请实施例中检测到的不同色号等级之间的人数分布结果，可以看出，两者对应的人数分布较为接近，即本申请实施例检测得到的结果和真实结果之间的差异较小。
本申请实施例还提供一种肤色检测装置，包括：图像获取模块，用于获取人脸图像；关键点确定模块，用于确定人脸图像中的人脸关键点；区域确定模块，用于根据人脸关键点确定人脸图像中的肤色估计感兴趣区域和光照估计感兴趣区域；肤色检测模块，用于获取所述肤色估计感兴趣区域对应的肤色检测色值；光照检测模块，用于获取光照估计感兴趣区域对应的光照检测色值；肤色校正模块，用于将肤色检测色值和光照检测色值作为肤色估计模型的特征输入，并获取通过所述肤色估计模型输出的肤色校正色值。
其中，该肤色检测装置可以应用上述实施例中的肤色检测方法，具体过程和原理与上述实施例相同，在此不再赘述。应理解以上肤色检测装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块以软件通过处理元件调用的形式实现，部分模块通过硬件的形式实现。例如，肤色校正模块可以为单独设立的处理元件，也可以集成在例如终端的某一个芯片中实现，此外，也可以以程序的形式存储于终端的存储器中，由终端的某一个处理元件调用并执行以上各个模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个微处理器(digital signal processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central ProcessingUnit，CPU)或其它可以调用程序的处理器。再如，这些模块可以集成在一起，以片上***(system-on-a-chip，SOC)的形式实现。
本申请实施例还提供一种肤色检测装置，包括：处理器和存储器，存储器用于存储至少一条指令，指令由所述处理器加载并执行时以实现上述实施例中的肤色检测方法。
其中，肤色检测方法的体过程和原理与上述实施例相同，在此不再赘述。处理器的数量可以为一个或多个，处理器和存储器可以通过总线或者其他方式连接。存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行各种功能应用以及数据处理，即实现上述任意方法实施例中的方法。存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；以及必要数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。
本申请实施例还提供一种终端，包括上述的肤色检测装置。该终端具体可以为手机或平板电脑等智能终端设备，终端还包括显示装置。终端可以与服务器之间实现通信，肤色估计模型可以预先由服务器中存储的数据训练而建立，终端在进行肤色检测时，可以调用在服务器训练好的模型，得到通过肤色估计模型输出的结果，并将结果显示进行显示。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行上述的肤色检测方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid StateDisk)等。
本申请实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
以上仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种肤色检测方法，其特征在于，包括：
获取人脸图像；
确定所述人脸图像中的人脸关键点；
根据所述人脸关键点确定所述人脸图像中的肤色估计感兴趣区域和光照估计感兴趣区域，所述肤色估计感兴趣区域为眼睛下方的平坦区域，所述光照估计感兴趣区域为人脸矩形区域；
获取所述肤色估计感兴趣区域对应的肤色检测色值；
获取所述光照估计感兴趣区域对应的光照检测色值；
将所述肤色检测色值和所述光照检测色值作为肤色估计模型的特征输入，并获取通过所述肤色估计模型输出的肤色校正色值，所述肤色估计模型的建立是基于拍摄时不同的光源环境以及不同终端的训练数据得到的。
2.根据权利要求1所述的肤色检测方法，其特征在于，
获取所述肤色估计感兴趣区域对应的肤色检测色值包括：
通过椭圆肤色模型筛选所述肤色估计感兴趣区域中满足预设条件的像素；
根据所述肤色估计感兴趣区域中满足预设条件的像素计算所述肤色估计感兴趣区域的肤色检测色值的平均值，并将所述平均值作为所述肤色估计感兴趣区域对应的肤色检测色值。
3.根据权利要求1所述的肤色检测方法，其特征在于，
获取所述光照估计感兴趣区域对应的光照检测色值为：
通过高斯滤波和灰色阴影算法获取所述光照估计感兴趣区域对应的光照检测色值。
4.根据权利要求1所述的肤色检测方法，其特征在于，
通过所述肤色估计模型输出的肤色校正色值包括RGB色值或LAB色值。
5.根据权利要求1所述的肤色检测方法，其特征在于，
所述获取通过所述肤色估计模型输出的肤色校正色值包括获取通过所述肤色估计模型输出的RGB色值；
所述肤色检测方法还包括：
将通过所述肤色估计模型输出的RGB色值转换为HSV色值，并根据所述HSV色值确定肤色色调；
将通过所述肤色估计模型输出的RGB色值转换为LAB色值，根据所述LAB色值得到对应的个体类型角ITA，根据所述ITA确定肤色色号。
6.根据权利要求1所述的肤色检测方法，其特征在于，
所述获取通过所述肤色估计模型输出的肤色校正色值包括获取通过所述肤色估计模型输出的RGB色值和个体类型角ITA；
所述肤色检测方法还包括：
将通过所述肤色估计模型输出的RGB色值转换为HSV色值，并根据所述HSV色值确定肤色色调；
根据通过所述肤色估计模型输出的ITA确定肤色色号。
7.根据权利要求5或6所述的肤色检测方法，其特征在于，所述肤色检测方法还包DD200770I-MS
括：
生成皮肤检测结果界面，所述皮肤检测结果界面包括肤色栏，所述肤色栏包括所述肤色色号；
响应于所述肤色栏的选择指令，生成肤色详情界面，所述肤色详情界面包括所述肤色色号、所述肤色色调以及皮肤护理建议。
8.根据权利要求1所述的肤色检测方法，其特征在于，
在所述获取人脸图像之前，还包括：
生成皮肤检测界面，所述皮肤检测界面包括皮肤检测历史信息以及皮肤检测图标；
响应于所述皮肤检测图标的选择指令，进入所述获取人脸图像的过程。
9.一种肤色检测装置，其特征在于，包括：
图像获取模块，用于获取人脸图像；
关键点确定模块，用于确定所述人脸图像中的人脸关键点；
区域确定模块，用于根据所述人脸关键点确定所述人脸图像中的肤色估计感兴趣区域和光照估计感兴趣区域，所述肤色估计感兴趣区域为眼睛下方的平坦区域，所述光照估计感兴趣区域为人脸矩形区域；
肤色检测模块，用于获取所述肤色估计感兴趣区域对应的肤色检测色值；
光照检测模块，用于获取所述光照估计感兴趣区域对应的光照检测色值；
肤色校正模块，用于将所述肤色检测色值和所述光照检测色值作为肤色估计模型的特征输入，并获取通过所述肤色估计模型输出的肤色校正色值，所述肤色估计模型的建立是基于拍摄时不同的光源环境以及不同终端的训练数据得到的。
10.一种肤色检测装置，其特征在于，包括：
处理器和存储器，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现如权利要求1至8中任意一项所述的肤色检测方法。
11.一种终端，其特征在于，包括如权利要求10所述的肤色检测装置。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当其在计算机上运行时，使得计算机执行如权利要求1至8中任意一项所述的肤色检测方法。
CN202010345814.4A 2020-04-27 2020-04-27 肤色检测方法、装置、终端和存储介质 Active CN113642358B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010345814.4A CN113642358B (zh) 2020-04-27 2020-04-27 肤色检测方法、装置、终端和存储介质
US17/921,304 US20230169749A1 (en) 2020-04-27 2021-04-20 Skin color detection method and apparatus, terminal, and storage medium
PCT/CN2021/088275 WO2021218696A1 (zh) 2020-04-27 2021-04-20 肤色检测方法、装置、终端和存储介质
EP21796712.4A EP4131065A4 (en) 2020-04-27 2021-04-20 SKIN COLOR RECOGNITION METHOD AND DEVICE, TERMINAL AND STORAGE MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010345814.4A CN113642358B (zh) 2020-04-27 2020-04-27 肤色检测方法、装置、终端和存储介质

Publications (2)

Publication Number Publication Date
CN113642358A CN113642358A (zh) 2021-11-12
CN113642358B true CN113642358B (zh) 2023-10-10

Family

ID=78373303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010345814.4A Active CN113642358B (zh) 2020-04-27 2020-04-27 肤色检测方法、装置、终端和存储介质

Country Status (4)

Country Link
US (1) US20230169749A1 (zh)
EP (1) EP4131065A4 (zh)
CN (1) CN113642358B (zh)
WO (1) WO2021218696A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117249904B (zh) * 2023-11-15 2024-02-13 深圳市宗匠科技有限公司 颜色传感器的标定方法、装置、美容面罩及存储介质
CN117379033B (zh) * 2023-12-13 2024-02-20 深圳市宗匠科技有限公司 皮肤色素检测方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715244A (zh) * 2015-04-01 2015-06-17 华中科技大学 一种基于肤色分割和机器学习的多视角人脸检测方法
CN108701217A (zh) * 2017-11-23 2018-10-23 深圳和而泰智能控制股份有限公司 一种人脸肤色识别方法、装置和智能终端
CN110222555A (zh) * 2019-04-18 2019-09-10 江苏图云智能科技发展有限公司 肤色区域的检测方法和装置
CN110599553A (zh) * 2019-09-10 2019-12-20 江南大学 一种基于YCbCr的肤色提取及检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8861847B2 (en) * 2012-12-21 2014-10-14 Intel Corporation System and method for adaptive skin tone detection
US20150237351A1 (en) * 2014-02-18 2015-08-20 Penne Lee Techniques for inclusion of region of interest indications in compressed video data
CN107818285A (zh) * 2016-09-12 2018-03-20 北京金山云网络技术有限公司 一种肤色检测方法及装置
CN106529429B (zh) * 2016-10-27 2019-08-16 中国计量大学 一种基于图像识别的面部皮肤分析***
CN107481186B (zh) * 2017-08-24 2020-12-01 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN110751051B (zh) * 2019-09-23 2024-03-19 江苏大学 一种基于机器视觉的异常驾驶行为检测方法
CN110874572B (zh) * 2019-10-29 2021-01-26 北京海益同展信息科技有限公司 一种信息检测方法及装置、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715244A (zh) * 2015-04-01 2015-06-17 华中科技大学 一种基于肤色分割和机器学习的多视角人脸检测方法
CN108701217A (zh) * 2017-11-23 2018-10-23 深圳和而泰智能控制股份有限公司 一种人脸肤色识别方法、装置和智能终端
CN110222555A (zh) * 2019-04-18 2019-09-10 江苏图云智能科技发展有限公司 肤色区域的检测方法和装置
CN110599553A (zh) * 2019-09-10 2019-12-20 江南大学 一种基于YCbCr的肤色提取及检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于颜色的皮肤检测综述》;徐战武 等;《中国图象图形学报》;20070331;第12卷(第3期);正文第377-388页 *

Also Published As

Publication number Publication date
WO2021218696A1 (zh) 2021-11-04
US20230169749A1 (en) 2023-06-01
EP4131065A1 (en) 2023-02-08
CN113642358A (zh) 2021-11-12
EP4131065A4 (en) 2023-07-19

Similar Documents

Publication Publication Date Title
KR101140533B1 (ko) 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법
US9750326B2 (en) Transparency evaluation device, transparency evaluation method and transparency evaluation program
US7522768B2 (en) Capture and systematic use of expert color analysis
WO2019100282A1 (zh) 一种人脸肤色识别方法、装置和智能终端
Wang et al. An optimized tongue image color correction scheme
US20070058858A1 (en) Method and system for recommending a product based upon skin color estimated from an image
US20170079599A1 (en) Moisture feeling evaluation device, moisture feeling evaluation method, and moisture feeling evaluation program
CN108024719B (zh) 肌肤的光泽评价装置、光泽评价方法及记录介质
CN111062891A (zh) 图像处理方法、装置、终端及计算机可读存储介质
CN113642358B (zh) 肤色检测方法、装置、终端和存储介质
CN102985943A (zh) 彩色图像处理方法、彩色图像处理装置以及彩色图像处理程序
TW201639520A (zh) 資訊處理裝置，資訊處理方法及程式
EP4083937A1 (en) System and method for hair analysis of user
CN112215808A (zh) 一种生成人脸皮肤敏感图的方法及其相关装置
CN109583330B (zh) 一种用于人脸照片的毛孔检测方法
US20160345887A1 (en) Moisture feeling evaluation device, moisture feeling evaluation method, and moisture feeling evaluation program
CN110444181A (zh) 显示方法、装置、终端及计算机可读存储介质
US10909351B2 (en) Method of improving image analysis
KR101957773B1 (ko) 영상을 이용한 피부 상태 평가 방법 및 영상을 이용한 피부 상태 평가 장치
TWI729338B (zh) 皮膚檢測方法及影像處理裝置
Ebner et al. On determining the color of the illuminant using the dichromatic reflection model
CN117547248B (zh) 皮肤美白度分析方法、装置、计算机设备和存储介质
CN117671037A (zh) 皮肤检测方法、装置、面罩和存储介质
CN113762010A (zh) 图像处理方法、装置、设备和存储介质
CN117710344A (zh) 一种印品色相稳定性检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant