CN108830184B - 黑眼圈识别方法及装置 - Google Patents

黑眼圈识别方法及装置 Download PDF

Info

Publication number
CN108830184B
CN108830184B CN201810523336.4A CN201810523336A CN108830184B CN 108830184 B CN108830184 B CN 108830184B CN 201810523336 A CN201810523336 A CN 201810523336A CN 108830184 B CN108830184 B CN 108830184B
Authority
CN
China
Prior art keywords
region
euclidean distance
component
target skin
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810523336.4A
Other languages
English (en)
Other versions
CN108830184A (zh
Inventor
关明鑫
王喆
黄炜
许清泉
张伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meitu Yifu Technology Co ltd
Original Assignee
Xiamen Meitu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meitu Technology Co Ltd filed Critical Xiamen Meitu Technology Co Ltd
Priority to CN201810523336.4A priority Critical patent/CN108830184B/zh
Publication of CN108830184A publication Critical patent/CN108830184A/zh
Application granted granted Critical
Publication of CN108830184B publication Critical patent/CN108830184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种黑眼圈识别方法及装置。所述方法包括:从待检测的人脸图像中获取眼周区域及目标皮肤区域;将眼周区域及目标皮肤区域转换到LAB颜色空间;分别计算眼周区域及目标皮肤区域在LAB颜色空间中L、A、B三个分量各自对应的二维坐标,并根据二维坐标计算在每个分量下眼周区域的第一欧式距离及目标皮肤区域的第二欧式距离;根据得到的第一欧式距离及第二欧式距离对位于眼周区域的黑眼圈进行识别。由此,基于LAB颜色空间,将眼周区域与目标皮肤区域进行比对,从而识别眼周区域中是否包括黑眼圈。

Description

黑眼圈识别方法及装置
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种黑眼圈识别方法及装置。
背景技术
随着图像处理技术的发展,需要对图像中人脸的黑眼圈区域进行处理。在处理的过程中,首先要识别出图像中人脸的黑眼圈。但是,目前还没有可准确识别出黑眼圈的措施。
发明内容
为了克服现有技术中的上述不足,本发明实施例的目的在于提供一种黑眼圈识别方法及装置,其能够基于LAB颜色空间,将眼周区域与目标皮肤区域进行比对,从而识别眼周区域中是否包括黑眼圈。
本发明实施例提供一种黑眼圈识别方法,所述方法包括:
从待检测的人脸图像中获取眼周区域及目标皮肤区域;
将所述眼周区域及所述目标皮肤区域转换到LAB颜色空间;
分别计算所述眼周区域及所述目标皮肤区域在LAB颜色空间中L、A、B三个分量各自对应的二维坐标,并根据所述二维坐标计算在每个分量下所述眼周区域的第一欧式距离及所述目标皮肤区域的第二欧式距离;
根据得到的所述第一欧式距离及所述第二欧式距离对位于所述眼周区域的黑眼圈进行识别。
可选地,在上述方法中,所述分别计算所述眼周区域及所述目标皮肤区域在LAB颜色空间中L、A、B三个分量各自对应的二维坐标,并根据所述二维坐标计算在每个分量下所述眼周区域的第一欧式距离及所述目标皮肤区域的第二欧式距离的步骤包括:
根据所述眼周区域中各像素点的坐标计算L、A、B三个分量各自对应的均值及方差,并根据所述目标皮肤区域中各像素点的坐标计算L、A、B三个分量各自对应的均值及方差;
根据每个分量对应的均值及方差生成该分量对应的二维坐标,其中,所述二维坐标的横纵坐标对应所述均值及方差;
根据所述眼周区域的每个分量对应的二维坐标得到每个分量对应的第一欧式距离;
根据所述目标皮肤区域的每个分量对应的二维坐标得到每个分量对应的第二欧式距离。
可选地,在上述方法中,所述根据得到的所述第一欧式距离及所述第二欧式距离对位于所述眼周区域的黑眼圈进行识别的步骤包括:
对同一分量对应的第一预设阈值及所述第二欧式距离进行相加运算,得到每个分量各自对应的距离和值;
将每个分量各自对应的距离和值与对应的所述第一欧式距离进行比较;
若存在至少两个分量对应的距离和值小于对应的所述第一欧式距离,判定所述眼周区域内包括黑眼圈;
若存在至少两个分量对应的距离和值不小于对应的所述第一欧式距离,判定所述眼周区域内不包括黑眼圈。
可选地,在上述方法中,所述从待检测的人脸图像中获取眼周区域及目标皮肤区域的步骤包括:
获得人脸图像,并基于所述人脸图像进行人脸关键点检测,得到人脸关键点;
根据得到的所述人脸关键点从所述人脸图像中裁剪获得所述眼周区域;
根据皮肤分割模型从所述人脸图像中获得目标皮肤区域。
可选地,在上述方法中,所述根据皮肤分割模型从所述人脸图像中获得目标皮肤区域的步骤包括:
根据皮肤分割模型及所述人脸图像得到所述人脸图像的皮肤区域;
根据第二预设阈值在所述皮肤区域中进行阈值分割,以从所述皮肤区域中筛选得到所述目标皮肤区域。
本发明实施例还提供一种黑眼圈识别装置,所述装置包括:
获取模块,用于从待检测的人脸图像中获取眼周区域及目标皮肤区域;
转换模块,用于将所述眼周区域及所述目标皮肤区域转换到LAB颜色空间;
计算模块,用于分别计算所述眼周区域及所述目标皮肤区域在LAB颜色空间中L、A、B三个分量各自对应的二维坐标,并根据所述二维坐标计算在每个分量下所述眼周区域的第一欧式距离及所述目标皮肤区域的第二欧式距离;
识别模块,用于根据得到的所述第一欧式距离及所述第二欧式距离对位于所述眼周区域的黑眼圈进行识别。
可选地,在上述装置中,所述计算模块分别计算所述眼周区域及所述目标皮肤区域在LAB颜色空间中L、A、B三个分量各自对应的二维坐标,并根据所述二维坐标计算在每个分量下所述眼周区域的第一欧式距离及所述目标皮肤区域的第二欧式距离的方式包括:
根据所述眼周区域中各像素点的坐标计算L、A、B三个分量各自对应的均值及方差,并根据所述目标皮肤区域中各像素点的坐标计算L、A、B三个分量各自对应的均值及方差;
根据每个分量对应的均值及方差生成该分量对应的二维坐标,其中,所述二维坐标的横纵坐标对应所述均值及方差;
根据所述眼周区域的每个分量对应的二维坐标得到每个分量对应的第一欧式距离;
根据所述目标皮肤区域的每个分量对应的二维坐标得到每个分量对应的第二欧式距离。
可选地,在上述装置中,所述识别模块根据得到的所述第一欧式距离及所述第二欧式距离对位于所述眼周区域的黑眼圈进行识别的方式包括:
对同一分量对应的第一预设阈值及所述第二欧式距离进行相加运算,得到每个分量各自对应的距离和值;
将每个分量各自对应的距离和值与对应的所述第一欧式距离进行比较;
若存在至少两个分量对应的距离和值小于对应的所述第一欧式距离,判定所述眼周区域内包括黑眼圈;
若存在至少两个分量对应的距离和值不小于对应的所述第一欧式距离,判定所述眼周区域内不包括黑眼圈。
可选地,在上述装置中,所述获取模块包括:
第一获取子模块,用于获得人脸图像,并基于所述人脸图像进行人脸关键点检测,得到人脸关键点;
所述第一获取子模块,还用于根据得到的所述人脸关键点从所述人脸图像中裁剪获得所述眼周区域;
第二获取子模块,用于根据皮肤分割模型从所述人脸图像中获得目标皮肤区域。
可选地,在上述装置中,所述第二获取子模块根据皮肤分割模型从所述人脸图像中获得目标皮肤区域的方式包括:
根据皮肤分割模型及所述人脸图像得到所述人脸图像的皮肤区域;
根据第二预设阈值在所述皮肤区域中进行阈值分割,以从所述皮肤区域中筛选得到所述目标皮肤区域。
相对于现有技术而言,本发明具有以下有益效果:
在待检测的人脸图像中获取眼周区域及目标皮肤区域,并将获取的所述眼周区域及所述目标皮肤区域转换到LAB颜色空间。分别计算所述眼周区域及所述目标皮肤区域在LAB颜色空间中L、A、B三个分量每个分量对应的二维坐标,并根据得到的所述二维坐标计算在每个分量下所述眼周区域的第一欧式距离及所述目标皮肤区域的第二欧式距离。进而基于所述第一欧式距离及所述第二欧式距离对位于所述眼周区域的黑眼圈进行识别。由此,基于LAB颜色空间,将眼周区域与目标皮肤区域进行比对,从而识别眼周区域中是否包括黑眼圈。同时,通过人脸关键点获取所述眼周区域,确保所述眼周区域包括了可能出现黑眼圈的区域。并且,在获取目标皮肤区域时,根据皮肤分割模型及第二预设阈值获取所述目标皮肤区域,保证获得的所述目标皮肤区域是不包括黑眼圈的皮肤,从而进一步保证识别结果的准确性。
为使发明的上述目的、特征和优点能更明显易懂,下文特举本发明较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本发明实施例提供的电子设备的方框示意图。
图2是本发明实施例提供的黑眼圈识别方法的流程示意图。
图3是图2中步骤S110包括的子步骤的流程示意图。
图4是图3中子步骤S113包括的子步骤的流程示意图。
图5是图2中步骤S130包括的子步骤的流程示意图。
图6是图2中步骤S140包括的子步骤的流程示意图。
图7是本发明实施例提供的黑眼圈识别装置的方框示意图。
图标:100-电子设备;110-存储器;120-存储控制器;130-处理器;200-黑眼圈识别装置;210-获取模块;211-第一获取子模块;212-第二获取子模块;220-转换模块;230-计算模块;240-识别模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
下面结合附图,对本发明的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图1,图1是本发明实施例提供的电子设备100的方框示意图。所述电子设备100可以是,但不限于,智能手机、平板电脑等。所述电子设备100可以包括:存储器110、存储控制器120、处理器130以及黑眼圈识别装置200。
所述存储器110、存储控制器120及处理器130各元件之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器110中存储有黑眼圈识别装置200,所述黑眼圈识别装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中的软件功能模块。所述处理器130通过运行存储在存储器110内的软件程序以及模块,如本发明实施例中的黑眼圈识别装置200,从而执行各种功能应用以及数据处理,即实现本发明实施例中的黑眼圈识别方法。
其中,所述存储器110可以是,但不限于,随机存取存储器(Random AccessMemory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(ProgrammableRead-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-OnlyMemory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-OnlyMemory,EEPROM)等。其中,存储器110用于存储程序,所述处理器130在接收到执行指令后,执行所述程序。所述处理器130以及其他可能的组件对存储器110的访问可在所述存储控制器120的控制下进行。
所述处理器130可能是一种集成电路芯片,具有信号的处理能力。上述的处理器130可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
可以理解,图1所示的结构仅为示意,电子设备100还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2,图2是本发明实施例提供的黑眼圈识别方法的流程示意图。所述方法应用于所述电子设备100。下面对黑眼圈识别方法的具体流程进行详细阐述。
步骤S110,从待检测的人脸图像中获取眼周区域及目标皮肤区域。
请参照图3,图3是图2中步骤S110包括的子步骤的流程示意图。步骤S110可以包括子步骤S111、子步骤S112及子步骤S113。
子步骤S111,获得人脸图像,并基于所述人脸图像进行人脸关键点检测,得到人脸关键点。
在本实施例中,首先获得待检测的人脸图像。其中,获取方式有多种。比如,可以从图库中获得待检测的人脸图像、也可以在拍摄后直接将生成的图像作为待检测的人脸图像、还可以将其他设备发送的图像作为待检测的人脸图像等。其中,获得的图像为包括有待检测的人脸图像的图像。
通过人脸对齐算法对所述人脸图像进行人脸关键点检测,以得到待检测人脸图像的人脸关键点。人脸关键点是可用于标识待检测的人脸图像中人脸的脸颊轮廓、眉毛区域、眼睛区域、鼻子区域和嘴区域等的关键点。其中,人脸关键点越多,则越可以更准确地标识脸颊轮廓、眉毛区域、眼睛区域、鼻子区域和嘴区域。
子步骤S112,根据得到的所述人脸关键点从所述人脸图像中裁剪获得所述眼周区域。
在本实施例中,根据获得的所述人脸关键点确定人脸的脸颊轮廓,并根据人脸关键点确定眼睛区域、眉毛区域和嘴区域,经过划分的人脸区域组成人脸关键点图层。在人脸关键点图层中,可以根据眼睛区域将眼周区域从待检测的人脸图像中裁剪出来。通过采用人脸对齐算法获得的所述眼周区域尽可能地包含了可能出现黑眼圈的区域,同时不包括卧蚕区域,避免了卧蚕区域对黑眼圈的识别产生严重影响,提高了黑眼圈识别的精度。
子步骤S113,根据皮肤分割模型从所述人脸图像中获得目标皮肤区域。
请参照图4,图4是图3中子步骤S113包括的子步骤的流程示意图。子步骤S113可以包括子步骤S1131及子步骤S1132。
子步骤S1131,根据皮肤分割模型及所述人脸图像得到所述人脸图像的皮肤区域。
在本实施例中,可以采用基于肤色的皮肤分割模型对所述人脸图像进行分割,将接近于人脸肤色的区域从所述人脸图像中分离出来,以得到所述皮肤区域。
在本实施例的一种实施方式中,可以将得到的所述皮肤区域直接作为所述目标皮肤区域,并进行后续流程。
在本实施例的另一种实施方式中,对得到的所述皮肤区域执行子步骤S1132。
子步骤S1132,根据第二预设阈值在所述皮肤区域中进行阈值分割,以从所述皮肤区域中筛选得到所述目标皮肤区域。
在本实施方式中,可以根据人脸正常皮肤设定所述第二预设阈值。根据所述第二预设阈值采用阈值分割方法,从所述皮肤区域中筛选出所述目标皮肤区域,从而去除高光阴影的影响,以进一步提升黑眼圈的识别精度。其中,所述第二预设阈值可以是一个范围,也可以是其他表示方式。所述第二预设阈值的具体设置方式及表示方式可根据实际情况设定。
步骤S120,将所述眼周区域及所述目标皮肤区域转换到LAB颜色空间。
在本实施例中,待检测的人脸图像、所述眼周区域及所述目标皮肤区域均是RGB颜色空间下的图像,需要将获得的所述眼周区域及所述目标皮肤区域由RGB颜色空间转换到LAB颜色空间。其中,RGB颜色空间包括红色(Red)、绿色(Green)和蓝色(Blue)三基色。LAB颜色空间包括亮度及有光色彩的AB要素,其中,L表示亮度(Luminosity),A表示从洋红色至绿色的范围,B表示从黄色至蓝色的范围,L的值域为0~100,A和B的值域都是为+127~-128。
在本实施例的实施方式中,由于RGB无法直接转换成LAB,需要先转换成XYZ,再转换成LAB,即:RGB-XYZ-LAB。
当然可以理解的是,也可以采用其他方式将所述眼周区域及所述目标皮肤区域转换到LAB颜色空间。
步骤S130,分别计算所述眼周区域及所述目标皮肤区域在LAB颜色空间中L、A、B三个分量各自对应的二维坐标,并根据所述二维坐标计算在每个分量下所述眼周区域的第一欧式距离及所述目标皮肤区域的第二欧式距离。
请参照图5,图5是图2中步骤S130包括的子步骤的流程示意图。步骤S130可以包括子步骤S131、子步骤S132、子步骤S133及子步骤S134。
子步骤S131,根据所述眼周区域中各像素点的坐标计算L、A、B三个分量各自对应的均值及方差,并根据所述目标皮肤区域中各像素点的坐标计算L、A、B三个分量各自对应的均值及方差。
子步骤S132,根据每个分量对应的均值及方差生成该分量对应的二维坐标。
在本实施例中,在将所述眼周区域及所述目标皮肤区域转换到LAB颜色空间后,所述眼周区域及所述目标皮肤区域中的各像素点点的坐标均采用LAB三个分量进行表示,比如,某个像素点的坐标为(L,A,B)。对于所述眼周区域,根据每个像素点坐标的L分量进行均值及方差计算,得到所述眼周区域的L分量对应的均值及方差;根据每个像素点坐标的A分量进行均值及方差计算,得到所述眼周区域的A分量对应的均值及方差;根据每个像素点坐标的B分量进行均值及方差计算,得到所述眼周区域的B分量对应的均值及方差。由此,得到所述眼周区域的每个分量对应的均值及方差,进而根据每个分量对应的均值及方差生成所述眼周区域的每个分量对应的二维坐标。
其中,所述二维坐标的横纵坐标对应所述均值及方差,比如,所述二维坐标的横坐标对应均值、所述二维坐标的纵坐标对应方差;或者,所述二维坐标的横坐标对应方差、所述二维坐标的纵坐标对应均值。
同理,通过相同方式根据所述目标皮肤区域各像素点的坐标计算得到所述目标皮肤区域的每个分量对应的二维坐标。关于获得所述目标皮肤区域的每个分量对应的二维坐标的过程可以参见上文对获得所述眼周区域的每个分量对应的二维坐标过程的描述。
子步骤S133,根据所述眼周区域的每个分量对应的二维坐标得到每个分量对应的第一欧式距离。
子步骤S134,根据所述目标皮肤区域的每个分量对应的二维坐标得到每个分量对应的第二欧式距离。
在本实施例中,可以根据每个区域的每个分量对应的二维坐标计算欧式距离,由此得到所述眼周区域的三个第一欧式距离及所述目标皮肤区域的三个第二欧式距离。其中,三个欧式距离分别对应L分量、A分量及B分量。欧式距离指在m维空间中两个点之间的真实距离。可选地,在计算欧式距离时,可以计算每个分量对应的二维坐标与坐标原点之间的欧式距离。
步骤S140,根据得到的所述第一欧式距离及所述第二欧式距离对位于所述眼周区域的黑眼圈进行识别。
在本实施例的一种实施方式中,由于所述目标皮肤区域中不包括黑眼圈,因此可以直接将所述目标皮肤区域的所述第二欧式距离作为判断标准。将同一分量对应的所述第一欧式距离与所述第二欧式距离进行比对,从而判断所述眼周区域是否包括黑眼圈,以完成对黑眼圈的识别。
请参照图6,图6是图2中步骤S140包括的子步骤的流程示意图。步骤S140可以包括子步骤S141、子步骤S142、子步骤S143及子步骤S144。
子步骤S141,对同一分量对应的第一预设阈值及所述第二欧式距离进行相加运算,得到每个分量各自对应的距离和值。
子步骤S142,将每个分量各自对应的距离和值与对应的所述第一欧式距离进行比较。
子步骤S143,若存在至少两个分量对应的距离和值小于对应的所述第一欧式距离,判定所述眼周区域内包括黑眼圈。
子步骤S144,若存在至少两个分量对应的距离和值不小于对应的所述第一欧式距离,判定所述眼周区域内不包括黑眼圈。
在本实施方式中,可以预先设定每个分量对应的第一预设阈值以辅助识别黑眼圈。其中,第一预设阈值的设置方式可以是经过数据统计设定的,也可以是通过其他方式进行设置的。在分量包括L、A、B三个分量时,对应地,设置三个第一预设阈值。可选地,三个第一预设阈值可以相同,也可以不同,根据实际情况进行设置。
对于所述目标皮肤区域,分别计算每个分量对应的所述第二欧式距离与该分量对应的所述第一预设阈值的和值,即,计算同一分量的第二欧式距离及第一预设阈值的和值,从而得到每个分量对应的距离和值。
可以将每个分量对应的距离和值与该分量对应的第一欧式距离进行比较。在将三个分量都进行比较得到比较结果后,如果比较结果为至少两个分量对应的距离和值都小于对应的第一欧式距离,则表示所述眼周区域中存在黑眼圈,因此可以判定所述眼周区域包括黑眼圈。如果比较结果为至少两个分量对应的距离和值都不小于对应的第一欧式距离,则表示所述眼周区域中不存在黑眼圈,因此可以判定所述眼周区域不包括黑眼圈。
在上述方法中,基于深度学习的皮肤分割模型在待检测的人脸图像中经过准确分割,得到所述皮肤区域,并且还通过第二预设阈值在所述皮肤区域中筛选得到所述目标皮肤区域,增强了后续判断的鲁棒性。同时,由于卧蚕区域会严重影响到黑眼圈的识别,因为在获取所述眼周区域时,通过人脸对齐算法避免将卧蚕区域裁剪至所述眼周区域,大大提高了黑眼圈的识别精度。并且,将所述目标皮肤区域及所述眼周区域转换至LAB颜色空间后,计算所述眼周区域及所述目标皮肤区域中各像素点的二维坐标,以对LAB三个分量进行建模,进而对黑眼圈进行识别,由此进一步提高了黑眼圈识别的准确度。
请参照图7,图7是本发明实施例提供的黑眼圈识别装置200的方框示意图。黑眼圈识别装置200可以包括获取模块210、转换模块220、计算模块230及识别模块240。
获取模块210,用于从待检测的人脸图像中获取眼周区域及目标皮肤区域。
进一步地,所述获取模块210包括第一获取子模块211及第二获取子模块212。
第一获取子模块211,用于获得人脸图像,并基于所述人脸图像进行人脸关键点检测,得到人脸关键点。
所述第一获取子模块211,还用于根据得到的所述人脸关键点从所述人脸图像中裁剪获得所述眼周区域。
第二获取子模块212,用于根据皮肤分割模型从所述人脸图像中获得目标皮肤区域。
进一步地,所述第二获取子模块212根据皮肤分割模型从所述人脸图像中获得目标皮肤区域的方式包括:
根据皮肤分割模型及所述人脸图像得到所述人脸图像的皮肤区域;
根据第二预设阈值在所述皮肤区域中进行阈值分割,以从所述皮肤区域中筛选得到所述目标皮肤区域。
在本实施例中,所述获取模块210用于执行图2中的步骤S110,关于所述获取模块210的具体描述可以参照图2中步骤S110的描述。
转换模块220,用于将所述眼周区域及所述目标皮肤区域转换到LAB颜色空间。
在本实施例中,所述转换模块220用于执行图2中的步骤S120,关于所述转换模块220的具体描述可以参照图2中步骤S120的描述。
计算模块230,用于分别计算所述眼周区域及所述目标皮肤区域在LAB颜色空间中L、A、B三个分量各自对应的二维坐标,并根据所述二维坐标计算在每个分量下所述眼周区域的第一欧式距离及所述目标皮肤区域的第二欧式距离。
进一步地,所述计算模块230分别计算所述眼周区域及所述目标皮肤区域在LAB颜色空间中L、A、B三个分量各自对应的二维坐标,并根据所述二维坐标计算在每个分量下所述眼周区域的第一欧式距离及所述目标皮肤区域的第二欧式距离的方式包括:
根据所述眼周区域中各像素点的坐标计算L、A、B三个分量各自对应的均值及方差,并根据所述目标皮肤区域中各像素点的坐标计算L、A、B三个分量各自对应的均值及方差;
根据每个分量对应的均值及方差生成该分量对应的二维坐标,其中,所述二维坐标的横纵坐标对应所述均值及方差;
根据所述眼周区域的每个分量对应的二维坐标得到每个分量对应的第一欧式距离;
根据所述目标皮肤区域的每个分量对应的二维坐标得到每个分量对应的第二欧式距离。
在本实施例中,所述计算模块230用于执行图2中的步骤S130,关于所述计算模块230的具体描述可以参照图2中步骤S130的描述。
识别模块240,用于根据得到的所述第一欧式距离及所述第二欧式距离对位于所述眼周区域的黑眼圈进行识别。
进一步地,所述识别模块240根据得到的所述第一欧式距离及所述第二欧式距离对位于所述眼周区域的黑眼圈进行识别的方式包括:
对同一分量对应的第一预设阈值及所述第二欧式距离进行相加运算,得到每个分量各自对应的距离和值;
将每个分量各自对应的距离和值与对应的所述第一欧式距离进行比较;
若存在至少两个分量对应的距离和值小于对应的所述第一欧式距离,判定所述眼周区域内包括黑眼圈;
若存在至少两个分量对应的距离和值不小于对应的所述第一欧式距离,判定所述眼周区域内不包括黑眼圈。
在本实施例中,所述识别模块240用于执行图2中的步骤S140,关于所述识别模块240的具体描述可以参照图2中步骤S140的描述。
综上所述,本发明实施例提供一种黑眼圈识别方法及装置。首先从待检测的人脸图像中获取眼周区域及目标皮肤区域,接着将所述眼周区域及所述目标皮肤区域由RGB颜色空间转换到LAB颜色空间。然后在LAB颜色空间中分别计算所述眼周区域及所述目标皮肤区域L、A、B三个分量各自对应的二维坐标,进而根据得到的二维坐标计算在每个分量下所述眼周区域的第一欧式距离及所述目标皮肤区域的第二欧式距离。最后通过所述第一欧式距离及所述第二欧式距离判断所述眼周区域是否包括黑眼圈,以完成对所述眼周区域的黑眼圈识别。由此,基于LAB颜色空间,将眼周区域与目标皮肤区域进行比对,从而识别眼周区域中是否包括黑眼圈。
同时,通过人脸关键点获取所述眼周区域,确保所述眼周区域包括了可能出现黑眼圈的区域。并且,在获取目标皮肤区域时,根据皮肤分割模型及第二预设阈值获取所述目标皮肤区域,保证获得的所述目标皮肤区域是不包括黑眼圈的皮肤,从而进一步保证识别结果的准确性。
在本发明所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种黑眼圈识别方法,其特征在于,所述方法包括:
从待检测的人脸图像中获取眼周区域及目标皮肤区域;
将所述眼周区域及所述目标皮肤区域转换到LAB颜色空间;
分别计算所述眼周区域及所述目标皮肤区域在LAB颜色空间中L、A、B三个分量各自对应的二维坐标,并根据所述二维坐标计算在每个分量下所述眼周区域的第一欧式距离及所述目标皮肤区域的第二欧式距离,其中,一个区域的每个分量对应的二维坐标的横纵坐标对应该区域中各像素点的该分量的分量值的均值及方差;针对每一分量,所述第一欧式距离表示所述眼周区域的所述每一分量对应的二维坐标与预设坐标之间的欧式距离,所述第二欧式距离表示所述目标皮肤区域的所述每一分量与所述预设坐标之间的欧式距离;
根据得到的所述第一欧式距离及所述第二欧式距离对位于所述眼周区域的黑眼圈进行识别。
2.根据权利要求1所述的方法,其特征在于,所述分别计算所述眼周区域及所述目标皮肤区域在LAB颜色空间中L、A、B三个分量各自对应的二维坐标,并根据所述二维坐标计算在每个分量下所述眼周区域的第一欧式距离及所述目标皮肤区域的第二欧式距离的步骤包括:
根据所述眼周区域中各像素点的坐标计算L、A、B三个分量各自对应的均值及方差,并根据所述目标皮肤区域中各像素点的坐标计算L、A、B三个分量各自对应的均值及方差;
根据每个分量对应的均值及方差生成该分量对应的二维坐标;
根据所述眼周区域的每个分量对应的二维坐标得到每个分量对应的第一欧式距离;
根据所述目标皮肤区域的每个分量对应的二维坐标得到每个分量对应的第二欧式距离。
3.根据权利要求1或2所述的方法,其特征在于,所述根据得到的所述第一欧式距离及所述第二欧式距离对位于所述眼周区域的黑眼圈进行识别的步骤包括:
对同一分量对应的第一预设阈值及所述第二欧式距离进行相加运算,得到每个分量各自对应的距离和值;
将每个分量各自对应的距离和值与对应的所述第一欧式距离进行比较;
若存在至少两个分量对应的距离和值小于对应的所述第一欧式距离,判定所述眼周区域内包括黑眼圈;
若存在至少两个分量对应的距离和值不小于对应的所述第一欧式距离,判定所述眼周区域内不包括黑眼圈。
4.根据权利要求1所述的方法,其特征在于,所述从待检测的人脸图像中获取眼周区域及目标皮肤区域的步骤包括:
获得人脸图像,并基于所述人脸图像进行人脸关键点检测,得到人脸关键点;
根据得到的所述人脸关键点从所述人脸图像中裁剪获得所述眼周区域;
根据皮肤分割模型从所述人脸图像中获得目标皮肤区域。
5.根据权利要求4所述的方法,其特征在于,所述根据皮肤分割模型从所述人脸图像中获得目标皮肤区域的步骤包括:
根据皮肤分割模型及所述人脸图像得到所述人脸图像的皮肤区域;
根据第二预设阈值在所述皮肤区域中进行阈值分割,以从所述皮肤区域中筛选得到所述目标皮肤区域。
6.一种黑眼圈识别装置,其特征在于,所述装置包括:
获取模块,用于从待检测的人脸图像中获取眼周区域及目标皮肤区域;
转换模块,用于将所述眼周区域及所述目标皮肤区域转换到LAB颜色空间;
计算模块,用于分别计算所述眼周区域及所述目标皮肤区域在LAB颜色空间中L、A、B三个分量各自对应的二维坐标,并根据所述二维坐标计算在每个分量下所述眼周区域的第一欧式距离及所述目标皮肤区域的第二欧式距离,其中,一个区域的每个分量对应的二维坐标的横纵坐标对应该区域中各像素点的该分量的分量值的均值及方差;针对每一分量,所述第一欧式距离表示所述眼周区域的所述每一分量对应的二维坐标与预设坐标之间的欧式距离,所述第二欧式距离表示所述目标皮肤区域的所述每一分量与所述预设坐标之间的欧式距离;
识别模块,用于根据得到的所述第一欧式距离及所述第二欧式距离对位于所述眼周区域的黑眼圈进行识别。
7.根据权利要求6所述的装置,其特征在于,所述计算模块分别计算所述眼周区域及所述目标皮肤区域在LAB颜色空间中L、A、B三个分量各自对应的二维坐标,并根据所述二维坐标计算在每个分量下所述眼周区域的第一欧式距离及所述目标皮肤区域的第二欧式距离的方式包括:
根据所述眼周区域中各像素点的坐标计算L、A、B三个分量各自对应的均值及方差,并根据所述目标皮肤区域中各像素点的坐标计算L、A、B三个分量各自对应的均值及方差;
根据每个分量对应的均值及方差生成该分量对应的二维坐标;
根据所述眼周区域的每个分量对应的二维坐标得到每个分量对应的第一欧式距离;
根据所述目标皮肤区域的每个分量对应的二维坐标得到每个分量对应的第二欧式距离。
8.根据权利要求6或7所述的装置,其特征在于,所述识别模块根据得到的所述第一欧式距离及所述第二欧式距离对位于所述眼周区域的黑眼圈进行识别的方式包括:
对同一分量对应的第一预设阈值及所述第二欧式距离进行相加运算,得到每个分量各自对应的距离和值;
将每个分量各自对应的距离和值与对应的所述第一欧式距离进行比较;
若存在至少两个分量对应的距离和值小于对应的所述第一欧式距离,判定所述眼周区域内包括黑眼圈;
若存在至少两个分量对应的距离和值不小于对应的所述第一欧式距离,判定所述眼周区域内不包括黑眼圈。
9.根据权利要求6所述的装置,其特征在于,所述获取模块包括:
第一获取子模块,用于获得人脸图像,并基于所述人脸图像进行人脸关键点检测,得到人脸关键点;
所述第一获取子模块,还用于根据得到的所述人脸关键点从所述人脸图像中裁剪获得所述眼周区域;
第二获取子模块,用于根据皮肤分割模型从所述人脸图像中获得目标皮肤区域。
10.根据权利要求9所述的装置,其特征在于,所述第二获取子模块根据皮肤分割模型从所述人脸图像中获得目标皮肤区域的方式包括:
根据皮肤分割模型及所述人脸图像得到所述人脸图像的皮肤区域;
根据第二预设阈值在所述皮肤区域中进行阈值分割,以从所述皮肤区域中筛选得到所述目标皮肤区域。
CN201810523336.4A 2018-05-28 2018-05-28 黑眼圈识别方法及装置 Active CN108830184B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810523336.4A CN108830184B (zh) 2018-05-28 2018-05-28 黑眼圈识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810523336.4A CN108830184B (zh) 2018-05-28 2018-05-28 黑眼圈识别方法及装置

Publications (2)

Publication Number Publication Date
CN108830184A CN108830184A (zh) 2018-11-16
CN108830184B true CN108830184B (zh) 2021-04-16

Family

ID=64146237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810523336.4A Active CN108830184B (zh) 2018-05-28 2018-05-28 黑眼圈识别方法及装置

Country Status (1)

Country Link
CN (1) CN108830184B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241889B (zh) 2018-11-29 2023-05-12 荣耀终端有限公司 检测和评价黑眼圈的方法和装置
CN109919029A (zh) * 2019-01-31 2019-06-21 深圳和而泰数据资源与云技术有限公司 黑眼圈类型识别方法、装置、计算机设备和存储介质
CN109919030B (zh) * 2019-01-31 2021-07-13 深圳和而泰数据资源与云技术有限公司 黑眼圈类型识别方法、装置、计算机设备和存储介质
CN112541394A (zh) * 2020-11-11 2021-03-23 上海诺斯清生物科技有限公司 黑眼圈及鼻炎识别方法、***及计算机介质
CN113128374B (zh) * 2021-04-02 2024-05-14 西安融智芙科技有限责任公司 基于图像处理的敏感皮肤检测方法和敏感皮肤检测装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455790A (zh) * 2013-06-24 2013-12-18 厦门美图网科技有限公司 一种基于肤色模型的皮肤识别方法
CN105678813A (zh) * 2015-11-26 2016-06-15 乐视致新电子科技(天津)有限公司 一种肤色检测方法及装置
KR101654287B1 (ko) * 2015-05-18 2016-09-06 안양대학교 산학협력단 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법
CN107392841A (zh) * 2017-06-16 2017-11-24 广东欧珀移动通信有限公司 人脸区域中黑眼圈消除方法、装置及终端
CN107730456A (zh) * 2016-08-10 2018-02-23 卡西欧计算机株式会社 图像处理方法以及图像处理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455790A (zh) * 2013-06-24 2013-12-18 厦门美图网科技有限公司 一种基于肤色模型的皮肤识别方法
KR101654287B1 (ko) * 2015-05-18 2016-09-06 안양대학교 산학협력단 신체의 구조를 기반으로 하는 배꼽 영역 검출 방법
CN105678813A (zh) * 2015-11-26 2016-06-15 乐视致新电子科技(天津)有限公司 一种肤色检测方法及装置
CN107730456A (zh) * 2016-08-10 2018-02-23 卡西欧计算机株式会社 图像处理方法以及图像处理装置
CN107392841A (zh) * 2017-06-16 2017-11-24 广东欧珀移动通信有限公司 人脸区域中黑眼圈消除方法、装置及终端

Also Published As

Publication number Publication date
CN108830184A (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN108830184B (zh) 黑眼圈识别方法及装置
CN111028213A (zh) 图像缺陷检测方法、装置、电子设备及存储介质
JP4505362B2 (ja) 赤目検出装置および方法並びにプログラム
US9652855B2 (en) Image processing apparatus that identifies image area, and image processing method
EP3220353B1 (en) Image processing apparatus, image processing method, and recording medium
KR101631012B1 (ko) 화상 처리 장치 및 화상 처리 방법
US10121260B2 (en) Orientation estimation method and orientation estimation device
KR20130028610A (ko) 실시간 차선 검출 장치 및 방법과 이에 관한 기록매체
CN106331746B (zh) 用于识别视频文件中的水印位置的方法和装置
JP2019095886A (ja) 建物被害推定装置
CN111259763A (zh) 目标检测方法、装置、电子设备及可读存储介质
CN112507767B (zh) 脸部辨识方法及其相关电脑***
CN112149592A (zh) 图像处理方法、装置以及计算机设备
US10140555B2 (en) Processing system, processing method, and recording medium
JP2015103188A (ja) 画像解析装置、画像解析方法及び画像解析プログラム
CN111489347A (zh) 营业执照图片质量检测方法、装置、计算机设备及存储介质
JP6340795B2 (ja) 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置
EP2919149A2 (en) Image processing apparatus and image processing method
CN111667419A (zh) 一种基于Vibe算法的移动目标鬼影消除方法及***
CN111767868A (zh) 人脸检测方法、装置、电子设备及存储介质
Zou et al. Statistical analysis of signal-dependent noise: application in blind localization of image splicing forgery
US9842406B2 (en) System and method for determining colors of foreground, and computer readable recording medium therefor
JP2007219899A (ja) 個人識別装置、個人識別方法および個人識別プログラム
CN113298753A (zh) 敏感肌的检测方法、图像处理方法、装置及设备
KR20180111140A (ko) 건축물 영상으로부터 부재 정보를 추출하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211208

Address after: 361100 568, No. 942, tonglong Second Road, torch high tech Zone (Xiang'an) Industrial Zone, Xiang'an District, Xiamen City, Fujian Province

Patentee after: Xiamen Meitu Yifu Technology Co.,Ltd.

Address before: B1f-089, Zone C, Huaxun building, software park, torch high tech Zone, Xiamen City, Fujian Province

Patentee before: XIAMEN HOME MEITU TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right