CN109300105A - 毛孔检测方法、***、设备及存储介质 - Google Patents
毛孔检测方法、***、设备及存储介质 Download PDFInfo
- Publication number
- CN109300105A CN109300105A CN201710609706.1A CN201710609706A CN109300105A CN 109300105 A CN109300105 A CN 109300105A CN 201710609706 A CN201710609706 A CN 201710609706A CN 109300105 A CN109300105 A CN 109300105A
- Authority
- CN
- China
- Prior art keywords
- image
- pore
- face
- candidate
- sweat pores
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011148 porous material Substances 0.000 title claims abstract description 722
- 238000001514 detection method Methods 0.000 title claims abstract description 117
- 210000004243 sweat Anatomy 0.000 claims abstract description 194
- 238000012216 screening Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims description 110
- 238000000605 extraction Methods 0.000 claims description 43
- 238000007781 pre-processing Methods 0.000 claims description 29
- 210000004209 hair Anatomy 0.000 claims description 19
- 230000001815 facial effect Effects 0.000 description 40
- 238000001914 filtration Methods 0.000 description 34
- 230000000717 retained effect Effects 0.000 description 30
- 238000000034 method Methods 0.000 description 24
- 210000000216 zygoma Anatomy 0.000 description 20
- 210000000056 organ Anatomy 0.000 description 19
- 239000000178 monomer Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 12
- 230000036961 partial effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 238000000926 separation method Methods 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 244000299461 Theobroma cacao Species 0.000 description 6
- 235000009470 Theobroma cacao Nutrition 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 6
- 239000003086 colorant Substances 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000002441 reversible effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000003796 beauty Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000002401 inhibitory effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000037303 wrinkles Effects 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003028 elevating effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 244000062793 Sorghum vulgare Species 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 235000019713 millet Nutrition 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种毛孔检测方法、***、设备及存储介质。其中,所述检测方法包括:将所获取的面部图像进行毛孔筛选预处理;将预处理后的面部图像分块,并确定各图像块的毛孔分隔阈值;按照各图像块所对应的毛孔分隔阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选毛孔图像;从各所述候选毛孔图像中筛选所述面部图像中的目标毛孔图像。本申请通过对逐个图像块进行毛孔灰度筛选,能够有效解决因毛孔亮度不均匀所带来的毛孔灰度检测不准确的问题;同时根据毛孔形状和尺寸对候选毛孔图像进行筛选,能够有效去除如斑等类似毛孔的图像区域,实现准确的毛孔检测。
Description
技术领域
本申请涉及一种图像处理技术,特别是涉及一种毛孔检测方法、***、设备及存储介质。
背景技术
随着人们生活品质的提高,人们对皮肤质量,特别是面部皮肤质量,越来越关注。比如,毛孔大小、毛孔分布情况等都反映出人们面部的皮肤质量。在专业的医疗和美容领域,毛孔检测不仅用于反映面部皮肤的毛孔分布和毛孔尺寸,还是专业人士进行面部清洁、面部皮肤养护的参考。为此,对于医疗和美容来说,对用户进行毛孔检测,并依据检测结果对用户进行治疗和美容能提供更准确的医疗美容服务。目前,面部检测设备受所摄取的面部图像的亮度干扰,对所检测的毛孔分布和尺寸不尽准确。
发明内容
鉴于以上所述现有技术的缺点,本申请的目的在于提供一种毛孔检测方法、***、设备及存储介质,用于解决现有技术中毛孔检测准确率低的问题。
为实现上述目的及其他相关目的,本申请第一方面提供一种毛孔检测方法,包括:将所获取的面部图像进行毛孔筛选预处理;将预处理后的面部图像分块,并确定各图像块的毛孔分隔阈值;按照各图像块所对应的毛孔分隔阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选毛孔图像;从各所述候选毛孔图像中筛选所述面部图像中的目标毛孔图像。
在所述第一方面的某些实施方式中,所述将所获取的面部图像进行毛孔筛选预处理的方式包括:利用毛孔图像与皮肤图像之间的灰度差异,突出包含毛孔图像的各像素点灰度。
在所述第一方面的某些实施方式中,所述确定各图像块的毛孔分隔阈值的方式包括:基于大津法阈值算法逐个地确定各所述图像块的毛孔分隔阈值。
在所述第一方面的某些实施方式中,所述方法还包括:对所计算出的各毛孔分隔阈值进行补偿的步骤。
在所述第一方面的某些实施方式中,所述按照各图像块所对应的毛孔分隔阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选毛孔图像的方式包括:基于面部图像中被滤出的像素点所围成的区域确定为候选毛孔图像。
在所述第一方面的某些实施方式中,所述从各候选毛孔图像中筛选所述面部图像中的目标毛孔图像的方式包括:遍历式地计算所述候选毛孔图像与预设形状的覆盖相应候选毛孔图 像的图形之间的形状和尺寸;将符合预设匹配条件的各计算结果所对应的候选毛孔图像作为目标毛孔图像。
在所述第一方面的某些实施方式中,所述方法还包括:利用预设的ROI区域模板截取所获取的面部图像,并以所截取的ROI区域作为毛孔筛选预处理及后续处理所依据的面部图像。
本申请第二方面还提供一种面部检测设备,包括:存储装置,用于存储所获取的面部图像以及用于进行毛孔检测的程序;处理装置,用于执行所述程序以按照如上任一种检测方法中的步骤检测所述面部图像中的目标毛孔图像。
在所述第二方面的某些实施方式中,所述面部检测设备还包括:摄像装置,用于摄取面部图像并保存在所述存储装置中。
在所述第二方面的某些实施方式中,所述面部检测设备还包括:拍摄提示装置,位于摄像装置前,用于提示测试者在所述摄像装置摄取方向的头部摆放。
在所述第二方面的某些实施方式中,所述面部检测设备还包括:显示装置,用于显示标记了所检测出的毛孔图像的面部图像。
本申请第三方面还提供一种存储介质,存储有所获取的面部图像以及用于进行毛孔检测的程序;其中,所述程序在被处理器执行时,按照如上任一种检测方法中的步骤检测所述面部图像中的目标毛孔图像。
本申请第四方面还提供一种毛孔检测***,包括:预处理模块,用于将所获取的面部图像进行毛孔筛选预处理;毛孔提取模块,用于将预处理后的面部图像分块,确定各图像块的毛孔分隔阈值,以及按照各图像块所对应的毛孔分隔阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选毛孔图像;筛选模块,用于从各所述候选毛孔图像中筛选所述面部图像中的目标毛孔图像。
在所述第四方面的某些实施方式中,所述预处理模块具体用于利用毛孔图像与皮肤图像之间的灰度差异,突出包含毛孔图像的各像素点灰度。
在所述第四方面的某些实施方式中,所述毛孔提取模块确定各图像块的毛孔分隔阈值的方式包括:基于大津法阈值算法逐个地确定各所述图像块的毛孔分隔阈值。
在所述第四方面的某些实施方式中,所述毛孔提取模块还用于对所计算出的各毛孔分隔阈值进行补偿。
在所述第四方面的某些实施方式中,所述毛孔提取模块按照各图像块所对应的毛孔分隔阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选毛孔图像的方式包括:基于面部图像中被滤出的像素点所围成的区域确定为候选毛孔图像。
在所述第四方面的某些实施方式中,所述毛孔提取模块从各候选毛孔图像中筛选所述面部图像中的目标毛孔图像的方式包括:遍历式地计算所述候选毛孔图像与预设形状的覆盖相应候选毛孔图像的图形之间的形状和尺寸;将符合预设匹配条件的各计算结果所对应的候选毛孔图像作为目标毛孔图像。
在所述第四方面的某些实施方式中,所述***还包括:ROI区域提取模块,用于利用预设的ROI区域模板截取所获取的面部图像,并以所截取的ROI区域作为毛孔筛选预处理及后续处理所依据的面部图像。
如上所述,本申请的毛孔检测方法、***设备及存储介质,具有以下有益效果:通过对逐个图像块进行毛孔灰度筛选,能够有效解决因毛孔亮度不均匀所带来的毛孔灰度检测不准确的问题;同时根据毛孔形状和尺寸对候选毛孔图像进行筛选,能够有效去除如斑等类似毛孔的图像区域,实现准确的毛孔检测。另外,对面部图像进行基于灰度的预处理,能有效突出毛孔灰度并抑制背景灰度,通过增加二者灰度的差异,提高毛孔检测准确性。此外,对各图像块的毛孔分隔阈值进行补偿处理,能够有效防止因毛孔过小而被滤除的问题。
附图说明
图1为本申请的毛孔检测方法在一种实施方式中的流程图。
图2为本申请的一图像块中候选毛孔图像的像素示意图。
图3为本申请的多个图像块拼接得到的候选毛孔图像的像素示意图。
图4为本申请的毛孔检测方法在另一种实施方式中的流程图。
图5-A为本申请毛孔检测方法中识别面部图像中眼部区域和ROI区域模板的示意图。
图5-B为利用本申请毛孔检测方法中提取颧骨ROI区域的一种实施方式的示意图。
图5-C为利用本申请毛孔检测方法中提取颧骨ROI区域的另一种实施方式的示意图。
图6为本申请毛孔检测***在一种实施方式的架构示意图。
图7为本申请毛孔检测***在另一种实施方式的架构示意图。
图8为本申请面部检测设备在一种实施方式的结构示意图。
图9为本申请面部检测设备在另一种实施方式的结构示意图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
需要说明的是,本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本申请可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本申 请所能产生的功效及所能达成的目的下,均应仍落在本申请所揭示的技术内容得能涵盖的范围内。同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语,亦仅为便于叙述的明了,而非用以限定本申请可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本申请可实施的范畴。
应该理解,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示.应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加.此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合.因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
请参阅图1,图示中描述了本申请一种毛孔检测方法的流程。所述检测方法主要由计算机设备来执行。所述计算机设备可以是专用于面部检测的仪器,如面部检测设备;还可以是移动终端,如平板电脑、智能手机等。所述计算机设备按照如下步骤进行面部图像的毛孔检测。经检测,所述计算机设备可显示毛孔的分布和/或毛孔尺寸,甚至可按照尺寸等级将各毛孔予以显示,由此帮助诊治者对诊治对象实施有针对性的皮肤护理。
在步骤S110中,将所获取的面部图像进行毛孔筛选预处理。
在此,所述面部图像可利用与计算机设备相连的摄像装置拍摄而得,或者经由网络自其它电子设备获取。其中,由于毛孔检测的准确是与面部图像清晰程度相关,故而为了对面部图像进行准确的毛孔检测,需对所使用的摄像装置进行调节以确保拍摄到清晰的面部图像。例如,通过调整摄像装置的光圈、聚焦位置,以及用户相距摄像装置的距离等,得到清晰的面部图像。除此之外,为了防止背景对毛孔检测的干扰,所获取的面部图像还以纯色、浅色背景为佳,但并不表示本申请所使用的面部图像必然为纯色或浅色背景。本领域技术人员可利用抠图技术将背景进行处理,在此不予详述。
为了减少拍摄环境光对毛孔检测的干扰,本步骤对面部图像基于灰度的毛孔预处理。具体地,将灰度高于预设值的像素点作为用于检测毛孔图像的区域,进而利用灰度拉伸算法将图像中包含毛孔图像的像素灰度予以突出,由此便于后续步骤自突出图像部分中提取目标毛孔图像,以减少计算量。
在某些实施方式中,本步骤具体利用毛孔图像与皮肤图像之间的灰度差异,突出包含毛孔图像的各像素点灰度。
具体地,为了突出面部图像中毛孔与皮肤灰度的跳变性差异,先将面部图像中的面部图像进行灰度反向处理,并依据下述步骤处理背景图像。
接着,将面部图像进行灰度拉伸处理,以扩大包含毛孔在内的面部深色区域与背景区域的灰度差异。在此,所述灰度拉伸处理是一种提高图像处理时的灰度级的动态范围的方式,其用于提高包含毛孔在内的灰度与皮肤及背景灰度之间的差距,有利于在灰度过滤时更完整的保留毛孔图像。在此,所述计算机设备可利用预设的分段线性变换函数或直方图均衡算法对面部图像中的面部图像进行整体的灰度拉伸处理。例如,将面部图像中的面部图像中各像素的灰度值进行整体线性的拉伸变换,由此拉伸整幅图像的灰度。又如,设置一灰度拉伸窗,将所述灰度拉伸窗遍历面部图像,并对窗内各像素点进行灰度拉伸处理,以得到灰度拉伸后的面部图像中的面部图像。其中,所述灰度拉伸处理举例采用公式:其中,x为某一像素点调整前的像素点灰度值,xmin为调整前各个像素点灰度值中的最小值,xmax为调整前各个像素点灰度值中的最大值,为调整后各个像素点灰度值中的最小值,为调整后各个像素点灰度值中的最大值,x*为该像素点调整后的像素点灰度值。
需要说明的是,上述灰度拉伸的方式仅为举例,而非对本申请的限制。事实上,本申请采用灰度拉伸的目的是为了突出毛孔灰度同时抑制背景灰度,由此提高毛孔检测准确率。本申请可采用其他灰度拉伸方式以达到上述目的。
接着,将拉伸后的面部图像进行滤波处理,将面部图像内的噪点去除,此时毛孔被一并去除。例如,将预设的滤波窗口遍历式地过滤整个面部图像,并将每个位于滤波窗口内的灰度矩阵进行中值滤波,如此滤除了毛孔。去除毛孔及小噪点的中值滤波结果图,可以作为下一步差分处理的背景图像。其中,所述滤波窗口的尺寸大于等于经统计的毛孔尺寸。经统计的所述毛孔尺寸可为经验值、或自所述面部图像中检测而得的。例如,将所述面部图像进行灰度拉伸后,统计符合预设灰度跳变规则的灰度脉冲宽度,将所统计的符合规则的灰度脉冲宽度最大值作为所述毛孔尺寸来设置所述滤波窗口。
另外,所述中值处理的方式举例为:计算一个滤波窗口中的M个像素点的灰度值中值;判断该滤波窗口中心点的灰度值是否均与M个像素点的灰度值的中值相等;若是,确定该滤波窗口中心的灰度值为该滤波窗口中的像素点的灰度值的中值。
需要说明的是,上述中值滤波的方式仅为举例,而非对本申请的限制。事实上,本申请采用中值滤波的目的是为了滤除图像中的毛孔,由此生成背景图像。本申请可采用其他中值滤波方式(如快速中值滤波算法)以达到上述目的。
接着,将滤波后的面部图像与原始面部图像中对应面部图像进行基于灰度的背景抑制得 到突出了包含毛孔的图像部分和抑制了背景图像部分的面部图像。例如,将滤波后的面部图像的灰度与原始面部图像中对应面部图像的灰度相减(即差分处理),以突出包含毛孔的图像像素点灰度。
在步骤S120中,将预处理后的面部图像分块,并确定各图像块的毛孔分隔阈值。其中,图像分块可依据预设的毛孔尺寸若干倍。例如,为了既确保对目标毛孔提取准确,又保证计算效率,设置图像分块的尺寸在预设毛孔尺寸的1至4倍之间。其中,所述预设毛孔尺寸可可为经验值、或自所述面部图像中检测而得的。例如,将所述面部图像进行灰度拉伸或滤波处理后,统计符合预设灰度跳变规则的灰度脉冲宽度,将所统计的符合规则的灰度脉冲宽度最大值作为所述毛孔尺寸来设置所述滤波窗口。
在某些实施方式中,所述计算机设备可将每个图像块中像素进行灰度统计,并根据统计结果选取对应图像块的毛孔分隔阈值。其中,选取毛孔分隔阈值的方式可采用将以图像块中的灰度相对比例而设。
在另一些实施方式中,所述计算机设备基于大津法阈值算法逐个地确定各所述图像块的毛孔分隔阈值。在此,所述大津法也称最大类间差法,其按照图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。在本步骤中,利用大津法阈值算法对每个图像块中的像素灰度进行阈值计算,所得到的毛孔分隔阈值将作为进一步抑制背景的筛选条件。本申请采用将面部图像分块设置毛孔分隔阈值的方式有效解决了毛孔亮度不均匀所带来的毛孔检测不准确的问题。
在对面部图像进行分块处理期间,技术人员发现对于全皮肤图像块、或包含较小毛孔尺寸的图像块,利用上述大津法计算阈值会出现毛孔分隔阈值过低的情况,为此,本步骤进一步包括:对所计算出的各毛孔分隔阈值进行补偿的步骤。
具体地,预设一补偿值delta,阈值下限th_min,该补偿值可按经验获得或基于机器学习得到。按照大津法阈值算法得到对应每个图像块的阈值为th_ostu,每个图像块的毛孔分隔阈值设为th=th_ostu+delta,并比较每个th与th_min,当th<th_min时,则th=th_min,反之,则毛孔分隔阈值即为th_ostu+delta。
在步骤S130中,按照各图像块所对应的毛孔分隔阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选毛孔图像。
具体地,本步骤可在确定每个图像块的毛孔分隔阈值时,或者在确定所有图像块的毛孔 分隔阈值后,保留相应图像块中高于所述毛孔分隔阈值的灰度值并降低小于等于所述毛孔分隔阈值的灰度值。其中,被保留灰度值的像素点所连成的区域被作为候选毛孔图像。所得到的候选毛孔图像可能在一个图像块中,也可能由相邻图像块拼接而成。故而,所述候选毛孔图像的确定是基于整幅面部图像而得到的,而非仅依据单个图像块。例如,如图2所示,图像块A中被保留灰度的各相邻像素点所组成的区域位于图像块A的中部,周围被低灰度值(如灰度值为0)的像素点包围,则确定该所围区域为候选毛孔图像。又如,如图3所示,图像块B中被保留灰度的各相邻像素点所组成的区域位于图像块B与图像块C交接处,则计算机设备同时自图像块C中与图像块B相接处向图像块C延伸检测像素点的灰度值,以得到完整的候选毛孔图像。
在另一些具体示例中,本步骤可根据基于面部图像中被滤出的像素点所围成的区域确定为候选毛孔图像。在此,本示例中采用以面部图像作为分析对象的方式,将被滤出的相邻像素点(如保留有灰度值的相邻像素点)所围成的区域作为候选毛孔图像。
在步骤S140中,从各所述候选毛孔图像中筛选所述面部图像中的目标毛孔图像。
具体地,基于将各所述候选毛孔图像进行形状和/或尺寸的匹配,根据匹配结果确定所述面部图像中目标毛孔图像。在此,所述计算机设备可根据候选毛孔图像中像素点的个数和位置来确定候选毛孔图像的形状和尺寸。例如,以单个像素点为单位面积,通过统计候选毛孔图像中的像素点个数,确定每个候选毛孔图像的面积。又如,根据每个候选毛孔图像中像素点的位置确定候选毛孔图像的轮廓。所述计算机设备可将面积小于预设面积阈值的候选毛孔图像予以保留,和/或将轮廓形状接近圆形的候选毛孔图像予以保留,由此得到面部图像中的目标毛孔图像。
在某些实施方式中,所述步骤S140包括:步骤S141:遍历式地计算所述候选毛孔图像与预设形状的覆盖相应候选毛孔图像的图形之间的形状和尺寸。在此,预设形状的图形包括但不限于:正四边形、正五边形、正六边形、圆形等。所预设形状的图形的长宽尺寸可以是固定的,或者按照外接对应候选毛孔图像的尺寸设置。
例如,所述计算机设备一方面遍历式地为每个候选毛孔图像配置对应的外接圆形,并计算候选毛孔图像占相应外接圆形的面积比例,由此确定二者的形状差距,若二者比例小于预设门限,则认定二者形状差距不大,即候选毛孔图像的形状接近圆形。所述计算机设备另一方面以单个像素点为单位面积,通过统计候选毛孔图像中的像素点个数,确定相应候选毛孔图像的面积。
在步骤S142中,将符合预设匹配条件的各计算结果所对应的候选毛孔图像作为目标毛孔 图像。例如,所述计算机设备将接近圆形且面积小于预设面积阈值的候选毛孔图像确定为目标毛孔图像。
需要说明的是,本领域技术人员应该理解,计算机设备在进行多条件筛选时可能按照优先级进行,当候选毛孔图像因满足优先级较高的条件而被过确定目标毛孔图像时,并不意味着计算机设备不具备利用优先级交底的条件确定目标毛孔图像的能力。
所得到的各目标毛孔图像可标记其轮廓并叠加在原始面部图像上,并显示给用户和医生。在某些实施方式中,所得到的各目标毛孔图像可按照尺寸等级标记不同颜色,并叠加在原始面部图像上,显示给用户和医生。由此便于用户和医生进行自我评价及诊治评估。
图4示出了本申请又一种毛孔检测方法的流程图。在本实施方式中,所述计算机设备利用了面部图像的ROI区域模板,并在按照ROI区域模板而截取出的面部图像的ROI区域中检测面部图像的目标毛孔图像。其中,所述ROI区域模板为预设的经由样本图像学习而得到的面部图像的公共感兴趣区域。本申请中,所述方法包括:步骤S210-S260。
在步骤S210中,识别所获得的面部图像中的器官区域。
在此,所述面部图像可利用与计算机设备相连的摄像装置拍摄而得,或者经由网络自其它电子设备获取。其中,为了对面部图像进行准确的毛孔检测,所采用的面部图像的清晰度可基于摄像装置的焦距拍摄而得。例如,通过调整摄像装置的光圈、聚焦位置,以及用户相距摄像装置的距离等,得到清晰的面部图像。除此之外,为了防止背景对毛孔检测的干扰,所获取的面部图像还以纯色、浅色背景为佳,但并不表示本申请所使用的面部图像必然为纯色或浅色背景。本领域技术人员可利用抠图技术将背景进行处理,在此不予详述。
所述计算机设备基于面部各器官的特征(如形状特征、毛发特征、颜色特征等)识别面部图像的器官区域。例如,基于颜色特征和面部对称特性识别眼睛和眉毛所在区域。
在某些实施方式中,本步骤可基于预设的ROI区域模板提取所述面部图像中的器官区域。具体地,本步骤包括步骤S211和S212(未予图示)。
在步骤S211中,基于ROI区域模板将所述面部图像按照器官位置进行图像分割。具体地,所述计算机设备识别出面部图像的轮廓,再根据预设的ROI区域模板中描述的ROI区域模板轮廓在平均样本图像中的位置,将所述ROI区域模板轮廓放置在所获取的面部图像中。再按照ROI区域模板将面部图像分块。
需要说明的是,所述图像分块方式可仅利用ROI区域模板轮廓对面部图像进行分块标记,而并非一定进行图像块抠图处理。
在步骤S212中,识别所分割后的图像区域中的器官区域。具体地,所述计算机设备利用 ROI区域模板所表示的面部区域,在面部图像中识别器官区域。例如,利用对应颧骨区域的ROI区域模板,在与该区域模板相邻的图像分块中识别单体用户的眼部区域和/或鼻部区域。
在步骤S220中,将预设的ROI区域模板向所识别的器官区域的边缘调整,得到所述面部图像的ROI区域。
具体地,所述计算机设备按照所确定的器官区域将ROI区域模板的轮廓外接、或者靠近相邻器官区域上,以得到对应单体用户的面部图像中的ROI区域。其中,所述ROI区域模板的轮廓可向一种器官区域延伸,或向相邻的多种器官区域延伸。在此,所述ROI区域模板的延伸包括ROI区域模板轮廓的外延及收缩。更具体地,所述计算机设备将ROI区域模板向相临器官区域延伸,直至满足与相应器官区域的临界条件。其中,所述临界条件包括但不限于:两个区域共用外接轮廓线、两个区域共用外接轮廓点、两个区域的最短距离小于预设值等。
在某些实施例中,所述计算机设备确定ROI区域模板轮廓中与相邻的器官区域轮廓的间距小于预设距离阈值的部分轮廓,将ROI区域模板中的该部分轮廓替换成器官区域的对应部分轮廓,以得到对应单体用户的ROI区域。如图5-A和5-B所示,遍历式地检测颧骨ROI区域模板轮廓11和相邻的眼部区域轮廓12之间的间距,以确定颧骨ROI区域模板轮廓11和眼部区域轮廓12之间间距,将颧骨ROI区域模板11中至少一部分轮廓向眼部区域12的对应部分轮廓延伸(如图5-B中虚线所示),以得到对应单体用户的颧骨ROI区域。其中,所延伸的部分轮廓是基于间距小于预设门限而确定的。
又如,如图5-A和5-C所示,将ROI区域模板中的特征点向相邻的器官区域轮廓移动,直至所移动的特征点与器官轮廓的间距小于预设值或相接。在此,特征点的移动方向和移动距离可以由人为处置。或者,所述特征点向沿所在法线方向向器官区域轮廓移动。所述计算机设备将移动后的特征点所围成的区域作为对应单体用户的ROI区域。
需要说明的是,本申请中描述的特征点的移动方向仅为举例,而非限制。所述特征点还可以根据与相邻器官区域轮廓的最短距离,沿最短距离方向移动。
所述计算机设备还可以将所得到的ROI区域轮廓进行圆滑处理。所述计算机设备可重点检测所确定的ROI区域内的毛孔状况等。
需要说明的是,本领域技术人员应该理解,上述针对单体用户的颧骨ROI区域的确定仅为举例而非对本申请范围的限制。事实上,本领域技术人员可结合上述示例和所要确定的ROI区域的特点进行研发设计,且基于本申请所述的技术框架而使用的技术手段均应被视为本申请范围内的具体示例。
在确定了所述面部图像中ROI区域后,在所确定的ROI区域内检测目标毛孔图像。
在步骤S230中,将面部图像中的ROI区域进行毛孔筛选预处理。
在此,为了减少拍摄环境光对毛孔检测的干扰,本步骤对面部图像中的ROI区域基于灰度的毛孔预处理。具体地,将灰度高于预设值的像素点作为用于检测毛孔图像的区域,进而利用灰度拉伸算法将图像中包含毛孔图像的像素灰度予以突出,由此便于后续步骤自突出灰度的图像部分中提取目标毛孔图像,以减少计算量。
在某些实施方式中,本步骤具体利用毛孔图像与皮肤图像之间的灰度差异,突出包含毛孔图像的各像素点。
具体地,为了突出面部图像中的ROI区域中毛孔与皮肤灰度的跳变性差异,先将面部图像中的ROI区域进行灰度反向处理,并依据下述步骤处理背景图像。
接着,将ROI区域进行灰度拉伸处理,以扩大包含毛孔在内的面部深色区域与背景区域的灰度差异。在此,所述灰度拉伸处理是一种提高图像处理时的灰度级的动态范围的方式,其用于提高包含毛孔在内的灰度与皮肤及背景灰度之间的差距,有利于在灰度过滤时更完整的保留毛孔图像。在此,所述计算机设备可利用预设的分段线性变换函数或直方图均衡算法对面部图像中的ROI区域进行整体的灰度拉伸处理。例如,将面部图像中的ROI区域中各像素的灰度值进行整体线性的拉伸变换,由此拉伸整幅图像的灰度。又如,设置一灰度拉伸窗,将所述灰度拉伸窗遍历ROI区域,并对窗内各像素点进行灰度拉伸处理,以得到灰度拉伸后的面部图像中的ROI区域。其中,所述灰度拉伸处理举例采用公式:其中,x为某一像素点调整前的像素点灰度值,xmin为调整前各个像素点灰度值中的最小值,xmax为调整前各个像素点灰度值中的最大值,为调整后各个像素点灰度值中的最小值,为调整后各个像素点灰度值中的最大值,x*为该像素点调整后的像素点灰度值。
需要说明的是,上述灰度拉伸的方式仅为举例,而非对本申请的限制。事实上,本申请采用灰度拉伸的目的是为了突出毛孔灰度同时抑制背景灰度,由此提高毛孔检测准确率。本申请可采用其他灰度拉伸方式以达到上述目的。
接着,将拉伸后的ROI区域进行滤波处理,将ROI区域内的噪点去除,此时毛孔被一并去除。例如,将预设的滤波窗口遍历式地过滤整个ROI区域,并将每个位于滤波窗口内的灰度矩阵进行中值滤波,如此滤除了毛孔。去除毛孔及小噪点的中值滤波结果图,可以作为下一步差分处理的背景图像。其中,所述滤波窗口的尺寸大于等于经统计的毛孔尺寸。经统计的所述毛孔尺寸可为经验值、或自所述ROI区域中检测而得的。例如,将所述ROI区域进行灰度拉伸后,统计符合预设灰度跳变规则的灰度脉冲宽度,将所统计的符合规则的灰度脉冲宽度最大值作为所述毛孔尺寸来设置所述滤波窗口。
另外,所述中值处理的方式举例为:计算一个滤波窗口中的M个像素点的灰度值中值;判断该滤波窗口中心点的灰度值是否均与M个像素点的灰度值的中值相等;若是,确定该滤波窗口中心的灰度值为该滤波窗口中的像素点的灰度值的中值。
需要说明的是,上述中值滤波的方式仅为举例,而非对本申请的限制。事实上,本申请采用中值滤波的目的是为了滤除图像中的毛孔,由此生成背景图像。本申请可采用其他中值滤波方式(如快速中值滤波算法)以达到上述目的。
接着,将滤波后的ROI区域与原始面部图像中对应ROI区域进行基于灰度的背景抑制得到突出了包含毛孔的图像部分和抑制了背景图像部分的ROI区域。例如,将滤波后的ROI区域的灰度与原始面部图像中对应ROI区域的灰度相减(即差分处理),以突出包含毛孔的图像像素点灰度。
在步骤S240中,将预处理后的ROI区域分块,并确定各图像块的毛孔分隔阈值。其中,图像分块可依据预设的毛孔尺寸若干倍。例如,为了既确保对目标毛孔提取准确,又保证计算效率,设置图像分块的尺寸在预设毛孔尺寸的1至4倍之间。其中,所述预设毛孔尺寸可可为经验值、或自所述ROI区域中检测而得的。例如,将所述ROI区域进行灰度拉伸或滤波处理后,统计符合预设灰度跳变规则的灰度脉冲宽度,将所统计的符合规则的灰度脉冲宽度最大值作为所述毛孔尺寸来设置所述滤波窗口。
在某些实施方式中,所述计算机设备可将每个图像块中像素进行灰度统计,并根据统计结果选取对应图像块的毛孔分隔阈值。其中,选取毛孔分隔阈值的方式可采用将以图像块中的灰度相对比例而设。
在另一些实施方式中,所述计算机设备基于大津法阈值算法逐个地确定各所述图像块的毛孔分隔阈值。在此,所述大津法也称最大类间差法,其按照图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。在本步骤中,利用大津法阈值算法对每个图像块中的像素灰度进行阈值计算,所得到的毛孔分隔阈值将作为进一步抑制背景的筛选条件。本申请采用将ROI区域分块设置毛孔分隔阈值的方式有效解决了毛孔亮度不均匀所带来的毛孔检测不准确的问题。
在对ROI区域进行分块处理期间,技术人员发现对于全皮肤图像块、或包含较小毛孔尺寸的图像块,利用上述大津法计算阈值会出现毛孔分隔阈值过低的情况,为此,本步骤进一步包括:对所计算出的各毛孔分隔阈值进行补偿的步骤。
具体地,预设一补偿值delta,阈值下限th_min,该补偿值可按经验获得或基于机器学习得到。按照大津法阈值算法得到对应每个图像块的阈值为th_ostu,每个图像块的毛孔分隔阈值设为th=th_ostu+delta,并比较每个th与th_min,当th<th_min时,则th=th_min,反之,则毛孔分隔阈值即为th_ostu+delta。
在步骤S250中,按照各图像块所对应的毛孔分隔阈值对各图像块分别进行过滤,以得到所述ROI区域中的各候选毛孔图像。
具体地,本步骤可在确定每个图像块的毛孔分隔阈值时,或者在确定所有图像块的毛孔分隔阈值后,保留相应图像块中高于所述毛孔分隔阈值的灰度值并降低小于等于所述毛孔分隔阈值的灰度值。其中,被保留灰度值的像素点所连成的区域被作为候选毛孔图像。所得到的候选毛孔图像可能在一个图像块中,也可能由相邻图像块拼接而成。故而,所述候选毛孔图像的确定是基于整体的ROI区域而得到的,而非仅依据单个图像块。例如,如图2所示,图像块A中被保留灰度的各相邻像素点所组成的区域位于图像块A的中部,周围被低灰度值(如灰度值为0)的像素点包围,则确定该所围区域为候选毛孔图像。又如,如图3所示,图像块B中被保留灰度的各相邻像素点所组成的区域位于图像块B与图像块C交接处,则计算机设备同时自图像块C中与图像块B相接处向图像块C延伸检测像素点的灰度值,以得到完整的候选毛孔图像。
在另一些具体示例中,本步骤可根据基于ROI区域中被滤出的像素点所围成的区域确定为候选毛孔图像。在此,本示例中采用以ROI区域作为分析对象的方式,将被滤出的相邻像素点(如保留有灰度值的相邻像素点)所围成的区域作为候选毛孔图像。
在步骤S260中,从各所述候选毛孔图像中筛选所述ROI区域中的目标毛孔图像。
具体地,基于将各所述候选毛孔图像进行形状和/或尺寸的匹配结果,确定所述ROI区域中目标毛孔图像。在此,所述计算机设备可根据候选毛孔图像中像素点的个数和位置来确定候选毛孔图像的形状和尺寸。例如,以单个像素点为单位面积,通过统计候选毛孔图像中的像素点个数,确定每个候选毛孔图像的面积。又如,根据每个候选毛孔图像中像素点的位置确定候选毛孔图像的轮廓。所述计算机设备可将面积小于预设面积阈值的候选毛孔图像予以保留,和/或将轮廓形状接近圆形的候选毛孔图像予以保留,由此得到ROI区域中的目标毛孔图像。
在某些实施方式中,所述步骤S260包括:步骤S261:遍历式地计算所述候选毛孔图像与预设形状的覆盖相应候选毛孔图像的图形之间的形状和尺寸。在此,预设形状的图形包括但不限于:正四边形、正五边形、正六边形、圆形等。所预设形状的图形的长宽尺寸可以是 固定的,或者按照外接对应候选毛孔图像的尺寸设置。
例如,所述计算机设备一方面遍历式地为每个候选毛孔图像配置对应的外接圆形,并计算候选毛孔图像占相应外接圆形的面积比例,由此确定二者的形状差距,若二者比例小于预设门限,则认定二者形状差距不大,即候选毛孔图像的形状接近圆形。所述计算机设备另一方面以单个像素点为单位面积,通过统计候选毛孔图像中的像素点个数,确定相应候选毛孔图像的面积。
在步骤S262中,将符合预设匹配条件的各计算结果所对应的候选毛孔图像作为目标毛孔图像。例如,所述计算机设备将接近圆形且面积小于预设面积阈值的候选毛孔图像确定为目标毛孔图像。
需要说明的是,本领域技术人员应该理解,计算机设备在进行多条件筛选时可能按照优先级进行,当候选毛孔图像因满足优先级较高的条件而被过确定目标毛孔图像时,并不意味着计算机设备不具备利用优先级交底的条件确定目标毛孔图像的能力。
所得到的各目标毛孔图像可标记其轮廓并叠加在原始面部图像中的ROI区域上,并显示给用户和医生。在某些实施方式中,所得到的各目标毛孔图像可按照尺寸等级标记不同颜色,并叠加在原始面部图像中的ROI区域上,显示给用户和医生。由此便于用户和医生进行自我评价及诊治评估。
需要说明的是,面部ROI区域可以为一个或多个,本领域技术人员可按照本实施方式的流程指导下,对面部图像的各ROI区域进行毛孔检测,甚至还可以基于各ROI区域的轮廓对毛孔检测区域进行有限扩展,由此能针对毛孔集中且易毛孔粗大的ROI区域,提供既准确又高效的毛孔检测。
请参阅图6,本申请还提供一种毛孔检测***。所述毛孔检测***4包括:预处理模块41、毛孔提取模块42和筛选模块43。
所述预处理模块41用于将所获取的面部图像进行毛孔筛选预处理。
在此,所述面部图像可利用与计算机设备相连的摄像装置拍摄而得,或者经由网络自其它电子设备获取。其中,由于毛孔检测的准确是与面部图像清晰程度相关,故而为了对面部图像进行准确的毛孔检测,需对所使用的摄像装置进行调节以确保拍摄到清晰的面部图像。例如,通过调整摄像装置的光圈、聚焦位置,以及用户相距摄像装置的距离等,得到清晰的面部图像。除此之外,为了防止背景对毛孔检测的干扰,所获取的面部图像还以纯色、浅色背景为佳,但并不表示本申请所使用的面部图像必然为纯色或浅色背景。本领域技术人员可利用抠图技术将背景进行处理,在此不予详述。
为了减少拍摄环境光对毛孔检测的干扰,所述预处理模块41对面部图像基于灰度的毛孔预处理。具体地,将灰度高于预设值的像素点作为用于检测毛孔图像的区域,进而利用灰度拉伸算法将图像中包含毛孔图像的像素灰度予以突出,由此便于后续步骤自突出图像部分中提取目标毛孔图像,以减少计算量。
在某些实施方式中,所述预处理模块41具体利用毛孔图像与皮肤图像之间的灰度差异,突出包含毛孔图像的各像素点灰度。
具体地,为了突出面部图像中毛孔与皮肤灰度的跳变性差异,所述预处理模块41先将面部图像中的面部图像进行灰度反向处理,并依据下述步骤处理背景图像。
接着,所述预处理模块41将面部图像进行灰度拉伸处理,以扩大包含毛孔在内的面部深色区域与背景区域的灰度差异。在此,所述灰度拉伸处理是一种提高图像处理时的灰度级的动态范围的方式,其用于提高包含毛孔在内的灰度与皮肤及背景灰度之间的差距,有利于在灰度过滤时更完整的保留毛孔图像。在此,所述预处理模块41可利用预设的分段线性变换函数或直方图均衡算法对面部图像中的面部图像进行整体的灰度拉伸处理。例如,所述预处理模块41将面部图像中的面部图像中各像素的灰度值进行整体线性的拉伸变换,由此拉伸整幅图像的灰度。又如,设置一灰度拉伸窗,所述预处理模块41将所述灰度拉伸窗遍历面部图像,并对窗内各像素点进行灰度拉伸处理,以得到灰度拉伸后的面部图像中的面部图像。其中,所述灰度拉伸处理举例采用公式:其中,x为某一像素点调整前的像素点灰度值,xmin为调整前各个像素点灰度值中的最小值,xmax为调整前各个像素点灰度值中的最大值, 为调整后各个像素点灰度值中的最小值,为调整后各个像素点灰度值中的最大值,x*为该像素点调整后的像素点灰度值。
需要说明的是,上述灰度拉伸的方式仅为举例,而非对本申请的限制。事实上,本申请采用灰度拉伸的目的是为了突出毛孔灰度同时抑制背景灰度,由此提高毛孔检测准确率。本申请可采用其他灰度拉伸方式以达到上述目的。
接着,所述预处理模块41将拉伸后的面部图像进行滤波处理,将面部图像内的噪点去除,此时毛孔被一并去除。例如,所述预处理模块41将预设的滤波窗口遍历式地过滤整个面部图像,并将每个位于滤波窗口内的灰度矩阵进行中值滤波,如此滤除了毛孔。去除毛孔及小噪点的中值滤波结果图,可以作为下一步差分处理的背景图像。其中,所述滤波窗口的尺寸大于等于经统计的毛孔尺寸。经统计的所述毛孔尺寸可为经验值、或自所述面部图像中检测而得的。例如,将所述面部图像进行灰度拉伸后,统计符合预设灰度跳变规则的灰度脉冲宽度,将所统计的符合规则的灰度脉冲宽度最大值作为所述毛孔尺寸来设置所述滤波窗口。
另外,所述中值处理的方式举例为:计算一个滤波窗口中的M个像素点的灰度值中值;判断该滤波窗口中心点的灰度值是否均与M个像素点的灰度值的中值相等;若是,确定该滤波窗口中心的灰度值为该滤波窗口中的像素点的灰度值的中值。
需要说明的是,上述中值滤波的方式仅为举例,而非对本申请的限制。事实上,本申请采用中值滤波的目的是为了滤除图像中的毛孔,由此生成背景图像。本申请可采用其他中值滤波方式(如快速中值滤波算法)以达到上述目的。
接着,所述预处理模块41将滤波后的面部图像与原始面部图像中对应面部图像进行基于灰度的背景抑制得到突出了包含毛孔的图像部分和抑制了背景图像部分的面部图像。例如,将滤波后的面部图像的灰度与原始面部图像中对应面部图像的灰度相减(即差分处理),以突出包含毛孔的图像像素点灰度。
所述毛孔提取模块42用于将预处理后的面部图像分块,并确定各图像块的毛孔分隔阈值。其中,图像分块可依据预设的毛孔尺寸若干倍。例如,为了既确保对目标毛孔提取准确,又保证计算效率,设置图像分块的尺寸在预设毛孔尺寸的1至4倍之间。其中,所述预设毛孔尺寸可可为经验值、或自所述面部图像中检测而得的。例如,将所述面部图像进行灰度拉伸或滤波处理后,统计符合预设灰度跳变规则的灰度脉冲宽度,将所统计的符合规则的灰度脉冲宽度最大值作为所述毛孔尺寸来设置所述滤波窗口。
在某些实施方式中,所述预处理模块41可将每个图像块中像素进行灰度统计,并根据统计结果选取对应图像块的毛孔分隔阈值。其中,选取毛孔分隔阈值的方式可采用将以图像块中的灰度相对比例而设。
在另一些实施方式中,所述预处理模块41基于大津法阈值算法逐个地确定各所述图像块的毛孔分隔阈值。在此,所述大津法也称最大类间差法,其按照图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。在所述毛孔提取模块42中,利用大津法阈值算法对每个图像块中的像素灰度进行阈值计算,所得到的毛孔分隔阈值将作为进一步抑制背景的筛选条件。本申请采用将面部图像分块设置毛孔分隔阈值的方式有效解决了毛孔亮度不均匀所带来的毛孔检测不准确的问题。
在对面部图像进行分块处理期间,技术人员发现对于全皮肤图像块、或包含较小毛孔尺寸的图像块,利用上述大津法计算阈值会出现毛孔分隔阈值过低的情况,为此,所述毛孔提取模块42进一步包括:对所计算出的各毛孔分隔阈值进行补偿的步骤。
具体地,预设一补偿值delta,阈值下限th_min,该补偿值可按经验获得或基于机器学习得到。按照大津法阈值算法得到对应每个图像块的阈值为th_ostu,每个图像块的毛孔分隔阈值设为th=th_ostu+delta,并比较每个th与th_min,当th<th_min时,则th=th_min,反之,则毛孔分隔阈值即为th_ostu+delta。
所述毛孔提取模块42还用于按照各图像块所对应的毛孔分隔阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选毛孔图像。
具体地,所述毛孔提取模块42可在确定每个图像块的毛孔分隔阈值时,或者在确定所有图像块的毛孔分隔阈值后,保留相应图像块中高于所述毛孔分隔阈值的灰度值并降低小于等于所述毛孔分隔阈值的灰度值。其中,被保留灰度值的像素点所连成的区域被作为候选毛孔图像。所得到的候选毛孔图像可能在一个图像块中,也可能由相邻图像块拼接而成。故而,所述候选毛孔图像的确定是基于整幅面部图像而得到的,而非仅依据单个图像块。例如,如图2所示,图像块A中被保留灰度的各相邻像素点所组成的区域位于图像块A的中部,周围被低灰度值(如灰度值为0)的像素点包围,则确定该所围区域为候选毛孔图像。又如,如图3所示,图像块B中被保留灰度的各相邻像素点所组成的区域位于图像块B与图像块C交接处,则所述预处理模块41同时自图像块C中与图像块B相接处向图像块C延伸检测像素点的灰度值,以得到完整的候选毛孔图像。
在另一些具体示例中,所述毛孔提取模块42可根据基于面部图像中被滤出的像素点所围成的区域确定为候选毛孔图像。在此,本示例中采用以面部图像作为分析对象的方式,将被滤出的相邻像素点(如保留有灰度值的相邻像素点)所围成的区域作为候选毛孔图像。
所述筛选模块43用于从各所述候选毛孔图像中筛选所述面部图像中的目标毛孔图像。
具体地,基于将各所述候选毛孔图像进行形状和/或尺寸的匹配,根据匹配结果确定所述面部图像中目标毛孔图像。在此,所述筛选模块43可根据候选毛孔图像中像素点的个数和位置来确定候选毛孔图像的形状和尺寸。例如,以单个像素点为单位面积,通过统计候选毛孔图像中的像素点个数,确定每个候选毛孔图像的面积。又如,根据每个候选毛孔图像中像素点的位置确定候选毛孔图像的轮廓。所述筛选模块43可将面积小于预设面积阈值的候选毛孔图像予以保留,和/或将轮廓形状接近圆形的候选毛孔图像予以保留,由此得到面部图像中的目标毛孔图像。
在某些实施方式中,所述筛选模块43具体执行:步骤S141和S142。
在步骤S141中,所述筛选模块43遍历式地计算所述候选毛孔图像与预设形状的覆盖相应候选毛孔图像的图形之间的形状和尺寸。在此,预设形状的图形包括但不限于:正四边形、 正五边形、正六边形、圆形等。所预设形状的图形的长宽尺寸可以是固定的,或者按照外接对应候选毛孔图像的尺寸设置。
例如,所述筛选模块43一方面遍历式地为每个候选毛孔图像配置对应的外接圆形,并计算候选毛孔图像占相应外接圆形的面积比例,由此确定二者的形状差距,若二者比例小于预设门限,则认定二者形状差距不大,即候选毛孔图像的形状接近圆形。所述筛选模块43另一方面以单个像素点为单位面积,通过统计候选毛孔图像中的像素点个数,确定相应候选毛孔图像的面积。
在步骤S142中,所述筛选模块43将符合预设匹配条件的各计算结果所对应的候选毛孔图像作为目标毛孔图像。例如,所述筛选模块43将接近圆形且面积小于预设面积阈值的候选毛孔图像确定为目标毛孔图像。
需要说明的是,本领域技术人员应该理解,筛选模块43在进行多条件筛选时可能按照优先级进行,当候选毛孔图像因满足优先级较高的条件而被过确定目标毛孔图像时,并不意味着筛选模块43不具备利用优先级交底的条件确定目标毛孔图像的能力。
所得到的各目标毛孔图像可标记其轮廓并叠加在原始面部图像上,并显示给用户和医生。在某些实施方式中,所得到的各目标毛孔图像可按照尺寸等级标记不同颜色,并叠加在原始面部图像上,显示给用户和医生。由此便于用户和医生进行自我评价及诊治评估。
图7示出了本申请又一种毛孔检测***的架构图。在本实施方式中,所述计算机设备利用了面部图像的ROI区域模板,并在按照ROI区域模板而截取出的面部图像的ROI区域中检测面部图像的目标毛孔图像。其中,所述ROI区域模板为预设的经由样本图像学习而得到的面部图像的公共感兴趣区域。所述毛孔检测***5包括:预处理模块51、毛孔提取模块52、筛选模块53和ROI区域提取模块54。
所述ROI区域提取模块54用于识别所获得的面部图像中的器官区域。
在此,所述面部图像可利用与计算机设备相连的摄像装置拍摄而得,或者经由网络自其它电子设备获取。其中,为了对面部图像进行准确的毛孔检测,所采用的面部图像的清晰度可基于摄像装置的焦距拍摄而得。例如,通过调整摄像装置的光圈、聚焦位置,以及用户相距摄像装置的距离等,得到清晰的面部图像。除此之外,为了防止背景对毛孔检测的干扰,所获取的面部图像还以纯色、浅色背景为佳,但并不表示本申请所使用的面部图像必然为纯色或浅色背景。本领域技术人员可利用抠图技术将背景进行处理,在此不予详述。
所述ROI区域提取模块54基于面部各器官的特征(如形状特征、毛发特征、颜色特征等)识别面部图像的器官区域。例如,基于颜色特征和面部对称特性识别眼睛和眉毛所在区 域。
在某些实施方式中,ROI区域提取模块54可基于预设的ROI区域模板提取所述面部图像中的器官区域。具体地,所述ROI区域提取模块54具体执行步骤S211和S212(未予图示)。
在步骤S211中,基于ROI区域模板将所述面部图像按照器官位置进行图像分割。具体地,所述计算机设备识别出面部图像的轮廓,再根据预设的ROI区域模板中描述的ROI区域模板轮廓在平均样本图像中的位置,将所述ROI区域模板轮廓放置在所获取的面部图像中。再按照ROI区域模板将面部图像分块。
需要说明的是,所述图像分块方式可仅利用ROI区域模板轮廓对面部图像进行分块标记,而并非一定进行图像块抠图处理。
在步骤S212中,识别所分割后的图像区域中的器官区域。具体地,所述计算机设备利用ROI区域模板所表示的面部区域,在面部图像中识别器官区域。例如,利用对应颧骨区域的ROI区域模板,在与该区域模板相邻的图像分块中识别单体用户的眼部区域和/或鼻部区域。
所述ROI区域提取模块54还用于将预设的ROI区域模板向所识别的器官区域的边缘调整,得到所述面部图像的ROI区域。
具体地,所述ROI区域提取模块54按照所确定的器官区域将ROI区域模板的轮廓外接、或者靠近相邻器官区域上,以得到对应单体用户的面部图像中的ROI区域。其中,所述ROI区域模板的轮廓可向一种器官区域延伸,或向相邻的多种器官区域延伸。在此,所述ROI区域模板的延伸包括ROI区域模板轮廓的外延及收缩。更具体地,所述ROI区域提取模块54将ROI区域模板向相临器官区域延伸,直至满足与相应器官区域的临界条件。其中,所述临界条件包括但不限于:两个区域共用外接轮廓线、两个区域共用外接轮廓点、两个区域的最短距离小于预设值等。
在某些实施例中,所述ROI区域提取模块54确定ROI区域模板轮廓中与相邻的器官区域轮廓的间距小于预设距离阈值的部分轮廓,将ROI区域模板中的该部分轮廓替换成器官区域的对应部分轮廓,以得到对应单体用户的ROI区域。如图5-A和5-B所示,遍历式地检测颧骨ROI区域模板轮廓11和相邻的眼部区域轮廓12之间的间距,以确定颧骨ROI区域模板轮廓11和眼部区域轮廓12之间间距,将颧骨ROI区域模板11中至少一部分轮廓向眼部区域12的对应部分轮廓延伸(如图5-B中虚线所示),以得到对应单体用户的颧骨ROI区域。其中,所延伸的部分轮廓是基于间距小于预设门限而确定的。
又如,如图5-A和5-C所示,将ROI区域模板中的特征点向相邻的器官区域轮廓移动,直至所移动的特征点与器官轮廓的间距小于预设值或相接。在此,特征点的移动方向和移动 距离可以由人为处置。或者,所述特征点向沿所在法线方向向器官区域轮廓移动。所述ROI区域提取模块54将移动后的特征点所围成的区域作为对应单体用户的ROI区域。
需要说明的是,本申请中描述的特征点的移动方向仅为举例,而非限制。所述特征点还可以根据与相邻器官区域轮廓的最短距离,沿最短距离方向移动。
所述ROI区域提取模块54还可以将所得到的ROI区域轮廓进行圆滑处理。所述ROI区域提取模块54可重点检测所确定的ROI区域内的毛孔状况等。
需要说明的是,本领域技术人员应该理解,上述针对单体用户的颧骨ROI区域的确定仅为举例而非对本申请范围的限制。事实上,本领域技术人员可结合上述示例和所要确定的ROI区域的特点进行研发设计,且基于本申请所述的技术框架而使用的技术手段均应被视为本申请范围内的具体示例。
在确定了所述面部图像中ROI区域后,在所确定的ROI区域内检测目标毛孔图像。
所述预处理模块51用于将面部图像中的ROI区域进行毛孔筛选预处理。
在此,为了减少拍摄环境光对毛孔检测的干扰,所述预处理模块51对面部图像中的ROI区域基于灰度的毛孔预处理。具体地,将灰度高于预设值的像素点作为用于检测毛孔图像的区域,进而利用灰度拉伸算法将图像中包含毛孔图像的像素灰度予以突出,由此便于后续步骤自突出灰度的图像部分中提取目标毛孔图像,以减少计算量。
在某些实施方式中,所述预处理模块51具体利用毛孔图像与皮肤图像之间的灰度差异,突出包含毛孔图像的各像素点。
具体地,为了突出面部图像中的ROI区域中毛孔与皮肤灰度的跳变性差异,所述预处理模块51先将面部图像中的ROI区域进行灰度反向处理,并依据下述步骤处理背景图像。
接着,所述预处理模块51将ROI区域进行灰度拉伸处理,以扩大包含毛孔在内的面部深色区域与背景区域的灰度差异。在此,所述灰度拉伸处理是一种提高图像处理时的灰度级的动态范围的方式,其用于提高包含毛孔在内的灰度与皮肤及背景灰度之间的差距,有利于在灰度过滤时更完整的保留毛孔图像。在此,所述预处理模块51可利用预设的分段线性变换函数或直方图均衡算法对面部图像中的ROI区域进行整体的灰度拉伸处理。例如,所述预处理模块51将面部图像中的ROI区域中各像素的灰度值进行整体线性的拉伸变换,由此拉伸整幅图像的灰度。又如,设置一灰度拉伸窗,将所述灰度拉伸窗遍历ROI区域,并对窗内各像素点进行灰度拉伸处理,以得到灰度拉伸后的面部图像中的ROI区域。其中,所述灰度拉伸处理举例采用公式:其中,x为某一像素点调整前的像素点灰度值,xmin为调整前各个像素点灰度值中的最小值,xmax为调整前各个像素点灰度值中的最大值,为调整 后各个像素点灰度值中的最小值,为调整后各个像素点灰度值中的最大值,x*为该像素点调整后的像素点灰度值。
需要说明的是,上述灰度拉伸的方式仅为举例,而非对本申请的限制。事实上,本申请采用灰度拉伸的目的是为了突出毛孔灰度同时抑制背景灰度,由此提高毛孔检测准确率。本申请可采用其他灰度拉伸方式以达到上述目的。
接着,所述预处理模块51将拉伸后的ROI区域进行滤波处理,将ROI区域内的噪点去除,此时毛孔被一并去除。例如,所述预处理模块51将预设的滤波窗口遍历式地过滤整个ROI区域,并将每个位于滤波窗口内的灰度矩阵进行中值滤波,如此滤除了毛孔。去除毛孔及小噪点的中值滤波结果图,可以作为下一步差分处理的背景图像。其中,所述滤波窗口的尺寸大于等于经统计的毛孔尺寸。经统计的所述毛孔尺寸可为经验值、或自所述ROI区域中检测而得的。例如,所述预处理模块51将所述ROI区域进行灰度拉伸后,统计符合预设灰度跳变规则的灰度脉冲宽度,将所统计的符合规则的灰度脉冲宽度最大值作为所述毛孔尺寸来设置所述滤波窗口。
另外,所述中值处理的方式举例为:计算一个滤波窗口中的M个像素点的灰度值中值;判断该滤波窗口中心点的灰度值是否均与M个像素点的灰度值的中值相等;若是,确定该滤波窗口中心的灰度值为该滤波窗口中的像素点的灰度值的中值。
需要说明的是,上述中值滤波的方式仅为举例,而非对本申请的限制。事实上,本申请采用中值滤波的目的是为了滤除图像中的毛孔,由此生成背景图像。本申请可采用其他中值滤波方式(如快速中值滤波算法)以达到上述目的。
接着,所述预处理模块51将滤波后的ROI区域与原始面部图像中对应ROI区域进行基于灰度的背景抑制得到突出了包含毛孔的图像部分和抑制了背景图像部分的ROI区域。例如,将滤波后的ROI区域的灰度与原始面部图像中对应ROI区域的灰度相减(即差分处理),以突出包含毛孔的图像像素点灰度。
所述毛孔提取模块52用于将预处理后的ROI区域分块,并确定各图像块的毛孔分隔阈值。其中,图像分块可依据预设的毛孔尺寸若干倍。例如,为了既确保对目标毛孔提取准确,又保证计算效率,设置图像分块的尺寸在预设毛孔尺寸的1至4倍之间。其中,所述预设毛孔尺寸可可为经验值、或自所述ROI区域中检测而得的。例如,将所述ROI区域进行灰度拉伸或滤波处理后,统计符合预设灰度跳变规则的灰度脉冲宽度,将所统计的符合规则的灰度脉冲宽度最大值作为所述毛孔尺寸来设置所述滤波窗口。
在某些实施方式中,所述毛孔提取模块52可将每个图像块中像素进行灰度统计,并根据 统计结果选取对应图像块的毛孔分隔阈值。其中,选取毛孔分隔阈值的方式可采用将以图像块中的灰度相对比例而设。
在另一些实施方式中,所述毛孔提取模块52基于大津法阈值算法逐个地确定各所述图像块的毛孔分隔阈值。在此,所述大津法也称最大类间差法,其按照图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。在毛孔提取模块52中,利用大津法阈值算法对每个图像块中的像素灰度进行阈值计算,所得到的毛孔分隔阈值将作为进一步抑制背景的筛选条件。本申请采用将ROI区域分块设置毛孔分隔阈值的方式有效解决了毛孔亮度不均匀所带来的毛孔检测不准确的问题。
在对ROI区域进行分块处理期间,技术人员发现对于全皮肤图像块、或包含较小毛孔尺寸的图像块,利用上述大津法计算阈值会出现毛孔分隔阈值过低的情况,为此,毛孔提取模块52进一步包括:对所计算出的各毛孔分隔阈值进行补偿的步骤。
具体地,预设一补偿值delta,阈值下限th_min,该补偿值可按经验获得或基于机器学习得到。按照大津法阈值算法得到对应每个图像块的阈值为th_ostu,每个图像块的毛孔分隔阈值设为th=th_ostu+delta,并比较每个th与th_min,当th<th_min时,则th=th_min,反之,则毛孔分隔阈值即为th_ostu+delta。
所述毛孔提取模块52还用于按照各图像块所对应的毛孔分隔阈值对各图像块分别进行过滤,以得到所述ROI区域中的各候选毛孔图像。
具体地,毛孔提取模块52可在确定每个图像块的毛孔分隔阈值时,或者在确定所有图像块的毛孔分隔阈值后,保留相应图像块中高于所述毛孔分隔阈值的灰度值并降低小于等于所述毛孔分隔阈值的灰度值。其中,被保留灰度值的像素点所连成的区域被作为候选毛孔图像。所得到的候选毛孔图像可能在一个图像块中,也可能由相邻图像块拼接而成。故而,所述候选毛孔图像的确定是基于整体的ROI区域而得到的,而非仅依据单个图像块。例如,如图2所示,图像块A中被保留灰度的各相邻像素点所组成的区域位于图像块A的中部,周围被低灰度值(如灰度值为0)的像素点包围,则确定该所围区域为候选毛孔图像。又如,如图3所示,图像块B中被保留灰度的各相邻像素点所组成的区域位于图像块B与图像块C交接处,则毛孔提取模块52同时自图像块C中与图像块B相接处向图像块C延伸检测像素点的灰度值,以得到完整的候选毛孔图像。
在另一些具体示例中,毛孔提取模块52可根据基于ROI区域中被滤出的像素点所围成 的区域确定为候选毛孔图像。在此,本示例中采用以ROI区域作为分析对象的方式,将被滤出的相邻像素点(如保留有灰度值的相邻像素点)所围成的区域作为候选毛孔图像。
所述筛选模块53用于从各所述候选毛孔图像中筛选所述ROI区域中的目标毛孔图像。
具体地,基于将各所述候选毛孔图像进行形状和/或尺寸的匹配结果,确定所述ROI区域中目标毛孔图像。在此,所述筛选模块53可根据候选毛孔图像中像素点的个数和位置来确定候选毛孔图像的形状和尺寸。例如,以单个像素点为单位面积,通过统计候选毛孔图像中的像素点个数,确定每个候选毛孔图像的面积。又如,根据每个候选毛孔图像中像素点的位置确定候选毛孔图像的轮廓。所述筛选模块53可将面积小于预设面积阈值的候选毛孔图像予以保留,和/或将轮廓形状接近圆形的候选毛孔图像予以保留,由此得到ROI区域中的目标毛孔图像。
在某些实施方式中,所述筛选模块53还执行步骤S261和S262。
在步骤S261中,筛选模块53遍历式地计算所述候选毛孔图像与预设形状的覆盖相应候选毛孔图像的图形之间的形状和尺寸。在此,预设形状的图形包括但不限于:正四边形、正五边形、正六边形、圆形等。所预设形状的图形的长宽尺寸可以是固定的,或者按照外接对应候选毛孔图像的尺寸设置。
例如,所述筛选模块53一方面遍历式地为每个候选毛孔图像配置对应的外接圆形,并计算候选毛孔图像占相应外接圆形的面积比例,由此确定二者的形状差距,若二者比例小于预设门限,则认定二者形状差距不大,即候选毛孔图像的形状接近圆形。所述筛选模块53另一方面以单个像素点为单位面积,通过统计候选毛孔图像中的像素点个数,确定相应候选毛孔图像的面积。
在步骤S262中,筛选模块53将符合预设匹配条件的各计算结果所对应的候选毛孔图像作为目标毛孔图像。例如,所述计算机设备将接近圆形且面积小于预设面积阈值的候选毛孔图像确定为目标毛孔图像。
需要说明的是,本领域技术人员应该理解,筛选模块53在进行多条件筛选时可能按照优先级进行,当候选毛孔图像因满足优先级较高的条件而被过确定目标毛孔图像时,并不意味着计算机设备不具备利用优先级交底的条件确定目标毛孔图像的能力。
所得到的各目标毛孔图像可标记其轮廓并叠加在原始面部图像中的ROI区域上,并显示给用户和医生。在某些实施方式中,所得到的各目标毛孔图像可按照尺寸等级标记不同颜色,并叠加在原始面部图像中的ROI区域上,显示给用户和医生。由此便于用户和医生进行自我评价及诊治评估。
需要说明的是,面部ROI区域可以为一个或多个,本领域技术人员可按照本实施方式的流程指导下,对面部图像的各ROI区域进行毛孔检测,甚至还可以基于各ROI区域的轮廓对毛孔检测区域进行有限扩展,由此能针对毛孔集中且易毛孔粗大的ROI区域,提供既准确又高效的毛孔检测。
参见图8,本申请还提供一种面部检测设备。所述面部检测设备包括但不限于:面部检测仪、皮肤测试仪、移动终端等。例如,所述面部检测设备为专用的面部测试仪器。又如,所述面部检测设备为平板电脑等。所述面部检测设备3包括:存储装置31、处理装置32。
所述存储装置31用于存储面部图像和用于执行毛孔检测方法的程序。其中,所述面部图像可利用与面部检测设备相连的摄像装置拍摄而得,或者经由网络自其它电子设备获取。
所述存储装置31可包括高速随机存取存储器,并且还可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。在某些实施例中,存储装置31还可以包括远离一个或多个处理器的存储器,例如经由通信网络访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(LAN)、广域网(WLAN)、存储局域网(SAN)等,或其适当组合。存储装置31中还包括存储器控制器,所述存储器控制器可控制诸如CPU和外设接口之类的其他组件对存储器的访问。存储在存储装置31中的软件组件包括操作***、通信模块(或指令集)、接触/运动模块(或指令集)、图形模块(或指令集)、触觉反馈模块(或指令集)、文本输入模块(或指令集)、以及程序(或指令集)。
其中,为了对面部图像进行准确的毛孔检测,所述存储装置31中保存的面部图像的清晰度以专用的摄像装置拍摄为佳。故而,如图9所示,所述面部检测设备还包括:摄像装置。例如,通过预先调整摄像装置的光圈、聚焦位置,以及用户相距摄像装置的距离等,得到清晰的面部图像。除此之外,为了防止背景对毛孔检测的干扰,所获取的面部图像还以纯色、浅色背景为佳,但并不表示本申请所使用的面部图像必然为纯色或浅色背景。本领域技术人员可利用抠图技术将背景进行处理,在此不予详述。
另外,所述摄像装置33可以是内置在面部检测设备中的一部分,如移动终端中内置的摄像装置33。或者所述摄像装置33为单独的数码相机,并与处理装置32通过IO子***相连。其中,所述IO子***可与处理装置32封装在一起,其包括但不限于:USB等串行接口。所述摄像装置33包括镜头组、成像传感器、图像处理芯片等。其中,镜头组由多块镜片组成,利用镜片对光路改变将所摄取的实体景象成像在成像传感器上。所述成像传感器将光学图像转换成电子信号。以产品类别区分,成像传感器产品主要分为CCD、CMOS以及CIS传感器三种。所述成像传感器将所得图像交由图像处理芯片(ISP,Image Signal Processing)进行图 像纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等图像处理。
为了确保摄像装置33所摄取的面部图像与预存的ROI区域模板在尺寸比例上相匹配,所述面部检测设备还包括:拍摄提示装置34。
所述拍摄提示装置34位于摄像装置33前,用于提示测试者在所述摄像装置33摄取方向的头部摆放。在此,所述拍摄提示装置34可以是一具体拍摄提示图案,如提示点、提示线等。在某些实施方式中,其包含用于支撑用户下颌的第一支撑部件和固定摄像装置33的第二支撑部件,两个支撑部件之间的间距根据面部图像在整幅图像中的比例而定。第一支撑部件的高度与摄像装置33所能拍摄的完整的面部图像相关。所述第一支撑部件可调。例如,所述第一支撑部件包含一升降杆和锁固件,在所述升降杆上设有一颚托。用户可在使用前调整第一支撑部件的高度,使得所述摄像装置33拍摄到完整的面部图像。
当得到面部图像后,所述处理装置32执行所述程序以对面部图像进行毛孔检测。
在此,所述处理装置32包含处理器,所述处理器可操作地与存储器和/或非易失性存储器耦接。更具体地,处理器可执行在存储器和/或非易失性存储器中存储的指令以在计算设备中执行操作,诸如生成图像数据和/或将图像数据传输到显示电路。如此,处理器可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)、或它们的任何组合。
处理装置32还可操作地与网络接口耦接,以将计算设备以通信方式耦接至网络。例如,网络接口可将计算设备连接到个人局域网(PAN)(诸如蓝牙网络)、局域网(LAN)(诸如802.11x Wi-Fi网络)、和/或广域网(WAN)。此外,处理装置32可操作地耦接至电源,该电源可向计算设备中的各种部件诸如电子显示器提供电力。如此,电源可包括任何合适的能源,诸如可再充电的锂聚合物(Li-poly)电池和/或交流电(AC)电源转换器。
所述处理装置32还与I/O端口和输入结构可操作地耦接,该I/O端口可使得计算设备能够与各种其他电子设备(如专门用于皮肤检测的仪器或移动终端)进行交互,该输入结构可使得用户能够与计算设备进行交互。因此,输入结构可包括按钮、键盘、鼠标、触控板等。
所述处理装置32还可操作地与网络接口耦接,以将计算设备以通信方式耦接至网络。例如,网络接口可将计算设备连接到个人局域网(PAN)(诸如蓝牙网络)、局域网(LAN)(诸如802.11x Wi-Fi网络)、和/或广域网(WAN)(注入4G或LTE蜂窝网络)。
在本申请中,所述处理装置32可基于输入结构所输入的启动指令调用所述程序,进而在执行所述程序时以将所述存储装置31中面部图像进行毛孔检测。其中执行过程如图1所示。
在步骤S110中,将所获取的面部图像进行毛孔筛选预处理。
为了减少拍摄环境光对毛孔检测的干扰,本步骤对面部图像基于灰度的毛孔预处理。具体地,将灰度高于预设值的像素点作为用于检测毛孔图像的区域,进而利用灰度拉伸算法将图像中包含毛孔图像的像素灰度予以突出,由此便于后续步骤自突出图像部分中提取目标毛孔图像,以减少计算量。
在某些实施方式中,本步骤具体利用毛孔图像与皮肤图像之间的灰度差异,突出包含毛孔图像的各像素点灰度。
具体地,为了突出面部图像中毛孔与皮肤灰度的跳变性差异,先将面部图像中的面部图像进行灰度反向处理,并依据下述步骤处理背景图像。
接着,将面部图像进行灰度拉伸处理,以扩大包含毛孔在内的面部深色区域与背景区域的灰度差异。在此,所述灰度拉伸处理是一种提高图像处理时的灰度级的动态范围的方式,其用于提高包含毛孔在内的灰度与皮肤及背景灰度之间的差距,有利于在灰度过滤时更完整的保留毛孔图像。在此,所述计算机设备可利用预设的分段线性变换函数或直方图均衡算法对面部图像中的面部图像进行整体的灰度拉伸处理。例如,将面部图像中的面部图像中各像素的灰度值进行整体线性的拉伸变换,由此拉伸整幅图像的灰度。又如,设置一灰度拉伸窗,将所述灰度拉伸窗遍历面部图像,并对窗内各像素点进行灰度拉伸处理,以得到灰度拉伸后的面部图像中的面部图像。其中,所述灰度拉伸处理举例采用公式:其中,x为某一像素点调整前的像素点灰度值,xmin为调整前各个像素点灰度值中的最小值,xmax为调整前各个像素点灰度值中的最大值,为调整后各个像素点灰度值中的最小值,为调整后各个像素点灰度值中的最大值,x*为该像素点调整后的像素点灰度值。
需要说明的是,上述灰度拉伸的方式仅为举例,而非对本申请的限制。事实上,本申请采用灰度拉伸的目的是为了突出毛孔灰度同时抑制背景灰度,由此提高毛孔检测准确率。本申请可采用其他灰度拉伸方式以达到上述目的。
接着,将拉伸后的面部图像进行滤波处理,将面部图像内的噪点去除,此时毛孔被一并去除。例如,将预设的滤波窗口遍历式地过滤整个面部图像,并将每个位于滤波窗口内的灰度矩阵进行中值滤波,如此滤除了毛孔。去除毛孔及小噪点的中值滤波结果图,可以作为下一步差分处理的背景图像。其中,所述滤波窗口的尺寸大于等于经统计的毛孔尺寸。经统计的所述毛孔尺寸可为经验值、或自所述面部图像中检测而得的。例如,将所述面部图像进行灰度拉伸后,统计符合预设灰度跳变规则的灰度脉冲宽度,将所统计的符合规则的灰度脉冲宽度最大值作为所述毛孔尺寸来设置所述滤波窗口。
另外,所述中值处理的方式举例为:计算一个滤波窗口中的M个像素点的灰度值中值; 判断该滤波窗口中心点的灰度值是否均与M个像素点的灰度值的中值相等;若是,确定该滤波窗口中心的灰度值为该滤波窗口中的像素点的灰度值的中值。
需要说明的是,上述中值滤波的方式仅为举例,而非对本申请的限制。事实上,本申请采用中值滤波的目的是为了滤除图像中的毛孔,由此生成背景图像。本申请可采用其他中值滤波方式(如快速中值滤波算法)以达到上述目的。
接着,将滤波后的面部图像与原始面部图像中对应面部图像进行基于灰度的背景抑制得到突出了包含毛孔的图像部分和抑制了背景图像部分的面部图像。例如,将滤波后的面部图像的灰度与原始面部图像中对应面部图像的灰度相减(即差分处理),以突出包含毛孔的图像像素点灰度。
在步骤S120中,将预处理后的面部图像分块,并确定各图像块的毛孔分隔阈值。其中,图像分块可依据预设的毛孔尺寸若干倍。例如,为了既确保对目标毛孔提取准确,又保证计算效率,设置图像分块的尺寸在预设毛孔尺寸的1至4倍之间。其中,所述预设毛孔尺寸可可为经验值、或自所述面部图像中检测而得的。例如,将所述面部图像进行灰度拉伸或滤波处理后,统计符合预设灰度跳变规则的灰度脉冲宽度,将所统计的符合规则的灰度脉冲宽度最大值作为所述毛孔尺寸来设置所述滤波窗口。
在某些实施方式中,所述处理装置32可将每个图像块中像素进行灰度统计,并根据统计结果选取对应图像块的毛孔分隔阈值。其中,选取毛孔分隔阈值的方式可采用将以图像块中的灰度相对比例而设。
在另一些实施方式中,所述处理装置32基于大津法阈值算法逐个地确定各所述图像块的毛孔分隔阈值。在此,所述大津法也称最大类间差法,其按照图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。在本步骤中,利用大津法阈值算法对每个图像块中的像素灰度进行阈值计算,所得到的毛孔分隔阈值将作为进一步抑制背景的筛选条件。本申请采用将面部图像分块设置毛孔分隔阈值的方式有效解决了毛孔亮度不均匀所带来的毛孔检测不准确的问题。
在对面部图像进行分块处理期间,技术人员发现对于全皮肤图像块、或包含较小毛孔尺寸的图像块,利用上述大津法计算阈值会出现毛孔分隔阈值过低的情况,为此,本步骤进一步包括:对所计算出的各毛孔分隔阈值进行补偿的步骤。
具体地,预设一补偿值delta,阈值下限th_min,该补偿值可按经验获得或基于机器学习 得到。按照大津法阈值算法得到对应每个图像块的阈值为th_ostu,每个图像块的毛孔分隔阈值设为th=th_ostu+delta,并比较每个th与th_min,当th<th_min时,则th=th_min,反之,则毛孔分隔阈值即为th_ostu+delta。
在步骤S130中,按照各图像块所对应的毛孔分隔阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选毛孔图像。
具体地,本步骤可在确定每个图像块的毛孔分隔阈值时,或者在确定所有图像块的毛孔分隔阈值后,保留相应图像块中高于所述毛孔分隔阈值的灰度值并降低小于等于所述毛孔分隔阈值的灰度值。其中,被保留灰度值的像素点所连成的区域被作为候选毛孔图像。所得到的候选毛孔图像可能在一个图像块中,也可能由相邻图像块拼接而成。故而,所述候选毛孔图像的确定是基于整幅面部图像而得到的,而非仅依据单个图像块。例如,如图2所示,图像块A中被保留灰度的各相邻像素点所组成的区域位于图像块A的中部,周围被低灰度值(如灰度值为0)的像素点包围,则确定该所围区域为候选毛孔图像。又如,如图3所示,图像块B中被保留灰度的各相邻像素点所组成的区域位于图像块B与图像块C交接处,则计算机设备同时自图像块C中与图像块B相接处向图像块C延伸检测像素点的灰度值,以得到完整的候选毛孔图像。
在另一些具体示例中,本步骤可根据基于面部图像中被滤出的像素点所围成的区域确定为候选毛孔图像。在此,本示例中采用以面部图像作为分析对象的方式,将被滤出的相邻像素点(如保留有灰度值的相邻像素点)所围成的区域作为候选毛孔图像。
在步骤S140中,从各所述候选毛孔图像中筛选所述面部图像中的目标毛孔图像。
具体地,基于将各所述候选毛孔图像进行形状和/或尺寸的匹配结果,确定所述面部图像中目标毛孔图像。在此,所述处理装置32可根据候选毛孔图像中像素点的个数和位置来确定候选毛孔图像的形状和尺寸。例如,以单个像素点为单位面积,通过统计候选毛孔图像中的像素点个数,确定每个候选毛孔图像的面积。又如,根据每个候选毛孔图像中像素点的位置确定候选毛孔图像的轮廓。所述处理装置32可将面积小于预设面积阈值的候选毛孔图像予以保留,和/或将轮廓形状接近圆形的候选毛孔图像予以保留,由此得到面部图像中的目标毛孔图像。
在某些实施方式中,所述步骤S140包括:步骤S141:遍历式地计算所述候选毛孔图像与预设形状的覆盖相应候选毛孔图像的图形之间的形状和尺寸。在此,预设形状的图形包括但不限于:正四边形、正五边形、正六边形、圆形等。所预设形状的图形的长宽尺寸可以是固定的,或者按照外接对应候选毛孔图像的尺寸设置。
例如,所述处理装置32一方面遍历式地为每个候选毛孔图像配置对应的外接圆形,并计算候选毛孔图像占相应外接圆形的面积比例,由此确定二者的形状差距,若二者比例小于预设门限,则认定二者形状差距不大,即候选毛孔图像的形状接近圆形。所述处理装置32另一方面以单个像素点为单位面积,通过统计候选毛孔图像中的像素点个数,确定相应候选毛孔图像的面积。
在步骤S142中,将符合预设匹配条件的各计算结果所对应的候选毛孔图像作为目标毛孔图像。例如,所述处理装置32将接近圆形且面积小于预设面积阈值的候选毛孔图像确定为目标毛孔图像。
需要说明的是,本领域技术人员应该理解,处理装置32在进行多条件筛选时可能按照优先级进行,当候选毛孔图像因满足优先级较高的条件而被过确定目标毛孔图像时,并不意味着处理装置32不具备利用优先级交底的条件确定目标毛孔图像的能力。
所述面部检测设备还可以包含显示装置35。
所述显示装置35用于显示标记了所检测出的毛孔图像的面部图像。
其中,所述显示装置35可包含液晶显示器、图像处理器等。其中,所述液晶显示器举例但不限于:LED显示器、OLCD显示器等。所述图像处理器可单独配置(如GPU),或集成在处理装置32中。
所述处理装置32将所得到的各目标毛孔图像的轮廓标记在原始面部图像上,并由显示装置35显示给用户和医生。在某些实施方式中,所得到的各目标毛孔图像可按照尺寸等级标记不同颜色,并叠加在原始面部图像上,显示给用户和医生。由此便于用户和医生进行自我评价及诊治评估。
在另一些实施方式中,所述存储装置31还可以保存至少一个ROI区域模板,以及借助所述ROI区域模板对所存储的面部图像进行毛孔检测的程序。其中,所述ROI区域模板为预设的经由样本图像学习而得到的面部图像的公共感兴趣区域。
所述处理装置32按照图4所示流程执行相应毛孔检测程序。具体如下:
在步骤S210中,识别所获得的面部图像中的器官区域。
在此,所述面部图像可利用与处理装置32相连的摄像装置拍摄而得,或者经由网络自其它电子设备获取。其中,为了对面部图像进行准确的毛孔检测,所采用的面部图像的清晰度可基于摄像装置的焦距拍摄而得。例如,通过调整摄像装置的光圈、聚焦位置,以及用户相距摄像装置的距离等,得到清晰的面部图像。除此之外,为了防止背景对毛孔检测的干扰,所获取的面部图像还以纯色、浅色背景为佳,但并不表示本申请所使用的面部图像必然为纯 色或浅色背景。本领域技术人员可利用抠图技术将背景进行处理,在此不予详述。
所述处理装置32基于面部各器官的特征(如形状特征、毛发特征、颜色特征等)识别面部图像的器官区域。例如,基于颜色特征和面部对称特性识别眼睛和眉毛所在区域。
在某些实施方式中,本步骤可基于预设的ROI区域模板提取所述面部图像中的器官区域。具体地,本步骤包括步骤S211和S212(未予图示)。
在步骤S211中,基于ROI区域模板将所述面部图像按照器官位置进行图像分割。具体地,所述处理装置32识别出面部图像的轮廓,再根据预设的ROI区域模板中描述的ROI区域模板轮廓在平均样本图像中的位置,将所述ROI区域模板轮廓放置在所获取的面部图像中。再按照ROI区域模板将面部图像分块。
需要说明的是,所述图像分块方式可仅利用ROI区域模板轮廓对面部图像进行分块标记,而并非一定进行图像块抠图处理。
在步骤S212中,识别所分割后的图像区域中的器官区域。具体地,所述处理装置32利用ROI区域模板所表示的面部区域,在面部图像中识别器官区域。例如,利用对应颧骨区域的ROI区域模板,在与该区域模板相邻的图像分块中识别单体用户的眼部区域和/或鼻部区域。
在步骤S220中,将预设的ROI区域模板向所识别的器官区域的边缘调整,得到所述面部图像的ROI区域。
具体地,所述处理装置32按照所确定的器官区域将ROI区域模板的轮廓外接、或者靠近相邻器官区域上,以得到对应单体用户的面部图像中的ROI区域。其中,所述ROI区域模板的轮廓可向一种器官区域延伸,或向相邻的多种器官区域延伸。在此,所述ROI区域模板的延伸包括ROI区域模板轮廓的外延及收缩。更具体地,所述处理装置32将ROI区域模板向相临器官区域延伸,直至满足与相应器官区域的临界条件。其中,所述临界条件包括但不限于:两个区域共用外接轮廓线、两个区域共用外接轮廓点、两个区域的最短距离小于预设值等。
在某些实施例中,所述处理装置32确定ROI区域模板轮廓中与相邻的器官区域轮廓的间距小于预设距离阈值的部分轮廓,将ROI区域模板中的该部分轮廓替换成器官区域的对应部分轮廓,以得到对应单体用户的ROI区域。如图5-A和5-B所示,遍历式地检测颧骨ROI区域模板轮廓11和相邻的眼部区域轮廓12之间的间距,以确定颧骨ROI区域模板轮廓11和眼部区域轮廓12之间间距,将颧骨ROI区域模板11中至少一部分轮廓向眼部区域12的对应部分轮廓延伸(如图5-B中虚线所示),以得到对应单体用户的颧骨ROI区域。其中, 所延伸的部分轮廓是基于间距小于预设门限而确定的。
又如,如图5-A和5-C所示,将ROI区域模板中的特征点向相邻的器官区域轮廓移动,直至所移动的特征点与器官轮廓的间距小于预设值或相接。在此,特征点的移动方向和移动距离可以由人为处置。或者,所述特征点向沿所在法线方向向器官区域轮廓移动。所述处理装置32将移动后的特征点所围成的区域作为对应单体用户的ROI区域。
需要说明的是,本申请中描述的特征点的移动方向仅为举例,而非限制。所述特征点还可以根据与相邻器官区域轮廓的最短距离,沿最短距离方向移动。
所述处理装置32还可以将所得到的ROI区域轮廓进行圆滑处理。所述处理装置32可重点检测所确定的ROI区域内的皱纹状况、皮肤斑、毛孔状况等,进而通过匹配检测结果确定皮肤当前的状况,如确定皮肤年龄、确定皮肤斑病变类型等。或者,根据检测结果对面部图像进行美化等。
需要说明的是,本领域技术人员应该理解,上述针对单体用户的颧骨ROI区域的确定仅为举例而非对本申请范围的限制。事实上,本领域技术人员可结合上述示例和所要确定的ROI区域的特点进行研发设计,且基于本申请所述的技术框架而使用的技术手段均应被视为本申请范围内的具体示例。
在确定了所述面部图像中ROI区域后,在所确定的ROI区域内检测目标毛孔图像。
在步骤S230中,将面部图像中的ROI区域进行毛孔筛选预处理。
在此,为了减少拍摄环境光对毛孔检测的干扰,本步骤对面部图像中的ROI区域基于灰度的毛孔预处理。具体地,将灰度高于预设值的像素点作为用于检测毛孔图像的区域,进而利用灰度拉伸算法将图像中包含毛孔图像的像素灰度予以突出,由此便于后续步骤自突出灰度的图像部分中提取目标毛孔图像,以减少计算量。
在某些实施方式中,本步骤具体利用毛孔图像与皮肤图像之间的灰度差异,突出包含毛孔图像的各像素点。
具体地,为了突出面部图像中的ROI区域中毛孔与皮肤灰度的跳变性差异,先将面部图像中的ROI区域进行灰度反向处理,并依据下述步骤处理背景图像。
接着,将ROI区域进行灰度拉伸处理,以扩大包含毛孔在内的面部深色区域与背景区域的灰度差异。在此,所述灰度拉伸处理是一种提高图像处理时的灰度级的动态范围的方式,其用于提高包含毛孔在内的灰度与皮肤及背景灰度之间的差距,有利于在灰度过滤时更完整的保留毛孔图像。在此,所述计算机设备可利用预设的分段线性变换函数或直方图均衡算法对面部图像中的ROI区域进行整体的灰度拉伸处理。例如,将面部图像中的ROI区域中各像 素的灰度值进行整体线性的拉伸变换,由此拉伸整幅图像的灰度。又如,设置一灰度拉伸窗,将所述灰度拉伸窗遍历ROI区域,并对窗内各像素点进行灰度拉伸处理,以得到灰度拉伸后的面部图像中的ROI区域。其中,所述灰度拉伸处理举例采用公式:其中,x为某一像素点调整前的像素点灰度值,xmin为调整前各个像素点灰度值中的最小值,xmax为调整前各个像素点灰度值中的最大值,为调整后各个像素点灰度值中的最小值,为调整后各个像素点灰度值中的最大值,x*为该像素点调整后的像素点灰度值。
需要说明的是,上述灰度拉伸的方式仅为举例,而非对本申请的限制。事实上,本申请采用灰度拉伸的目的是为了突出毛孔灰度同时抑制背景灰度,由此提高毛孔检测准确率。本申请可采用其他灰度拉伸方式以达到上述目的。
接着,将拉伸后的ROI区域进行滤波处理,将ROI区域内的噪点去除,此时毛孔被一并去除。例如,将预设的滤波窗口遍历式地过滤整个ROI区域,并将每个位于滤波窗口内的灰度矩阵进行中值滤波,如此滤除了毛孔。去除毛孔及小噪点的中值滤波结果图,可以作为下一步差分处理的背景图像。其中,所述滤波窗口的尺寸大于等于经统计的毛孔尺寸。经统计的所述毛孔尺寸可为经验值、或自所述ROI区域中检测而得的。例如,将所述ROI区域进行灰度拉伸后,统计符合预设灰度跳变规则的灰度脉冲宽度,将所统计的符合规则的灰度脉冲宽度最大值作为所述毛孔尺寸来设置所述滤波窗口。
另外,所述中值处理的方式举例为:计算一个滤波窗口中的M个像素点的灰度值中值;判断该滤波窗口中心点的灰度值是否均与M个像素点的灰度值的中值相等;若是,确定该滤波窗口中心的灰度值为该滤波窗口中的像素点的灰度值的中值。
需要说明的是,上述中值滤波的方式仅为举例,而非对本申请的限制。事实上,本申请采用中值滤波的目的是为了滤除图像中的毛孔,由此生成背景图像。本申请可采用其他中值滤波方式(如快速中值滤波算法)以达到上述目的。
接着,将滤波后的ROI区域与原始面部图像中对应ROI区域进行基于灰度的背景抑制得到突出了包含毛孔的图像部分和抑制了背景图像部分的ROI区域。例如,将滤波后的ROI区域的灰度与原始面部图像中对应ROI区域的灰度相减(即差分处理),以突出包含毛孔的图像像素点灰度。
在步骤S240中,将预处理后的ROI区域分块,并确定各图像块的毛孔分隔阈值。其中,图像分块可依据预设的毛孔尺寸若干倍。例如,为了既确保对目标毛孔提取准确,又保证计算效率,设置图像分块的尺寸在预设毛孔尺寸的1至4倍之间。其中,所述预设毛孔尺寸可可为经验值、或自所述ROI区域中检测而得的。例如,将所述ROI区域进行灰度拉伸或滤波处理后,统计符合预设灰度跳变规则的灰度脉冲宽度,将所统计的符合规则的灰度脉冲宽度最大值作为所述毛孔尺寸来设置所述滤波窗口。
在某些实施方式中,所述处理装置32可将每个图像块中像素进行灰度统计,并根据统计结果选取对应图像块的毛孔分隔阈值。其中,选取毛孔分隔阈值的方式可采用将以图像块中的灰度相对比例而设。
在另一些实施方式中,所述处理装置32基于大津法阈值算法逐个地确定各所述图像块的毛孔分隔阈值。在此,所述大津法也称最大类间差法,其按照图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。在本步骤中,利用大津法阈值算法对每个图像块中的像素灰度进行阈值计算,所得到的毛孔分隔阈值将作为进一步抑制背景的筛选条件。本申请采用将ROI区域分块设置毛孔分隔阈值的方式有效解决了毛孔亮度不均匀所带来的毛孔检测不准确的问题。
在对ROI区域进行分块处理期间,技术人员发现对于全皮肤图像块、或包含较小毛孔尺寸的图像块,利用上述大津法计算阈值会出现毛孔分隔阈值过低的情况,为此,本步骤进一步包括:对所计算出的各毛孔分隔阈值进行补偿的步骤。
具体地,预设一补偿值delta,阈值下限th_min,该补偿值可按经验获得或基于机器学习得到。按照大津法阈值算法得到对应每个图像块的阈值为th_ostu,每个图像块的毛孔分隔阈值设为th=th_ostu+delta,并比较每个th与th_min,当th<th_min时,则th=th_min,反之,则毛孔分隔阈值即为th_ostu+delta。
在步骤S250中,按照各图像块所对应的毛孔分隔阈值对各图像块分别进行过滤,以得到所述ROI区域中的各候选毛孔图像。
具体地,本步骤可在确定每个图像块的毛孔分隔阈值时,或者在确定所有图像块的毛孔分隔阈值后,保留相应图像块中高于所述毛孔分隔阈值的灰度值并降低小于等于所述毛孔分隔阈值的灰度值。其中,被保留灰度值的像素点所连成的区域被作为候选毛孔图像。所得到的候选毛孔图像可能在一个图像块中,也可能由相邻图像块拼接而成。故而,所述候选毛孔图像的确定是基于整体的ROI区域而得到的,而非仅依据单个图像块。例如,如图2所示,图像块A中被保留灰度的各相邻像素点所组成的区域位于图像块A的中部,周围被低灰度值(如灰度值为0)的像素点包围,则确定该所围区域为候选毛孔图像。又如,如图3所示,图像块B中被保留灰度的各相邻像素点所组成的区域位于图像块B与图像块C交接处,则计 算机设备同时自图像块C中与图像块B相接处向图像块C延伸检测像素点的灰度值,以得到完整的候选毛孔图像。
在另一些具体示例中,本步骤可根据基于ROI区域中被滤出的像素点所围成的区域确定为候选毛孔图像。在此,本示例中采用以ROI区域作为分析对象的方式,将被滤出的相邻像素点(如保留有灰度值的相邻像素点)所围成的区域作为候选毛孔图像。
在步骤S260中,从各所述候选毛孔图像中筛选所述ROI区域中的目标毛孔图像。
具体地,基于将各所述候选毛孔图像进行形状和/或尺寸的匹配结果,确定所述ROI区域中目标毛孔图像。在此,所述处理装置32可根据候选毛孔图像中像素点的个数和位置来确定候选毛孔图像的形状和尺寸。例如,以单个像素点为单位面积,通过统计候选毛孔图像中的像素点个数,确定每个候选毛孔图像的面积。又如,根据每个候选毛孔图像中像素点的位置确定候选毛孔图像的轮廓。所述处理装置32可将面积小于预设面积阈值的候选毛孔图像予以保留,和/或将轮廓形状接近圆形的候选毛孔图像予以保留,由此得到ROI区域中的目标毛孔图像。
在某些实施方式中,所述步骤S260包括:步骤S261:遍历式地计算所述候选毛孔图像与预设形状的覆盖相应候选毛孔图像的图形之间的形状和尺寸。在此,预设形状的图形包括但不限于:正四边形、正五边形、正六边形、圆形等。所预设形状的图形的长宽尺寸可以是固定的,或者按照外接对应候选毛孔图像的尺寸设置。
例如,所述处理装置32一方面遍历式地为每个候选毛孔图像配置对应的外接圆形,并计算候选毛孔图像占相应外接圆形的面积比例,由此确定二者的形状差距,若二者比例小于预设门限,则认定二者形状差距不大,即候选毛孔图像的形状接近圆形。所述处理装置32另一方面以单个像素点为单位面积,通过统计候选毛孔图像中的像素点个数,确定相应候选毛孔图像的面积。
在步骤S262中,将符合预设匹配条件的各计算结果所对应的候选毛孔图像作为目标毛孔图像。例如,所述处理装置32将接近圆形且面积小于预设面积阈值的候选毛孔图像确定为目标毛孔图像。
需要说明的是,本领域技术人员应该理解,处理装置32在进行多条件筛选时可能按照优先级进行,当候选毛孔图像因满足优先级较高的条件而被过确定目标毛孔图像时,并不意味着处理装置32不具备利用优先级交底的条件确定目标毛孔图像的能力。
所得到的各目标毛孔图像可标记其轮廓并叠加在原始面部图像中的ROI区域上,并显示给用户和医生。在某些实施方式中,所得到的各目标毛孔图像可按照尺寸等级标记不同颜色, 并叠加在原始面部图像中的ROI区域上,显示给用户和医生。由此便于用户和医生进行自我评价及诊治评估。
需要说明的是,上述各实施方式中的毛孔检测程序还可以单独或作为美颜处理软件中的一部分被存储在如服务端的存储介质中。同时,通过以上各实施方式的描述,本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质,这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本申请的实施例来执行操作。机器可读介质可包括,但不限于,软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。其中,所述存储介质可位于终端设备(如面部检测设备、或智能终端等)也可位于第三方服务器中,如位于提供某应用商城的服务器中。在此对具体应用商城不做限制,如小米应用商城、华为应用商城、苹果应用商城等。
本申请可用于众多通用或专用的计算***环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。
Claims (19)
1.一种毛孔检测方法,其特征在于,包括:
将所获取的面部图像进行毛孔筛选预处理;
将预处理后的面部图像分块,并确定各图像块的毛孔分隔阈值;
按照各图像块所对应的毛孔分隔阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选毛孔图像;
从各所述候选毛孔图像中筛选所述面部图像中的目标毛孔图像。
2.根据权利要求1所述的毛孔检测方法,其特征在于,所述将所获取的面部图像进行毛孔筛选预处理的方式包括:利用毛孔图像与皮肤图像之间的灰度差异,突出包含毛孔图像的各像素点灰度。
3.根据权利要求1所述的毛孔检测方法,其特征在于,所述确定各图像块的毛孔分隔阈值的方式包括:基于大津法阈值算法逐个地确定各所述图像块的毛孔分隔阈值。
4.根据权利要求3所述的毛孔检测方法,其特征在于,还包括:对所计算出的各毛孔分隔阈值进行补偿的步骤。
5.根据权利要求1所述的毛孔检测方法,其特征在于,所述按照各图像块所对应的毛孔分隔阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选毛孔图像的方式包括:基于面部图像中被滤出的像素点所围成的区域确定为候选毛孔图像。
6.根据权利要求1所述的毛孔检测方法,其特征在于,所述从各候选毛孔图像中筛选所述面部图像中的目标毛孔图像的方式包括:
遍历式地计算所述候选毛孔图像与预设形状的覆盖相应候选毛孔图像的图形之间的形状和尺寸;
将符合预设匹配条件的各计算结果所对应的候选毛孔图像作为目标毛孔图像。
7.根据权利要求1所述的毛孔检测方法,其特征在于,还包括:利用预设的ROI区域模板截取所获取的面部图像,并以所截取的ROI区域作为毛孔筛选预处理及后续处理所依据的面部图像。
8.一种面部检测设备,其特征在于,包括:
存储装置,用于存储所获取的面部图像以及用于进行毛孔检测的程序;
处理装置,用于执行所述程序以按照如权利要求1-8中任一种检测方法中的步骤检测所述面部图像中的目标毛孔图像。
9.根据权利要求8所述的面部检测设备,其特征在于,还包括:摄像装置,用于摄取面部图像并保存在所述存储装置中。
10.根据权利要求9所述的面部检测设备,其特征在于,还包括:拍摄提示装置,位于摄像装置前,用于提示测试者在所述摄像装置摄取方向的头部摆放。
11.根据权利要求8所述的面部检测设备,其特征在于,还包括:显示装置,用于显示标记了所检测出的毛孔图像的面部图像。
12.一种存储介质,其特征在于,存储有所获取的面部图像以及用于进行毛孔检测的程序;其中,所述程序在被处理器执行时,按照如权利要求1-8中任一种检测方法中的步骤检测所述面部图像中的目标毛孔图像。
13.一种毛孔检测***,其特征在于,包括:
预处理模块,用于将所获取的面部图像进行毛孔筛选预处理;
毛孔提取模块,用于将预处理后的面部图像分块,确定各图像块的毛孔分隔阈值,以及按照各图像块所对应的毛孔分隔阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选毛孔图像;
筛选模块,用于从各所述候选毛孔图像中筛选所述面部图像中的目标毛孔图像。
14.根据权利要求13所述的毛孔检测***,其特征在于,所述预处理模块具体用于利用毛孔图像与皮肤图像之间的灰度差异,突出包含毛孔图像的各像素点灰度。
15.根据权利要求13所述的毛孔检测***,其特征在于,所述毛孔提取模块确定各图像块的毛孔分隔阈值的方式包括:基于大津法阈值算法逐个地确定各所述图像块的毛孔分隔阈值。
16.根据权利要求15所述的毛孔检测***,其特征在于,所述毛孔提取模块还用于对所计算出的各毛孔分隔阈值进行补偿。
17.根据权利要求13所述的毛孔检测***,其特征在于,所述毛孔提取模块按照各图像块所对应的毛孔分隔阈值对各图像块分别进行过滤,以得到所述面部图像中的各候选毛孔图像的方式包括:基于面部图像中被滤出的像素点所围成的区域确定为候选毛孔图像。
18.根据权利要求13所述的毛孔检测***,其特征在于,所述毛孔提取模块从各候选毛孔图像中筛选所述面部图像中的目标毛孔图像的方式包括:
遍历式地计算所述候选毛孔图像与预设形状的覆盖相应候选毛孔图像的图形之间的形状和尺寸;
将符合预设匹配条件的各计算结果所对应的候选毛孔图像作为目标毛孔图像。
19.根据权利要求13所述的毛孔检测***,其特征在于,还包括:ROI区域提取模块,用于利用预设的ROI区域模板截取所获取的面部图像,并以所截取的ROI区域作为毛孔筛选预处理及后续处理所依据的面部图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710609706.1A CN109300105A (zh) | 2017-07-25 | 2017-07-25 | 毛孔检测方法、***、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710609706.1A CN109300105A (zh) | 2017-07-25 | 2017-07-25 | 毛孔检测方法、***、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109300105A true CN109300105A (zh) | 2019-02-01 |
Family
ID=65167723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710609706.1A Pending CN109300105A (zh) | 2017-07-25 | 2017-07-25 | 毛孔检测方法、***、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109300105A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110796638A (zh) * | 2019-09-29 | 2020-02-14 | 合肥方程式电子科技有限公司 | 毛孔检测方法 |
CN112274110A (zh) * | 2020-10-10 | 2021-01-29 | 苏州万微光电科技有限公司 | 一种基于皮肤荧光图像的毛孔检测***、装置及方法 |
CN114119597A (zh) * | 2021-12-08 | 2022-03-01 | 林丹柯 | 粉刺黑头非接触测试方法、***、计算机设备、及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104299011A (zh) * | 2014-10-13 | 2015-01-21 | 吴亮 | 一种基于人脸图像识别的肤质与皮肤问题识别检测方法 |
CN104537357A (zh) * | 2015-01-13 | 2015-04-22 | 青岛大学 | 一种基于显著性特征的人脸痣检测方法 |
CN104732214A (zh) * | 2015-03-24 | 2015-06-24 | 吴亮 | 一种基于人脸图像识别的定量化肤质检测方法 |
CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
CN106469302A (zh) * | 2016-09-07 | 2017-03-01 | 成都知识视觉科技有限公司 | 一种基于人工神经网络的人脸肤质检测方法 |
CN106599841A (zh) * | 2016-12-13 | 2017-04-26 | 广东工业大学 | 一种基于全脸匹配的身份验证方法及装置 |
-
2017
- 2017-07-25 CN CN201710609706.1A patent/CN109300105A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104299011A (zh) * | 2014-10-13 | 2015-01-21 | 吴亮 | 一种基于人脸图像识别的肤质与皮肤问题识别检测方法 |
CN104537357A (zh) * | 2015-01-13 | 2015-04-22 | 青岛大学 | 一种基于显著性特征的人脸痣检测方法 |
CN104732214A (zh) * | 2015-03-24 | 2015-06-24 | 吴亮 | 一种基于人脸图像识别的定量化肤质检测方法 |
CN106056092A (zh) * | 2016-06-08 | 2016-10-26 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
CN106469302A (zh) * | 2016-09-07 | 2017-03-01 | 成都知识视觉科技有限公司 | 一种基于人工神经网络的人脸肤质检测方法 |
CN106599841A (zh) * | 2016-12-13 | 2017-04-26 | 广东工业大学 | 一种基于全脸匹配的身份验证方法及装置 |
Non-Patent Citations (1)
Title |
---|
张景源: "便携式人脸肤质检测与评价***的设计与实现", 《万方数据》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110796638A (zh) * | 2019-09-29 | 2020-02-14 | 合肥方程式电子科技有限公司 | 毛孔检测方法 |
CN110796638B (zh) * | 2019-09-29 | 2023-03-24 | 合肥方程式电子科技有限公司 | 毛孔检测方法 |
CN112274110A (zh) * | 2020-10-10 | 2021-01-29 | 苏州万微光电科技有限公司 | 一种基于皮肤荧光图像的毛孔检测***、装置及方法 |
CN114119597A (zh) * | 2021-12-08 | 2022-03-01 | 林丹柯 | 粉刺黑头非接触测试方法、***、计算机设备、及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104463159B (zh) | 一种定位虹膜的图像处理方法和装置 | |
CN101317183B (zh) | 在获取的眼睛的图像中定位表示虹膜的像素的方法 | |
CN109640821B (zh) | 用于面部检测/识别***的方法和装置 | |
CN105678286B (zh) | 一种瞳孔定位方法及设备 | |
CN109299632A (zh) | 皮肤检测方法、***、设备及存储介质 | |
CN106778695A (zh) | 一种基于视频的多人快速心率检测方法 | |
CN113574542A (zh) | 宽场自发荧光图像中患有年龄相关性黄斑变性的患者中地理萎缩模式分割与分类 | |
CN109299634A (zh) | 斑检测方法、***、设备及存储介质 | |
CN109299633A (zh) | 皱纹检测方法、***、设备及介质 | |
JP6756524B2 (ja) | 美容施術効果の解析方法 | |
CN105426843B (zh) | 一种单镜头下掌静脉和掌纹图像采集装置及图像增强和分割方法 | |
CN109300105A (zh) | 毛孔检测方法、***、设备及存储介质 | |
Dantcheva et al. | On the reliability of eye color as a soft biometric trait | |
JP6504959B2 (ja) | ストレスモニタリング用画像処理方法及びそのプログラム | |
CN106846293A (zh) | 图像处理方法和装置 | |
CN110909601B (zh) | 一种基于深度学习的美瞳识别方法及*** | |
Ashok et al. | Detection of retinal area from scanning laser ophthalmoscope images (SLO) using deep neural network | |
CN109978810A (zh) | 痣的检测方法、***、设备及存储介质 | |
US10956735B1 (en) | System and method for determining a refractive error from red reflex images of eyes | |
Parikh et al. | Effective approach for iris localization in nonideal imaging conditions | |
CN103955941B (zh) | 一种角膜内皮细胞分析仪及分析方法 | |
Jia et al. | Eyeglasses removal from facial image based on phase congruency | |
Kusuma et al. | Retracted: Heart Abnormalities Detection Through Iris Based on Mobile | |
Karakaya et al. | An iris segmentation algorithm based on edge orientation for off-angle iris recognition | |
Reza et al. | Automatic detection of optic disc in fundus images by curve operator |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190201 |