CN112613459B - 一种人脸敏感区域检测方法 - Google Patents

Abstract

本发明公开了一种人脸敏感区域检测方法，包括获取人脸；获取最大占比人脸；获取关键点；扩展关键点，获得mask区；生成人脸红图；获取红图脸颊区域及其阈值；获取二值mask图像。本发明一种人脸敏感区域检测方法通过扩展增设用于进行额头定位的额头关键点以更全面地进行人脸敏感区域检测，并通过生成人脸红图进行检测以增强抗扰动性，提高检测的精准度。

Description

一种人脸敏感区域检测方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种人脸敏感区域检测方法。

背景技术

在医疗及日常皮肤保养过程中通常需要检测个人的皮肤状况，尤其是脸部的皮肤状况。常用的方式是医师直接根据用户的人脸照片或影像，从中选出呈现皮肤斑点与痘疤等皮肤缺陷影像的照片或影像。若为实体的照片，则可利用签字笔或其它有色笔在实体照片上圈选呈现皮肤缺陷影像的部位；若为数字影像，则利用光笔在操作界面上的显示画面上圈选呈现皮肤缺陷影像的部位，或利用相关操作界面的标示功能，直接于显示画面上圈选呈现皮肤缺陷影像的部位。之后医师与患者双方再评估与讨论需要进行皮肤美容与治疗的部位。

然而此模式对医师和患者而言，需花费较多的时间成本与人力成本，因此，出现了现有的脸部缺陷分析***，但现有的脸部缺陷分析***的直接利用原输入图像进行图像处理，抗干扰性差，检测精准率低。

鉴于此，有必要提供一种人脸敏感区域检测方法以提高抗干扰性能，提升检测的精准率。

发明内容

本发明所要解决的技术问题是提供一种人脸敏感区域检测方法以提高抗干扰性能，提升检测的精准率。

为解决上述技术问题，本发明采用如下所述的技术方案：一种人脸敏感区域检测方法，包括：

获取人脸：使用目标检测算法基于PyTorch深度学习框架对采集图像进行人脸检测，获取每一人脸图像并保存其于采集图像中的位置信息；

获取最大占比人脸：计算各个人脸图像于采集图像的面积占比，获取面积占比最大的人脸图像为最大占比人脸图像，记录其位置信息；

获取关键点：通过Dlib数据库对获得的最大占比人脸图像进行人脸关键点检测，获取所有的人脸关键点的坐标，其中，所述人脸关键点包括左眼关键点、右眼关键点、嘴巴关键点、鼻子关键点及脸周关键点；

扩展关键点，获得mask区：根据所述人脸关键点的坐标扩展增设用于进行额头定位的额头关键点，更新人脸关键点，结合额头关键点及脸周关键点进行人脸区域定位，根据左眼关键点、右眼关键点及嘴巴关键点分别进行左眼区域定位、右眼区域定位及嘴巴区域定位，排除人脸区域中的左眼区域、右眼区域及嘴巴区域，获得最大占比人脸图像的用于进行人脸敏感区域检测定位的mask区；

生成人脸红图：将所述采集图像转换为YCrCb颜色空间的色彩图像，Y为亮度分量，Cr为红色色度分量，Cb为蓝色色度分量，以蓝色色度分量为横坐标轴，红色色度分量为纵坐标轴，建立色度平面直角坐标系，计算色彩图像的每个像素与色度平面直角坐标系中的设定直线L之间的相对位置，放大获得的相对位置，获取放大相对位置，并限定其对应的灰度，根据获得的灰度结合红色色卡，生成人脸红图；

获取红图脸颊区域及其阈值：根据生成的人脸红图，结合扩展更新后的人脸关键点，选取对应位于脸颊区域的人脸关键点，获取红图脸颊区域，将左、右脸颊区域拼接为红图脸颊图像，利用图像阈值分割法获取红图脸颊图像的图像阈值；

获取二值mask图像：利用获得的mask区于人脸红图进行定位，结合获得的图像阈值对定位后的人脸红图进行图像阈值分割，获得二值mask图像为人脸敏感区域图像。

其进一步技术方案为：所述获取人脸的步骤前还具体包括：图像采集：利用带有偏正片的摄像头的摄像设备进行人脸拍摄，获取采集图像。

其进一步技术方案为：所述获取人脸的步骤具体包括：

输入包括人脸的采集图像并对其进行目标检测算法的训练，获取人脸目标模型，保存满足预设精度条件的人脸目标模型及其权重；

将保存的满足预设精度条件的人脸目标模型的权重加载至Yolov5算法的网络模型结构，获取对应的目标模型结构，输入采集图像，根据目标模型结构于采集图像中进行人脸检测，获取检测到的每一人脸图像于采集图像中的对角坐标，并将其保存于人脸坐标列表中。

其进一步技术方案为：所述预设精度条件为人脸图像的像素大于预设像素阈值，且像素大于预设像素阈值的人脸图像的坐标于人脸标记坐标的误差小于预设的误差阈值。

其进一步技术方案为：所述扩展关键点，获得mask区的步骤具体包括：

假设一二次函数，该二次函数用以下公式表示：

y₁=A×(x-x₀)×(x-x₁₆)

式中，y₁表示二次函数，x₀和x₁₆分别表示脸周关键点的左端端点及其右端端点的横坐标，A表示二次项系数；

将第二十七关键点和第三十关键点的纵坐标的差值作为所述二次函数的高度且为所述二次函数对应于脸周关键点的左端端点与其右端端点之间的中心点的纵坐标，根据所述中心点的横坐标与纵坐标以计算获得二次项系数；

将第十七关键点至第二十一关键点、所述中心点及第二十二关键点至第二十六关键点的横坐标分别代入所述二次函数，获取相应的输出结果为增设的关键点的纵坐标，并将对应的纵坐标与横坐标进行组合，获得扩展增设的用于进行额头定位的额头关键点，分别为第六十八关键点至第七十八关键点，更新人脸关键点；

结合额头关键点及脸周关键点进行人脸区域定位，根据左眼关键点、右眼关键点及嘴巴关键点分别进行左眼区域定位、右眼区域定位及嘴巴区域定位；

排除人脸区域中的左眼区域、右眼区域及嘴巴区域，获得最大占比人脸图像的用于进行人脸敏感区域检测定位的mask区。

其进一步技术方案为：所述生成人脸红图的步骤中的计算色彩图像的每个像素与色度平面直角坐标系中的设定直线L之间的相对位置，获取放大相对位置，并限定其对应的灰度的步骤具体包括：

利用以下公式计算色彩图像的每个像素与色度平面直角坐标系中的设定直线L之间的相对位置：

d=a×cb+b×cr-j

式中，d为像素与直线L之间的相对位置的值，a和b为预设的系数，cb为像素在Cb通道的数值，cr为像素在Cr通道的数值，j为距离偏差量；

根据获得的每个像素的相对位置，利用下列公式放大每个像素的相对位置，获取每个像素的放大相对位置：

d_m=d×p[y]-(1-p[y])×s

式中，d_m为像素与直线L之间的放大相对位置的值，d为像素与直线L之间的相对位置的值，p[y]为0到1之间随亮度分量单调递增的预设曲线，s为校量，s>0；

根据获得的每个像素的放大相对位置，利用下列公式获取每个像素的放大相对位置的灰度：

式中，gray为灰度值，d_m为像素与直线L之间的放大相对位置的值，g为灰度系数，M为灰度极值。

其进一步技术方案为：所述生成人脸红图的步骤中的根据获得的灰度结合红色色卡，生成人脸红图的步骤具体包括：

获取一张颜色深浅不同的红色图像，获取该红色图像的每个像素在R、G、B三通道的数值，并将获得的每个像素在R、G、B三通道的数值按每一通道从小到大的顺序排列，从每一通道的数值内分别等间隔各筛选256个数值，按顺序对筛选后的每一通道的数值分别对应进行组合并保存记录，获得用于记录每个灰度值所对应的R、G、B三通道的数值的红色色卡；

根据获得的每个像素的放大相对位置的灰度结合红色色卡，生成相应的人脸红图。

其进一步技术方案为：所述获取二值mask图像的步骤中的获得二值mask图像为人脸敏感区域图像具体为：

获得二值mask图像，对其进行降噪处理，获得平滑后的二值mask图像为人脸敏感区域图像；其中，所述对其进行降噪处理，获得平滑后的二值mask图像为人脸敏感区域图像的步骤具体为：

获取二值mask图像中所有的用于表示人脸敏感区域的轮廓；

获取每一轮廓的面积；

排除面积小于预设面积像素阈值的轮廓，获得初筛轮廓；

获取每一所述初筛轮廓的周长，获取每一所述初筛轮廓对应的逼近轮廓；

利用移动窗口平滑算法对逼近轮廓进行平滑降噪处理，获取平滑后的逼近轮廓的人脸关键点的坐标，生成平滑二值mask图像，保存获得的平滑二值mask图像为人脸敏感区域图像。

其进一步技术方案为：所述获取每一所述初筛轮廓的周长，获取每一所述初筛轮廓对应的逼近轮廓的步骤具体为：

获取每一所述初筛轮廓的周长；

根据逼近误差获取每一所述初筛轮廓对应的逼近轮廓，其中，逼近误差利用以下公式表示：

r=α×l

式中，r代表逼近误差，α代表系数，0<α<1，l代表初筛轮廓的周长。

其进一步技术方案为：所述利用移动窗口平滑算法对逼近轮廓进行平滑降噪处理，获取平滑后的逼近轮廓的人脸关键点的坐标，生成平滑二值mask图像，保存获得的平滑二值mask图像为人脸敏感区域图像的步骤具体为：

利用移动窗口平滑算法对逼近轮廓进行平滑降噪处理；其中，假设移动窗口的宽度为2k+1，则移动窗口的点集用以下公式表示：

Q={-k，-k+1,…，0，…，k-1，k}

式中，Q表示移动窗口的点集，k=1、2、3…N，N≥1；

采用以下公式对移动窗口的点集的数据点进行拟合，获得相应的点矩阵：

y_qi=z₀+z₁q_i+z₂q_i ²…+z_nq_i ⁿ

式中，y_qi代表移动窗口的点集中的数据点的点矩阵函数值，q_i代表移动窗口的点集的第i个数据点的值，z₀、z₁、z₂、…、z_n分别代表各阶系数，n<2k+1；

所述点矩阵用以下表达式表示：

表达式中，

表示移动窗口的点集的数据点进行拟合后的点矩阵，

表示移动窗口的点集的数据点进行n阶运算后组成的矩阵，

表示各阶系数组成的矩阵，

表示移动窗口的点集的数据点对应的噪声误差矩阵；

利用最小二乘法求解各阶系数组成的矩阵，去除噪声误差，获得平滑后的点矩阵，根据平滑后的点矩阵结合逼近轮廓的人脸关键点的坐标进行平滑处理，获得平滑后的逼近轮廓的人脸关键点的坐标；

根据平滑后的逼近轮廓的人脸关键点的坐标，生成平滑二值mask图像，保存获得的平滑二值mask图像为人脸敏感区域图像。

本发明的有益技术效果在于：本发明一种人脸敏感区域检测方法通过扩展增设用于进行额头定位的额头关键点以更全面地进行人脸敏感区域检测，并通过生成人脸红图进行检测以增强抗扰动性，提供检测的精准度。

附图说明

图1是本发明一种人脸敏感区域检测方法的流程示意图；

图2是本发明一种人脸敏感区域检测方法的获取关键点的步骤中人脸关键点检测示意图；

图3是本发明一种人脸敏感区域检测方法的扩展关键点，获得mask区的步骤中扩展关键点后的人脸关键点示意图；

图4是本发明一种人脸敏感区域检测方法的扩展关键点，获得mask区的步骤中的mask区示意图；

图5是本发明一种人脸敏感区域检测方法的一具体实施例流程示意图；

图6是本发明一种人脸敏感区域检测方法的获取人脸的步骤的流程示意图；

图7是本发明一种人脸敏感区域检测方法的生成人脸红图的步骤的子流程示意图；

图8是本发明一种人脸敏感区域检测方法的获取二值mask图像的步骤的子流程示意图。

具体实施方式

为使本领域的普通技术人员更加清楚地理解本发明的目的、技术方案和优点，以下结合附图和实施例对本发明做进一步的阐述。

参照图1，本发明一种人脸敏感区域检测方法，包括：

步骤S11、获取人脸：使用目标检测算法基于PyTorch深度学习框架对采集图像进行人脸检测，获取每一人脸图像并保存其于采集图像中的位置信息。其中，所述位置信息是指区域范围的位置坐标，优选地，所述区域范围为矩形，则每一人脸图像于采集图像中的位置信息是指每一人脸图像于采集图像中的区域范围的四个角的位置坐标。所述PyTorch深度学习框架为现有技术，如中国专利CN109165623A的基于深度学习的水稻病斑检测方法及***中提及的PyTorch深度学习框架，此不赘述。

步骤S12、获取最大占比人脸：计算各个人脸图像于采集图像的面积占比，获取面积占比最大的人脸图像为最大占比人脸图像，记录其位置信息。最大占比人脸图像为所需检测的人脸图像，通过获取最大占比人脸图像以排除由于拍摄原因而错误入镜的人脸，避免对错误的人脸进行检测，提高人脸敏感区域检测的精准度。

步骤S13、获取关键点：通过Dlib数据库对获得的最大占比人脸图像进行人脸关键点检测，获取所有的人脸关键点的坐标，其中，所述人脸关键点包括左眼关键点、右眼关键点、嘴巴关键点、鼻子关键点及脸周关键点。利用Dlib数据库进行人脸关键点检测的过程采用现有技术，例如中国专利CN110363111A的基于镜头失真原理的人脸活体检测方法、装置及存储介质中介绍的Dlib数据库提取人脸关键点的方法，通过Dlib数据库可以实现68个人脸关键点的提取，参照图2所示，图2为利用Dlib数据库提取获得的68个人脸关键点的示意图。其中，第十七关键点17至第二十一关键点21及第三十六关键点36至第四十一关键点41为左眼关键点，第二十二关键点22至第二十六关键点26及第四十二关键点42至第四十七关键点47为右眼关键点，第四十八关键点48至第六十七关键点67为嘴巴关键点，第二十七关键点27至第三十五关键点35为鼻子关键点，第零关键点0至第十六关键点16为脸周关键点，第零关键点0为脸周关键点的左端端点，第十六关键点16为脸周关键点的右端端点。

步骤S14、扩展关键点，获得mask区：根据所述人脸关键点的坐标扩展增设用于进行额头定位的额头关键点，更新人脸关键点，结合额头关键点及脸周关键点进行人脸区域定位，根据左眼关键点、右眼关键点及嘴巴关键点分别进行左眼区域定位、右眼区域定位及嘴巴区域定位，排除人脸区域中的左眼区域、右眼区域及嘴巴区域，获得最大占比人脸图像的用于进行人脸敏感区域检测定位的mask区。由于通过Dlib数据库提取的人脸关键点无法检测定位额头部分，通过扩展增设用于进行额头定位的额头关键点，以使得人脸敏感区域检测更全面。利用额头关键点及脸周关键点进行人脸区域定位，根据左眼关键点、右眼关键点及嘴巴关键点分别进行左眼区域定位、右眼区域定位及嘴巴区域定位，将而由于眼睛、嘴巴均为不易发生敏感的区域，排除人脸区域中的左眼区域、右眼区域及嘴巴区域，获取最大占比人脸图像的用于进行人脸敏感区域检测定位的mask区，可提高后期图像处理而获取人脸敏感区域的效率。

参照图3至图4，图3为扩展增设额头关键点而更新人脸关键点后的人脸关键点示意图，其中，将额头关键点的左端端点至其右端端点依序连接，将脸周关键点的左端端点至其右端端点依序连接，连接额头关键点的左端端点与脸周关键点的左端端点，连接脸周关键点的右端端点与额头关键点的右端端点，以围合形成人脸区域，从而根据人脸区域进行定位；将第十七关键点17至第二十一关键点21依序连接，且将第十七关键点17、第三十六关键点36、第四十一关键点41、第四十关键点40、第三十九关键点39及第二十一关键点21依序连接，以围合形成左眼区域，从而根据该左眼区域进行左眼区域定位；将第二十二关键点22至第二十六关键点26依序连接，且将第二十二关键点22、第四十二关键点42、第四十七关键点47、第四十六关键点46、第四十五关键点45及第二十六关键点26依序连接，以围合形成右眼区域，从而根据该右眼区域进行右眼区域定位；将第四十八关键点48至第六十关键点60依序连接，且连接第四十八关键点48与第六十关键点60，以围合形成嘴巴区域，从而根据该嘴巴区域进行嘴巴区域定位。图4为mask区示意图，定位时对需要排除的区域进行涂黑，保留区域为白色。

步骤S15、生成人脸红图：将所述采集图像转换为YCrCb颜色空间的色彩图像，Y为亮度分量，Cr为红色色度分量，Cb为蓝色色度分量，以蓝色色度分量为横坐标轴，红色色度分量为纵坐标轴，建立色度平面直角坐标系，计算色彩图像的每个像素与色度平面直角坐标系中的设定直线L之间的相对位置，放大获得的相对位置，获取放大相对位置，并限定其对应的灰度，根据获得的灰度结合红色色卡，生成人脸红图。通过生成人脸红图以进行后期的人脸敏感区域检测定位可提高抗扰动性，提高人脸敏感区域检测的精准度。

其中，直线L可用公式（1）表示：

a×cb+b×cr+cy=0 （1）

式中，a、b和c为预设的系数，cb为像素在Cb通道的数值，cr为像素在Cr通道的数值，y为像素在Y通道的数值。

步骤S16、获取红图脸颊区域及其阈值：根据生成的人脸红图，结合扩展更新后的人脸关键点，选取对应位于脸颊区域的人脸关键点，获取红图脸颊区域，将左、右脸颊区域拼接为红图脸颊图像，利用图像阈值分割法获取红图脸颊图像的图像阈值。先获取红图脸颊图像后再利用图像阈值分割方法获取红图脸颊图像的图像阈值可排除人脸其他区域的干扰，提高获得的图像阈值的精度，从而提高后续人脸红图图像分割的精度。

步骤S17、获取二值mask图像：利用获得的mask区于人脸红图进行定位，结合获得的图像阈值对定位后的人脸红图进行图像阈值分割，获得二值mask图像为人脸敏感区域图像。先利用获得的mask区对人脸红图进行定位再进行图像阈值分割，可排除眼睛及嘴巴等不易敏感的区域，提高人脸敏感区域检测的效率。

本发明一种人脸敏感区域检测方法通过扩展增设用于进行额头定位的额头关键点以更全面地进行人脸敏感区域检测，并通过生成人脸红图进行检测以增强抗扰动性，提供检测的精准度。而且，根据获得的采集图像即可直接进行人脸敏感区域检测，自动化性能高。当然，在一些实施例中，所述步骤S17后还可包括显示步骤：显示获得的人脸敏感区域图像。

继续参照图2和图3，在该实施例中，所述步骤S14具体包括：

假设一二次函数，该二次函数用公式（14）表示：

y₁=A×(x-x₀)×(x-x₁₆) （14）

式中，y₁表示二次函数，x₀和x₁₆分别表示脸周关键点的左端端点及其右端端点的横坐标，A表示二次项系数。由该二次函数的形式可知，脸周关键点的左端端点及其右端端点为二次函数与横坐标轴的交点。

将第二十七关键点27和第三十关键点30的纵坐标的差值作为所述二次函数的高度且为所述二次函数对应于脸周关键点的左端端点与其右端端点之间的中心点的纵坐标，根据所述中心点的横坐标与纵坐标代入该二次函数以计算获得二次项系数A，为了泛化性，可采用统计学方法对多个人脸图像的人脸关键点进行处理统计，获取二次项系数的均值作为二次项系数。所述二次函数对应于脸周关键点的左端端点与其右端端点之间的中心点的横坐标为脸周关键点的左端端点与其右端端点的横坐标的中点。

将第十七关键点17至第二十一关键点21、所述中心点及第二十二关键点22至第二十六关键点26的横坐标分别代入所述二次函数，获取相应的输出结果为增设的关键点的纵坐标，并将对应的纵坐标与横坐标进行组合，获得扩展增设的用于进行额头定位的额头关键点，分别为第六十八关键点68至第七十八关键点78，更新人脸关键点，更新后的人脸关键点的数目为79个，各个人脸关键点的位置如图3所示。

结合额头关键点及脸周关键点进行人脸区域定位，根据左眼关键点、右眼关键点及嘴巴关键点分别进行左眼区域定位、右眼区域定位及嘴巴区域定位。

排除人脸区域中的左眼区域、右眼区域及嘴巴区域，获得最大占比人脸图像的用于进行人脸敏感区域检测定位的mask区。

结合图5，在该实施例中，所述步骤S11前还具体包括：

步骤S10、图像采集：利用带有偏正片的摄像头的摄像设备进行人脸拍摄，获取采集图像。利用带有偏正片的摄像头的摄像设备进行人脸拍摄以使光源经过偏正片后只允许特定方向的光线穿过，降低获得的采集图像的反光问题，减少干扰因数，有利于后期的图像处理，提高人脸敏感区域检测的精准度。

结合图6，在该实施例中，所述步骤S11具体包括：

步骤S111、输入包括人脸的采集图像并对其进行目标检测算法的训练，获取人脸目标模型，保存满足预设精度条件的人脸目标模型及其权重。

具体地，所述预设精度条件为人脸图像的像素大于预设像素阈值，且像素大于预设像素阈值的人脸图像的坐标与人脸标记坐标的误差小于预设的误差阈值。其中，所述人脸标记坐标为初步检测为人脸目标时标记的区域范围的坐标，计算对训练后的人脸图像的坐标与人脸标记坐标的误差，以减少误判，所述像素大于预设像素阈值的人脸图像的坐标与人脸标记坐标的误差小于预设的误差阈值，可通过获取像素大于预设像素阈值的人脸图像与对应的人脸标记坐标的面积的交并比进行误差判断，若两者的面积的交并比大于预设的交并比阈值，则判断两者之间的误差小于预设的误差阈值。优选地，所述预设像素阈值可为100像素，则所述预设精度条件为人脸图像的像素大于100像素，且像素大于100像素的人脸图像的坐标与人脸标记坐标的误差小于预设的误差阈值。

步骤S112、将保存的满足预设精度条件的人脸目标模型的权重加载至Yolov5算法的网络模型结构，获取对应的目标模型结构，输入采集图像，根据目标模型结构于采集图像中进行人脸检测，获取检测到的每一人脸图像于采集图像中的对角坐标，并将其保存于人脸坐标列表中。所述Yolov5算法具有模型小、速度快的特点，便于模型的部署，提高检测效率。由于人脸图像于采集图像中的区域范围为矩形，则通过获取对角坐标即可确定人脸图像于采集图像中的位置，优选地，获取检测到的每一人脸图像的左下角的坐标及其右上角的坐标为对角坐标以进行记录，保存于人脸坐标列表中。

其中，所述人脸列表可用公式（2）表示：

（2）

式中，

表示人脸坐标列表，

表示检测到的第

张人脸图像的对角坐标，上脚标

表示检测到的人脸图像的序号，

表示检测到的第

张人脸的左下角的横坐标及其纵坐标，

表示检测到的第

张人脸图像的右上角的横坐标及其纵坐标，下脚标表示对角坐标的位置，

表示左下角，

表示右上角。

具体地，假设输入的包括人脸的采集图像的长为w，宽为h，所述步骤S12中可利用公式（3）计算各个人脸图像于采集图像的面积占比Ra：

（3）

具体地，在该实施例中，所述步骤S15中的计算色彩图像的每个像素与色度平面直角坐标系中的设定直线L之间的相对位置，获取放大相对位置，并限定其对应的灰度的步骤具体包括：

利用公式（4）计算色彩图像的每个像素与色度平面直角坐标系中的设定直线L之间的相对位置：

d=a×cb+b×cr-j （4）

式中，d为像素与直线L之间的相对位置的值，a和b为预设的系数，cb为像素在Cb通道的数值，cr为像素在Cr通道的数值，j为距离偏差量。优选地，j的取值可为260。

根据获得的每个像素的相对位置，利用公式（5）放大每个像素的相对位置，获取每个像素的放大相对位置：

d_m=d×p[y]-(1-p[y])×s （5）

式中，d_m为像素与直线L之间的放大相对位置的值，d为像素与直线L之间的相对位置的值，p[y]为0到1之间随亮度分量单调递增的预设曲线，s为校量，s>0。优选地，所述s的取值可为170。

根据获得的每个像素的放大相对位置，利用公式（6）获取每个像素的放大相对位置的灰度：

（6）

式中，gray为灰度值，d_m为像素与直线L之间的放大相对位置的值，g为灰度系数，M为灰度极值，g的取值可为0.0076，M的取值可为31。

结合图7，优选地，在该实施例中，所述步骤S15的根据获得的灰度结合红色色卡，生成人脸红图的步骤具体包括：

步骤S151、获取一张颜色深浅不同的红色图像，获取该红色图像的每个像素在R、G、B三通道的数值，并将获得的每个像素在R、G、B三通道的数值按每一通道从小到大的顺序排列，从每一通道的数值内分别等间隔各筛选256个数值，按顺序对筛选后的每一通道的数值分别对应进行组合并保存记录，获得用于记录每个灰度值所对应的R、G、B三通道的数值的红色色卡。

步骤S152、根据获得的每个像素的放大相对位置的灰度结合红色色卡，生成相应的人脸红图。

在该实施例中，所述步骤S17中的获得二值mask图像为人脸敏感区域图像具体为：获得二值mask图像，对其进行降噪处理，获得平滑后的二值mask图像为人脸敏感区域图像。

其中，结合图8，所述步骤S17中的所述对其进行降噪处理，获得平滑后的二值mask图像为人脸敏感区域图像的步骤具体为具体为：

步骤S171、获取二值mask图像中所有的用于表示人脸敏感区域的轮廓。

步骤S172、获取每一轮廓的面积。

步骤S173、排除面积小于预设面积像素阈值的轮廓，获得初筛轮廓。所述预设面积像素阈值可为3000像素，则步骤S173具体为：排除面积小于3000像素的轮廓，获得初筛轮廓。

步骤S174、获取每一所述初筛轮廓的周长，获取每一所述初筛轮廓对应的逼近轮廓。

具体地，所述步骤S174具体为：

获取每一所述初筛轮廓的周长；

根据逼近误差获取每一所述初筛轮廓对应的逼近轮廓，其中，逼近误差利用公式（7）表示：

r=α×l （7）

式中，r代表逼近误差，α代表系数，0<α<1，l代表初筛轮廓的周长。

步骤S175、利用移动窗口平滑算法对逼近轮廓进行平滑降噪处理，获取平滑后的逼近轮廓的人脸关键点的坐标，生成平滑二值mask图像，保存获得的平滑二值mask图像为人脸敏感区域图像。

具体地，所述步骤S175具体为：

利用移动窗口平滑算法对逼近轮廓进行平滑降噪处理；其中，假设移动窗口的宽度为2k+1，则移动窗口的点集用公式（8）表示：

Q={-k，-k+1,…，0，…，k-1，k} （8）

式中，Q表示移动窗口的点集，k=1、2、3…N，N≥1；

采用公式（9）对移动窗口的点集的数据点进行拟合，获得相应的点矩阵：

y_qi=z₀+z₁q_i+z₂q_i ²…+z_nq_i ⁿ （9）

式中，y_qi代表移动窗口的点集中的数据点的点矩阵函数值，q_i代表移动窗口的点集的第i个数据点的值，z₀、z₁、z₂、…、z_n分别代表各阶系数，n<2k+1；

所述点矩阵用表达式（10）表示：

（10）

表达式中，

表示移动窗口的点集的数据点进行拟合后的点矩阵

，

表示移动窗口的点集的数据点进行n阶运算后组成的矩阵

，

表示各阶系数组成的矩阵Z，

表示移动窗口的点集的数据点对应的噪声误差矩阵E；

则所述点矩阵可用公式（11）表示：

（11）

利用最小二乘法求解各阶系数组成的矩阵，去除噪声误差，获得平滑后的点矩阵，根据平滑后的点矩阵结合逼近轮廓的人脸关键点的坐标进行平滑处理，获得平滑后的逼近轮廓的人脸关键点的坐标；

其中，根据最小二乘法，所述各阶系数组成的矩阵Z可用公式（12）表示：

（12）

式中，

表示矩阵

的转置；

去除噪声误差，平滑后的点矩阵可用公式（13）表示：

（13）

式中，

表示平滑后的点矩阵。根据公式（13）可获知利用移动窗口平滑算法后获得的平滑后的逼近轮廓的人脸关键点与平滑降噪处理前的每一所述初筛轮廓对应的逼近轮廓之间的关系。将每一所述初筛轮廓对应的逼近轮廓的人脸关键点的横坐标代入公式（8）的点集，计算公式（9）至（13），获得平滑后的逼近轮廓的人脸关键点的横坐标；将每一所述初筛轮廓对应的逼近轮廓的人脸关键点的纵坐标代入公式（8）的点集，计算公式（9）至（13），获得平滑后的逼近轮廓的人脸关键点的纵坐标，再将人脸关键点的横坐标与纵坐标组合，获得平滑后的逼近轮廓的人脸关键点的坐标。

根据平滑后的逼近轮廓的人脸关键点的坐标，生成平滑二值mask图像，保存获得的平滑二值mask图像为人脸敏感区域图像。

综上所述，本发明一种人脸敏感区域检测方法通过扩展增设用于进行额头定位的额头关键点以更全面地进行人脸敏感区域检测，并通过生成人脸红图进行检测以增强抗扰动性，提供检测的精准度，且可通过降噪处理以滤除噪声。

以上所述仅为本发明的优选实施例，而非对本发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进，凡在权利要求范围内所做的等同变化或修饰，均应落入本发明的保护范围之内。

Claims (10)

1.一种人脸敏感区域检测方法，其特征在于，包括：

获取人脸：使用目标检测算法基于PyTorch深度学习框架对采集图像进行人脸检测，获取每一人脸图像并保存其于采集图像中的位置信息；

获取最大占比人脸：计算各个人脸图像于采集图像的面积占比，获取面积占比最大的人脸图像为最大占比人脸图像，记录其位置信息；

获取关键点：通过Dlib数据库对获得的最大占比人脸图像进行人脸关键点检测，获取所有的人脸关键点的坐标，其中，所述人脸关键点包括左眼关键点、右眼关键点、嘴巴关键点、鼻子关键点及脸周关键点，第十七关键点至第二十一关键点及第三十六关键点至第四十一关键点为左眼关键点，第二十二关键点至第二十六关键点及第四十二关键点至第四十七关键点为右眼关键点，第四十八关键点至第六十七关键点为嘴巴关键点，第二十七关键点至第三十五关键点为鼻子关键点，第零关键点至第十六关键点为脸周关键点，第零关键点为脸周关键点的左端端点，第十六关键点为脸周关键点的右端端点；

扩展关键点，获得mask区：根据所述人脸关键点的坐标扩展增设用于进行额头定位的额头关键点，更新人脸关键点，结合额头关键点及脸周关键点进行人脸区域定位，根据左眼关键点、右眼关键点及嘴巴关键点分别进行左眼区域定位、右眼区域定位及嘴巴区域定位，排除人脸区域中的左眼区域、右眼区域及嘴巴区域，获得最大占比人脸图像的用于进行人脸敏感区域检测定位的mask区；

生成人脸红图：将所述采集图像转换为YCrCb颜色空间的色彩图像，Y为亮度分量，Cr为红色色度分量，Cb为蓝色色度分量，以蓝色色度分量为横坐标轴，红色色度分量为纵坐标轴，建立色度平面直角坐标系，计算色彩图像的每个像素与色度平面直角坐标系中的设定直线L之间的相对位置，放大获得的相对位置，获取放大相对位置，并限定其对应的灰度，根据获得的灰度结合红色色卡，生成人脸红图；

获取红图脸颊区域及其阈值：根据生成的人脸红图，结合扩展更新后的人脸关键点，选取对应位于脸颊区域的人脸关键点，获取红图脸颊区域，将左、右脸颊区域拼接为红图脸颊图像，利用图像阈值分割法获取红图脸颊图像的图像阈值；

获取二值mask图像：利用获得的mask区于人脸红图中进行定位，结合获得的图像阈值对定位后的人脸红图进行图像阈值分割，获得二值mask图像为人脸敏感区域图像。

2.如权利要求1所述的人脸敏感区域检测方法，其特征在于，所述获取人脸的步骤前还具体包括：

图像采集：利用带有偏正片的摄像头的摄像设备进行人脸拍摄，获取采集图像。

3.如权利要求1所述的人脸敏感区域检测方法，其特征在于，所述获取人脸的步骤具体包括：

输入包括人脸的采集图像并对其进行目标检测算法的训练，获取人脸目标模型，保存满足预设精度条件的人脸目标模型及其权重；

将保存的满足预设精度条件的人脸目标模型的权重加载至Yolov5算法的网络模型结构，获取对应的目标模型结构，输入采集图像，根据目标模型结构于采集图像中进行人脸检测，获取检测到的每一人脸图像于采集图像中的对角坐标，并将其保存于人脸坐标列表中。

4.如权利要求3所述的人脸敏感区域检测方法，其特征在于，所述预设精度条件为人脸图像的像素大于预设像素阈值，且像素大于预设像素阈值的人脸图像的坐标与人脸标记坐标的误差小于预设的误差阈值。

5.如权利要求1所述的人脸敏感区域检测方法，其特征在于，所述扩展关键点，获得mask区的步骤具体包括：

设置一二次函数，该二次函数用以下公式表示：

y₁=A×(x-x₀)×(x-x₁₆)

式中，y₁表示二次函数，x₀和x₁₆分别表示第零关键点及第十六关键点的横坐标，A表示二次项系数，x表示点的横坐标；

将第二十七关键点和第三十关键点的纵坐标的差值作为所述二次函数对应于第零关键点与第十六关键点之间的中心点的纵坐标，根据所述中心点的横坐标与纵坐标以计算获得二次项系数；

将第十七关键点至第二十一关键点、所述中心点及第二十二关键点至第二十六关键点的横坐标分别代入所述二次函数，获取相应的输出结果为增设的关键点的纵坐标，并将对应的纵坐标与横坐标进行组合，获得扩展增设的用于进行额头定位的额头关键点，分别为第六十八关键点至第七十八关键点，更新人脸关键点；

结合额头关键点及脸周关键点进行人脸区域定位，根据左眼关键点、右眼关键点及嘴巴关键点分别进行左眼区域定位、右眼区域定位及嘴巴区域定位；

排除人脸区域中的左眼区域、右眼区域及嘴巴区域，获得最大占比人脸图像的用于进行人脸敏感区域检测定位的mask区。

6.如权利要求1所述的人脸敏感区域检测方法，其特征在于，所述生成人脸红图的步骤中的计算色彩图像的每个像素与色度平面直角坐标系中的设定直线L之间的相对位置，获取放大相对位置，并限定其对应的灰度的步骤具体包括：

利用以下公式计算色彩图像的每个像素与色度平面直角坐标系中的设定直线L之间的相对位置：

d=a×cb+b×cr-j

式中，d为像素与直线L之间的相对位置的值，a和b为预设的系数，cb为像素在Cb通道的数值，cr为像素在Cr通道的数值，j为距离偏差量；

根据获得的每个像素的相对位置，利用下列公式放大每个像素的相对位置，获取每个像素的放大相对位置：

d_m=d×p[y]-(1-p[y])×s

式中，d_m为像素与直线L之间的放大相对位置的值，d为像素与直线L之间的相对位置的值，p[y]为0到1之间随亮度分量单调递增的预设曲线，s为校量，s>0；

根据获得的每个像素的放大相对位置，利用下列公式获取每个像素的放大相对位置的灰度：

式中，gray为灰度值，d_m为像素与直线L之间的放大相对位置的值，g为灰度系数，M为灰度极值。

7.如权利要求6所述的人脸敏感区域检测方法，其特征在于，所述生成人脸红图的步骤中的根据获得的灰度结合红色色卡，生成人脸红图的步骤具体包括：

获取一张颜色深浅不同的红色图像，获取该红色图像的每个像素在R、G、B三通道的数值，并将获得的每个像素在R、G、B三通道的数值按每一通道从小到大的顺序排列，从每一通道的数值内分别等间隔各筛选256个数值，按顺序对筛选后的每一通道的数值分别对应进行组合并保存记录，获得用于记录每个灰度值所对应的R、G、B三通道的数值的红色色卡；

根据获得的每个像素的放大相对位置的灰度结合红色色卡，生成相应的人脸红图。

8.如权利要求1所述的人脸敏感区域检测方法，其特征在于，所述获取二值mask图像的步骤中的获得二值mask图像为人脸敏感区域图像具体为：

获得二值mask图像，对其进行降噪处理，获得平滑后的二值mask图像为人脸敏感区域图像；其中，所述对其进行降噪处理，获得平滑后的二值mask图像为人脸敏感区域图像的步骤具体为：

获取二值mask图像中所有的用于表示人脸敏感区域的轮廓；

获取每一轮廓的面积；

排除面积小于预设面积像素阈值的轮廓，获得初筛轮廓；

获取每一所述初筛轮廓的周长，获取每一所述初筛轮廓对应的逼近轮廓；

利用移动窗口平滑算法对逼近轮廓进行平滑降噪处理，获取平滑后的逼近轮廓的人脸关键点的坐标，生成平滑二值mask图像，保存获得的平滑二值mask图像为人脸敏感区域图像。

9.如权利要求8所述的人脸敏感区域检测方法，其特征在于，所述获取每一所述初筛轮廓的周长，获取每一所述初筛轮廓对应的逼近轮廓的步骤具体为：

获取每一所述初筛轮廓的周长；

根据逼近误差获取每一所述初筛轮廓对应的逼近轮廓，其中，逼近误差利用以下公式表示：

r=α×l

式中，r代表逼近误差，α代表系数，0<α<1，l代表初筛轮廓的周长。

10.如权利要求8所述的人脸敏感区域检测方法，其特征在于，所述利用移动窗口平滑算法对逼近轮廓进行平滑降噪处理，获取平滑后的逼近轮廓的人脸关键点的坐标，生成平滑二值mask图像，保存获得的平滑二值mask图像为人脸敏感区域图像的步骤具体为：

利用移动窗口平滑算法对逼近轮廓进行平滑降噪处理；其中，假设移动窗口的宽度为2k+1，则移动窗口的点集用以下公式表示：

Q={-k，-k+1,…，0，…，k-1，k}

式中，Q表示移动窗口的点集，k=1、2、3…N，N≥1；

采用以下公式对移动窗口的点集的数据点进行拟合，获得相应的点矩阵：

y_qi=z₀+z₁q_i+z₂q_i ²…+z_nq_i ⁿ

式中，y_qi代表移动窗口的点集中的数据点的点矩阵函数值，q_i代表移动窗口的点集的第i个数据点的值，z₀、z₁、z₂、…、z_n分别代表各阶系数，n<2k+1；

所述点矩阵用以下表达式表示：

表达式中，

表示移动窗口的点集的数据点进行拟合后的点矩阵，

表示移动窗口的点集的数据点进行n阶运算后组成的矩阵，

表示各阶系数组成的矩阵，

表示移动窗口的点集的数据点对应的噪声误差矩阵；

利用最小二乘法求解各阶系数组成的矩阵，去除噪声误差，获得平滑后的点矩阵，根据平滑后的点矩阵结合逼近轮廓的人脸关键点的坐标进行平滑处理，获得平滑后的逼近轮廓的人脸关键点的坐标；

根据平滑后的逼近轮廓的人脸关键点的坐标，生成平滑二值mask图像，保存获得的平滑二值mask图像为人脸敏感区域图像。

Images