CN113435428B - 基于相册选取大头贴的方法、电子设备与存储介质 - Google Patents
基于相册选取大头贴的方法、电子设备与存储介质 Download PDFInfo
- Publication number
- CN113435428B CN113435428B CN202110991809.5A CN202110991809A CN113435428B CN 113435428 B CN113435428 B CN 113435428B CN 202110991809 A CN202110991809 A CN 202110991809A CN 113435428 B CN113435428 B CN 113435428B
- Authority
- CN
- China
- Prior art keywords
- face
- value
- eye
- angle
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010187 selection method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims description 77
- 230000006870 function Effects 0.000 claims description 45
- 238000013145 classification model Methods 0.000 claims description 38
- 238000001514 detection method Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 12
- 206010061274 Malocclusion Diseases 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 7
- 210000000887 face Anatomy 0.000 description 23
- 239000002131 composite material Substances 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- WFZFMHDDZRBTFH-CZEFNJPISA-N 2-[(e)-2-(5-carbamimidoyl-1-benzofuran-2-yl)ethenyl]-1-benzofuran-5-carboximidamide;dihydrochloride Chemical compound Cl.Cl.NC(=N)C1=CC=C2OC(/C=C/C=3OC4=CC=C(C=C4C=3)C(=N)N)=CC2=C1 WFZFMHDDZRBTFH-CZEFNJPISA-N 0.000 description 5
- 238000004880 explosion Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010003591 Ataxia Diseases 0.000 description 1
- 206010010947 Coordination abnormal Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 208000016290 incoordination Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于相册选取大头贴的方法、电子设备与存储介质。其中，基于相册选取大头贴的方法，通过根据人脸图片中人脸大小、人脸相似度、人脸亮度、人脸清晰度、人脸角度获取人脸综合评分，再根据人脸综合评分选取大头贴，有利于减少选取人脸模糊以及亮度过高或过低的大头贴问题。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种基于相册选取大头贴的方法、电子设备与存储介质。
背景技术
大头贴也称为贴纸相，是一种比较流行的摄影方式，其中多为自拍人脸相片。电子相册通过人脸聚类功能，能把相同的人的照片聚集在一起，形成个人电子相册。其中一些场景中，个人电子相册需要从相片中选取一张大头贴放置于个人相册的封面上。
然而，现有技术从相片中容易选取一些模糊、太亮、太暗的人脸作为大头贴，放置于个人相册的封面上。
发明内容
基于此，为了解决或改善现有技术的问题，本申请提供一种基于相册选取大头贴的方法、电子设备与存储介质，可以减少选取的大头贴存在人脸模糊以及亮度过高或过低的问题。
第一方面，提供一种基于相册选取大头贴的方法，包括：
获取电子相册中的多张人脸图片；
根据各张所述人脸图片中人脸大小、人脸相似度、人脸亮度、人脸清晰度、人脸角度获取人脸综合评分；
按照人脸综合评分由高到低的排序检测各张所述人脸图片中的人脸是否为睁眼人脸；
当首次检测到睁眼人脸时，提取对应人脸图片中的所述睁眼人脸，并将所述睁眼人脸作为大头贴人脸。
其中的一个实施例中，基于相册选取大头贴的方法，还包括：
当按照人脸综合评分由高到低的排序检测到所有人脸图片中的人脸都是闭眼人脸时，提取综合评分最高的人脸图片中的人脸作为大头贴人脸。
其中的一个实施例中，所述根据各张所述人脸图片中人脸大小、人脸相似度、人脸亮度、人脸清晰度和人脸角度获取人脸综合评分包括：
从所述多张人脸图片选取第一人脸图片；
获取所述第一人脸图片的人脸边框大小，并确定所述多张人脸图片中最大的人脸边框大小；将所述第一人脸图片的人脸边框大小除以所述最大的人脸边框大小，得到人脸边框大小比值；再将所述人脸边框大小比值乘以人脸大小权重值，得到所述第一人脸图片的人脸大小维度值；
根据人脸识别模型获取所述第一人脸图片中人脸的特征值以及各个剩余人脸图片中的人脸的特征值，所述剩余人脸图片为所述多张人脸图片除所述第一人脸图片之外剩余的人脸图片；根据所述第一人脸图片中人脸的特征值以及所述剩余人脸图片中的人脸的特征值获取所述第一人脸图片中人脸与各个所述剩余人脸图片中的人脸的相似度的平均值；将所述人脸相似度的平均值乘以人脸相似度权重值，得到所述第一人脸图片的人脸相似度维度值；
将所述第一人脸图片中人脸区域转为灰度图像；获取人脸区域中灰度点的平均值，作为人脸的亮度值；获取人脸的亮度值与预设亮度值之差的绝对值；将所述绝对值除以所述预设亮度值，得到亮度偏离度；将所述亮度偏离度乘以人脸亮度权重值得到所述第一人脸图片的人脸亮度维度值；
通过清晰度分类模型获取所述第一人脸图片中人脸的清晰度分数值；将清晰度分数值乘以人脸清晰度权重值，得到所述第一人脸图片的人脸清晰度维度值；
通过人脸角度分类模型获取所述第一人脸图片中人脸的左右倾斜角度、左右偏转角度、俯仰角度；将所述左右偏转角度与左右偏转权重值的乘积、所述左右倾斜角度与左右倾斜权重值的乘积、所述俯仰角度与俯仰权重值的乘积相加，得到所述第一人脸图片的人脸角度维度值；
将所述第一人脸图片的人脸大小维度值、人脸相似度维度值、人脸亮度维度值、人脸清晰度维度值以及人脸角度维度值相加，得到所述第一人脸图片的人脸综合评分。
其中的一个实施例中，采用睁闭眼分类模型检测各张所述人脸图片中的人脸是否为睁眼人脸；
在所述检测各张所述人脸图片中的人脸是否为睁眼人脸之前还包括对所述睁闭眼分类模型进行训练的步骤：
获取多张人脸图像作为样本图像，其中所述人脸图像包括睁眼人脸图像和闭眼人脸图像；
将睁眼人脸图像采用睁眼标签进行标注，将闭眼人脸图像采用闭眼标签进行标注，得到睁闭眼训练图像；
采用所述睁闭眼训练图像训练所述睁闭眼分类模型，其中训练所述睁闭眼分类模型时，扩大具有睁眼标签与闭眼标签的人脸图像的特征差异性，同时减少睁眼标签的人脸图像之间的特征差异性，以及同时减少具有闭眼标签的人脸图像的特征差异性，直到所述睁闭眼分类模型的损失值的小于预设值。
其中的一个实施例中，所述人脸角度分类模型包括：左右偏转角度模型、左右倾斜角度模型、俯仰角度模型；
在所述通过人脸角度分类模型获取人脸图片中人脸的左右倾斜角度、左右偏转角度、俯仰角度之前，还包括对所述左右偏转角度模型、所述左右倾斜角度模型、所述俯仰角度模型分别进行训练；
其中，所述左右偏转角度模型的训练步骤包括：获取多张人脸图像；采用左右偏转角度标注值标注所述人脸图像得到左右偏转训练图像，其中，所述左右偏转角度标注值为通过将预设左右偏转角度与所述人脸图像中人脸左右倾斜角度的差值除以所述预设左右偏转角度计算得到；通过所述左右偏转训练图像训练所述左右偏转角度模型；
所述左右倾斜角度模型的训练步骤包括：获取多张人脸图像；采用左右倾斜角度标注值标注所述人脸图像得到左右倾斜训练图像，其中，所述左右倾斜角度标注值为通过将预设左右倾斜角度与所述人脸图像中人脸左右倾斜角度的差值除以所述预设左右倾斜角度计算得到；通过所述左右倾斜训练图像训练所述左右倾斜角度模型；
所述俯仰角度模型的训练步骤包括：获取多张人脸图像；采用俯仰角度标注值标注所述人脸图像得到俯仰训练图像，其中，所述俯仰角度标注值为通过将预设俯仰角度与所述人脸图像中人脸俯仰角度的差值除以所述预设俯仰角度计算得到；通过所述俯仰训练图像训练所述俯仰角度模型。
其中的一个实施例中，所述人脸大小权重值为0.1，所述人脸相似度权重值为0.2，所述人脸亮度权重值为0.1，所述人脸清晰度权重值为0.15，所述左右偏转权重值为0.15，所述左右倾斜权重值为0.15，所述俯仰权重值为0.15。
其中的一个实施例中，所述获取所述人脸图片的人脸边框大小的步骤包括：
对所述人脸图片进行预处理，所述预处理包括人脸扶正处理和人脸图像的增强处理；
将预处理后的人脸图片输入人脸探测模型中，获得人脸边框大小。
其中的一个实施例中，在所述将预处理后的人脸图片输入人脸探测模型中之前，还包括对人脸探测模型进行训练；
训练所述人脸探测模型采用的损失函数loss为：
loss=L1+L2+L3+L4+β×L5
其中，所述L1为人脸边框坐标偏移损失，所述L2为人脸边框尺度缩放损失，所述L3为人脸边框置信度损失，所述L4为分类损失，所述L5为模糊度损失，所述β为预设系数；
其中，L5=（1+S（L3+L4））×C(Bt，Bp)
所述S为S型函数，所述S（L3+L4）为所述人脸边框置信度损失与所述分类损失之和的S型函数值，所述Bt为真实模糊度标签，所述Bp为预测模糊度标签，所述C为二分类交叉熵函数，所述C(Bt，Bp)为真实模糊度标签和预测模糊度标签的二分类交叉熵函数值。
第二方面，提供一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的基于相册选取大头贴的方法的步骤。
第三方面，提供一个或多个存储有计算机可读指令的非易失性可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上所述的基于相册选取大头贴的方法的步骤。
上述基于相册选取大头贴的方法，通过根据所述人脸图片中人脸大小、人脸相似度、人脸亮度、人脸清晰度、人脸角度获取人脸综合评分，再根据人脸综合评分选取大头贴，有利于减少选取的大头贴存在人脸模糊以及亮度过高或过低的问题。而且，通过按照人脸综合评分由高到低的顺序检测所述人脸图片中的人脸是否为睁眼人脸；当首次检测到睁眼人脸时，将所述睁眼人脸作为大头贴人脸，在首次检测到睁眼后不会对后面的人脸图片进行睁眼人脸检测，从而有利于减少选取大头贴所用的时间。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。应当理解的是，下面描述中的附图仅仅用以解释本发明，并不用于限定本发明。
图1为本申请一实施例中电子设备的内部结构示意图。
图2为本申请一实施例中基于相册选取大头贴方法的流程图。
图3为本申请一实施例中基于相册选取大头贴方法的另一流程图。
图4为本申请一实施例中人脸图片中人脸边框的示意图。
图5为本申请一实施例中人脸图片中的左右偏转角度维度 Y (Yaw)，左右倾斜角度维 R(Roll)，俯仰维度 P(Pitch)三种维度的示意图。
图6为本申请一实施例中人脸图片中人脸的左右偏转示意图。
图7为本申请一实施例中人脸图片中人脸的左右倾斜示意图。
图8为本申请一实施例中人脸图片中人脸的俯仰示意图。
具体实施方式
下面结合附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而非全部实施例。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中电子设备的内部结构示意图。如图1所示，该终端包括通过***总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的基于相册选取大头贴的方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。
本申请中描述的电子设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理（Personal Digital Assistant，PDA）、便捷式媒体播放器（Portable MediaPlayer，PMP）、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。
后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本申请的实施方式的构造也能够应用于固定类型的终端。
请参阅图2，该基于相册选取大头贴的方法，包括：
S10、获取电子相册中的多张人脸图片；
S20、根据各张人脸图片中人脸大小、人脸相似度、人脸亮度、人脸清晰度、人脸角度获取人脸综合评分；
S30、按照人脸综合评分由高到低的排序检测各张人脸图片中的人脸是否为睁眼人脸；
S40、当首次检测到睁眼人脸时，提取对应人脸图片中的睁眼人脸，并将睁眼人脸作为大头贴人脸。
本实施例基于相册选取大头贴的方法，通过根据人脸图片中人脸大小、人脸相似度、人脸亮度、人脸清晰度、人脸角度获取人脸综合评分，有利于减少选取的大头贴存在人脸模糊以及亮度过高或过低的问题。而且，通过按照人脸综合评分由高到低的排序检测人脸图片中的人脸是否为睁眼人脸；当首次检测到睁眼人脸时，将睁眼人脸作为大头贴人脸，在首次检测到睁眼后不会对后面的人脸图片进行睁眼人脸检测，从而有利于减少选取大头贴所用的时间。
请参阅图3，其中的一个实施例中，按照人脸综合评分由高到低的排序检测各张人脸图片中的人脸是否为睁眼人脸之后，还包括：
S50、当按照人脸综合评分由高到低的排序检测到所有人脸图片中的人脸都是闭眼人脸时，提取人脸综合评分最高的人脸图片中的人脸作为大头贴人脸。
本实施例对所有人脸图片进行睁眼人脸检测完成时仍然未检测到睁眼人脸，也即是检测到所有人脸都是闭眼人脸，则将综合评分最高的人脸作为大头贴人脸，能够减少在全是闭眼人脸图片时出现大头贴选取失败的情况。
在一些实施例中，可以设定一个预设综合评分阈值，用于在按照排序睁眼人脸检测时，当检测的人脸图片的人脸综合评分达到预设综合评分阈值但还未检测到睁眼人脸，即人脸综合评分大于或等于预设综合评分阈值的人脸图片中人脸均为闭眼人脸，则将综合评分最高的人脸作为大头贴人脸。
步骤S10中相册具体可以是电子相册，包含用于选取作为大头贴的多张人脸图片。可选地，电子相册具有人脸聚类功能，能够通过人脸聚类功能实现从提供的不同人的多张图片中将同一人的图片聚集在一起，并放入电子相册中。也就是说，通过聚类功能，使电子相册中可以为同一个人的多张人脸图片组成的个人电子。此外，若提供的相册并非是电子相册，则需将非电子相册转为电子相册。从电子相册中获取的多张人脸图片作为用于选取大头贴的人脸图片集。
步骤S20中，根据人脸图片中人脸大小、人脸相似度、人脸亮度、人脸清晰度、人脸角度获取人脸综合评分。人脸大小、人脸相似度、人脸亮度、人脸清晰度、人脸角度均会影响人脸综合评分的高低，也就是说，人脸综合评分与人脸大小、人脸相似度、人脸亮度、人脸清晰度、人脸角度相关，具体可以通过人脸综合评分计算方法实现。
其中的一个实施例中，提供一种人脸综合评分计算方法，具体地，根据各张人脸图片中人脸大小、人脸相似度、人脸亮度、人脸清晰度、人脸角度获取人脸综合评分包括：
S201、从多张人脸图片选取第一人脸图片；
S202、获取第一人脸图片的人脸边框大小（人脸边框尺寸），并确定多张人脸图片中最大的人脸边框大小；将第一人脸图片的人脸边框大小除以最大的人脸边框大小，得到人脸边框大小比值；再将人脸边框大小比值乘以人脸大小权重值，得到第一人脸图片的人脸大小维度值；
S203、根据人脸识别模型获取第一人脸图片中人脸的特征值以及各个剩余人脸图片中的人脸的特征值，剩余人脸图片为多张人脸图片中除第一人脸图片之外剩余的人脸图片；根据第一人脸图片中人脸的特征值以及剩余人脸图片中的人脸的特征值获取第一人脸图片中人脸与各个剩余人脸图片中的人脸的相似度的平均值；将人脸相似度的平均值乘以人脸相似度权重值，得到第一人脸图片的人脸相似度维度值；
S204、将第一人脸图片中人脸区域转为灰度图像；获取人脸区域中灰度点的平均值，作为人脸的亮度值；获取人脸的亮度值与预设亮度值之差的绝对值；将绝对值除以预设亮度值，得到亮度偏离度；将亮度偏离度乘以人脸亮度权重值得到第一人脸图片的人脸亮度维度值；
S205、通过清晰度分类模型获取第一人脸图片中人脸的清晰度分数值；将清晰度分数值乘以人脸清晰度权重值，得到第一人脸图片的人脸清晰度维度值；
S206、通过人脸角度分类模型获取第一人脸图片中人脸的左右倾斜角度、左右偏转角度、俯仰角度；将左右偏转角度与左右偏转权重值的乘积、左右倾斜角度与左右倾斜权重值的乘积、俯仰角度与俯仰权重值的乘积相加，得到第一人脸图片的人脸角度维度值；
S207、将第一人脸图片的人脸大小维度值、人脸相似度维度值、人脸亮度维度值、人脸清晰度维度值以及人脸角度维度值相加，得到第一人脸图片的人脸综合评分。
步骤S201中第一人脸图片是多张人脸图片中当前进行人脸综合评分的一张人脸图片，而此时多张人脸图片中未进行人脸综合评分的其他剩余的人脸图片则称为剩余人脸图片。通过依次对多张人脸图片中每一张人脸图片均按照第一人脸图片的人脸综合评分方法进行评分，完成对多张人脸图片中各张人脸图片的人脸综合评分。
步骤S202中提供一种获取人脸大小维度值的方法，其中，人脸大小维度值是一种在人脸的综合评分中用于评价人脸大小的分数。通过人脸大小维度作为选取大头贴的标准，有利于优先筛选得到人脸偏大的大头贴。人脸大小维度值越大，表明人脸越大，人脸大小维度越好。可选地，人脸大小维度值的范围在0至人脸大小权重值之间，例如人脸大小权重值为0.1，则人脸大小维度值的范围在0至0.1之间。
在获取人脸大小维度值的方法中，可以通过人脸边框大小表征图片中人脸的大小。其中，人脸边框是人脸探测模型生成的边框如图4所示，人脸边框22位于人脸21的周围。人脸边框大小可以理解为人脸边框的尺寸，具体可以通过边框的边长长度表征，长度用像素为单位。其中的一个实施例中，获取人脸图片的人脸边框大小的步骤包括：
S2021、对人脸图像进行预处理，预处理包括人脸扶正处理和人脸图像的增强处理；
S2022、将预处理后的人脸图片输入人脸探测模型中，获得人脸边框大小。
步骤S2021是对人脸图像进行预处理，如通过人脸扶正处理和人脸图像的增强处理，以减少人脸探测模型出现错误人脸边框的问题。具体地，人脸扶正是为了得到人脸位置端正的人脸图像；人脸图像增强是为了改善人脸图像的质量，不仅在视觉上更加清晰图像，而且使图像更利于计算机的处理与识别。
可选地，人脸扶正处理具体包括步骤：根据人脸图片中人脸的多个（如5个）特征点和标准人脸的多个（如5个）参考特征点坐标求出仿射变换矩阵；通过放射变换矩阵对人脸进行旋转平移矫正，得到扶正的人脸。
可选地，人脸图像的增强处理具体包括步骤：统计灰度级中每个像素在整幅图像中的个数；计算每个灰度级占图像中的概率分布；计算累计分布概率；计算均衡化之后的灰度值；映射回原来像素的坐标的像素值。
步骤S2022是通过人脸探测模型（人脸检测模型）获取人脸边框以及与人脸边框对应的置信度。其中，人脸探测模型是一种深度学习神经网络，例如基于yolov3的神经网络，能够从人脸图片中获取人脸边框和置信度。
进一步地，对基于yolov3的人脸探测模型的训练方法进行了改进，使其能够对人脸模糊度进行打分，有利于获得更准确的人脸模糊度、置信度，并加快整个人脸探测模型的处理速度。具体地，人脸探测模型的训练方法中所采用的训练集，增加模糊度的维度，即对训练集图片中人脸的模糊度进行标记，以判断该人脸是否为模糊人脸。
进一步地，训练人脸探测模型采用的损失函数loss为：
loss=L1+L2+L3+L4+β×L5
其中，L1为人脸边框坐标偏移损失，L2为人脸边框尺度缩放损失，L3为人脸边框置信度损失，L4为分类损失，L5为模糊度损失，β为预设系数；
其中，L5=（1+S（L3+L4））×C(Bt，Bp)
S为S型函数，S（L3+L4）为人脸边框置信度损失与分类损失之和的S型函数值，Bt为真实模糊度标签，Bp为预测模糊度标签，C为二分类交叉熵函数，C(Bt，Bp)为真实模糊度标签和预测模糊度标签的二分类交叉熵函数值。
具体地，L1（L1可称为xy_loss）可以是基于人脸边框中心点左上角格点坐标的偏移量设计的二值交叉熵损失。L2（L2可称为wh_loss）是基于人脸边框宽和高设计的二值交叉熵损失。L3（L3可称为confidence_loss）是基于obj和no_obj的二值交叉熵损失，具体分为obj和no_obj两种情况计算损失，其中，对于obj(该人脸边框有对应的真实框)计算二值交叉熵；对于no_obj(该人脸边框无对应的真实框)，例如，当人脸边框和真实框的iou（Intersection over Union，交并比）低于0.5，需要计算no_obj对应的二值交叉熵。L4（L4可称为class_loss）可以是基于二分类交叉熵的类别损失，此外，对于有n个类别，则使用n个二分类交叉熵损失函数。
人脸探测模型采用的损失函数中增加L5（L5可称为blur_loss）作为模糊度损失。具体地，在训练过程中，在与yolov3类别特征维度增加模糊度维度，特征图输出维度可以通过N×N×[a×(b+c+d)]进行计算，N×N为输出特征图的格点数，a为预设锚框的数量，b为每个人脸边框的预测框数值的数量，c为预测框置信度，d为类别特征维度数。
在人脸探测模型采用的损失函数中，β为预设系数，也称为可调参数，用来协调blur_loss与其它损失的关系。
S代表S型函数，是一种激活函数，具体可以为sigmoid函数，可以理解的是，S（L3+L4）为人脸边框置信度损失与分类损失之和的S型函数值；Bt（true_blur_label）为真实模糊度标签，Bp（pred_blur_label）为预测模糊度标签；C为二分类交叉熵函数，具体是binary_cross_entropy函数；C(Bt，Bp)为真实模糊度标签和预测模糊度标签的二分类交叉熵函数值。即，在针对每个格点计算损失时用下述公式计算模糊度损失：
sigmoid为一种S型激活函数，sigmoid（confidence_loss+class_loss）为confidence_loss与class_loss之和的sigmoid函数值，binary_cross_entropy为二分类损失函数，true_blur_label为真实模糊度标签，pred_blur_label为预测模糊度标签，binary_cross_entropy(true_blur_label, pred_blur_label)为true_blur_label与pred_blur_label的二分类交叉熵函数值。
其中，confidence_loss与class_loss协助调节模糊度损失，sigmoid会将confidence_loss+class_loss的值映射为模糊度得分损失调节系数的一部分，因此，三者具有较强的相关性。可以理解的是，若人脸框置信度和人脸类别置信度较低，即二者损失值较高时，模糊度则同样会获得较大的损失（不大于直接计算出的模糊度损失的两倍）；若人脸框置信度和人脸类别置信度较高，则二者损失值较低，模糊度损失值即接近binary_cross_entropy(true_blur_label, pred_blur_label)求得的直接损失，其中，binary_cross_entropy为二值交叉熵损失函数，用于计算预测模糊度标签和真实模糊度标签的二分类损失，true_blur_label为真实模糊度标签，也称为预测模糊度分数，pred_blur_label为预测模糊度标签，也称为真实模糊度分数。在训练过程中，pred_blur_label（预测模糊度标签）会逐渐优化至训练集中给定的真实模糊度标签。
人脸探测模型的损失函数中包含模糊度损失，使探测得到的人脸，直接带有模糊化的属性，不需要再进行一次模糊度判断；而且，为了使模糊度的损失函数下降，则需要使人脸边框置信度损失，blur_loss为模糊度损失尽量降低，所以会倒逼训练过程中人脸探测模型的参数更优，因此训练出来的人脸边框和人脸类别的置信度更准确。
此外，为了让人脸探测模型更有效的收敛，避免因一个或多个打分维度不协调产生的梯度***问题，同时减少调参工作量，本实施例提供一种动态梯度裁剪方法。具体地，在动态梯度裁剪方法中，为防止优化神经网络反向传播过程中梯度***的情况，对较大的梯度进行裁切，即设定梯度上限，如1，然后将大于1的梯度强制设置为1对参数进行更新。
在动态梯度裁剪方法中，发现对于大于指定阈值的梯度不具备差异性，可能因为阈值设定的问题而导致人脸探测模型收敛出现问题。也即是，在动态梯度裁剪方法中，存在梯度阈值较难选择的问题。
对于梯度阈值较难选择的问题，本实施例将梯度用预设的函数（预设映射函数）映射到指定范围，达到能体现出大小的差异的效果，又能让过大的梯度不至于产生梯度***的问题。
其中，预设的梯度映射函数可以为：
其中，z是原来的梯度(true_gradient)，hc是映射后的梯度(clip_gradient)。
具体地，获取第一人脸图片之后，还包括利用人脸探测模型获取第一人脸图片中的人脸区域，人脸区域即人脸图片在人脸边框对应的区域；
其中，人脸探测模型通过如下步骤训练得到，包括：
将训练图片输入人脸探测模型中，在反向传播过程中获取人脸探测模型的下降梯度；
将下降梯度通过映射函数映射到预设指定范围，得到映射后的下降梯度；
通过映射后的下降梯度更新人脸探测模型的参数；
其中，梯度映射函数为：
其中，z是下降梯度，e为自然对数函数的底数，hc是映射后的下降梯度。
举例地，通过映射后的下降梯度更新人脸探测模型的参数中，可以采用如下公式更新人脸探测模型的参数：
其中，
为更新后的参数，
为更新前的参数，
为预设学习率，
为梯度映射函数，
为基于样本数据
的预测函数，
为选取的一个样本数据，
为梯度算符，
代表预测函数
对θ求偏导，t为更新次数或训练次数。
本实施例还可以包括S2023、根据人脸边框对应的置信度调整人脸边框的大小，将调整后的人脸边框的大小作为人脸图片的人脸边框大小，例如置信度低于预设置信度，则将人脸边框的大小按预设比例进行缩小。
步骤S203是利用人脸识别模型获取人脸相似度值。具体是通过人脸识别模型提取每张人脸图片中人脸的特征值；依次选取一张人脸图片并将该人脸图片中的人脸依次与剩余其他人脸图片的人脸进行特征比对得出相似度值，将得到所有相似度值求和取平均值，将平均值乘以人脸相似度权重值，从而分别获得每个人脸相似度维度值。
利用人脸相似度维度值，可以判断出该人脸图片中人脸和其他剩余人脸图片中人脸的相似情况，其中人脸相似度维度值越高，说明该人脸在所有人脸中越具有代表性，比如人脸序列中，大部分是图像质量较高，那么个别图像质量较差的人脸对应的相似度维度值的分数值会偏低。可选地，人脸相似度维度值范围在0到人脸相似度权重值之间，人脸相似度维度值越大，说明人脸相似度越好，人脸图像质量较高。
步骤S204是对人脸亮度进行评分。具体通过RGB颜色空间转换到灰度空间的公式：Gray = R×0.299 + G×0.587 + B×0.114将人脸图片中的人脸区域RGB图像转为灰度图像，再对人脸区域中的灰度点求和取平均值，得到人脸亮度值。可选地，人脸的亮度值范围在0~255之间，人脸的亮度值越小代表越暗，越大代表越亮。其中，人脸区域具体可以为由人脸探测模型对人脸图片处理后得到的人脸边框所对应的区域。
通过人脸亮度值获取人脸亮度维度值。具体可以预设人脸亮度值代表最佳亮度，举例地预设人脸亮度值为128，则每个人脸的亮度值分别与预设人脸亮度值128相减取绝对值，再除以预设人脸亮度值128得到亮度偏离度，亮度偏离度可以间接反映人脸的亮度偏离最佳亮度的程度，最后将亮度偏离度乘以人脸亮度权重值得到人脸亮度维度值。
人脸亮度维度值可以评价该人脸的亮度质量。可理解的是，人脸亮度维度值的范围在0至人脸亮度权重值之间，且人脸亮度维度值越大，表明人脸亮度维度越好。
步骤S205是获取人脸清晰度维度值，通过人脸清晰度维度值对人脸图片中人脸清晰度进行评分。可选地，模糊的人脸对应的人脸清晰度维度值偏低。也即是，人脸清晰度维度值越大，说明人脸越清晰。
具体地，利用对神经网络采用带清晰度标签的人脸训练图像进行训练，得到清晰度分类模型，输入人脸图片后可以得到对应的清晰度分数值，然后再将清晰度分数值乘以人脸清晰度权重值，得到人脸清晰度维度值。可选地，清晰度分数值在0~1之间，且清晰度分数值越低代表越模糊，清晰度分数值越高代表越清晰，也即是人脸清晰度维度值的范围在0至人脸清晰度权重值之间。
此外，为提高清晰度分类模型的清晰度分类准确性的效果，其中，训练清晰度分类模型的方法：获取5万张清晰人脸样本标注为清晰，再获取5万张模糊人脸样本标注为模糊，对这10万张样本数据进行训练神经网络得到清晰度分类模型。
步骤S206是计算人脸角度维度值，用于评价人脸图片中人脸的朝向。请参阅图5，人脸角度维度可具体分为三种维度：左右偏转角度维度 Y (Yaw)，左右倾斜角度维 R(Roll)，俯仰维度 P(Pitch)，分别对应左右偏转角度维度值、左右倾斜角度维值、俯仰维度值。
具体地，利用基于神经网络的人脸角度分类模型（人脸角度分类模型包含左右偏转角度模型, 左右倾斜角度模型,俯仰角度模型），对输入人脸图片进行处理，可以得到人脸对应的左右偏转角度维度值, 左右倾斜角度维度值,俯仰角度维度值。
其中的一个实施例中，人脸角度分类模型包括：左右偏转角度模型、左右倾斜角度模型、俯仰角度模型；
在通过人脸角度分类模型获取人脸图片中人脸的左右倾斜角度、左右偏转角度、俯仰角度之前，还包括对左右偏转角度模型、左右倾斜角度模型、俯仰角度模型分别进行训练；
左右偏转角度模型的训练步骤包括：获取多张人脸图像；采用左右偏转角度标注值标注人脸图像得到左右偏转训练图像，其中，左右偏转角度标注值为通过将预设左右偏转角度与人脸图像中人脸左右倾斜角度的差值除以预设左右偏转角度计算得到；通过左右偏转训练图像训练左右偏转角度模型；
其中，获取多张人脸图像为多个人脸在多种光线下的图像，其中人脸角度左偏90°到右偏90°（可以记为-90°）之间，如图6所示。人脸角度为人脸图像中人脸相对正脸的偏转角度，具体地，正脸可以设置为0°。获取的人脸图像数量可以为2万张。
可选地，预设左右偏转角度为90°，使左右偏转角度标注值的范围为0~1之间，且左右偏转角度标注值越小代表越人脸角度偏离越大。
左右倾斜角度模型的训练步骤包括：获取多张人脸图像；采用左右倾斜角度标注值标注人脸图像得到左右倾斜训练图像，其中，左右倾斜角度标注值为通过将预设左右倾斜角度与人脸图像中人脸左右倾斜角度的差值除以预设左右倾斜角度计算得到；通过左右倾斜训练图像训练左右倾斜角度模型；
其中，获取的多张人脸图像为多个人脸在多种光线（多种光线可以是强度或颜色不同的光线）下的人脸图像，其中人脸角度左倾斜60°到右倾斜60°（可以记为-60°）之间，如图7所示。人脸角度为人脸图像中人脸相对正脸的倾斜角度，具体地，正脸可以设置为0°。获取的人脸图像可以为2万张。
可选地，预设左右倾斜角度为60°，使左右倾斜角度标注值的范围为0~1之间，且左右倾斜角度标注值越小代表越人脸角度偏离越大。
俯仰角度模型的训练步骤包括：获取多张人脸图像；采用俯仰角度标注值标注人脸图像得到俯仰训练图像，其中，俯仰角度标注值为通过将预设俯仰角度与人脸图像中人脸俯仰角度的差值除以预设俯仰角度计算得到；通过俯仰训练图像训练俯仰角度模型。
其中，获取多张人脸图像为多个人脸在多种光线下的图像，其中人脸角度仰角60°到俯角60°（可以记为-60°）之间，如图8所示。人脸倾斜角度为人脸图像中人脸相对正脸的倾斜角度，具体地，正脸可以设置为0°。获取的人脸图像可以为2万张。
可选地，预设俯仰角度为60°，使俯仰角度标注值的范围为0~1之间，且俯仰角度标注值越小代表越人脸角度偏离越大。
人脸角度维度值的范围在0~1之间，越小代表人脸角度偏离越大，越大代表人脸角度偏离越小。将左右偏转角度维度值, 左右倾斜角度维度值，俯仰角度维度值分别乘以对应的人脸角度权重值，最后再求和，得到人脸角度维度值。可以理解的是，人脸角度维度值的范围在0至对应人脸角度权重值之间。通过人脸角度权重值可以评价人脸是否为正脸，人脸角度权重值越大，表明人脸图片中的人脸越正。
在对各个评分维度设置相应权重时，具体是对较为重要的维度设置较高的权重，以增强对综合评分的影响。其中的一个实施例中，人脸大小权重值为0.08~0.12，人脸相似度权重值为0.15~0.25，人脸亮度权重值为0.08~0.12，人脸清晰度权重值为0.12~0.18，左右偏转权重值为0.12~0.18，左右倾斜权重值为0.12~0.18，俯仰权重值为0.12~0.18，具体地，人脸大小权重值为0.1，人脸相似度权重值为0.2，人脸亮度权重值为0.1，人脸清晰度权重值为0.15，左右偏转权重值为0.15，左右倾斜权重值为0.15，俯仰权重值为0.15，能够有利于减少低质量的大头贴。
步骤S207是计算人脸总的维度值，具体是对各个人脸图片的人脸大小、人脸相似度、人脸亮度、人脸清晰度、人脸角度的维度值求和，作为该人脸图片的人脸综合评分。可以理解的是，人脸综合评分越高表示人脸质量越高。
步骤S30是判断人脸图片中的人脸睁闭眼状态。其中的一个实施例中，采用睁闭眼分类模型检测人脸图片中的人脸是否为睁眼人脸；
在检测人脸图片中的人脸是否为睁眼人脸之前还包括对睁闭眼分类模型进行训练的步骤：
S301、获取多张人脸图像，其中人脸图像包括睁眼人脸图像和闭眼人脸图像；
S302、将睁眼人脸图像采用睁眼标签进行标注，将闭眼人脸图像采用闭眼标签进行标注，得到睁闭眼训练图像；
S303采用睁闭眼训练图像训练睁闭眼分类模型，其中训练睁闭眼分类模型时，扩大具有睁眼标签与闭眼标签的人脸图像的特征差异性，同时减少睁眼标签的人脸图像之间的特征差异性，以及同时减少具有闭眼标签的人脸图像的特征差异性，直到睁闭眼分类模型的损失值的小于预设值。
其中，睁闭眼分类模型是一种神经网络模型，可以对输入的人脸图片判断人脸的睁闭眼状态。
在对输入的人脸图片判断人脸的睁闭眼状态之前，需要对睁闭眼分类模型采用睁闭眼人脸图像进行训练，其中，训练睁闭眼分类模型的人脸图像为在各种光线下睁眼人脸和闭眼人脸，将5万张睁眼的人脸图像进行睁眼标注（设置标签为睁眼），将5万张闭眼的人脸图像进行闭眼标注（设置标签为闭眼）得到睁闭眼训练图像；然后采用睁闭眼训练图像训练睁闭眼分类模型。
步骤S30中，按照人脸综合评分由高到低的排序检测人脸图片中的人脸是否为睁眼人脸具体包括：将所有人脸图片根据人脸综合评分由高到低进行排序，然后通过睁闭眼分类模型由高到低的顺序人脸图片进行睁眼和闭眼判断。
步骤S40中，在依次判断人脸图片的过程中，如果人脸图片的人脸被首次判断为睁眼人脸，则将该人脸图片中的人脸作为大头贴，并停止对后面的人脸图片进行判断；步骤S50中，在判断人脸图片的过程中，如果全部人脸图片中的人脸都是闭眼人脸，那么默认选择人脸综合评分最高的人脸图片中人脸作为大头贴。
基于相册选取大头贴的方法能够从相册里选择一张质量较好的图片，并提取人脸图片中的人脸作为大头贴，并将该大头贴作为个人相册的封面。
应该理解的是，虽然图2及图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2及图3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本申请实施例还提供了电子设备，包括存储器及处理器，存储器中储存有计算机程序，计算机程序被处理器执行时，使得处理器执行上述任意实施例中的基于相册选取大头贴的方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行基于相册选取大头贴的方法的步骤。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行选取大头贴的方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM (SRAM)、动态 RAM (DRAM)、同步 DRAM (SDRAM)、双数据率 SDRAM (DDR SDRAM)、增强型 SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于相册选取大头贴的方法，其特征在于，包括：
获取电子相册中的多张人脸图片；
根据各张所述人脸图片中人脸大小、人脸相似度、人脸亮度、人脸清晰度、人脸角度获取人脸综合评分；
按照人脸综合评分由高到低的排序检测各张所述人脸图片中的人脸是否为睁眼人脸；
当首次检测到睁眼人脸时，提取对应人脸图片中的所述睁眼人脸，并将所述睁眼人脸作为大头贴人脸；
所述根据各张所述人脸图片中人脸大小、人脸相似度、人脸亮度、人脸清晰度和人脸角度获取人脸综合评分包括：
从所述多张人脸图片选取第一人脸图片；
获取所述第一人脸图片的人脸边框大小，并确定所述多张人脸图片中最大的人脸边框大小；将所述第一人脸图片的人脸边框大小除以所述最大的人脸边框大小，得到人脸边框大小比值；再将所述人脸边框大小比值乘以人脸大小权重值，得到所述第一人脸图片的人脸大小维度值；
根据人脸识别模型获取所述第一人脸图片中人脸的特征值以及各个剩余人脸图片中的人脸的特征值，所述剩余人脸图片为所述多张人脸图片中除所述第一人脸图片之外剩余的人脸图片；根据所述第一人脸图片中人脸的特征值以及所述剩余人脸图片中的人脸的特征值获取所述第一人脸图片中人脸与各个所述剩余人脸图片中的人脸的相似度的平均值；将所述人脸相似度的平均值乘以人脸相似度权重值，得到所述第一人脸图片的人脸相似度维度值；
将所述第一人脸图片中人脸区域转为灰度图像；获取人脸区域中灰度点的平均值，作为人脸的亮度值；获取人脸的亮度值与预设亮度值之差的绝对值；将所述绝对值除以所述预设亮度值，得到亮度偏离度；将所述亮度偏离度乘以人脸亮度权重值得到所述第一人脸图片的人脸亮度维度值；
通过清晰度分类模型获取所述第一人脸图片中人脸的清晰度分数值；将清晰度分数值乘以人脸清晰度权重值，得到所述第一人脸图片的人脸清晰度维度值；
通过人脸角度分类模型获取所述第一人脸图片中人脸的左右倾斜角度、左右偏转角度、俯仰角度；将所述左右偏转角度与左右偏转权重值的乘积、所述左右倾斜角度与左右倾斜权重值的乘积、所述俯仰角度与俯仰权重值的乘积相加，得到所述第一人脸图片的人脸角度维度值；
将所述第一人脸图片的人脸大小维度值、人脸相似度维度值、人脸亮度维度值、人脸清晰度维度值以及人脸角度维度值相加，得到所述第一人脸图片的人脸综合评分。
2.根据权利要求1所述的基于相册选取大头贴的方法，其特征在于，还包括：
当按照人脸综合评分由高到低的排序检测到所有人脸图片中的人脸都是闭眼人脸时，提取人脸综合评分最高的人脸图片中的人脸作为大头贴人脸。
3.根据权利要求1所述的基于相册选取大头贴的方法，其特征在于，采用睁闭眼分类模型检测各张所述人脸图片中的人脸是否为睁眼人脸；
在所述检测各张所述人脸图片中的人脸是否为睁眼人脸之前还包括对所述睁闭眼分类模型进行训练的步骤：
获取多张人脸图像作为样本图像，其中所述人脸图像包括睁眼人脸图像和闭眼人脸图像；
将睁眼人脸图像采用睁眼标签进行标注，将闭眼人脸图像采用闭眼标签进行标注，得到睁闭眼训练图像；
采用所述睁闭眼训练图像训练所述睁闭眼分类模型，其中训练所述睁闭眼分类模型时，扩大具有睁眼标签与闭眼标签的人脸图像的特征差异性，同时减少睁眼标签的人脸图像之间的特征差异性，以及同时减少具有闭眼标签的人脸图像的特征差异性，直到所述睁闭眼分类模型的损失值的小于预设值。
4.根据权利要求1所述的基于相册选取大头贴的方法，其特征在于，所述人脸角度分类模型包括：左右偏转角度模型、左右倾斜角度模型、俯仰角度模型；
在所述通过人脸角度分类模型获取人脸图片中人脸的左右倾斜角度、左右偏转角度、俯仰角度之前，还包括对所述左右偏转角度模型、所述左右倾斜角度模型、所述俯仰角度模型分别进行训练；
其中，所述左右偏转角度模型的训练步骤包括：获取多张人脸图像；采用左右偏转角度标注值标注所述人脸图像得到左右偏转训练图像，其中，所述左右偏转角度标注值为通过将预设左右偏转角度与所述人脸图像中人脸左右倾斜角度的差值除以所述预设左右偏转角度计算得到；通过所述左右偏转训练图像训练所述左右偏转角度模型；
所述左右倾斜角度模型的训练步骤包括：获取多张人脸图像；采用左右倾斜角度标注值标注所述人脸图像得到左右倾斜训练图像，其中，所述左右倾斜角度标注值为通过将预设左右倾斜角度与所述人脸图像中人脸左右倾斜角度的差值除以所述预设左右倾斜角度计算得到；通过所述左右倾斜训练图像训练所述左右倾斜角度模型；
所述俯仰角度模型的训练步骤包括：获取多张人脸图像；采用俯仰角度标注值标注所述人脸图像得到俯仰训练图像，其中，所述俯仰角度标注值为通过将预设俯仰角度与所述人脸图像中人脸俯仰角度的差值除以所述预设俯仰角度计算得到；通过所述俯仰训练图像训练所述俯仰角度模型。
5.根据权利要求1所述的基于相册选取大头贴的方法，其特征在于，所述人脸大小权重值为0.1，所述人脸相似度权重值为0.2，所述人脸亮度权重值为0.1，所述人脸清晰度权重值为0.15，所述左右偏转权重值为0.15，所述左右倾斜权重值为0.15，所述俯仰权重值为0.15。
6.根据权利要求1所述的基于相册选取大头贴的方法，其特征在于，所述获取所述人脸图片的人脸边框大小的步骤包括：
对所述人脸图片进行预处理，所述预处理包括人脸扶正处理和人脸图像的增强处理；
将预处理后的人脸图片输入人脸探测模型中，获得人脸边框大小。
7.根据权利要求6所述的基于相册选取大头贴的方法，其特征在于，在所述将预处理后的人脸图片输入人脸探测模型中之前，还包括对所述人脸探测模型进行训练；
训练所述人脸探测模型采用的损失函数loss为：
loss=L1+L2+L3+L4+β×L5
其中，所述L1为人脸边框坐标偏移损失，所述L2为人脸边框尺度缩放损失，所述L3为人脸边框置信度损失，所述L4为分类损失，所述L5为模糊度损失，所述β为预设系数；
其中，L5=（1+S（L3+L4））×C(Bt，Bp)
所述S为sigmoid函数，所述S（L3+L4）为所述人脸边框置信度损失与所述分类损失之和的S型函数值，所述Bt为真实模糊度标签，所述Bp为预测模糊度标签，所述C为二分类交叉熵函数，所述C(Bt，Bp)为真实模糊度标签和预测模糊度标签的二分类交叉熵函数值。
8.一种电子设备，包括存储器及处理器，其特征在于，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的基于相册选取大头贴的方法的步骤。
9.一个或多个存储有计算机可读指令的非易失性可读存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至7中任一项所述的基于相册选取大头贴的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110991809.5A CN113435428B (zh) | 2021-08-27 | 2021-08-27 | 基于相册选取大头贴的方法、电子设备与存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110991809.5A CN113435428B (zh) | 2021-08-27 | 2021-08-27 | 基于相册选取大头贴的方法、电子设备与存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113435428A CN113435428A (zh) | 2021-09-24 |
| CN113435428B true CN113435428B (zh) | 2021-12-31 |
Family
ID=77798157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110991809.5A Active CN113435428B (zh) | 2021-08-27 | 2021-08-27 | 基于相册选取大头贴的方法、电子设备与存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113435428B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105224921A (zh) * | 2015-09-17 | 2016-01-06 | 桂林远望智能通信科技有限公司 | 一种人脸图像择优***和处理方法 |
| CN108960087A (zh) * | 2018-06-20 | 2018-12-07 | 中国科学院重庆绿色智能技术研究院 | 一种基于多维度评估标准的人脸图像质量评估方法及*** |
| CN109784230A (zh) * | 2018-12-29 | 2019-05-21 | 中国科学院重庆绿色智能技术研究院 | 一种人脸视频图像质量寻优方法、***及设备 |
| CN111160284A (zh) * | 2019-12-31 | 2020-05-15 | 苏州纳智天地智能科技有限公司 | 人脸照片质量评估方法、***、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106503614B (zh) * | 2016-09-14 | 2020-01-17 | 厦门黑镜科技有限公司 | 一种照片获取方法及装置 |
| CN109035246B (zh) * | 2018-08-22 | 2020-08-04 | 浙江大华技术股份有限公司 | 一种人脸的图像选择方法及装置 |
-
2021
- 2021-08-27 CN CN202110991809.5A patent/CN113435428B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105224921A (zh) * | 2015-09-17 | 2016-01-06 | 桂林远望智能通信科技有限公司 | 一种人脸图像择优***和处理方法 |
| CN108960087A (zh) * | 2018-06-20 | 2018-12-07 | 中国科学院重庆绿色智能技术研究院 | 一种基于多维度评估标准的人脸图像质量评估方法及*** |
| CN109784230A (zh) * | 2018-12-29 | 2019-05-21 | 中国科学院重庆绿色智能技术研究院 | 一种人脸视频图像质量寻优方法、***及设备 |
| CN111160284A (zh) * | 2019-12-31 | 2020-05-15 | 苏州纳智天地智能科技有限公司 | 人脸照片质量评估方法、***、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于卷积神经网络的人脸图像质量评价;李秋珍 等;《计算机应用》;20190330;第39卷(第3期);第695-699页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113435428A (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492643B (zh) | 基于ocr的证件识别方法、装置、计算机设备及存储介质 | |
| US11657602B2 (en) | Font identification from imagery | |
| US9536293B2 (en) | Image assessment using deep convolutional neural networks | |
| US9953425B2 (en) | Learning image categorization using related attributes | |
| CN111178183B (zh) | 人脸检测方法及相关装置 | |
| US9104914B1 (en) | Object detection with false positive filtering | |
| US20160275339A1 (en) | System and Method for Detecting and Tracking Facial Features In Images | |
| CN111126258A (zh) | 图像识别方法及相关装置 | |
| CN109271930B (zh) | 微表情识别方法、装置与存储介质 | |
| US20050069206A1 (en) | Contrast-based image attention analysis framework | |
| US9336578B2 (en) | Interactive tone mapping for high dynamic range video | |
| CN111968134B (zh) | 目标分割方法、装置、计算机可读存储介质及计算机设备 | |
| US20110268319A1 (en) | Detecting and tracking objects in digital images | |
| CN111524145A (zh) | 图片智能裁剪方法、***、计算机设备及存储介质 | |
| CN112101359B (zh) | 文本公式的定位方法、模型训练方法及相关装置 | |
| CN111553438A (zh) | 一种基于卷积神经网络的图像识别方法 | |
| US8094971B2 (en) | Method and system for automatically determining the orientation of a digital image | |
| CN113378812A (zh) | 一种基于Mask R-CNN和CRNN的数字表盘识别方法 | |
| CN106878614A (zh) | 一种拍摄方法及终端 | |
| WO2019223066A1 (zh) | 虹膜图像全局增强方法、装置、设备及存储介质 | |
| CN113435428B (zh) | 基于相册选取大头贴的方法、电子设备与存储介质 | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN112699809B (zh) | 痘痘类别识别方法、装置、计算机设备及存储介质 | |
| US11893784B2 (en) | Assessment of image quality for optical character recognition using machine learning | |
| CN111881732B (zh) | 一种基于svm的人脸质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230710 Address after: 13C-18, Caihong Building, Caihong Xindu, No. 3002, Caitian South Road, Gangsha Community, Futian Street, Futian District, Shenzhen, Guangdong 518033 Patentee after: Core Computing Integrated (Shenzhen) Technology Co.,Ltd. Address before: 518000 1001, building G3, TCL International e city, Shuguang community, Xili street, Nanshan District, Shenzhen City, Guangdong Province Patentee before: Shenzhen Aishen Yingtong Information Technology Co.,Ltd. |