CN109635838A

CN109635838A - 人脸样本图片标注方法、装置、计算机设备及存储介质

Info

Publication number: CN109635838A
Application number: CN201811339105.4A
Authority: CN
Inventors: 盛建达
Original assignee: Ping An Technology Shenzhen Co Ltd
Current assignee: Ping An Technology Shenzhen Co Ltd
Priority date: 2018-11-12
Filing date: 2018-11-12
Publication date: 2019-04-16
Anticipated expiration: 2038-11-12
Also published as: CN109635838B

Abstract

本发明公开了一种人脸样本图片标注方法、装置、计算机设备及存储介质，所述方法包括：使用预设的情绪识别模型对待标注图片进行识别，将识别结果作为标注信息标注到待标注图片中，获取待标注图片中的误差数据集输出到客户端，将客户端的发送的更正后的误差数据集和待标注图片中的正确数据集作为标准样本存储到标准样本库中，并使用标准样本对情绪识别模型进行训练，以更新情绪识别模型，再返回使用预设的情绪识别模型对待标注图片进行识别和标注的步骤继续执行，直到待标注图片中的误差数据集为空为止。本发明的技术方案能够为人脸图片自动生成标注信息，提高了人脸图片的标注效率，从而提高用于模型训练和测试的标准样本库的生成效率。

Description

人脸样本图片标注方法、装置、计算机设备及存储介质

技术领域

本发明涉及生物识别技术领域，尤其涉及一种人脸样本图片标注方法、装置、计算机设备及存储介质。

背景技术

面部表情识别是人工智能领域的一个重要的研究方向，在对人脸面部的情绪识别的研究中，需要准备大量的人脸情绪样本用以支撑情绪识别模型的模型训练，通过使用大量的人脸情绪样本进行深度学习，有助于提高情绪识别模型的准确率和鲁棒性。

但是，目前关于人脸情绪分类的公开数据集相对较少，需要依靠人为的方式对人脸图片进行人工标注，或者人工采集特定的人脸情绪样本，由于目前对人脸图片进行人工标注法的耗时较长，投入的人力资源较大，使得通过人工的方式收集人脸情绪样本的工作量大，导致人脸情绪样本数据集的收集效率低，且人工收集的样本数量有限，无法很好地支撑情绪识别模型的模型训练。

发明内容

本发明实施例中提供一种人脸样本图片标注方法、装置、计算机设备及存储介质，以解决人脸情绪样本图片的标注效率低的问题。

一种人脸样本图片标注方法，包括：

获取预设的人脸图片集中的人脸图片作为待标注图片；

使用预设的情绪识别模型对所述待标注图片进行识别，并将所述待标注图片的识别结果作为标注信息，标注到对应的所述待标注图片中，得到每个所述人脸图片对应的所述标注信息，其中，所述识别结果包括所述待标注图片的情绪状态和所述情绪状态的预测分值；

获取所述预测分值小于预设的误差阈值的人脸图片，并将获取到的所述人脸图片组成误差数据集，将所述误差数据集输出到客户端，以使用户在所述客户端对所述误差数据集中所述人脸图片的标注信息进行更正；

接收所述客户端发送的更正后的所述误差数据集，并将所述更正后的所述误差数据集中的所述人脸图片作为第一标准样本；

将所述预测分值大于预设的样本阈值的所述人脸图片作为第二标准样本，并将所述第一标准样本和所述第二标准样本存储到预设的标准样本库中；

使用所述第一标准样本和所述第二标准样本对所述预设的情绪识别模型进行训练，以更新所述预设的情绪识别模型；

将所述人脸图片集除所述第一标准样本和所述第二标准样本以外的所述人脸图片作为新的待标注图片，继续执行所述使用预设的情绪识别模型对所述待标注图片进行识别，并将所述待标注图片的识别结果作为标注信息，标注到对应的所述待标注图片中，得到每个所述人脸图片对应的所述标注信息的步骤，直到所述误差数据集为空为止。

一种人脸样本图片标注装置，包括：

样本图片获取模块，用于获取预设的人脸图片集中的人脸图片作为待标注图片；

样本图片标注模块，用于使用预设的情绪识别模型对所述待标注图片进行识别，并将所述待标注图片的识别结果作为标注信息，标注到对应的所述待标注图片中，得到每个所述人脸图片对应的所述标注信息，其中，所述识别结果包括所述待标注图片的情绪状态和所述情绪状态的预测分值；

误差数据输出模块，用于获取所述预测分值小于预设的误差阈值的人脸图片，并将获取到的所述人脸图片组成误差数据集，将所述误差数据集输出到客户端，以使用户在所述客户端对所述误差数据集中所述人脸图片的标注信息进行更正；

更正数据接收模块，用于接收所述客户端发送的更正后的所述误差数据集，并将所述更正后的所述误差数据集中的所述人脸图片作为第一标准样本；

标准样本存储模块，用于将所述预测分值大于预设的样本阈值的所述人脸图片作为第二标准样本，并将所述第一标准样本和所述第二标准样本存储到预设的标准样本库中；

模型更新模块，用于使用所述第一标准样本和所述第二标准样本对所述预设的情绪识别模型进行训练，以更新所述预设的情绪识别模型；

循环执行模块，用于将所述人脸图片集中除所述第一标准样本和所述第二标准样本以外的所述人脸图片作为新的待标注图片，继续执行所述使用预设的情绪识别模型对所述待标注图片进行识别，并将所述待标注图片的识别结果作为标注信息，标注到对应的所述待标注图片中，得到每个所述人脸图片对应的所述标注信息的步骤，直到所述误差数据集为空为止。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述人脸样本图片标注方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述人脸样本图片标注方法的步骤。

上述人脸样本图片标注方法、装置、计算机设备及存储介质，通过使用预设的情绪识别模型对待标注图片进行识别，将识别结果作为标注信息标注到待标注图片中，获取待标注图片中的误差数据集输出到客户端，以使用户对误差数据集的标注信息进行更正，将更正后的误差数据集和待标注图片中的正确数据集作为标准样本，存储到标准样本库中，使用标准样本库中的标准样本对情绪识别模型进行增量训练，以更新预设的情绪识别模型，提高情绪识别模型的对待标注图片的标注信息的识别准确率，再返回使用预设的情绪识别模型对待标注图片进行识别和标注的步骤继续执行，直到人脸图片中的误差数据集为空为止。通过使用情绪识别模型对人脸图片进行识别和标注，实现了为人脸样本图片自动生成对应的标注信息，节约人力成本，提高了人脸样本图片的标注效率，从而提高用于模型训练和测试的标准样本库的生成效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中人脸样本图片标注方法的一应用环境示意图；

图2是本发明一实施例中人脸样本图片标注方法的一流程图；

图3是本发明实施例中人脸样本图片标注方法中构建情绪识别模型的一具体流程图；

图4是本发明实施例中人脸样本图片标注方法中对人脸图片进行增广处理的一具体流程图；

图5是图2中步骤S2的一具体流程图；

图6是图2中步骤S3的一具体流程图；

图7是本发明一实施例中人脸样本图片标注装置的一原理框图；

图8是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例提供的人脸样本图片标注方法，可应用在如图1的应用环境中，该应用环境包括服务端和客户端，其中，服务端和客户端之间通过网络进行连接，服务端对人脸图片进行识别和标注处理，将识别错误的数据输出到客户端，用户在客户端对识别错误的数据进行更正，服务端将从客户端获取到的更正后的数据和识别正确的数据存储到标准样本库中。客户端具体可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务端具体可以用独立的服务器或者多个服务器组成的服务器集群实现。本发明实施例提供人脸样本图片标注的方法应用于服务端。

在一实施例中，图2示出本实施例中人脸样本图片标注方法的一流程图，该方法应用在图1中的服务端，用于对人脸图片进行识别和标注处理。如图2所示，该人脸样本图片标注方法包括步骤S1至步骤S7，详述如下：

S1：获取预设的人脸图片集中的人脸图片作为待标注图片。

其中，预设的人脸图片集，是预先设置的用于存储收集得到的人脸图片的存储空间，该人脸图片可以从网络的公开数据集中爬取得到，也可以从公开的视频中截取得到包含人脸的人脸图片，具体的人脸图片的获取方式可以根据实际情况进行设置，此处不做限制。

可选地，人脸图片的获取方式，具体可以使用爬虫工具在网络的公开数据集中爬取人脸图片，该爬虫工具是用于获取人脸图片的工具，例如，八爪鱼爬虫工具、爬山虎爬虫工具或者集搜客爬虫工具等，通过网络进行浏览公开的存储图片数据的地址中的内容，使用爬虫工具爬取与预设的关键字对应的图片数据，并将爬取到的图片数据保存到预设的人脸图片集中，其中，预设的关键字是与情绪或者人脸等相关的关键字。

例如，可以使用爬虫工具，根据预设的关键字“人脸”，在百度图片中爬取与“人脸”对应的图片数据，并且根据图片获取的先后顺序，将人脸图片命名为人脸_1.jpg、人脸_2.jpg、…、人脸_X.jpg等，保存到预设的人脸图片集中。

具体地，服务端从预设的人脸图片集中获取人脸图片作为待标注图片，需要对待标注图片进行标注，以便用于机器学习模型的训练和测试。

S2：使用预设的情绪识别模型对待标注图片进行识别，并将待标注图片的识别结果作为标注信息，标注到对应的待标注图片中，得到每个人脸图片对应的标注信息，其中，识别结果包括待标注图片的情绪状态和情绪状态的预测分值。

具体地，预设的情绪识别模型是预先训练好的模型，用于识别待识别的人脸图片中人脸对应的情绪状态，使用预设的情绪识别模型对待标注图片进行识别后，可以获取到每个待标注图片的情绪状态，以及情绪状态的预测分值，情绪状态包括但不限于开心、悲伤、恐惧、生气、惊讶、厌恶和平静等情绪，该预测分值用于表示人脸图片中人脸对应的情绪状态的概率，若预测分值越大，则人脸图片中人脸属于该情绪状态的概率也越大。

基于预设的情绪识别模型，对每个待标注图片进行识别，得到待标注图片的识别结果，也即每个待标注图片的情绪状态和情绪状态的预测分值，将待标注图片的识别结果作为标注信息，标注到对应的待标注图片中，从而得到每个人脸图片对应的标注信息。

S3：获取预测分值小于预设的误差阈值的人脸图片，并将获取到的人脸图片组成误差数据集，将误差数据集输出到客户端，以使用户在客户端对误差数据集中人脸图片的标注信息进行更正。

其中，预设的误差阈值，是预先设置用于区分识别得到的人脸图片的情绪状态是否有误的阈值，若识别得到的预测分值小于该预设的误差阈值，则表示该人脸图片的识别存在错误，该误差阈值可以设置为0.5，也可以设置为0.6，具体的误差阈值可以根据实际情况进行设置，此处不做限制。

具体地，服务端对人脸图片的标注信息进行检测，若标注信息中的预测分值小于预设的误差阈值，则确认该人脸图片的识别存在错误，获取预测分值小于预设的误差阈值的人脸图片组成误差数据集，并将误差数据集通过网络发送给客户端，以使用户在客户端对误差数据集中人脸图片的标注信息进行更正，输入每个人脸图片对应的情绪状态的正确信息，更新误差数据集中人脸图片对应的错误的标注信息。

S4：接收客户端发送的更正后的误差数据集，并将更正后的误差数据集中的人脸图片作为第一标准样本。

具体地，客户端通过网络发送更正后的误差数据集给服务端，该误差数据集携带有数据完成更正的标识信息，用于标识发送的数据为更正后的误差数据集，服务端对客户端发送的数据进行接收，若检测到该数据包含数据完成更正的标识信息，则表示接收到的数据为客户端发送的更正后的误差数据集，并该将更正后的误差数据集中的人脸图片作为第一标准样本，该第一标准样本包含人脸图片对应的情绪状态的标注信息。

S5：将预测分值大于预设的样本阈值的人脸图片作为第二标准样本，并将第一标准样本和第二标准样本存储到预设的标准样本库中。

其中，预设的样本阈值，是预先设置用于挑选识别正确的人脸图片的阈值，若识别得到的预测分值大于该预设的样本阈值，则表示该人脸图片的识别结果正确，该样本阈值可以设置为0.9，也可以设置为0.95，具体的样本阈值可以根据实际情况进行设置，此处不做限制。

具体地，服务端对人脸图片的标注信息进行检测，若标注信息中的预测分值大于预设的样本阈值，则确认该人脸图片的识别正确，获取预测分值大于预设的样本阈值的人脸图片作为第二标准样本，该第二标准样本包含人脸图片对应的情绪状态的标注信息，并将第一标准样本和第二标准样本存储到预设的标准样本库中，其中，预设的标准样本库是用于存储标准样本的数据库，该标准样本是指包含标注信息的人脸样本图片，在人脸图片中标注上标注信息后，得到人脸样本图片，使得机器学习模型能够根据人脸样本图片中的标注信息，对人脸样本图片和人脸样本图片对应的情绪状态进行机器学习。

S6：使用第一标准样本和第二标准样本对预设的情绪识别模型进行训练，以更新预设的情绪识别模型。

具体地，服务端使用第一标准样本和第二标准样本对预设的情绪识别模型进行增量训练，从而对预设的情绪识别模型进行更新，该增量训练是指对预设的情绪识别模型的模型参数进行优化的模型训练，增量训练能够充分利用预设的情绪识别模型的历史训练结果，减少了后续模型训练的时间，不需要重复处理以前已经训练过的样本数据。

可以理解的是，训练样本越多，训练得到的情绪识别模型的准确率和鲁棒性越高，使用识别正确的标准样本对预设的情绪识别模型进行增量训练，使得该预设的情绪识别模型从新增的标准样本中学习新的知识，并能保存以前已经对训练样本进行学习到的知识，得到更加准确的模型参数，提高模型的识别准确率。

S7：将人脸图片集中除第一标准样本和第二标准样本以外的人脸图片作为新的待标注图片，继续执行使用预设的情绪识别模型对待标注图片进行识别，并将待标注图片的识别结果作为标注信息，标注到对应的待标注图片中，得到每个人脸图片对应的标注信息的步骤，直到误差数据集为空为止。

具体地，服务端从人脸图片集中排除掉第一标准样本对应的人脸图片，以及删除第二标准样本对应的人脸图片，将人脸图片集中剩下的人脸图片作为新的待标注图片，该剩下的人脸图片可能存在识别错误的人脸图片，也可能存在识别正确的人脸图片，需要使用识别准确率更高的情绪识别模型进一步地进行区分。

进一步地，返回使用预设的情绪识别模型对待标注图片进行识别，并将待标注图片的识别结果作为标注信息，标注到对应的待标注图片中，得到每个人脸图片对应的标注信息的步骤继续执行，直到误差数据集为空为止，表示情绪识别模型对人脸图片集的识别结果中，不存在识别错误的人脸图片，则停止使用情绪识别模型对人脸图片的继续识别，得到已经标注的标准样本存储到预设的标准样本库中，用于机器学习模型的训练和测试。

在图2对应的实施例中，通过使用预设的情绪识别模型对待标注图片进行识别，将识别结果作为标注信息标注到待标注图片中，获取待标注图片中的误差数据集输出到客户端，以使用户对误差数据集的标注信息进行更正，将更正后的误差数据集和待标注图片中的正确数据集作为标准样本，存储到标准样本库中，使用标准样本库中的标准样本对情绪识别模型进行增量训练，以更新预设的情绪识别模型，提高情绪识别模型对待标注图片的标注信息的识别准确率，再返回使用预设的情绪识别模型对待标注图片进行识别和标注的步骤继续执行，直到人脸图片中的误差数据集为空为止。通过使用情绪识别模型对人脸图片进行识别和标注，实现了为人脸图片自动生成对应的标注信息，节约人力成本，提高了人脸图片的标注效率，从而提高用于模型训练和测试的标准样本库的生成效率。

在一实施例中，如图3所示，在步骤S2之前，即在使用预设的情绪识别模型对待标注图片进行识别，并将待标注图片的识别结果作为标注信息，标注到对应的待标注图片中，得到每个人脸图片对应的标注信息之前，人脸样本图片标注方法还包括：

S11：从预设的标准样本库中获取人脸样本图片。

具体地，服务端可以从预设的标准情绪数据库中获取人脸样本图片，用于对情绪识别模型进行训练，其中，预设的标准样本库是用于存储标准样本的数据库，该标准样本是指包含标注信息的人脸样本图片，每个人脸样本图片对应一个标注信息，该标注信息是用于描述人脸样本图片中的人脸对应的情绪状态，人脸图片对应的情绪状态包括但不限于开心、悲伤、恐惧、生气、惊讶、厌恶和平静等情绪。

S12：对人脸样本图片进行预处理。

其中，图片预处理是指对图片进行尺寸、颜色和形状等进行变换的处理，以形成统一的规格的训练样本，以便后续的模型训练过程对图片的处理能够更加高效，提高机器学习模型的识别准确率。

具体地，可以先将人脸样本图片转换为预设的统一大小的训练样本，再对训练样本进行去噪、灰度化和二值化等预处理过程，消除人脸样本图片中的噪声信息，增强与人脸相关的信息的可检测性和简化图像数据。

例如，训练样本的大小可以预先设置为224*224尺寸的人脸图片，对一尺寸为[1280，720]的人脸样本图片，通过现有的人脸检测算法检测出人脸样本图片中人脸的区域，并从人脸样本图片中裁剪出人脸所在的区域，再将裁剪得到的人脸样本图片缩放为[224，224]尺寸的训练样本，通过对训练样本进行去噪、灰化和二值化等预处理过程，实现对人脸样本图片的预处理。

S13：使用预处理后的人脸样本图片对支持向量机模型进行训练，得到预设的情绪识别模型。

具体地，根据步骤S12得到预处理后的人脸样本图片，使用预处理后的人脸样本图片对支持向量机模型进行训练，将预处理后的人脸样本图片作为训练样本输入到支持向量机模型中，使得支持向量机模型能够对训练样本进行图片识别、分类以及回归分析处理，从而得到预设的情绪识别模型，能够用于对新的样本数据进行分类预测，其中，支持向量机模型即SVM(Support Vector Machine，支持向量机)模型，该SVM模型是一种线性分类器，能够很好地对文本和图像进行分类和识别。

在图3对应的实施例中，通过对标准样本库中的人脸样本图片进行预处理，提高人脸样本图片的质量，使得后续的模型训练过程对图片的处理能够更加高效，从而提高机器学习模型的训练速率和识别准确率，再使用预处理后的人脸样本图片对支持向量机模型进行训练，得到预设的情绪识别模型，使得情绪识别模型能够用于对新的人脸图片进行分类预测。

在一实施例中，本实施例对步骤S2中所提及的使用预设的情绪识别模型对待标注图片进行识别，并将待标注图片的识别结果作为标注信息，标注到对应的待标注图片中，得到每个人脸图片对应的标注信息的具体实现方法进行详细说明。

请参阅图4，图4示出了步骤S2的一具体流程图，详述如下：

S201：使用预设的情绪识别模型提取待标注图片的特征值。

具体地，使用预设的情绪识别模型对待标注图片进行特征值提取处理，得到待标注图片的特征值，保留需要的重要特征，摒弃掉无关紧要的信息，从而得到可以用于后续情绪状态预测的特征值，其中，特征值提取是指使用情绪识别模型提取待标注图片中属于人脸的特征性的信息的方法，以突出待标注图片具有的代表性特征。

S202：根据待标注图片的特征值，在预设的情绪识别模型中的训练好的n个分类器中进行匹配，得到待标注图片的n种情绪状态的概率值，其中，n为正整数，每个分类器对应一种情绪状态。

其中，预设的情绪识别模型中有n个训练好的分类器，每个分类器对应一种情绪状态和该情绪状态对应的特征数据，其中，分类器对应的情绪状态可根据实际需要进行训练，分类器的数量n也可根据需要进行设置，此处不做具体限制，例如，n可以设置为7，即包括7种情绪状态，情绪状态可以设置为开心、悲伤、恐惧、生气、惊讶、厌恶和平静等7种情绪。

具体地，根据待标注图片的特征值，在预设的情绪识别模型中的训练好的n个分类器中进行匹配，得到待标注图片的特征值属于该分类器对应的情绪状态的概率，共得到n个概率值，情绪识别模型对待标注图片预测得出该待标注图片属于每一种情绪状态的概率。

S203：从n种情绪状态的概率值中，获取最大的概率值对应的情绪状态作为待标注图片的情绪状态，并将该最大的概率值作为待标注图片的情绪状态的预测分值。

具体地，根据步骤S202得到的待标注图片的n种情绪状态的概率值，从n种情绪状态的概率值中，获取最大的概率值对应的情绪状态作为待标注图片的情绪状态，以表示该待标注图片对应的情绪状态，并将该最大的概率值作为待标注图片的情绪状态的预测分值。

例如，表一示出了一待标注图片由预设的情绪识别模型进行分类预测之后得到的预测结果，其中，分类1-7分别表示人脸图片对应的开心、悲伤、恐惧、生气、惊讶、厌恶和平静等情绪状态，各个分类对应的概率为预设的情绪识别模型预测该待标注图片属于该分类的概率，如分类1对应的55％，是情绪识别模型通过分类预测得出该待标注图片中的人脸属于“开心”的情绪状态的概率，根据预测结果可知预测得到该待标注图片的分类中的最大概率为55％，则获取“开心”作为待标注图片的情绪状态，同时，该最大的概率值55％标识为待标注图片的情绪状态的预测分值，即预测分值为0.55。

表一.待标注图片的预测结果

待标注图片

分类1

分类2

分类3

分类4

分类5

分类6

分类7

人脸图片1.jpg

55％

15％

10％

5％

0％

S204：获取待标注图片的情绪状态和情绪状态的预测分值作为标注信息，将标注信息标注到对应的待标注图片中，得到每个人脸图片对应的标注信息。

具体地，获取待标注图片的情绪状态和情绪状态的预测分值作为标注信息，将标注信息标注到对应的待标注图片中，得到每个人脸图片对应的标注信息，通过在人脸图片中标注上标注信息后，得到人脸样本图片，使得机器学习模型能够根据人脸样本图片中的标注信息，对人脸样本图片和人脸样本图片对应的情绪状态进行机器学习。

在图4对应的实施例中，通过使用预设的情绪识别模型提取待标注图片的特征值，并根据待标注图片的特征值，识别得到待标注图片的情绪状态和该情绪状态的预测分值，同时，获取待标注图片的情绪状态和情绪状态的预测分值作为标注信息，将标注信息标注到对应的待标注图片中，得到每个人脸图片对应的标注信息，通过情绪识别模型自动对待标注图片进行识别预测，能够快速高效地得到待标注图片对应的标注信息，提高人脸样本图片的标注效率，节约人力成本。

在一实施例中，如图5所示，在步骤S1之后，并且在步骤S2之前，即在获取预设的人脸图片集中的人脸图片作为待标注图片之后，并且在使用预设的情绪识别模型对待标注图片进行识别，并将待标注图片的识别结果作为标注信息，标注到对应的待标注图片中，得到每个人脸图片对应的标注信息之前，人脸样本图片标注方法还包括：

S14：采用预设的增广方式对人脸图片进行增广，得到与人脸图片对应的增广图片。

具体地，针对人脸图片集中的每个人脸图片，使用预设的增广方式对人脸图片进行增广，该预设的增广方式是预先设置好用于增加人脸图片的数量的图片处理方式。

其中，增广方式具体可以是对人脸图片进行裁剪处理，例如，对大小为256*256的人脸图片随机裁剪，得到大小为248*248的人脸图片作为增广图片，也可以采用图片灰度化或者全局光照修正的图片处理方式对人脸图片进行处理，或者使用多种图片处理方式的结合形成预设的增广方式，例如，先对人脸图片做翻转处理，再对翻转后的图片进行局部侧光源修正等，但并不限于此，具体的增广方式可以根据实际应用的需要进行设置，此处不做限制；

进一步地，根据人脸图片的名称，为人脸图片对应生成的增广图片按照预设的命名方式命名，该预设的命名方式具体可以为：“人脸图片名称_增广方式标识号.jpg”，得到每个增广图片的名称，从而能够根据增广图片的名称，确定增广图片对应的人脸图片和增广图片的增广方式。

S15：将增广图片作为待标注图片，添加到人脸图片集中。

可以理解的是，对人脸图片集中的人脸图片进行增广是为了增加人脸图片集中人脸图片的数量，将增广图片作为待标注图片，添加到人脸图片集中，能够使得预设的情绪识别模型同时对人脸图片和增广图片进行识别和标注，以便得到更多的人脸样本图片，用以支撑情绪识别模型的模型训练。

在图5对应的实施例中，通过采用预设的增广方式对人脸图片进行增广，得到与人脸图片对应的增广图片，提高人脸图片的获取效率，同时，将增广图片作为待标注图片，添加到人脸图片集中，大量增加了人脸图片的样本数量，以便收集更多的人脸图片用以支撑情绪识别模型的模型训练。

在一实施例中，本实施例对步骤S3中所提及的获取预测分值小于预设的误差阈值的人脸图片，并将获取到的人脸图片组成误差数据集，将误差数据集输出到客户端的具体实现方法进行详细说明。

请参阅图6，图6示出了步骤S3的一具体流程图，详述如下：

S301：获取预测分值小于预设的误差阈值的人脸图片作为第一误差图片。

在本实施例中，预设的误差阈值，是预先设置用于区分识别得到的人脸图片的情绪状态是否有误的阈值，若识别得到的预测分值小于该预设的误差阈值，则表示该人脸图片的识别存在错误，并将该人脸图片标识为第一误差图片，该误差阈值可以设置为0.5，也可以设置为0.6，具体的误差阈值可以根据实际情况进行设置，此处不做限制。

S302：若增广图片的情绪状态和该增广图片对应的人脸图片的情绪状态不同，则获取该增广图片标识为第二误差图片。

具体地，根据待标注图片的名称可以确定增广图片，以及增广图片对应的人脸图片，若增广图片的情绪状态和该增广图片对应的人脸图片的情绪状态不同，即人脸图片和人脸图片对应的增广图片被预测为不同的情绪状态，则确认该增广图片的预测不准确，并将该增广图片标识为第二误差图片。

例如，在本实施例中，增广图片的文件的命名为“人脸图片名称_增广方式标识号.jpg”，人脸图片的文件的命名为“人脸图片_编号.jpg”，根据文件名称可以对待标注图片进行区分，确定该待标注图片是人脸图片还是增广图片。

需要说明的是，采用预设的增广方式对人脸图片进行增广，只是对人脸图片进行尺寸、颜色和形状等进行变换的处理，以增加人脸图片的数量，人脸图片对应的生成的增广图片，并不改变原有的人脸图片中的情绪状态。

S303：将第一误差图片和第二误差图片作为误差数据集，并将误差数据集输出到客户端。

具体地，服务端将第一误差图片和第二误差图片作为误差数据集，并将误差数据集输出到客户端，以待相关工作人员进行确认和标注，由用户进行确认标注误差图片集中的人脸图片中的人脸所属的情绪状态，并对应的标注上正确标注信息。

在图6对应的实施例中，通过获取预测分值小于预设的误差阈值的人脸图片作为第一误差图片，并且若增广图片的情绪状态和该增广图片对应的人脸图片的情绪状态不同，则获取该增广图片标识为第二误差图片，同时，将第一误差图片和第二误差图片作为误差数据集输出到客户端，以便对识别错误的人脸图片进行人工更正，得到标注正确的人脸样本图片，用于对情绪识别模型进行增量训练，提高情绪识别模型的识别准确率，使得服务端能够使用更高准确率的情绪识别模型对待标注图片进行识别和标注，从而提高人脸图片的标注准确率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种人脸样本图片标注装置，该人脸样本图片标注装置与上述实施例中人脸样本图片标注方法一一对应。如图7所示，该人脸样本图片标注装置包括：样本图片获取模块71、样本图片标注模块72、误差数据输出模块73、更正数据接收模块74、标准样本存储模块75、模型更新模块76和循环执行模块77。各功能模块详细说明如下：

样本图片获取模块71，用于获取预设的人脸图片集中的人脸图片作为待标注图片；

样本图片标注模块72，用于使用预设的情绪识别模型对待标注图片进行识别，并将待标注图片的识别结果作为标注信息，标注到对应的待标注图片中，得到每个人脸图片对应的标注信息，其中，识别结果包括待标注图片的情绪状态和情绪状态的预测分值；

误差数据输出模块73，用于获取预测分值小于预设的误差阈值的人脸图片，并将获取到的人脸图片组成误差数据集，将误差数据集输出到客户端，以使用户在客户端对误差数据集中人脸图片的标注信息进行更正；

更正数据接收模块74，用于接收客户端发送的更正后的误差数据集，并将更正后的误差数据集中的人脸图片作为第一标准样本；

标准样本存储模块75，用于将预测分值大于预设的样本阈值的人脸图片作为第二标准样本，并将第一标准样本和第二标准样本存储到预设的标准样本库中；

模型更新模块76，用于使用第一标准样本和第二标准样本对预设的情绪识别模型进行训练，以更新预设的情绪识别模型；

循环执行模块77，用于将人脸图片集中除第一标准样本和第二标准样本以外的人脸图片作为新的待标注图片，继续执行使用预设的情绪识别模型对待标注图片进行识别，并将待标注图片的识别结果作为标注信息，标注到对应的待标注图片中，得到每个人脸图片对应的标注信息的步骤，直到误差数据集为空为止。

进一步地，该人脸样本图片标注装置还包括：

训练样本获取模块711，用于从预设的标准样本库中获取人脸样本图片；

训练样本处理模块712，用于对人脸样本图片进行预处理；

模型训练模块713，用于使用预处理后的人脸样本图片对支持向量机模型进行训练，得到预设的情绪识别模型。

进一步地，样本图片标注模块72包括：

特征提取子模块7201，用于使用预设的情绪识别模型提取待标注图片的特征值；

特征匹配子模块7202，用于根据待标注图片的特征值，在预设的情绪识别模型中的训练好的n个分类器中进行匹配，得到待标注图片的n种情绪状态的概率值，其中，n为正整数，每个分类器对应一种情绪状态；

结果输出子模块7203，用于从n种情绪状态的概率值中，获取最大的概率值对应的情绪状态作为待标注图片的情绪状态，并将该最大的概率值作为待标注图片的情绪状态的预测分值；

信息标注子模块7204，用于获取待标注图片的情绪状态和情绪状态的预测分值作为标注信息，将标注信息标注到对应的待标注图片中，得到每个人脸图片对应的标注信息。

进一步地，该人脸样本图片标注装置还包括：

图片增广模块714，用于采用预设的增广方式对人脸图片进行增广，得到与人脸图片对应的增广图片；

图片存储模块715，用于将增广图片作为待标注图片，添加到人脸图片集中。

进一步地，误差数据输出模块73包括：

第一数据获取子模块7301，用于获取预测分值小于预设的误差阈值的人脸图片作为第一误差图片；

第二数据获取子模块7302，用于若增广图片的情绪状态和该增广图片对应的人脸图片的情绪状态不同，则获取该增广图片标识为第二误差图片；

误差数据输出子模块7303，用于将第一误差图片和第二误差图片作为误差数据集，并将误差数据集输出到客户端。

关于人脸样本图片标注装置的具体限定可以参见上文中对于人脸样本图片标注方法的限定，在此不再赘述。上述人脸样本图片标注装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸样本图片标注方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例人脸样本图片标注方法中的步骤，例如图2所示的步骤S1至步骤S7，或者，处理器执行计算机程序时实现上述实施例中人脸样本图片标注装置的各模块的功能，例如图7所示模块71至模块77的功能。为避免重复，这里不再赘述。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例人脸样本图片标注方法中的步骤，例如图2所示的步骤S1至步骤S7，或者，处理器执行计算机程序时实现上述实施例中人脸样本图片标注装置的各模块的功能，例如图7所示模块71至模块77的功能。为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims

1.一种人脸样本图片标注方法，其特征在于，所述人脸样本图片标注方法包括：

获取预设的人脸图片集中的人脸图片作为待标注图片；

将所述人脸图片集中除所述第一标准样本和所述第二标准样本以外的所述人脸图片作为新的待标注图片，继续执行所述使用预设的情绪识别模型对所述待标注图片进行识别，并将所述待标注图片的识别结果作为标注信息，标注到对应的所述待标注图片中，得到每个所述人脸图片对应的所述标注信息的步骤，直到所述误差数据集为空为止。

2.如权利要求1所述的人脸样本图片标注方法，其特征在于，在所述使用预设的情绪识别模型对所述待标注图片进行识别，并将所述待标注图片的识别结果作为标注信息，标注到对应的所述待标注图片中，得到每个所述人脸图片对应的所述标注信息之前，所述人脸样本图片标注方法还包括：

从所述预设的标准样本库中获取人脸样本图片；

对所述人脸样本图片进行预处理；

使用预处理后的所述人脸样本图片对支持向量机模型进行训练，得到所述预设的情绪识别模型。

3.如权利要求1所述的人脸样本图片标注方法，其特征在于，所述使用预设的情绪识别模型对所述待标注图片进行识别，并将所述待标注图片的识别结果作为标注信息，标注到对应的所述待标注图片中，得到每个所述人脸图片对应的所述标注信息包括：

使用所述预设的情绪识别模型提取所述待标注图片的特征值；

根据所述待标注图片的特征值，在所述预设的情绪识别模型中的训练好的n个分类器中进行匹配，得到所述待标注图片的n种情绪状态的概率值，其中，n为正整数，每个所述分类器对应一种情绪状态；

从n种所述情绪状态的概率值中，获取最大的概率值对应的情绪状态作为所述待标注图片的情绪状态，并将该最大的概率值作为所述待标注图片的情绪状态的预测分值；

获取所述待标注图片的情绪状态和所述情绪状态的预测分值作为标注信息，将所述标注信息标注到对应的所述待标注图片中，得到每个所述人脸图片对应的所述标注信息。

4.如权利要求1至3任一项所述的人脸样本图片标注方法，其特征在于，在所述获取预设的人脸图片集中的人脸图片作为待标注图片之后，并且在所述使用预设的情绪识别模型对所述待标注图片进行识别，并将所述待标注图片的识别结果作为标注信息，标注到对应的所述待标注图片中，得到每个所述人脸图片对应的所述标注信息之前，所述人脸样本图片标注方法还包括：

采用预设的增广方式对所述人脸图片进行增广，得到与所述人脸图片对应的增广图片；

将所述增广图片作为所述待标注图片，添加到所述人脸图片集中。

5.如权利要求4所述的人脸样本图片标注方法，其特征在于，所述获取所述预测分值小于预设的误差阈值的人脸图片，并将获取到的所述人脸图片组成误差数据集，将所述误差数据集输出到客户端包括：

获取所述预测分值小于预设的误差阈值的人脸图片作为第一误差图片；

若所述增广图片的情绪状态和该增广图片对应的人脸图片的情绪状态不同，则获取该增广图片标识为第二误差图片；

将所述第一误差图片和所述第二误差图片作为所述误差数据集，并将所述误差数据集输出到所述客户端。

6.一种人脸样本图片标注装置，其特征在于，所述人脸样本图片标注装置包括：

7.如权利要求6所述的人脸样本图片标注装置，其特征在于，所述人脸样本图片标注装置还包括：

训练样本获取模块，用于从所述预设的标准样本库中获取人脸样本图片；

训练样本处理模块，用于对所述人脸样本图片进行预处理；

模型训练模块，用于使用预处理后的所述人脸样本图片对支持向量机模型进行训练，得到所述预设的情绪识别模型。

8.如权利要求6所述的人脸样本图片标注装置，其特征在于，所述样本图片标注模块包括：

特征提取子模块，用于使用所述预设的情绪识别模型提取所述待标注图片的特征值；

特征匹配子模块，用于根据所述待标注图片的特征值，在所述预设的情绪识别模型中的训练好的n个分类器中进行匹配，得到所述待标注图片的n种情绪状态的概率值，其中，n为正整数，每个所述分类器对应一种情绪状态；

结果输出子模块，用于从n种所述情绪状态的概率值中，获取最大的概率值对应的情绪状态作为所述待标注图片的情绪状态，并将该最大的概率值作为所述待标注图片的情绪状态的预测分值；

信息标注子模块，用于获取所述待标注图片的情绪状态和所述情绪状态的预测分值作为标注信息，将所述标注信息标注到对应的所述待标注图片中，得到每个所述人脸图片对应的所述标注信息。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述人脸样本图片标注方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述人脸样本图片标注方法的步骤。