CN105184283A - 一种人脸图片中关键点的标注方法及其标注*** - Google Patents

Abstract

本发明公开了一种人脸图片中关键点的标注方法，包括步骤：预先存储多张人脸图片以及每张人脸图片中预设关键点的基本坐标；在显示人脸图片之前，预先加载并存储人脸图片以及预先对人脸图片中预设关键点基本坐标搜索并存储搜索到的预设关键点基本坐标；显示预先加载并存储的人脸图片，根据预设关键点基本坐标对人脸图片中预设关键点初次标注并显示；预设多个图片标注操作指令和与图片标注操作指令对应的键盘按键触发信号，接收触发信号获得对应的图片标注操作指令，并根据预设关键点基本坐标，对人脸图片中预设关键点及人脸姿态和人脸表情进行标注并保存。本发明可在保证高质量的同时，快速有效地对人脸图片中关键点进行标注，提高用户工作效率。

Description

一种人脸图片中关键点的标注方法及其标注***

技术领域

本发明涉及图像处理、软件工程和计算机技术等技术领域，特别是涉及一种人脸图片中关键点的标注方法及其标注***。

背景技术

目前，随着人类科学技术的不断发展，人脸识别技术在人们日常生活中越来越普及，无论在人工智能研究还是公共安全应用方面，人脸识别技术一直是一项前沿、热门技术，拥有举足轻重的地位。

随着互联网经济的快速发展，尤其最近的“互联网加”概念的提出，人脸识别技术又被推向一个新的高潮。目前在金融领域，银行***中，开始局部试用人脸开户刷卡，这就促使全球科研人员加大力度来研究人脸识别***。可是，在目前的人脸识别***中经常需要测量大量的人脸数据图片，而在现有阶段，由于现有技术的不成熟，使得人脸图片中关键点的标注并非完全准确，为了工程的需求，需要进行人工关键点标注矫正。

目前，人脸关键点标注***具有两关键点标注***等，但是，随着科研的深入，人脸识别工作对标注点的数量、质量以及标注速度都有了非常大的要求。现有的标注***为了标注人员的快速上手，采用界面和鼠标相结合的模式，这样容易导致对人脸图片中关键点的标注速度低，需要耗费大量的时间，而同时现在人脸图片中关键点的标注数据量日益庞大，数据数目有时直达上万，甚至上百万，这就要求对人脸图片中关键点的标注工作不仅要求质量高，而且要求速度快。已有对人脸图片中关键点的标注模式已经不能满足科研的需求。

因此，目前迫切需要开发出一种技术，其可以在保证高质量的同时，快速、有效地对大量的人脸图片中关键点进行标注，满足用户对人脸识别功能的要求，提高用户的工作效率，节约人们宝贵的时间。

发明内容

有鉴于此，本发明的目的是提供一种人脸图片中关键点的标注方法及其标注***，其可以在保证高质量的同时，快速、有效地对大量的人脸图片中关键点进行标注，满足用户对人脸识别功能的要求，提高用户的工作效率，节约人们宝贵的时间，有利于提高用户的产品使用感受，具有重大的生产实践意义。

为此，本发明提供了一种人脸图片中关键点的标注方法，包括步骤：

第一步：预先存储用户需要标注关键点的多张人脸图片以及每张人脸图片中预设关键点的基本坐标；

第二步：在显示所述人脸图片之前，预先加载并存储所述人脸图片，以及预先对所述人脸图片中预设关键点的基本坐标进行搜索，并存储所述搜索到的预设关键点的基本坐标；

第三步：显示所述预先加载并存储的人脸图片，同时根据所述预设关键点的基本坐标对所述人脸图片中的预设关键点进行初次标注并实时显示；

第四步：预设多个图片标注操作指令和与所述图片标注操作指令对应的一个或者多个键盘按键的触发信号，当接收到用户通过一个或者多个键盘按键输入的触发信号时，获得对应的图片标注操作指令，并根据所获得的图片标注操作指令以及所述预设关键点的基本坐标，对所述人脸图片中的预设关键点以及人脸姿态和人脸表情进行标注，并同时保存所述标注过程中产生的标注数据，完成对所述人脸图片中预设关键点的标注操作。

其中，在所述第二步中，所述预先加载的人脸图片存储到预设的图片数据缓存区，所述搜索到的人脸图片中预设关键点的基本坐标存储到预设的关键点坐标数据缓存区。

其中，所述人脸图片中的预设关键点包括眼点、耳点、鼻点、眉点和口点；

在所述第三步中，所述人脸图片以五个所述预设关键点中的鼻点为中心进行显示。

其中，在所述第三步中，根据所述预设关键点的基本坐标，用五个十字来对所述人脸图片中的预设关键点进行初次标注并实时显示。

其中，所述图片标注操作指令包括对所述人脸图片中预设关键点的选择指令、预设关键点的平移操作指令、人脸姿态标注指令、人脸表情标注指令、图片结果标注指令、关键点平移分辨率调节指令和人脸图片缩放指令，以及标注数据的保存并切换图片指令。

此外，本发明还提供了一种人脸图片中关键点的标注***，包括：

数据存储单元，用于用户需要标注关键点的预先存储多张人脸图片以及每张人脸图片中预设关键点的基本坐标；

数据预处理单元，与数据存储单元相连接，用于在人脸图片显示单元显示所述人脸图片之前，预先加载并存储所述人脸图片，以及预先对所述人脸图片中预设关键点的基本坐标进行搜索，并存储所述搜索到的预设关键点的基本坐标；

人脸图片显示单元，与数据预处理单元相连接，用于显示所述数据预处理单元所预先加载并存储的人脸图片，同时根据所述预设关键点的基本坐标对所述人脸图片中的预设关键点进行初次标注并实时显示；

人脸图片标注单元，与数据预处理单元、人脸图片显示单元相连接，用于预设多个图片标注操作指令和与所述图片标注操作指令对应的一个或者多个键盘按键的触发信号，当接收到用户通过一个或者多个键盘按键输入的触发信号时，获得对应的图片标注操作指令，并根据所获得的图片标注操作指令以及所述数据预处理单元中存储的预设关键点的基本坐标，读取所述人脸图片显示单元显示的人脸图片并对所显示人脸图片中的预设关键点以及人脸姿态和人脸表情进行标注，并同时保存所述标注过程中产生的标注数据，完成对所述人脸图片中预设关键点的标注操作。

其中，所述数据预处理单元包括：

人脸图片预先加载和搜索模块，与数据存储单元相连接，用于在人脸图片显示单元显示所述人脸图片之前，预先加载所述人脸图片并将所述人脸图片发送到人脸图片数据缓存模块进行存储，以及预先对所述人脸图片中预设关键点的基本坐标进行搜索，并将所述搜索到的预设关键点的基本坐标发送给关键点坐标数据存储模块进行存储；

人脸图片数据缓存模块，与人脸图片预先加载和搜索模块相连接，用于接收并存储所述预先加载的人脸图片，以及与人脸图片显示单元建立数据通信；

关键点坐标数据存储模块，与人脸图片预先加载和搜索模块相连接，用于接收并存储所述搜索到的预设关键点的基本坐标，以及与人脸图片显示单元建立数据通信。

其中，所述人脸图片中的预设关键点包括眼点、耳点、鼻点、眉点和口点；

所述人脸图片显示单元用于以五个所述预设关键点中的鼻点为中心显示人脸图片。

其中，所述人脸图片显示单元用于根据所述预设关键点的基本坐标，用五个十字来对所述人脸图片中的预设关键点进行初次标注并实时显示。

其中，所述人脸图片标注单元包括：

图片标注指令存储模块，用于预设多个图片标注操作指令和与所述图片标注操作指令对应的一个或者多个键盘按键的触发信号；

图片标注指令获取模块，与图片标注指令存储模块相连接，用于当接收到用户通过一个或者多个键盘按键输入的触发信号时，从图片标注指令存储模块中获得对应的图片标注操作指令，然后发送给图片标注控制模块；

图片标注控制模块，与图片标注指令获取模块、人脸图片显示单元相连接，用于根据所述图片标注指令获取模块发送的图片标注操作指令以及所述数据预处理单元中存储的预设关键点的基本坐标，读取所述人脸图片显示单元显示的人脸图片并对所显示人脸图片中的预设关键点以及人脸姿态和人脸表情进行标注，并同时保存所述标注过程中产生的标注数据到图片标注存储模块中，完成对所述人脸图片中预设关键点的标注操作；

图片标注存储模块，与图片标注控制模块相连接，用于存储所述图片标注控制模块对人脸图片中的预设关键点以及人脸姿态和人脸表情进行标注产生的标注数据。

由以上本发明提供的技术方案可见，与现有技术相比较，本发明提供了一种人脸图片中关键点的标注方法及其标注***，其可以在保证高质量的同时，快速、有效地对大量的人脸图片中关键点进行标注，满足用户对人脸识别功能的要求，提高用户的工作效率，节约人们宝贵的时间，有利于提高用户的产品使用感受，具有重大的生产实践意义。

附图说明

图1为本发明提供的一种人脸图片中关键点的标注方法的流程图；

图2为本发明提供的一种人脸图片中关键点的标注***的结构方框图；

图3为本发明提供的一种人脸图片中关键点的标注***具体实施例的结构方框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和实施方式对本发明作进一步的详细说明。

图1为本发明提供的一种人脸图片中关键点的标注方法的流程图；

参见图1，本发明提供的一种人脸图片中关键点的标注方法，包括以下步骤：

步骤S101：预先存储多张人脸图片以及每张人脸图片中预设关键点的基本坐标；

步骤S102：在显示用户需要标注关键点的人脸图片之前，预先加载并存储所述人脸图片，以及预先对所述人脸图片中预设关键点的基本坐标进行搜索，并存储所述搜索到的预设关键点的基本坐标；

步骤S103：显示所述预先加载并存储的人脸图片，同时根据所述预设关键点的基本坐标对所述人脸图片中的预设关键点进行初次标注并实时显示；

步骤S104：预设多个图片标注操作指令和与所述图片标注操作指令对应的一个或者多个键盘按键的触发信号，当接收到用户通过一个或者多个键盘按键输入的触发信号时，获得对应的图片标注操作指令，并根据所获得的图片标注操作指令以及所述预设关键点的基本坐标，对所述人脸图片中的预设关键点以及人脸姿态和人脸表情进行标注，并同时保存所述标注过程中产生的标注数据，完成对所述人脸图片中预设关键点的标注操作。

在步骤S101中，需要用户预先存储多张人脸图片以及每张人脸图片中预设关键点的基本坐标。

需要说明的是，在本发明中，基本坐标(粗坐标)即关键点的大致位置坐标。具体实现上，为了精确标注预设关键点，在用户使用本发明的技术进行关键点的位置微调时，需要用户预先使用自己设计的算法或者其他现有的算法(如图像识别算法等)提取预设关键点的基本坐标，并将提取的关键点的粗坐标和对应的图片文件名称预先存储(例如存储到txt格式的文本文件中)。本发明在开始阶段需要用户指定的基本坐标存储文件的路径和基本坐标所对应的图片所在文件夹路径，本发明根据读取的图片文件名在基本坐标存储文件中进行预设关键点的基本坐标检索，检索获得后，将基本坐标以十字图形标注在图片上，同时根据显示窗口的大小进行图片的适当缩放，以便于用户观察所标注的基本坐标。

需要说明的是，本发明是在关键点的大致位置(即基本坐标，也叫粗坐标)已经明确的基础上，人工通过键盘等收到进行关键点的位置微调，实现对预设关键点位置的最终精确标注。

在步骤S102中，具体实现上，对于本发明，可以在显示用户需要标注关键点的人脸图片之前，将人脸图片预先加载并存储到预设的图片数据缓存区，以及可以将搜索到的所述人脸图片中预设关键点的基本坐标存储到预设的关键点坐标数据缓存区，从而可以加快人脸图片的显示速度和图片切换速度。

在本发明中，具体实现上，所述人脸图片中的预设关键点为五个关键点，分别对应人们的眼、耳、鼻、眉和口等五官，即包括眼点、耳点、鼻点、眉点和口点。

需要说明的是，随着图像技术的发展，图像的分辨率越来越高，同时由于从硬盘读出数据速度慢，并且需要对大量数据进行各种操作变换，导致在对人脸图片进行显示时，需要的加载时间增大，并且随着人脸图片的图像数据量的增高，人脸图片中关键点的基本坐标的数据量也进一步增大，这样容易导致搜索过程耗费时间急剧增大，因此，基于这两方面的原因，容易导致人脸图片在加载和切换过程中的延时增大，降低了用户对人脸图片中关键点标注的工作效率，有鉴于此，本发明在步骤S102中，采用了图像预加载技术以及对人脸图片中关键点的预搜索技术。

在本发明中，在步骤S103中，具体实现上，所述人脸图片优选为以五个预设关键点中的鼻点为中心在显示屏幕上进行显示。

需要说明的是，根据显示屏幕的尺寸大小和人脸图片的大小，人脸图片将相应自动缩放后以适应显示屏幕的尺寸大小。

在本发明中，在步骤S103中，具体实现上，根据所述预设关键点的基本坐标，可以用五个十字来对所述人脸图片中眼点、耳点、鼻点、眉点和口点等五个预设关键点进行初次标注。

在本发明中，在步骤S104中，所述图片标注操作指令包括对所述人脸图片中预设关键点的选择指令、预设关键点的平移操作指令、人脸姿态标注指令、人脸表情标注指令、图片结果标注指令、关键点平移分辨率(即平移距离)调节指令和人脸图片缩放指令，以及标注数据的保存并切换图片指令，以及其他用户预先的任意一种或者多种对人脸图片的操作控制指令。

对于本发明，需要说明的是，标注人脸图片的所有工作都是通过键盘来完成。具体实现上，所述键盘为标准键盘，所述键盘按键为标准键盘上的按键，所述一个或者多个键盘按键的触发信号通过标注键盘来输入。本发明根据用户的习惯，来预设多个不同键盘按键的触发信号相对应的图片标注操作指令。

还需要说明的是，键盘操作目前是计算机工作人员的工作效率最高的操作方式，鼠标虽然操作方便，但当面对百万级的人脸图片数据量以及长时间的操作，鼠标操作方案不仅工作效率低，同时出错的几率也会随着工作时间的增加而升高，本发明放弃使用鼠标操作。在此种情况下，全键盘操作是目前唯一的有效解决方案。利用键盘为输入端进行人脸关键点标注，根据键盘按键的输入，对人脸关键点进行操作。

在步骤S104中，具体实现上，对于本发明，当所述预设关键点包括眼点、耳点、鼻点、眉点、口点等五个关键点时，所述人脸图片中预设关键点的选择指令包括眼点选择指令、耳点选择指令、鼻点选择指令、眉点选择指令和口点选择指令。所述眼点选择指令、耳点选择指令、鼻点选择指令、眉点选择指令和口点选择指令，具体可以分别对应标准键盘中的数字键“1”、数字键“2”、数字键“3”、数字键“4”和数字键“5”的触发信号，从而让用户可以选择想要的关键点(如按压数字键“1”、数字键“2”、数字键“3”、数字键“4”和数字键“5”，可以让用户依次对应选择所述眼点、耳点、鼻点、眉点和口点等关键点)。例如，用户按压数字键1，可以触发选择人脸图片中的眼点作为当前用户想要做进一步调整控制操作的关键点。

在步骤S104中，具体实现上，对于本发明，所述人脸图片中预设关键点的平移操作指令包括对预设关键点的向上平移操作指令、向下平移操作指令、向左平移操作指令和向右平移操作指令，所述对预设关键点的向上平移操作指令、向下平移操作指令、向左平移操作指令和向右平移操作指令，具体可以分别对应标准键盘中的字母键“W”、字母键“S”、字母键“A”、字母键“D”的触发信号，从而让用户可以对预设关键点进行平移操作。因此，用户可以通过按压字母键“W”、字母键“S”、字母键A和字母键“D”，可以触发对应的图片标注操作指令，分别对应地对之前用户所选择的预设关键点(通过按压数字键“1”、数字键“2”、数字键“3”、数字键“4”或者数字键“5”选择的预设关键点)进行向上平移、向下平移、向左平移和向右平移操作。

在步骤S104中，具体实现上，对于本发明，所述人脸姿态包括左脸姿态、正脸姿态(也叫中脸姿态)和右脸姿态。所述人脸姿态标注指令包括左脸姿态标注指令、正脸姿态(也叫中脸姿态)标注指令和右脸姿态标注指令。所述左脸姿态标注指令、正脸姿态(也叫中脸姿态)标注指令和右脸姿态标注指令，具体可以分别对应标准键盘中的数字键“7”、数字键“8”和数字键“9”的触发信号，从而可以让用户标注不同的人脸姿态。因此，用户可以通过按压数字键“7”、数字键“8”和数字键“9”，可以触发对应的图片标注操作指令，可以分别标注当前人脸图片的人脸姿态为左脸姿态、正脸姿态和右脸姿态。

在步骤S104中，具体实现上，对于本发明，所述人脸表情标注指令可以对应所述标注键盘中的数字键“6”的触发信号，用户可以通过按压数字键“6”，实现对所述人脸图片中的人脸表情的标注。

在本发明中，所述人脸表情分为有表情与无表情两种状态，有表情的状态例如可以包括微笑、哭泣、愤怒等都算作有表情。通过数字键“6”触发可以实现有表情与无表情这两种状态之间的切换，同时在图片切换时将表情的标注状态及时进行存储，例如可以存储在新建的数据文件中。

在步骤S104中，具体实现上，对于本发明，所述图片结果标注指令可以对应所述标注键盘中的数字键“0”的触发信号，用户可以通过按压数字键“0”，实现对图片结果的正确与否进行标注。

在本发明中，所述图片结果分为正确与错误两种状态，图片结果即图片内容是否为标准的人脸，对于用户需要标注关键点的人脸图片，有些图片内容为非人脸或人脸部分缺损，那么预定义此种状态为图片结果错误，其它情况为图片结果正确。本发明可以根据用户按压数字键“0”触发进行图片结果两种状态进行切换，同时在图片切换时及时进行将数据存储，例如可以在新建数据文件中。

在步骤S104中，具体实现上，对于本发明，所述关键点平移分辨率(即平移距离)调节指令包括四个平移分辨率调节指令，具体包括平移第一预设距离指令、平移第二预设距离指令、增加预设大小平移距离的指令和减少预设大小平移距离的指令。所述平移第一预设距离指令、平移第二预设距离指令、增加预设大小平移距离的指令和减少预设大小平移距离的指令，具体可以分别对应所述标准键盘中的向上方向按键(Up按键)、向下方向按键(Down按键)、向左方向按键(left按键)和向上方向按键(Right按键)的触发信号。因此，用户可以通过按压向上方向按键(Up按键)、向下方向按键(Down按键)、向左方向按键(left按键)和向上方向按键(Right按键)，可以触发对应的图片标注操作指令，分别对应将用户选择的关键点平移第一预设距离(例如为100像素)、平移第二预设距离(例如为1像素)、增加预设大小的平移距离(例如使得当前的平移距离增加1像素)以及减少预设大小的平移距离(例如使得当前的平移距离减少1像素)。

在步骤S104中，具体实现上，对于本发明，所述人脸图片缩放指令包括图片放大指令和图片缩小指令，所述图片放大指令和图片缩小指令具体可以分别对应所述标准键盘中的向上翻页键(PageUp按键)和向下翻页键(PageDown按键)的触发信号。因此，用可以通过按压向上翻页键(PageUp按键)和向下翻页键(PageDown按键)，实现对当前显示的人脸图片的放大和缩小操作。

在步骤S104中，具体实现上，对于本发明，所述标注数据的保存并切换图片指令具体可以对应所述标准键盘中的空格按键的触发指令。因此，用户可以通过按压空格按键，来快速地实现对所述人脸图片中的标注数据的保存，同时可以实现快递地图片切换，将图片切换到下一幅人脸图片。

在步骤S104中，具体实现上，所述标注数据可以保存在新建的文件中或者已经存在的旧文件中，当保存在已经存在的旧文件中时，所述标注数据存储在旧文件的末尾存储数据，以防止新存储的标注数据覆盖原有的老数据。

参见图2，具体实现上，为了运行上述本发明提供的一种人脸图片中关键点的标注方法，本发明还提供了一种人脸图片中关键点的标注***，该标注***具体包括：

数据存储单元201，用于预先存储用户需要标注关键点的多张人脸图片以及每张人脸图片中预设关键点的基本坐标；

数据预处理单元202，与数据存储单元相连接，用于在人脸图片显示单元显示所述人脸图片之前，预先加载并存储所述人脸图片，以及预先对所述人脸图片中预设关键点的基本坐标进行搜索，并存储所述搜索到的预设关键点的基本坐标；

人脸图片显示单元203，与数据预处理单元202相连接，用于显示所述数据预处理单元202所预先加载并存储的人脸图片(所述人脸图片显示单元203，与数据预处理单元202的数据同步)，同时根据所述预设关键点的基本坐标对所述人脸图片中的预设关键点进行初次标注并实时显示；

人脸图片标注单元204，与数据预处理单元202、人脸图片显示单元203相连接，用于预设多个图片标注操作指令和与所述图片标注操作指令对应的一个或者多个键盘按键的触发信号，当接收到用户通过一个或者多个键盘按键输入的触发信号时，获得对应的图片标注操作指令，并根据所获得的图片标注操作指令以及所述数据预处理单元202中存储的预设关键点的基本坐标，读取所述人脸图片显示单元203显示的人脸图片并对所显示人脸图片中的预设关键点以及人脸姿态和人脸表情进行标注，并同时保存所述标注过程中产生的标注数据，完成对所述人脸图片中预设关键点的标注操作。

在步骤S101中，需要用户预先存储多张人脸图片以及每张人脸图片中预设关键点的基本坐标。

需要说明的是，在本发明中，基本坐标(粗坐标)即关键点的大致位置坐标。具体实现上，为了精确标注预设关键点，在用户使用本发明的技术进行关键点的位置微调时，需要用户预先使用自己设计的算法或者其他现有的算法(如图像识别算法等)提取预设关键点的基本坐标，并将提取的关键点的粗坐标和对应的图片文件名称预先存储(例如存储到txt格式的文本文件中)。本发明在开始阶段需要用户指定的基本坐标存储文件的路径和基本坐标所对应的图片所在文件夹路径，本发明根据读取的图片文件名在基本坐标存储文件中进行预设关键点的基本坐标检索，检索获得后，将基本坐标以十字图形标注在图片上，同时根据显示窗口的大小进行图片的适当缩放，以便于用户观察所标注的基本坐标。

需要说明的是，本发明是在关键点的大致位置(即基本坐标，也叫粗坐标)已经明确的基础上，人工通过键盘等收到进行关键点的位置微调，实现对预设关键点位置的最终精确标注。

在本发明中，对于数据预处理单元202，具体实现上，所述数据预处理单元202具体可以用于在显示用户需要标注关键点的人脸图片之前，将人脸图片预先加载并存储到预设的人脸图片数据缓存区，以及将所述搜索到的所述人脸图片中预设关键点的基本坐标存储到预设的关键点坐标数据缓存区，从而可以加快人脸图片的显示速度和图片切换速度。

在本发明中，具体实现上，所述人脸图片中的预设关键点为五个关键点，分别对应人们的眼、耳、鼻、眉和口等五官，即包括眼点、耳点、鼻点、眉点和口点。

参见图3，在本发明中，对于数据预处理单元202，其包括人脸图片预先加载和搜索模块2021、人脸图片数据缓存模块2022和关键点坐标数据存储模块2023，其中：

人脸图片预先加载和搜索模块2021，与所述数据存储单元201相连接，用于在人脸图片显示单元显示所述人脸图片之前，预先加载所述人脸图片并将所述人脸图片发送到人脸图片数据缓存模块进行存储，以及预先对所述人脸图片中预设关键点的基本坐标进行搜索，并将所述搜索到的预设关键点的基本坐标发送给关键点坐标数据存储模块进行存储；

人脸图片数据缓存模块2022，与人脸图片预先加载和搜索模块2021相连接，用于接收并存储所述预先加载的人脸图片，以及与人脸图片显示单元203建立数据通信(实现数据同步)；

关键点坐标数据存储模块2023，与人脸图片预先加载和搜索模块相连接，用于接收并存储所述搜索到的预设关键点的基本坐标，以及与人脸图片显示单元203建立数据通信(实现数据同步)。

在本发明中，所述人脸图片预先加载和搜索模块2021可以为所述标注***主板上的中央处理器CPU、数字信号处理器DSP或者单片机MCU。

在本发明中，所述人脸图片数据缓存模块2022和关键点坐标数据存储模块2023分别作为预设的人脸图片数据缓存区和关键点坐标数据缓存区，它们优选为非易失性随机访问存储器NVRAM。需要说明的是，非易失性随机访问存储器NVRAM是在断电后数据仍然能保留的半导体存储器，从而保证所存储的数据不会因为断电而丢失。

需要说明的是，随着图像技术的发展，图像的分辨率越来越高，同时由于从硬盘读出数据速度慢，并且需要对大量数据进行各种操作变换，导致在对人脸图片进行显示时，需要的加载时间增大，并且随着人脸图片的图像数据量的增高，人脸图片中关键点的基本坐标的数据量也进一步增大，这样容易导致搜索过程耗费时间急剧增大，因此，基于这两方面的原因，容易导致人脸图片在加载和切换过程中的延时增大，降低了用户对人脸图片中关键点标注的工作效率，有鉴于此，本发明采用了图像预加载技术以及对人脸图片中关键点的预搜索技术。

在本发明中，对于人脸图片显示单元203，具体实现上，所述人脸图片显示单元优选为以五个预设关键点中的鼻点为中心在显示屏幕上显示人脸图片。

需要说明的是，根据显示屏幕的尺寸大小和人脸图片的大小，人脸图片将相应自动缩放后以适应显示屏幕的尺寸大小。

在本发明中，对于人脸图片显示单元203，具体实现上，根据所述预设关键点的基本坐标，可以用五个十字来对所述人脸图片中眼点、耳点、鼻点、眉点和口点等五个预设关键点进行初次标注。

在本发明中，具体实现上，所述人脸图片显示单元203为显示终端的显示面板，优选为LCD液晶显示面板。需要说明的是，对于本发明，不仅可以应用于液晶显示器中，还可以应用于CRT阴极射线显像管显示器中。

参见图3，在本发明中，对于人脸图片标注单元204，可以包括图片标注指令存储模块2041、图片标注指令获取模块2042、图片标注控制模块2043和图片标注存储模块2044，其中：

图片标注指令存储模块2041，用于预设(即预先存储)多个图片标注操作指令和与所述图片标注操作指令对应的一个或者多个键盘按键的触发信号；

图片标注指令获取模块2042，与图片标注指令存储模块2041相连接，用于当接收到用户通过一个或者多个键盘按键输入的触发信号时，从图片标注指令存储模块中获得对应的图片标注操作指令，然后发送给图片标注控制模块；

图片标注控制模块2043，与图片标注指令获取模块2042、人脸图片显示单元203相连接，用于根据所述图片标注指令获取模块发送的图片标注操作指令以及所述数据预处理单元202中存储的预设关键点的基本坐标，读取所述人脸图片显示单元203显示的人脸图片并对所显示人脸图片中的预设关键点以及人脸姿态和人脸表情进行标注，并同时保存所述标注过程中产生的标注数据到图片标注存储模块中，完成对所述人脸图片中预设关键点的标注操作；

图片标注存储模块2044，与图片标注控制模块2043相连接，用于存储所述图片标注控制模块对人脸图片中的预设关键点以及人脸姿态和人脸表情进行标注产生的标注数据。

在本发明中，所述图片标注指令存储模块2041和图片标注存储模块2044可以为非易失性随机访问存储器NVRAM。

在本发明中，所述图片标注指令获取模块2042和图片标注控制模块2043可以为所述标注***主板上的中央处理器CPU、数字信号处理器DSP或者单片机MCU。所述图片标注指令获取模块2042和图片标注控制模块2043可以为单独设置的器件，也可以集成设置在一起。

在本发明中，对于人脸图片标注单元204，所述图片标注操作指令包括对所述人脸图片中预设关键点的选择指令、预设关键点的平移操作指令、人脸姿态标注指令、人脸表情标注指令、图片结果标注指令、关键点平移分辨率(即平移距离)调节指令、人脸图片缩放指令以及标注数据的保存并切换图片指令，以及其他用户预先的任意一种或者多种对人脸图片的操作控制指令。

对于本发明，需要说明的是，标注人脸图片的所有工作都是通过键盘来完成。具体实现上，所述键盘为标准键盘，所述键盘按键为标准键盘上的按键，所述一个或者多个键盘按键的触发信号通过标注键盘来输入。本发明根据用户的习惯，来预设多个不同键盘按键的触发信号相对应的图片标注操作指令。

还需要说明的是，键盘操作目前是计算机工作人员的工作效率最高的操作方式，鼠标虽然操作方便，但当面对百万级的人脸图片数据量以及长时间的操作，鼠标操作方案不仅工作效率低，同时出错的几率也会随着工作时间的增加而升高，本发明放弃使用鼠标操作。在此种情况下，全键盘操作是目前唯一的有效解决方案。利用键盘为输入端进行人脸关键点标注，根据键盘按键的输入，对人脸关键点进行操作。

对于人脸图片标注单元204，具体实现上，对于本发明，当所述预设关键点包括眼点、耳点、鼻点、眉点、口点等五个关键点时，所述人脸图片中预设关键点的选择指令包括眼点选择指令、耳点选择指令、鼻点选择指令、眉点选择指令和口点选择指令。所述眼点选择指令、耳点选择指令、鼻点选择指令、眉点选择指令和口点选择指令，具体可以分别对应标准键盘中的数字键“1”、数字键“2”、数字键“3”、数字键“4”和数字键“5”的触发信号，从而让用户可以选择想要的关键点(如按压数字键“1”、数字键“2”、数字键“3”、数字键“4”和数字键“5”，可以让用户依次对应选择所述眼点、耳点、鼻点、眉点和口点等关键点)。例如，用户按压数字键“1”，可以触发选择人脸图片中的眼点作为当前用户想要做进一步调整控制操作的关键点。

对于人脸图片标注单元204，具体实现上，对于本发明，所述人脸图片中预设关键点的平移操作指令包括对预设关键点的向上平移操作指令、向下平移操作指令、向左平移操作指令和向右平移操作指令，所述对预设关键点的向上平移操作指令、向下平移操作指令、向左平移操作指令和向右平移操作指令，具体可以分别对应标准键盘中的字母键“W”、字母键“S”、字母键“A”、字母键“D”的触发信号，从而让用户可以对预设关键点进行平移操作。因此，用户可以通过按压字母键“W”、字母键“S”、字母键“A”和字母键“D”，可以触发对应的图片标注操作指令，分别对应地对之前用户所选择的预设关键点(通过按压数字键“1”、数字键“2”、数字键“3”、数字键“4”或者数字键“5”选择的预设关键点)进行向上平移、向下平移、向左平移和向右平移操作。

对于人脸图片标注单元204，具体实现上，对于本发明，所述人脸姿态包括左脸姿态、正脸姿态(也叫中脸姿态)和右脸姿态。所述人脸姿态标注指令包括左脸姿态标注指令、正脸姿态(也叫中脸姿态)标注指令和右脸姿态标注指令。所述左脸姿态标注指令、正脸姿态(也叫中脸姿态)标注指令和右脸姿态标注指令，具体可以分别对应标准键盘中的数字键“7”、数字键“8”和数字键“9”的触发信号，从而可以让用户标注不同的人脸姿态。因此，用户可以通过按压数字键“7”、数字键“8”和数字键“9”，可以触发对应的图片标注操作指令，可以分别标注当前人脸图片的人脸姿态为左脸姿态、正脸姿态和右脸姿态。

对于人脸图片标注单元204，具体实现上，对于本发明，所述人脸表情标注指令可以对应所述标注键盘中的数字键“6”的触发信号，用户可以通过按压数字键“6”，实现对所述人脸图片中的人脸表情的标注。

在本发明中，所述人脸表情分为有表情与无表情两种状态，有表情的状态例如可以包括微笑、哭泣、愤怒等都算作有表情。通过数字键“6”触发可以实现有表情与无表情这两种状态之间的切换，同时在图片切换时将表情的标注状态及时进行存储，例如可以存储在新建的数据文件中。

对于人脸图片标注单元204，具体实现上，对于本发明，所述图片结果标注指令可以对应所述标注键盘中的数字键“0”的触发信号，用户可以通过按压数字键“0”，实现对图片结果的正确与否进行标注。

在本发明中，所述图片结果分为正确与错误两种状态，图片结果即图片内容是否为标准的人脸，对于用户需要标注关键点的人脸图片，有些图片内容为非人脸或人脸部分缺损，那么预定义此种状态为图片结果错误，其它情况为图片结果正确。本发明可以根据用户按压数字键“0”触发进行图片结果两种状态进行切换，同时在图片切换时及时进行将数据存储，例如可以在新建数据文件中。

对于人脸图片标注单元204，具体实现上，对于本发明，所述关键点平移分辨率(即平移距离)调节指令包括四个平移分辨率调节指令，具体包括平移第一预设距离指令、平移第二预设距离指令、增加预设大小平移距离的指令和减少预设大小平移距离的指令。所述平移第一预设距离指令、平移第二预设距离指令、增加预设大小平移距离的指令和减少预设大小平移距离的指令，具体可以分别对应所述标准键盘中的向上方向按键(Up按键)、向下方向按键(Down按键)、向左方向按键(left按键)和向上方向按键(Right按键)的触发信号。因此，用户可以通过按压向上方向按键(Up按键)、向下方向按键(Down按键)、向左方向按键(left按键)和向上方向按键(Right按键)，可以触发对应的图片标注操作指令，分别对应将用户选择的关键点平移第一预设距离(例如为100像素)、平移第二预设距离(例如为1像素)、增加预设大小的平移距离(例如使得当前的平移距离增加1像素)以及减少预设大小的平移距离(例如使得当前的平移距离减少1像素)。

对于人脸图片标注单元204，具体实现上，对于本发明，所述人脸图片缩放指令包括图片放大指令和图片缩小指令，所述图片放大指令和图片缩小指令具体可以分别对应所述标准键盘中的向上翻页键(PageUp按键)和向下翻页键(PageDown按键)的触发信号。因此，用可以通过按压向上翻页键(PageUp按键)和向下翻页键(PageDown按键)，实现对当前显示的人脸图片的放大和缩小操作。

对于人脸图片标注单元204，具体实现上，对于本发明，所述标注数据的保存并切换图片指令具体可以对应所述标准键盘中的空格按键的触发指令。因此，用户可以通过按压空格按键，来快速地实现对所述人脸图片中的标注数据的保存，同时可以实现快递地图片切换，将图片切换到下一幅人脸图片。

对于人脸图片标注单元204，具体实现上，所述标注数据可以保存在新建的文件中或者已经存在的旧文件中，当保存在已经存在的旧文件中时，所述标注数据存储在旧文件的末尾存储数据，以防止新存储的标注数据覆盖原有的老数据。

需要说明的是，对于本发明，由于需要处理的人脸图片的数据量庞大，对人脸图片中五个关键点的基本坐标文件的检索和加载、转换图片数据需要花费大量的时间，因此，本发明通过创建运行数据预处理单元201的子线程来进行图片的预加载转换和五个关键点的预检索，并及时存储到预设的人脸图片数据缓存区以及预设的关键点坐标数据缓存区，同时为了保证运行人脸图片显示单元203的主线程和子线程的同步，使用了信号来进行线程同步，人脸图片显示单元203在进行图片加载时读取人脸图片数据缓存区和关键点坐标数据缓存区中的人脸图片数据和关键点坐标，从而可以减小时间延迟现象。具体操作上，用户可以根据关键点的实际位置，通过键盘按键中的数字键“1”、数字键“2”、数字键“3”、数字键“4”或者数字键“5”来快速选择人脸图片中的任意一个关键点，在选择后通过按压字母键“W”、字母键“S”、字母键“A”、字母键“D”进行关键点的移动，在进行关键点标注时，由于图片过大或过小倒置的关键点不易标注，还可以通过向上翻页键(PageUp按键)和向下翻页键(PageDown按键)将人脸图片进行放大和缩小。此外，在移动关键点时，有时由于离目标位置太远，用户还可以调节移动分辨率，可按下移动键使移动距离变大，从而加快对人脸图片中关键点的标注时间，本发明提供的标注***在进行关键点位置标注完成后，还可以同时标注人脸图片内容的姿态表情等，因此，本发明还有利于人脸识别的技术改进，当人脸图片中五个关键点标注全部完成后，最终通过空格键可以进行图片标注数据的存储，并且触发同时显示下一幅图片。

由上面的技术方案可知，对于本发明，其最大特点是结合人的生理使用习惯，利用键盘按键的逻辑输入关系，使用全键盘快速操作，根据操作人员的操作习惯进行按键选择，避免键盘按键的选择不合理，非常方便操作，从而可以节约对人脸图片中关键点的标注时间，加快标注速度，同时利用图像预加载来加快人脸图片的显示和图片切换，提高对人脸图片标注的流畅度。本发明可以通过键盘中的按键，来进行人脸图片中关键点的选择、移动、姿态标注、表情标注和图片结果标注以及自动保存和图片切换功能。

此外，对于本发明，充分考虑到由于数据量的日益增大，标注人员需要多次进行标注才能完成标注工作，因此存储标注数据文件分为打开和新建两种，通过一系列的人性化设计，使人脸图片中关键点的标注速度可以达到每小时1000次标注，极大地加快了关键点的标注速度。

因此，对于本发明，其可以胜任对百万级人脸图片中关键点的标注，其可以使用键盘可实现人脸图片中五个关键点标注的快速完成，本发明对于数据量大的人脸图片，可以实现高效率和高质量的标注，具有非常好的效果。同时，基于本发明，用户进行人脸图片中关键点的标注操作非常方便，并且简单易用。

综上所述，与现有技术相比较，本发明提供了一种人脸图片中关键点的标注方法及其标注***，其可以在保证高质量的同时，快速、有效地对大量的人脸图片中关键点进行标注，满足用户对人脸识别功能的要求，提高用户的工作效率，节约人们宝贵的时间，有利于提高用户的产品使用感受，具有重大的生产实践意义。

通过使用本发明提供的显示器，可以使得人们生活的便利性得到很大的提高，极大地提高了人们的生活水平。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种人脸图片中关键点的标注方法，其特征在于，包括步骤：

第一步：预先存储用户需要标注关键点的多张人脸图片以及每张人脸图片中预设关键点的基本坐标；

第二步：在显示所述人脸图片之前，预先加载并存储所述人脸图片，以及预先对所述人脸图片中预设关键点的基本坐标进行搜索，并存储所述搜索到的预设关键点的基本坐标；

第三步：显示所述预先加载并存储的人脸图片，同时根据所述预设关键点的基本坐标对所述人脸图片中的预设关键点进行初次标注并实时显示；

第四步：预设多个图片标注操作指令和与所述图片标注操作指令对应的一个或者多个键盘按键的触发信号，当接收到用户通过一个或者多个键盘按键输入的触发信号时，获得对应的图片标注操作指令，并根据所获得的图片标注操作指令以及所述预设关键点的基本坐标，对所述人脸图片中的预设关键点以及人脸姿态和人脸表情进行标注，并同时保存所述标注过程中产生的标注数据，完成对所述人脸图片中预设关键点的标注操作。

2.如权利要求1所述的标注方法，其特征在于，在所述第二步中，所述预先加载的人脸图片存储到预设的图片数据缓存区，所述搜索到的人脸图片中预设关键点的基本坐标存储到预设的关键点坐标数据缓存区。

3.如权利要求1所述的标注方法，其特征在于，所述人脸图片中的预设关键点包括眼点、耳点、鼻点、眉点和口点；

在所述第三步中，所述人脸图片以五个所述预设关键点中的鼻点为中心进行显示。

4.如权利要求3所述的标注方法，其特征在于，在所述第三步中，根据所述预设关键点的基本坐标，用五个十字来对所述人脸图片中的预设关键点进行初次标注并实时显示。

5.如权利要求1所述的标注方法，其特征在于，所述图片标注操作指令包括对所述人脸图片中预设关键点的选择指令、预设关键点的平移操作指令、人脸姿态标注指令、人脸表情标注指令、图片结果标注指令、关键点平移分辨率调节指令和人脸图片缩放指令，以及标注数据的保存并切换图片指令。

6.一种人脸图片中关键点的标注***，其特征在于，包括：

数据存储单元，用于预先存储用户需要标注关键点的多张人脸图片以及每张人脸图片中预设关键点的基本坐标；

数据预处理单元，与数据存储单元相连接，用于在人脸图片显示单元显示所述人脸图片之前，预先加载并存储所述人脸图片，以及预先对所述人脸图片中预设关键点的基本坐标进行搜索，并存储所述搜索到的预设关键点的基本坐标；

人脸图片显示单元，与数据预处理单元相连接，用于显示所述数据预处理单元所预先加载并存储的人脸图片，同时根据所述预设关键点的基本坐标对所述人脸图片中的预设关键点进行初次标注并实时显示；

人脸图片标注单元，与数据预处理单元、人脸图片显示单元相连接，用于预设多个图片标注操作指令和与所述图片标注操作指令对应的一个或者多个键盘按键的触发信号，当接收到用户通过一个或者多个键盘按键输入的触发信号时，获得对应的图片标注操作指令，并根据所获得的图片标注操作指令以及所述数据预处理单元中存储的预设关键点的基本坐标，读取所述人脸图片显示单元显示的人脸图片并对所显示人脸图片中的预设关键点以及人脸姿态和人脸表情进行标注，并同时保存所述标注过程中产生的标注数据，完成对所述人脸图片中预设关键点的标注操作。

7.如权利要求6所述的标注***，其特征在于，所述数据预处理单元包括：

人脸图片预先加载和搜索模块，与数据存储单元相连接，用于在人脸图片显示单元显示所述人脸图片之前，预先加载所述人脸图片并将所述人脸图片发送到人脸图片数据缓存模块进行存储，以及预先对所述人脸图片中预设关键点的基本坐标进行搜索，并将所述搜索到的预设关键点的基本坐标发送给关键点坐标数据存储模块进行存储；

人脸图片数据缓存模块，与人脸图片预先加载和搜索模块相连接，用于接收并存储所述预先加载的人脸图片，以及与人脸图片显示单元建立数据通信；

关键点坐标数据存储模块，与人脸图片预先加载和搜索模块相连接，用于接收并存储所述搜索到的预设关键点的基本坐标，以及与人脸图片显示单元建立数据通信。

8.如权利要求6所述的标注***，其特征在于，所述人脸图片中的预设关键点包括眼点、耳点、鼻点、眉点和口点；

所述人脸图片显示单元用于以五个所述预设关键点中的鼻点为中心显示人脸图片。

9.如权利要求8所述的标注***，其特征在于，所述人脸图片显示单元用于根据所述预设关键点的基本坐标，用五个十字来对所述人脸图片中的预设关键点进行初次标注并实时显示。

10.如权利要求6所述的标注***，其特征在于，所述人脸图片标注单元包括：

图片标注指令存储模块，用于预设多个图片标注操作指令和与所述图片标注操作指令对应的一个或者多个键盘按键的触发信号；

图片标注指令获取模块，与图片标注指令存储模块相连接，用于当接收到用户通过一个或者多个键盘按键输入的触发信号时，从图片标注指令存储模块中获得对应的图片标注操作指令，然后发送给图片标注控制模块；

图片标注控制模块，与图片标注指令获取模块、人脸图片显示单元相连接，用于根据所述图片标注指令获取模块发送的图片标注操作指令以及所述数据预处理单元中存储的预设关键点的基本坐标，读取所述人脸图片显示单元显示的人脸图片并对所显示人脸图片中的预设关键点以及人脸姿态和人脸表情进行标注，并同时保存所述标注过程中产生的标注数据到图片标注存储模块中，完成对所述人脸图片中预设关键点的标注操作；

图片标注存储模块，与图片标注控制模块相连接，用于存储所述图片标注控制模块对人脸图片中的预设关键点以及人脸姿态和人脸表情进行标注产生的标注数据。