CN118196877A - 一种基于ai摄像头的人脸识别***及方法 - Google Patents

Abstract

本发明公开了一种基于AI摄像头的人脸识别***及方法，涉及人脸识别技术领域，该***包括图像采集单元：采集视频流图像；图像预处理单元：对采集的视频流图像进行预处理；数据上传单元：获取图像中人群密度，基于人群密度进行判定，将处理后的视频流图像上传至边缘终端或者网络终端进行处理；第一图像处理单元：对边缘终端内的图像处理；第二处理单元：对网络终端内的图像处理；第一识别单元：对第一图像处理单元处理后的图像进行人脸识别；第二识别单元：对第二图像处理单元处理后的图像进行人脸识别。本发明在多种人群密度的复杂环境下，依然保持较高的人脸识别准确率和识别时效性，同时具有对识别失败人脸图像的深度学习能力。

Description

一种基于AI摄像头的人脸识别***及方法

技术领域

本发明涉及人脸识别技术领域，具体地，涉及一种基于AI摄像头的人脸识别***及方法。

背景技术

AI摄像头是指在传统网络监控摄像头基础上，增加了AI功能，并不是一种可以用来拍摄视觉图像、或制作视频的新设备，而是与传统摄像头十分相似，可以利用计算机视觉等技术，从可视化数据中学习到实用信息的视觉处理设备，并且AI摄像头已经广泛应用于人脸识别等领域。

基于AI摄像头进行人脸识别，传统方法包括人脸检测、人脸标定、特征点提取、人脸校准和人脸比对等过程。虽然在人脸图像无遮挡、无污损的情况下，基于AI摄像头的人脸识别技术相对成熟，识别准确率较高，但易受到环境和人为因素的影响，例如被遮挡、光照不强、姿态变化、表情变化和年龄变化等，这类情形下，基于AI摄像头的传统人脸识别技术其识别性能有待提高，识别的准确率也得不到保障；同时传统对于包含人脸的视频流数据是通过网络终端统一处理，当采集的视频流数据包含的人脸过多时，人脸识别的时效性等不到保障。对此，亟需一种基于AI摄像头的人脸识别***来解决传统人脸识别在复杂环境下识别准确率不高和识别高时延的问题。

发明内容

为解决人脸识别在复杂环境下识别准确率不高和识别高时延的问题，本发明提供了一种基于AI摄像头的人脸识别***，该***包括：

图像采集单元：基于AI摄像头，采集视频流图像；

图像预处理单元：基于采集的视频流图像，获取第一图像，采用卷积神经网络对所述第一图像进行卷积和池化处理得到第一修正图像；采用预设函数对所述第一修正图像进行计算并判断人脸分类，检测所述第一修正图像中包含的人脸，对所述第一修正图像中已检测到的人脸采用矩形框进行标定；

数据上传单元：获取所述第一修正图像中包含人脸的第一数量，判断所述第一数量是否超过第一阈值，若是，将所述第一修正图像命名为第二图像，并将所述图像预处理单元处理后的所述视频流图像上传至边缘终端处理；若否，将所述第一修正图像命名为第三图像，并将所述图像预处理单元处理后的所述视频流图像上传至网络终端处理；

第一图像处理单元：用于对所述边缘终端中的所述第二图像进行处理，提取所述第二图像的所有矩形框中人脸的特征点，并统计所有矩形框中特征点的数量，将所述矩形框中特征点数量超过第二阈值对应的人脸图像上传至第一识别单元；对所述矩形框中特征点数量未超过所述第二阈值对应的人脸图像采用第一预设方法进行处理，再上传至所述第一识别单元；

第二图像处理单元：用于对所述网络终端中的所述第三图像进行处理，提取所述第三图像的所有矩形框中人脸的特征点，并统计所有矩形框中特征点的数量，将所述矩形框中特征点数量超过第三阈值对应的人脸图像上传至第二识别单元；对所述矩形框中特征点数量未超过所述第三阈值对应的人脸图像采用第二预设方法进行处理，再上传至所述第二识别单元；

第一识别单元：基于预设数据库，对所述第一图像处理单元上传的图像进行人脸识别；

第二识别单元：基于所述预设数据库，对所述第二图像处理单元上传的图像进行人脸识别。

本发明是通过以下技术方案实现的：在人脸图像无遮挡、无污损的情况下，传统人脸识别技术相对成熟，识别准确率和时效性都较高，但针对人群密度较大的人脸识别，由于环境和人为因素影响，导致可提取的特征点数量较少，从而影响识别准确率，同时需要将采集的大量人脸数据汇总至服务器再进行分析处理，网络延迟和带宽压力大，影响识别的时效性。

因此本技术方案首先通过图像采集单元中的AI摄像头实时采集视频流图像，再经过图像预处理单元对采集的视频流图像进行预处理，卷积神经网络中的卷积层能够捕捉图像的局部特征，池化层则可以降低数据的维度和计算复杂度，经过卷积和池化处理后得到第一修正图像，预设函数是一种激活函数，用于卷积神经网络的输出层，其原理是将数值向量归一化为一个概率分布向量，以此来检测第一修正图像中是否包含一张或多张人脸，然后对已经检测到人脸通过矩形框进行标定，标定后便于后续用于提取特征和人脸识别。

再通过数据上传单元对第一修正图像中人脸的数量进行统计，当第一数量超过第一阈值时，说明此时人群密度较大，此时将处理后的视频流图像上传至边缘终端处理；当第一数量未超过第一阈值，则说明此时人群密度适中，正常将处理后的视频流图像汇总至网络终端进行处理。

边缘终端和网络终端都具有独立的图像处理单元和识别单元，其对上传视频流图像进行处理核心思想都是先判断图像中矩形框包含的人脸特征点数量是否超过设定的阈值，如果超过，说明对应人脸的特征点较多，可以直接与预设数据库中的图像进行比对识别；如果未超过，边缘终端和网络终端分别采用第二预设方法和第三预设方法对相应的人脸图像进行处理，再与预设数据库中的图像进行比对识别，其目的是降低外界或者人为因素对于采集图像中人脸识别的影响，提高人脸识别的准确率。

进一步地，所述第一预设方法具体为：

基于采集的视频流图像，获取多帧所述第二图像放至第一集合；

在第一集合中提取其中一帧所述第二图像，并在所述第二图像中确定识别的人体，所述第二图像中包含所述人体对应人脸的矩形框为第一矩形框；

基于运动历史图像，计算当前帧所述第二图像中所述人体与上一帧所述第二图像中所述人体之间的第一距离；

若所述第一距离大于预设值，则基于所述运动历史图像，计算所述第一集合中连续两帧所述第二图像中所述人体之间的第二距离，直至所述第二距离小于所述预设值，判定完成对所述第二图像中所述人体的追踪；

若所述第一距离小于所述预设值，则判定完成对所述第二图像中所述人体的追踪；

当判定完成对所述第二图像中所述人体的追踪，获取所述第一集合中判定成功对应的第一帧所述第二图像及之后其他帧所述第二图像并放至第二集合；

基于所述第二集合，对每一帧所述第二图像中所述第一矩形框包含的人脸进行校准得到校准结果；

基于所述校准结果，获取所述第二集合中所有第一矩形框包含的特征点并放至第一特征点集；

基于所述第一特征点集中的所有特征点，对所述第一矩形框中的人脸进行重构；

将重构后的所述第一矩形框中的人脸图像上传至所述第一识别单元进行识别。

其中，基于采集的视频流图像，获取多帧第二图像放至第一集合，在第一集合中选取一帧第二图像，并在该帧第二图像中确定识别的人体，计算当前帧图像中与上一帧图像中人体之间的第二距离，如果第二距离小于预设值，判定完成追踪，如果第二距离是大于预设值，说明未完成追踪，此时对第一集合中连续两针第二图像中人体之间距离进行计算，直至该距离小于预设值，判定完成追踪。

只有当判定完成对需要识别人体的追踪时，获取第一集合中判定成功对应的第一帧第二图像及之后的其他图像并放至第二集合，由于图像中的人脸可能存在多种姿态，如抬头、正脸或者侧脸等，对人脸进行校准目的是摆正人脸，使其处于图像中央，尽量消除误差，输出的人脸更具可比性；然后提取第二集合中所有图像中人脸的特征点，基于提取的所有特征点，对第一矩形框中的人脸进行重构，由于是在判定追踪成功的前提下，连续获取多帧关于人脸的特征点，减小采集角度或者人群相互遮挡因素带来的影响，最后将重构后的人脸图像上传至第一识别单元进行识别。

进一步地，对所述第一矩形框中的人脸进行重构包括：

获取所述第一特征点集中任意两帧所述第二图像的所述第一矩形框中特征点的坐标，得到获取结果；

基于所述获取结果，采用第三预设方法对任意两帧所述第二图像的所述第一矩形框中特征点进行处理；

所述第三预设方法具体为：计算任意两帧所述第二图像的所述第一矩形框中对应第一特征点之间的第二距离；计算所述第二距离与预设距离的比值，得到误差系数；判断所述误差系数是否大于第四阈值，若是，则判定两个所述第一特征点相互独立，对两个所述第一特征点均保留；若否，则判定两个所述第一特征点属于同一特征点，对其中一个所述第一特征点消除；

重复执行所述第三预设方法，直至处理完所述特征点集中所有的特征点；

基于处理完成的所述特征点集中所有的特征点，得到所述第一矩形框中人脸的特征向量；

基于所述特征向量，对所述第一矩形框中的人脸进行重构。

其中，由于第二集合中会对人脸的部分特征点进行重复采集，为了提高重构效率，因此对第二集合中的特征点进行处理，首先对任意两帧人脸图像中的特征点进行处理，获取该两帧人脸图像中特征点的坐标，受限于采集精度和校准的影响，同一特征点的坐标可能也存在误差，因此通过误差系数来判定两帧人脸图像中的特征点是否为同一特征点，如果误差系数大于第四阈值，说明两个特征点彼此独立，均进行保留，如果误差系数小于或等于第四阈值，则说明两个特征点属于同一特征点，将其中一个特征点消除；重复上述步骤，直至处理完特征点集中所有特征点，此时得到关于人脸不重复的特征向量，基于特征向量，对第一矩形框中的人脸进行重构。

进一步地，所述第二预设方法具体为：

在所述第三图像中确定需要识别的人体，所述第三图像中包含所述人体对应人脸的矩形框为第二矩形框；

提取所述第二矩形框中人脸的所有第二特征点并放至第二特征点集；

判断所述第二特征点集中是否存在任意一组关于人脸对称的第二特征点，若是，则基于一组关于人脸对称的第二特征点，计算得到关于人脸的第一偏离角度和第一对称轴；若否，则在所述第二特征点集中确定一组关于预设部位对称的第三特征点，基于一组关于预设部位对称的第三特征点，计算得到关于人脸的第二偏离角度，基于所述第二偏离角度，确定一条关于人脸的第二对称轴，计算所述第二特征点集中所有第二特征点距离所述第二对称轴的距离向量，基于所有距离向量，调整所述第二对称轴位置，直至所有距离向量均收敛至对应的预设范围，记录并确定当前所述第二对称轴；

基于所述第一偏离角度和所述第一对称轴，对所述第二特征点集中关于人脸不对称的所有第二特征点进行仿射变换，得到第一变换结果；

基于所述第二偏离角度和调整后的所述第二对称轴，对所述第二特征点集中关于人脸不对称的所有特征点进行仿射变换，得到第二变换结果；

基于所述第一变换结果和所述第二变换结果，生成所述第二矩形框中人脸对应的图像。

其中，由于第二预设方法是针对第二图像处理单元中的人脸图像进行处理，而第二图像处理单元中上传的视频流图像中人群密度并不大，因此造成AI摄像头采集的人脸特征较少的原因更多是来自人群自身姿态（侧脸或佩戴口罩等）的影响。

首先在第三图像中确定需要识别的人体，然后提取人脸的所有第二特征点放至第二特征点集中，判断第二特征点集中是否存在任意一组关于人脸对称的第二特征点，如果存在，则直接基于该组对称的第二特征点，得到关于人脸的第一偏离角度和第一对称轴，然后基于该第一偏离角度和第一对称轴，将第二特征点集中不对称的特征点进行仿射变换，从而起到丰富人脸特征点的效果。

如果第二特征点集中不存在任意一组关于人脸对称的第二特征点，则在第二特征点集中确定一组关于预设部分对称的第三特征点（如上眼睑和下眼睑），基于该组第三特征点确定人脸的第二偏离角度，基于第二偏离角度，得到第二对称轴的倾斜角度，而对于第二位置的确定，则是通过计算所有特征点距离第二对称轴的距离向量和人体生理学特征，不断调整第二对称轴位置，直至所有特征点距离第二对称轴的距离向量均收敛至对应的预设范围，记录当前的第二对称轴，然后基于该第二偏离角度和调整后的第二对称轴，将第二特征点集中不对称的特征点进行仿射变换，从而起到丰富人脸特征点的效果。

进一步地，对所述第一图像处理单元上传的图像进行人脸识别包括：

获取所述第一图像处理单元上传的第一人脸图像；

遍历所述预设数据库，计算所述第一人脸图像与所述预设数据库中所有人脸图像之间的第一欧式距离；

判断所述第一欧式距离是否小于预设阈值，若是，则判定识别为同一人；若否，则判定识别失败。

其中，通过计算第一人脸图像与预设数据库中所有人脸图像之间的欧式距离来判定人脸识别是否成功，若欧式距离小于预设阈值，则判定识别为同一人，若欧式距离大于或等于预设阈值，则判定识别失败。

进一步地，对所述第二图像处理单元上传的图像进行人脸识别包括：

获取所述第二图像处理单元上传的第二人脸图像；

遍历所述预设数据库，计算所述第二人脸图像与所述预设数据库中所有人脸图像之间的第二欧式距离；

判断所述第二欧式距离是否小于所述预设阈值，若是，则判定识别为同一人；若否，则判定识别失败。

其中，通过计算第二人脸图像与预设数据库中所有人脸图像之间的欧式距离来判定人脸识别是否成功，若欧式距离小于预设阈值，则判定识别为同一人，若欧式距离大于或等于预设阈值，则判定识别失败。

进一步地，所述***还包括深度学习单元，用于收集所述第一识别单元及所述第二识别单元中识别失败的人脸图像并进行学习。

其中，受限于训练样本较小的影响，传统人脸识别***对于识别处理失败的人脸图像并未进行学习利用，而本***的深度学习单元用于收集第一识别单元及第二识别单元中识别失败的人脸图像并进行学习，学习后的人脸图像添加至预设数据库中用于后续人脸识别。

进一步地，对所述第一识别单元及所述第二识别单元中识别失败的人脸图像进行学习包括：

获取识别失败的所有第三人脸图像作为训练样本；

基于预设神经网络，对所有第三人脸图像进行特征向量提取；

将提取的所有第三人脸图像的特征向量输入到预设分类器模型，所述预设分类器模型对输入的特征向量进行处理得到分类结果；

基于所述分类结果，对所有第三人脸图像对应的人脸设定标签；

将设定标签后的所有第三人脸图像存储至所述预设数据库。

其中，将识别失败的第三人脸图像作为训练样本，通过预设神经网络对训练样本提取特征向量，然后将提取的关于人脸的特征向量作为预设分类器模型的输入集，然后预设分类器模型对该输入集进行处理并训练得到分类结果，基于该分类结果，对训练样本中每个人脸的身份用标签定义，最后将设定标签的人脸图像存储至预设数据库中。

进一步地，对输入的特征向量进行处理包括：

获取属于同一人的多帧第四人脸图像，统计得到多帧所述第四人脸图像的第二数量；

遍历所述预设数据库，计算所述第四人脸图像与所述预设数据库中所有人脸图像之间的欧式距离得到第一计算结果；

基于所述第一计算结果，获取所述预设数据库中距离所述第四人脸图像最近的N个人脸图像，N为正整数；

将多帧所述第四人脸图像放至预设网络A中，将N个人脸图像放至预设网络B中；

基于排列组合原理，依次计算所述预设网络A中所有第四人脸图像与所述预设网络B中所有人脸图像之间的欧式距离得到第二计算结果；

基于所述第二计算结果，获得多个训练数据；

基于所有训练数据，所述预设分类器模型对所有第三人脸图像进行分类。

其中，由于识别失败的人脸图像数量较少，造成训练样本较少，本方案首先获取同一人的多帧人脸图像，统计该人对应的人脸图像的第二数量，并将该多帧人脸图像放至预设网络A中；遍历预设数据库，计算其中一帧人脸图像与预设数据库中所有人脸图像之间的欧式距离得到第一计算结果，基于该计算结果，在预设数据库中获取距离该帧第四人脸图像最近的N个人脸图像，N为第二数量，将这N个人脸图像放至预设网络B中。通过排列组合原理，即计算预设网络A中每个第四人脸图像与预设网络B每个人脸图像之间的欧式距离，这样就能获得多个训练数据，弥补训练样本不足的问题，最后基于所有训练数据，对训练样本中的所有人脸图像进行分类。

为解决人脸识别在复杂环境下识别准确率不高和识别高时延的问题，本发明提供了一种基于AI摄像头的人脸识别方法，所述方法包括以下步骤：

基于AI摄像头，采集视频流图像；

基于采集的视频流图像，获取第一图像，采用卷积神经网络对所述第一图像进行卷积和池化处理得到第一修正图像；采用预设函数对所述第一修正图像进行计算并判断人脸分类，检测所述第一修正图像中包含的人脸，对所述第一修正图像中已检测到的人脸采用矩形框进行标定；

获取所述第一修正图像中包含人脸的第一数量，判断所述第一数量是否超过第一阈值，若是，将所述第一修正图像命名为第二图像，并将所述图像预处理单元处理后的所述视频流图像上传至边缘终端处理；若否，将所述第一修正图像命名为第三图像，并将所述图像预处理单元处理后的所述视频流图像上传至网络终端处理；

对所述边缘终端中的所述第二图像进行处理包括，提取所述第二图像的所有矩形框中人脸的特征点，并统计所有矩形框中特征点的数量，获取所述矩形框中特征点数量超过第二阈值对应的第五人脸图像；对所述矩形框中特征点数量未超过所述第二阈值对应的人脸图像采用第一预设方法进行处理得到第一处理结果；

对所述网络终端中的所述第三图像进行处理包括，提取所述第三图像的所有矩形框中人脸的特征点，并统计所有矩形框中特征点的数量，获取所述矩形框中特征点数量超过第三阈值对应的第六人脸图像；对所述矩形框中特征点数量未超过所述第三阈值对应的人脸图像采用第二预设方法进行处理得到第二处理结果；

基于所述第五人脸图像、所述第一处理结果及预设数据库，进行人脸识别；

基于所述第六人脸图像、所述第二处理结果及所述预设数据库，进行人脸识别。

本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

本发明通过设定图像采集单元采集视频流图像，通过图像预处理单元对采集图像进行预处理，然后基于数据上传单元，对处理后的图像按照判定条件上传至边缘终端或者网络终端进行处理，边缘终端和网络终端均具有独立图像处理单元和识别单元，且边缘终端和网络终端针对采集人脸图像特征点不足，分别设置了第一预设方法和第二预设方法进行解决，实现了在多种人群密度的复杂环境下，依然保持较高的人脸识别准确率和识别时效性。

本发明通过设置第一预设方法，针对人群密度较大的人脸识别，人与人之间容易相互遮挡，造成可提取的人脸特征较少，因此本方法首先对每个人进行追踪，只有当判定追踪成功时，才连续获取后续同一人的多帧图像，通过提取这多帧图像的人脸特征并做相应处理，来增加提取的人脸特征，最后基于提取的人脸特征进行重构，提高人脸识别的准确率。

本发明通过设置第二预设方法，针对人群密度较少的人脸识别，由于自身姿态、光线或者采集角度，造成可提取的人脸特征较少，本方法对于采集的人脸特征点中存在关于人脸对称的一组或多组特征点，可直接确定对称轴，然后对其余点进行仿射变换；而对于采集的人脸特征点中不存在关于人脸对称的特征点，通过确定一组关于预设部分（如上眼睑和下眼睑）的特征点，来确定对称轴的偏移角度，然后通过计算其余特征点与对称轴的距离向量，基于所有距离向量收敛至对应的预设范围的判定条件，来调整对称轴，最后对其余点进行仿射变换。通过对称轴和仿射变换的方式，来增加提取的人脸特征，提高人脸识别的准确率。

本发明通过设置深度学习单元，由于识别失败的人脸图像较少，造成训练样本及训练数据较少，所以识别失败的人脸图像难以直接通过训练用于后续的人脸识别，本方法通过从预设数据库中获取与识别失败人脸图像最相似的多帧图像，并基于排列组合原理，对识别失败的人脸图像和从数据库中提取的多帧人脸图像进行处理并训练，丰富了训练样本及训练数据，经过训练后的人脸图像可用于后续的人脸识别。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，并不构成对本发明实施例的限定；

图1是本发明中一种基于AI摄像头的人脸识别***组成示意图；

图2是本发明中一种基于AI摄像头的人脸识别方法流程示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例一

请参考图1，图1是本发明中一种基于AI摄像头的人脸识别***组成示意图，该***包括：

图像采集单元：基于AI摄像头，采集视频流图像；

图像预处理单元：基于采集的视频流图像，获取第一图像，采用卷积神经网络对所述第一图像进行卷积和池化处理得到第一修正图像；采用预设函数对所述第一修正图像进行计算并判断人脸分类，检测所述第一修正图像中包含的人脸，对所述第一修正图像中已检测到的人脸采用矩形框进行标定；

数据上传单元：获取所述第一修正图像中包含人脸的第一数量，判断所述第一数量是否超过第一阈值，若是，将所述第一修正图像命名为第二图像，并将所述图像预处理单元处理后的所述视频流图像上传至边缘终端处理；若否，将所述第一修正图像命名为第三图像，并将所述图像预处理单元处理后的所述视频流图像上传至网络终端处理；

第一图像处理单元：用于对所述边缘终端中的所述第二图像进行处理，提取所述第二图像的所有矩形框中人脸的特征点，并统计所有矩形框中特征点的数量，将所述矩形框中特征点数量超过第二阈值对应的人脸图像上传至第一识别单元；对所述矩形框中特征点数量未超过所述第二阈值对应的人脸图像采用第一预设方法进行处理，再上传至所述第一识别单元；

第二图像处理单元：用于对所述网络终端中的所述第三图像进行处理，提取所述第三图像的所有矩形框中人脸的特征点，并统计所有矩形框中特征点的数量，将所述矩形框中特征点数量超过第三阈值对应的人脸图像上传至第二识别单元；对所述矩形框中特征点数量未超过所述第三阈值对应的人脸图像采用第二预设方法进行处理，再上传至所述第二识别单元；

第一识别单元：基于预设数据库，对所述第一图像处理单元上传的图像进行人脸识别；

第二识别单元：基于所述预设数据库，对所述第二图像处理单元上传的图像进行人脸识别。

本发明具体实施例如下：通过图像采集单元中的AI摄像头实时采集视频流图像，再经过图像预处理单元对采集的视频流图像进行预处理，具体包括：卷积神经网络对第一图像进行卷积和池化处理得到第一修正图像，再通过预设函数（如softmax函数）计算并判断人脸分类，检测图像中是包含一张或多张人脸，对已检测到人脸图像采用矩形框进行位置标定。

通过数据上传单元对第一修正图像中人脸的数量进行统计，可直接通过统计矩形框的数量，对于第一阈值可根据人群密度和人脸识别历史数据进行设定，即当人群密度超过设定值时，人脸识别的准确率呈现较大幅度的下降。当统计的人脸数量超过第一阈值时，将处理后的视频流图像上传至边缘终端进行处理；当统计的人脸数量未超过第一阈值，将处理后的视频流图像上传至网络终端进行处理。

边缘终端和网络终端都具有独立的图像处理单元和识别单元，其对上传视频流图像进行处理核心思想都是先判断图像中矩形框包含的人脸特征点数量是否超过设定的阈值，如果超过，说明对应人脸的特征点较多，可以直接与预设数据库中的图像进行比对识别；如果未超过，边缘终端和网络终端分别采用第二预设方法和第三预设方法对相应的人脸图像进行处理，再与预设数据库中的图像进行比对识别，其目的是降低外界或者人为因素对于采集图像中人脸识别的影响，提高人脸识别的准确率。第二预设方法和第三预设方法的具体实施步骤已经在后续实施例中阐述，本实施例不再继续展开说明。

其中，所述第一预设方法具体为：

基于采集的视频流图像，获取多帧所述第二图像放至第一集合；

在第一集合中提取其中一帧所述第二图像，并在所述第二图像中确定识别的人体，所述第二图像中包含所述人体对应人脸的矩形框为第一矩形框；

基于运动历史图像，计算当前帧所述第二图像中所述人体与上一帧所述第二图像中所述人体之间的第一距离；

若所述第一距离大于预设值，则基于所述运动历史图像，计算所述第一集合中连续两帧所述第二图像中所述人体之间的第二距离，直至所述第二距离小于所述预设值，判定完成对所述第二图像中所述人体的追踪；

若所述第一距离小于所述预设值，则判定完成对所述第二图像中所述人体的追踪；

当判定完成对所述第二图像中所述人体的追踪，获取所述第一集合中判定成功对应的第一帧所述第二图像及之后其他帧所述第二图像并放至第二集合；

基于所述第二集合，对每一帧所述第二图像中所述第一矩形框包含的人脸进行校准得到校准结果；

基于所述校准结果，获取所述第二集合中所有第一矩形框包含的特征点并放至第一特征点集；

基于所述第一特征点集中的所有特征点，对所述第一矩形框中的人脸进行重构；

将重构后的所述第一矩形框中的人脸图像上传至所述第一识别单元进行识别。

如获取6帧第二图像放至第一集合，6帧图像依次为c、d、e、f、g和h图像，在第一集合中提取d图像，在d图像中确定识别的人体，d图像中包含人体对应人脸的矩形框为第一矩形框，计算d图像中人体与c图像中人体之间的第一距离，如果第一距离小于预设值，则判定追踪完成，将包括c图像及之后的图像都放至第二集合；如果第一距离大于预设值，则计算连续两帧图像人体之间的第二距离，直至该第二距离小于预设值，如e图像和d图像之间的第二距离小于预设值，则判定追踪完成，将包括d图像及之后的图像都放至第二集合。

对第二集合中第一矩形框的所有人脸图像进行校准，校准后提取人脸的特征点放至第一特征点集中，最后基于第一特征点集中的特征点，对第一矩形框中的人脸进行重构。

其中，对所述第一矩形框中的人脸进行重构包括：

获取所述第一特征点集中任意两帧所述第二图像的所述第一矩形框中特征点的坐标，得到获取结果；

基于所述获取结果，采用第三预设方法对任意两帧所述第二图像的所述第一矩形框中特征点进行处理；

所述第三预设方法具体为：计算任意两帧所述第二图像的所述第一矩形框中对应第一特征点之间的第二距离；计算所述第二距离与预设距离的比值，得到误差系数；判断所述误差系数是否大于第四阈值，若是，则判定两个所述第一特征点相互独立，对两个所述第一特征点均保留；若否，则判定两个所述第一特征点属于同一特征点，对其中一个所述第一特征点消除；

重复执行所述第三预设方法，直至处理完所述特征点集中所有的特征点；

基于处理完成的所述特征点集中所有的特征点，得到所述第一矩形框中人脸的特征向量；

基于所述特征向量，对所述第一矩形框中的人脸进行重构。

如第一特征点集中包括6帧第二图像的特征点，分别为c、d、e、f、g和h图像对应的特征点，获取c图像和d图像中特征点的坐标得到获取结果，基于获取结果，计算c图像和d图像对应特征点之间的距离，如c图像左眼角特征点坐标为（x₁，y₁），d图像左眼角特征点坐标为（x₂，y₂），那么c图像左眼角与d图像左眼角特征点之间距离就为的值，计算该距离与预设距离的比值，得到误差系数，如果误差系数大于第四阈值，说明两个特征点彼此独立，均进行保留，如果误差系数小于或等于第四阈值，则说明两个特征点属于同一特征点，将其中一个特征点消除；重复执行上述步骤，直至处理完其它图像对应的特征点，最终基于处理完成的所有特征点，获得对应的特征向量，基于特征向量，对人脸进行重构。上述数据只是起解释说明作用，可根据实际进行调整，本发明不做具体限定。

其中，所述第二预设方法具体为：

在所述第三图像中确定需要识别的人体，所述第三图像中包含所述人体对应人脸的矩形框为第二矩形框；

提取所述第二矩形框中人脸的所有第二特征点并放至第二特征点集；

判断所述第二特征点集中是否存在任意一组关于人脸对称的第二特征点，若是，则基于一组关于人脸对称的第二特征点，计算得到关于人脸的第一偏离角度和第一对称轴；若否，则在所述第二特征点集中确定一组关于预设部位对称的第三特征点，基于一组关于预设部位对称的第三特征点，计算得到关于人脸的第二偏离角度，基于所述第二偏离角度，确定一条关于人脸的第二对称轴，计算所述第二特征点集中所有第二特征点距离所述第二对称轴的距离向量，基于所有距离向量，调整所述第二对称轴位置，直至所有距离向量均收敛至对应的预设范围，记录并确定当前所述第二对称轴；

基于所述第一偏离角度和所述第一对称轴，对所述第二特征点集中关于人脸不对称的所有第二特征点进行仿射变换，得到第一变换结果；

基于所述第二偏离角度和调整后的所述第二对称轴，对所述第二特征点集中关于人脸不对称的所有特征点进行仿射变换，得到第二变换结果；

基于所述第一变换结果和所述第二变换结果，生成所述第二矩形框中人脸对应的图像。

如在第三图像中确定需要识别的人体，将对应人脸图像的所有特征点提取至第二特征点集，判断第二特征点集中是否存在任意一组关于人脸对称的第二特征点，若是（如左眼角和右眼角），通过左眼角和右眼角特征点，确定第一对称轴，然后基于第一对称轴，将剩余不对称的第二特征点通过仿射变换得到关于第一对称轴的对称点，人脸大多是相对称的，以此来增加提取的人脸特征。

若提取的第二特征点集中不存在关于人脸对称的特征点，如人的姿势为侧脸，此时在特征点集中确定一组关于预设部分对称的特征点（如上眼睑和下眼睑），通过上眼睑和下眼睑的特征点，就能确定第二对称轴的第二偏离角度，本实施例在确定好第二对称轴的偏离角度后，是先确定一个第二对称轴，然后去计算第二特征点集中所有特征点距离该对称轴的距离向量，基于人脸的生理学特征，去确定每个特征向量对应的预设范围，然后不断调整第二对称轴，直至所有距离向量均收敛至对应的预设范围内，此时的第二对称轴就为最终的对称轴，然后基于第二对称轴，将剩余不对称的第二特征点通过仿射变换得到关于第二对称轴的对称点，以此来增加提取的人脸特征。

其中，对所述第一图像处理单元上传的图像进行人脸识别包括：

获取所述第一图像处理单元上传的第一人脸图像；

遍历所述预设数据库，计算所述第一人脸图像与所述预设数据库中所有人脸图像之间的第一欧式距离；

判断所述第一欧式距离是否小于预设阈值，若是，则判定识别为同一人；若否，则判定识别失败。

其中，对所述第二图像处理单元上传的图像进行人脸识别包括：

获取所述第二图像处理单元上传的第二人脸图像；

遍历所述预设数据库，计算所述第二人脸图像与所述预设数据库中所有人脸图像之间的第二欧式距离；

判断所述第二欧式距离是否小于所述预设阈值，若是，则判定识别为同一人；若否，则判定识别失败。

欧式距离是最常见的图像距离度量，衡量的是n维空间中两个点之间的实际距离，因此本实施例通过欧氏距离的计算结果来判断识别是否成功，若欧式距离小于预设阈值，则判定识别为同一人，若欧式距离大于或等于预设阈值，则判定识别失败。

其中，所述***还包括深度学习单元，用于收集所述第一识别单元及所述第二识别单元中识别失败的人脸图像并进行学习。

一个良好的人脸识别数据集应该具有充分的样本，但识别失败的人脸头像显然不符合样本充分的条件，因此为了丰富训练样本和让识别失败的人脸图像能用于后续人脸识别，该***设置了深度学习单元，不仅对识别失败的人脸图像进行收集同时进行训练和处理。

其中，对所述第一识别单元及所述第二识别单元中识别失败的人脸图像进行学习包括：

获取识别失败的所有第三人脸图像作为训练样本；

基于预设神经网络，对所有第三人脸图像进行特征向量提取；

将提取的所有第三人脸图像的特征向量输入到预设分类器模型，所述预设分类器模型对输入的特征向量进行处理得到分类结果；

基于所述分类结果，对所有第三人脸图像对应的人脸设定标签；

将设定标签后的所有第三人脸图像存储至所述预设数据库。

将识别失败的第三人脸图像作为训练样本，通过预设神经网络对训练样本提取特征向量，然后将提取的关于人脸的特征向量作为预设分类器模型的输入集，然后预设分类器模型对该输入集进行处理并训练得到分类结果，基于该分类结果，对训练样本中每个人脸的身份用标签定义，最后将设定标签的人脸图像存储至预设数据库中。

其中，对输入的特征向量进行处理包括：

获取属于同一人的多帧第四人脸图像，统计得到多帧所述第四人脸图像的第二数量；

遍历所述预设数据库，计算所述第四人脸图像与所述预设数据库中所有人脸图像之间的欧式距离得到第一计算结果；

基于所述第一计算结果，获取所述预设数据库中距离所述第四人脸图像最近的N个人脸图像，N为正整数；

将多帧所述第四人脸图像放至预设网络A中，将N个人脸图像放至预设网络B中；

基于排列组合原理，依次计算所述预设网络A中所有第四人脸图像与所述预设网络B中所有人脸图像之间的欧式距离得到第二计算结果；

基于所述第二计算结果，获得多个训练数据；

基于所有训练数据，所述预设分类器模型对所有第三人脸图像进行分类。

如获取同一人的M帧第四人脸图像，遍历预设数据库，计算预设数据库中与其中一帧第四人脸图像最相似的N个人脸图像，将M帧第四人脸图像放至预设网络A中，将N个相似人脸图像放至预设网络B中，基于排列组合原理，计算预设网络A中每个第四人脸图像与预设网络B中每个人脸图像的欧式距离，就能得到MxN个训练数据，基于所有训练数据，去丰富训练样本，然后分类器对识别失败的人脸图像进行分类。

实施例二

请参考图2，图2是本发明中一种基于AI摄像头的人脸识别方法流程示意图，该方法包括以下步骤：

基于AI摄像头，采集视频流图像；

基于采集的视频流图像，获取第一图像，采用卷积神经网络对所述第一图像进行卷积和池化处理得到第一修正图像；采用预设函数对所述第一修正图像进行计算并判断人脸分类，检测所述第一修正图像中包含的人脸，对所述第一修正图像中已检测到的人脸采用矩形框进行标定；

获取所述第一修正图像中包含人脸的第一数量，判断所述第一数量是否超过第一阈值，若是，将所述第一修正图像命名为第二图像，并将处理后的所述视频流图像上传至边缘终端处理；若否，将所述第一修正图像命名为第三图像，并将处理后的所述视频流图像上传至网络终端处理；

对所述边缘终端中的所述第二图像进行处理包括，提取所述第二图像的所有矩形框中人脸的特征点，并统计所有矩形框中特征点的数量，获取所述矩形框中特征点数量超过第二阈值对应的第五人脸图像；对所述矩形框中特征点数量未超过所述第二阈值对应的人脸图像采用第一预设方法进行处理得到第一处理结果；

对所述网络终端中的所述第三图像进行处理包括，提取所述第三图像的所有矩形框中人脸的特征点，并统计所有矩形框中特征点的数量，获取所述矩形框中特征点数量超过第三阈值对应的第六人脸图像；对所述矩形框中特征点数量未超过所述第三阈值对应的人脸图像采用第二预设方法进行处理得到第二处理结果；

基于所述第五人脸图像、所述第一处理结果及预设数据库，进行人脸识别；

基于所述第六人脸图像、所述第二处理结果及所述预设数据库，进行人脸识别。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于AI摄像头的人脸识别***，其特征在于，所述***包括：

图像采集单元：基于AI摄像头，采集视频流图像；

图像预处理单元：基于采集的视频流图像，获取第一图像，采用卷积神经网络对所述第一图像进行卷积和池化处理得到第一修正图像；采用预设函数对所述第一修正图像进行计算并判断人脸分类，检测所述第一修正图像中包含的人脸，对所述第一修正图像中已检测到的人脸采用矩形框进行标定；

数据上传单元：获取所述第一修正图像中包含人脸的第一数量，判断所述第一数量是否超过第一阈值，若是，将所述第一修正图像命名为第二图像，并将所述图像预处理单元处理后的所述视频流图像上传至边缘终端处理；若否，将所述第一修正图像命名为第三图像，并将所述图像预处理单元处理后的所述视频流图像上传至网络终端处理；

第一图像处理单元：用于对所述边缘终端中的所述第二图像进行处理，提取所述第二图像的所有矩形框中人脸的特征点，并统计所有矩形框中特征点的数量，将所述矩形框中特征点数量超过第二阈值对应的人脸图像上传至第一识别单元；对所述矩形框中特征点数量未超过所述第二阈值对应的人脸图像采用第一预设方法进行处理，再上传至所述第一识别单元；

第二图像处理单元：用于对所述网络终端中的所述第三图像进行处理，提取所述第三图像的所有矩形框中人脸的特征点，并统计所有矩形框中特征点的数量，将所述矩形框中特征点数量超过第三阈值对应的人脸图像上传至第二识别单元；对所述矩形框中特征点数量未超过所述第三阈值对应的人脸图像采用第二预设方法进行处理，再上传至所述第二识别单元；

第一识别单元：基于预设数据库，对所述第一图像处理单元上传的图像进行人脸识别；

第二识别单元：基于所述预设数据库，对所述第二图像处理单元上传的图像进行人脸识别。

2.根据权利要求1所述的一种基于AI摄像头的人脸识别***，其特征在于，所述第一预设方法具体为：

基于采集的视频流图像，获取多帧所述第二图像放至第一集合；

在第一集合中提取其中一帧所述第二图像，并在所述第二图像中确定识别的人体，所述第二图像中包含所述人体对应人脸的矩形框为第一矩形框；

基于运动历史图像，计算当前帧所述第二图像中所述人体与上一帧所述第二图像中所述人体之间的第一距离；

若所述第一距离大于预设值，则基于所述运动历史图像，计算所述第一集合中连续两帧所述第二图像中所述人体之间的第二距离，直至所述第二距离小于所述预设值，判定完成对所述第二图像中所述人体的追踪；

若所述第一距离小于所述预设值，则判定完成对所述第二图像中所述人体的追踪；

当判定完成对所述第二图像中所述人体的追踪，获取所述第一集合中判定成功对应的第一帧所述第二图像及之后其他帧所述第二图像并放至第二集合；

基于所述第二集合，对每一帧所述第二图像中所述第一矩形框包含的人脸进行校准得到校准结果；

基于所述校准结果，获取所述第二集合中所有第一矩形框包含的特征点并放至第一特征点集；

基于所述第一特征点集中的所有特征点，对所述第一矩形框中的人脸进行重构；

将重构后的所述第一矩形框中的人脸图像上传至所述第一识别单元进行识别。

3.根据权利要求2所述的一种基于AI摄像头的人脸识别***，其特征在于，对所述第一矩形框中的人脸进行重构包括：

获取所述第一特征点集中任意两帧所述第二图像的所述第一矩形框中特征点的坐标，得到获取结果；

基于所述获取结果，采用第三预设方法对任意两帧所述第二图像的所述第一矩形框中特征点进行处理；

所述第三预设方法具体为：计算任意两帧所述第二图像的所述第一矩形框中对应第一特征点之间的第二距离；计算所述第二距离与预设距离的比值，得到误差系数；判断所述误差系数是否大于第四阈值，若是，则判定两个所述第一特征点相互独立，对两个所述第一特征点均保留；若否，则判定两个所述第一特征点属于同一特征点，对其中一个所述第一特征点消除；

重复执行所述第三预设方法，直至处理完所述特征点集中所有的特征点；

基于处理完成的所述特征点集中所有的特征点，得到所述第一矩形框中人脸的特征向量；

基于所述特征向量，对所述第一矩形框中的人脸进行重构。

4.根据权利要求1所述的一种基于AI摄像头的人脸识别***，其特征在于，所述第二预设方法具体为：

在所述第三图像中确定需要识别的人体，所述第三图像中包含所述人体对应人脸的矩形框为第二矩形框；

提取所述第二矩形框中人脸的所有第二特征点并放至第二特征点集；

判断所述第二特征点集中是否存在任意一组关于人脸对称的第二特征点，若是，则基于一组关于人脸对称的第二特征点，计算得到关于人脸的第一偏离角度和第一对称轴；若否，则在所述第二特征点集中确定一组关于预设部位对称的第三特征点，基于一组关于预设部位对称的第三特征点，计算得到关于人脸的第二偏离角度，基于所述第二偏离角度，确定一条关于人脸的第二对称轴，计算所述第二特征点集中所有第二特征点距离所述第二对称轴的距离向量，基于所有距离向量，调整所述第二对称轴位置，直至所有距离向量均收敛至对应的预设范围，记录并确定当前所述第二对称轴；

基于所述第一偏离角度和所述第一对称轴，对所述第二特征点集中关于人脸不对称的所有第二特征点进行仿射变换，得到第一变换结果；

基于所述第二偏离角度和调整后的所述第二对称轴，对所述第二特征点集中关于人脸不对称的所有特征点进行仿射变换，得到第二变换结果；

基于所述第一变换结果和所述第二变换结果，生成所述第二矩形框中人脸对应的图像。

5.根据权利要求1所述的一种基于AI摄像头的人脸识别***，其特征在于，对所述第一图像处理单元上传的图像进行人脸识别包括：

获取所述第一图像处理单元上传的第一人脸图像；

遍历所述预设数据库，计算所述第一人脸图像与所述预设数据库中所有人脸图像之间的第一欧式距离；

判断所述第一欧式距离是否小于预设阈值，若是，则判定识别为同一人；若否，则判定识别失败。

6.根据权利要求5所述的一种基于AI摄像头的人脸识别***，其特征在于，对所述第二图像处理单元上传的图像进行人脸识别包括：

获取所述第二图像处理单元上传的第二人脸图像；

遍历所述预设数据库，计算所述第二人脸图像与所述预设数据库中所有人脸图像之间的第二欧式距离；

判断所述第二欧式距离是否小于所述预设阈值，若是，则判定识别为同一人；若否，则判定识别失败。

7.根据权利要求1所述的一种基于AI摄像头的人脸识别***，其特征在于，所述***还包括深度学习单元，用于收集所述第一识别单元及所述第二识别单元中识别失败的人脸图像并进行学习。

8.根据权利要求7所述的一种基于AI摄像头的人脸识别***，其特征在于，对所述第一识别单元及所述第二识别单元中识别失败的人脸图像进行学习包括：

获取识别失败的所有第三人脸图像作为训练样本；

基于预设神经网络，对所有第三人脸图像进行特征向量提取；

将提取的所有第三人脸图像的特征向量输入到预设分类器模型，所述预设分类器模型对输入的特征向量进行处理得到分类结果；

基于所述分类结果，对所有第三人脸图像对应的人脸设定标签；

将设定标签后的所有第三人脸图像存储至所述预设数据库。

9.根据权利要求8所述的一种基于AI摄像头的人脸识别***，其特征在于，对输入的特征向量进行处理包括：

获取属于同一人的多帧第四人脸图像，统计得到多帧所述第四人脸图像的第二数量；

遍历所述预设数据库，计算所述第四人脸图像与所述预设数据库中所有人脸图像之间的欧式距离得到第一计算结果；

基于所述第一计算结果，获取所述预设数据库中距离所述第四人脸图像最近的N个人脸图像，N为正整数；

将多帧所述第四人脸图像放至预设网络A中，将N个人脸图像放至预设网络B中；

基于排列组合原理，依次计算所述预设网络A中所有第四人脸图像与所述预设网络B中所有人脸图像之间的欧式距离得到第二计算结果；

基于所述第二计算结果，获得多个训练数据；

基于所有训练数据，所述预设分类器模型对所有第三人脸图像进行分类。

10.一种基于AI摄像头的人脸识别方法，其特征在于，所述方法包括以下步骤：

基于AI摄像头，采集视频流图像；

基于采集的视频流图像，获取第一图像，采用卷积神经网络对所述第一图像进行卷积和池化处理得到第一修正图像；采用预设函数对所述第一修正图像进行计算并判断人脸分类，检测所述第一修正图像中包含的人脸，对所述第一修正图像中已检测到的人脸采用矩形框进行标定；

获取所述第一修正图像中包含人脸的第一数量，判断所述第一数量是否超过第一阈值，若是，将所述第一修正图像命名为第二图像，并将处理后的所述视频流图像上传至边缘终端处理；若否，将所述第一修正图像命名为第三图像，并将处理后的所述视频流图像上传至网络终端处理；

对所述边缘终端中的所述第二图像进行处理包括，提取所述第二图像的所有矩形框中人脸的特征点，并统计所有矩形框中特征点的数量，获取所述矩形框中特征点数量超过第二阈值对应的第五人脸图像；对所述矩形框中特征点数量未超过所述第二阈值对应的人脸图像采用第一预设方法进行处理得到第一处理结果；

对所述网络终端中的所述第三图像进行处理包括，提取所述第三图像的所有矩形框中人脸的特征点，并统计所有矩形框中特征点的数量，获取所述矩形框中特征点数量超过第三阈值对应的第六人脸图像；对所述矩形框中特征点数量未超过所述第三阈值对应的人脸图像采用第二预设方法进行处理得到第二处理结果；

基于所述第五人脸图像、所述第一处理结果及预设数据库，进行人脸识别；

基于所述第六人脸图像、所述第二处理结果及所述预设数据库，进行人脸识别。