CN111144326B - 一种用于人机交互的人脸防重识别方法 - Google Patents

Abstract

本发明公开一种用于人机交互的人脸防重识别方法，其特征在于，包括以下步骤：步骤一：在设备端开启摄像头后，藉由人脸识别算法模块，实时检测视频流中的人脸，并对当前检测到的人脸持续跟踪，动态定位当前视频流中最大人脸轮廓，标定为当前最有可能产生人机交互的目标，并根据轮廓对当前帧进行截取，方便保存为.jpg或.png等格式的图片。本发明涉及人工智能领域，具体地讲，涉及一种用于人机交互的人脸防重识别方法。本发明提出了一种融合了质量检测、实时比对和云端支持的人脸防重方法，适用于各类服务机器人，能够实现更加精确、客户体验更好的人脸识别功能。

Description

一种用于人机交互的人脸防重识别方法

技术领域

本发明涉及人工智能领域，具体地讲，涉及一种用于人机交互的人脸防重识别方法。

背景技术

人机交互是人工智能领域的核心课题，友好的人机交互过程是体现人工智能的重要指标，“识人”能力则人机交互过程产生重大影响。当下人机交互应用场景中，机器人主要通过人脸识别过程实现主动交互(主动打招呼)。此过程中存在诸多人机交互的体验性缺陷。尤其对于同一个人重复出现的状况，如果没有识别记忆可能会导致不停重新识别同一个人，不仅增大误识几率，并且可能还会导致短时间内机器人连续向同一批人打招呼，影响机器人原有的人机对话体验。

专利CN109902561A《一种应用于机器人的人脸识别方法和装置、机器人》提出了一种应用于机器人的人脸识别方法和装置、机器人。此专利提出了一种人脸识别并与用户交互的常规方法，获取特征向量后，和数据库中的预存的人脸信息进行相似度的比对，根据比对结果输出语音信息，语音信息包含与候选用户相关的预设问候信息。此方法具有理论上的可行性。专利CN106997449A《具有人脸识别功能的机器人和人脸识别方法》同样会根据人脸识别结果启动对应的互动模式。

由以上具有代表意义的专利可知，当下机器人的人脸识别并交互的构建方法主要采用和数据库中的人脸对比相似度后，启动预设的互动模式的传统方法。此种机制的弊端有两个，第一是缺少质量控制，取得的人脸照片质量可能参差不齐，不利于后续的人脸识别结果的正确性。第二是欠缺对机器人实际落地时各种应用场景的考虑，尤其是当同一批人短时间内重复出现在机器人面前时，可能会导致机器人不停重复的启动互动，打断正在进行的交互内容，严重影响交互体验性。

发明内容

本发明要解决的技术问题是提供一种用于人机交互的人脸防重识别方法，提出了一种融合了质量检测、实时比对和云端支持的人脸防重方法，适用于各类服务机器人，能够实现更加精确、客户体验更好的人脸识别功能。

本发明采用如下技术方案实现发明目的：

一种用于人机交互的人脸防重识别方法，其特征在于，包括以下步骤：

步骤一：开启摄像头后，藉由人脸检测模块，实时检测视频流中的人脸，并对当前检测到的人脸持续跟踪，动态定位当前视频流中最大人脸轮廓，标定为当前最有可能产生人机交互的目标，并根据轮廓对当前帧进行截取，方便保存为.jpg或.png等格式的图片；

步骤二：质量检测模块对所述步骤一中提取出的人像图片进行质量检测，需要清晰度、人脸角度、光照度等质检项都符合要求，人像图片才被认为合格，合格后将图片保存至人像识别模块同时上传更新至后台人像库后擦除，保存至人像识别模块中的图片每隔一段时间自动清除；

步骤三：通过质量筛选的人脸照片，会和当前人脸池中每一张照片进行相似度的比对，若相似度低于阈值，即认为当前人像属于新出现的用户，同时将该人像照片加入所述人脸池中，否则丢弃该人脸照片；

步骤四：检测到新用户后，人脸识别模将当前人脸信息与本地人像库进行1:N比对，如果相似度高于阈值，即认为当前人像存在于本地人像库中，比对成功，同时提取该用户信息用于后续逻辑处理；否则认为该人像不存在于本地人像库中，比对失败。

作为本技术方案的进一步限定，所述视频流为实时检测，达到每秒25～30帧，保证人脸的实时识别、视频流的流畅以及照片的清晰。

作为本技术方案的进一步限定，所述步骤一还包括以下步骤：

步骤一一：所述人脸检测模块持续跟踪并标注当前帧中存在的最大人像，认为该最大人像为当前最有可能的人机交互对象，并定位其坐标位置；

步骤一二：所述人脸检测模块将当前帧的像素矩阵对象以及当前定位人像的旋转矩形对象信息作为输入参数输入到crop_headImage方法中，输出一帧含有比较完整人像的像素矩阵对象dstImg。

所述旋转矩形对象包含当前定位人像矩形轮廓的左上角坐标，以及轮廓的width与height属性；

所述crop_headImage方法接收含有人脸的视频帧以及定位人脸的旋转矩形对象RotatedRect，通过坐标运算，截取出合适的包含完整人脸的照片dstImg作为输出。

作为本技术方案的进一步限定，所述步骤二还包括以下步骤：

步骤二一：质量检测模块能够保证大多数情况能够留下高清晰度、易辨别的人像照片，同时计算照片的清晰度picQuality和人像的清晰度faceQuality；

步骤二二：质量检测模块能够保证大多数情况能够留下用户的正脸照片，使用headPose向量组描述当前人脸的角度；

步骤二三：质量检测模块能够保证大多数情况下能够留下亮度适宜的现场照片，计算当前照片的光照度illumQuality；

步骤二四：通过质检的照片立即存储到人像识别模块中，久远记忆上传更新至后台人像库后擦除。

作为本技术方案的进一步限定，所述picQuality描述了摄像头拍摄照片的清晰度，值分布于0到1之间，越趋近0，质量越高；

所述faceQuality描述了所述步骤一中截取人像照片的清晰度，使用拉普拉斯算子(式1)进行计算：

其中：(x,y)表示人像照片的坐标，

(x+1,y)、(x-1,y)、(x,y+1)、(x,y-1)分别代表该像素点正右方、正左方、正上方、正下方的像素点坐标；

值越高，质量越高；

所述headPose向量组描述了当前人脸角度，包含x、y、z三个维度，三值越向0收敛，当前的人脸角度越正；

所述illumQuality描述了摄像头拍摄照片的亮度，值分布于0到1之间，越趋近1，光照度越适宜。

作为本技术方案的进一步限定，所述步骤三还包括以下步骤：

步骤三一：人像识别模块维护着一个实时所述人脸池队列，所述人脸池的最大大小为MAX_PERSON_POOL，出入方式为先进先出；

步骤三二：所述人脸池拥有时限，当经过了超时时间faceOverTime，始终没有捕捉到人脸照片的话，则清空该所述人脸池；

步骤三三：每次出现质量合格的人脸照片后，该照片即会和所述人脸池中所有人脸进行1:1相似度比对，得到相似度compareScore，相似度高于阈值，认为当前用户短时间已经出现过了，不会更新所述人脸池；低于阈值，认为当前用户为新用户，添加到当前所述人脸池中；

步骤三四：在规定的时限faceOverTime内，判定为新人后，会触发机器人唤醒或打招呼的动作，同时更新当前的人像照片；否则认为该人像在短时间内已经出现过一次，不会触发重复的唤醒或打招呼动作，仅仅更新当前的人像照片。

作为本技术方案的进一步限定，所述相似度比对采用COCO Loss函数模型计算：

其中：

作为本技术方案的进一步限定，所述步骤四还包括以下步骤：

步骤四一：***启动后，所述机器人直接连接到后台人脸识别引擎，根据后台人像库修改时间判断是否需要更新，需要更新的话将VIP信息直接下载到机器人本体，同时注册到本地人像库；

步骤四二：采用的1:N比对算法在离线模式下也能够进行，本地比对不依赖于网络环境，快速进行识别，较为准确地判断当前人像是否存在人像库中。

与现有技术相比，本发明的优点和积极效果是：

(1)针对传统应用场景中人脸识别模块的缺陷，本发明提出了一种融合了记忆存储、质量检测、实时比对和云端支持的人脸防重识别方法。首先，标定出最有可能产生人机交互的目标；其次，对标定出的目标进行质量检测，质量检测合格后，保存到当前的短时记忆模块，同时擦除记忆模块中的久远记忆，将久远记忆更新至后台人像库；再者，当前合格的人脸和人脸池中的照片集进行比对，如果相似度皆小于阈值，认为该人脸对应第一次出现的新人，触发打招呼等动作，否则认为该人脸在不久前已经出现过，不会触发打招呼等动作，就如同人在生活中互相之间只会在一天的第一次见面打招呼；在打招呼的同时，将检测到的新人像和后台人像库进行1:N比对，如果人像库中“认识”此人，则同时将此人的属性信息(姓名、职务等)直接一并展示，如果“不认识”，则直接简单打招呼，大大增加体验的友好性和智能性。。

(2)本发明兼顾了识别结果的准确性以及客户使用的体验性，通过人像属性检测严格把关截取照片的质量，辅以功能成熟的后台人像库支持，最大限度提高了VIP识别的准确率。尤其是新人检测的使用，有效避免了同一客户的重复识别，短时间内同一批人的重复出现不会打断当前的人机交互过程，保证了人机交互的自然与流畅性，提升了人机交互的体验效果，具有较强的商业实用价值。

附图说明

图1为本发明的人脸防重工作流程图。

图2为本发明的人脸截取图示。

图3为本发明的人机交互的人脸防重识别装置示意图。

具体实施方式

下面结合附图，对本发明的一个具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。

如图1-图3所示，本发明包括以下步骤：

步骤一：开启摄像头后，藉由人像检测模块，实时检测视频流中的人脸，并对当前检测到的人脸持续跟踪，动态定位当前视频流中最大人脸轮廓，标定为当前最有可能产生人机交互的目标，并根据轮廓对当前帧进行截取，方便保存为.jpg或.png等格式的图片；

步骤二：质量检测模块对所述步骤一中提取出的人像图片进行质量检测，需要清晰度、人脸角度、光照度等质检项都符合要求，人像图片才被认为合格，合格后将图片保存至人像识别模块同时上传更新至后台人像库后擦除，保存至人像识别模块中的图片每隔一段时间自动清除；

步骤三：通过质量筛选的人脸照片，会和当前人脸池中每一张照片进行相似度的比对，若相似度低于阈值，即认为当前人像属于新出现的用户，同时将该人像照片加入所述人脸池中，否则丢弃该人脸照片；

步骤四：检测到新用户后，人脸识别模将当前人脸信息与本地人像库进行1:N比对，如果相似度高于阈值，即认为当前人像存在于本地人像库中，比对成功，同时提取该用户信息用于后续逻辑处理；否则认为该人像不存在于本地人像库中，比对失败。

所述视频流为实时检测，达到每秒25～30帧，保证人脸的实时识别、视频流的流畅以及照片的清晰。

所述步骤一还包括以下步骤：

步骤一一：所述人脸检测模块持续跟踪并标注当前帧中存在的最大人像，认为该最大人像为当前最有可能的人机交互对象，并定位其坐标位置；

步骤一二：所述人脸检测模块将当前帧的像素矩阵对象以及当前定位人像的旋转矩形对象信息作为输入参数输入到crop_headImage方法中，输出一帧含有比较完整人像的像素矩阵对象dstImg。

所述旋转矩形对象包含当前定位人像矩形轮廓的左上角坐标，以及轮廓的width与height属性；

所述crop_headImage方法接收含有人脸的视频帧以及定位人脸的旋转矩形对象RotatedRect，通过坐标运算，截取出合适的包含完整人脸的照片dstImg作为输出。

所述步骤二还包括以下步骤：

步骤二一：质量检测模块能够保证大多数情况能够留下高清晰度、易辨别的人像照片，同时计算照片的清晰度picQuality和人像的清晰度faceQuality；

步骤二二：质量检测模块能够保证大多数情况能够留下用户的正脸照片，使用headPose向量组描述当前人脸的角度；

步骤二三：质量检测模块能够保证大多数情况下能够留下亮度适宜的现场照片，计算当前照片的光照度illumQuality；

步骤二四：通过质检的照片立即存储到人像识别模块中，久远记忆上传更新至后台人像库后擦除。

所述picQuality描述了摄像头拍摄照片的清晰度，值分布于0到1之间，越趋近0，质量越高；

所述faceQuality描述了所述步骤一中截取人像照片的清晰度，使用拉普拉斯算子(式1)进行计算：

其中：(x,y)表示人像照片的坐标；

(x+1,y)、(x-1,y)、(x,y+1)、(x,y-1)分别代表该像素点正右方、正左方、正上方、正下方的像素点坐标；

值越高，质量越高；

所述headPose向量组描述了当前人脸角度，包含x、y、z三个维度，三值越向0收敛，当前的人脸角度越正；

所述illumQuality描述了摄像头拍摄照片的亮度，值分布于0到1之间，越趋近1，光照度越适宜。

所述步骤三还包括以下步骤：

步骤三一：人像识别模块维护着一个实时所述人脸池队列，所述人脸池的最大大小为MAX_PERSON_POOL，出入方式为先进先出；

步骤三二：所述人脸池拥有时限，当经过了超时时间faceOverTime，始终没有捕捉到人脸照片的话，则清空该所述人脸池；

步骤三三：每次出现质量合格的人脸照片后，该照片即会和所述人脸池中所有人脸进行1:1相似度比对，得到相似度compareScore，相似度高于阈值，认为当前用户短时间已经出现过了，不会更新所述人脸池；低于阈值，认为当前用户为新用户，添加到当前所述人脸池中；

步骤三四：在规定的时限faceOverTime内，判定为新人后，会触发机器人唤醒或打招呼的动作，同时更新当前的人像照片；否则认为该人像在短时间内已经出现过一次，不会触发重复的唤醒或打招呼动作，仅仅更新当前的人像照片。

所述相似度比对采用COCO Loss函数模型计算：

其中：

所述步骤四还包括以下步骤：

步骤四一：***启动后，所述机器人直接连接到后台人脸识别引擎，根据后台人像库修改时间判断是否需要更新，需要更新的话将VIP信息直接下载到机器人本体，同时注册到本地人像库；

步骤四二：采用的1:N比对算法在离线模式下也能够进行，本地比对不依赖于网络环境，快速进行识别，较为准确地判断当前人像是否存在人像库中。

所述步骤四中相似度阈值采用经测试得出的最为适合的值similarityScore，该值设置过高，会导致比对失败率大大增加，设置过低时，会增加误识别率。

所述阈值可根据不同的应用场景灵活调整。

一种用于人机交互的人脸防重识别装置，包括机器人，所述机器人包括语音识别***、人脸识别***、智能搜素***等***，所述人脸识别***包括人脸检测模块、质量检测模块、人像识别模块及人脸展示模块。

所述人脸检测模块提供人像定位及提取最大人脸的功能。

所述质量检测模块对人像图片进行质量检测。

所述人像识别模块提供新人检测、防重处理及1:N对比的功能。

所述人脸展示模块提供人像数据显示功能。

所述机器人电性连接摄像头。

所述人脸池存储在所述人像识别模块。

所述本地人像库存储在所述人像识别模块。

所述机器人互联网连接后台，所述后台包括后台人像库、后台人脸识别引擎。

本发明的工作流程为：开启摄像头后，藉由人脸检测模块，实时检测视频流中的人脸，并对当前检测到的人脸持续跟踪，动态定位当前视频流中最大人脸轮廓，定位其坐标中心点，并以该点为中心等比例放大2倍后轮廓的width与height，对当前帧frame进行截取，保存为.jpg格式的人像图片dstImg。

质量检测模块对提取出的人像图片dstImg进行质量检测，首先是清晰度检测，计算frame的清晰度picQuality和dstImg的清晰度faceQuality，当picQuality接近0时、faceQuality不小于清晰度阈值时，认为清晰度检测合格；再者是角度检测，使用headPose向量组描述当前人脸的角度，向量包含x、y、z三个维度，三值越向0收敛，当前的人脸角度越正；最后是光照度检测，使用illumQuality描述摄像头拍摄照片的亮度，趋近于1时，认为光照度检测合格。上述3个检测项都通过时，认为是合格的照片并保存到人像识别模块同时上传更新至后台人像库后擦除，保存至人像识别模块中的图片每隔一段时间自动清除。

通过质量筛选的人脸照片dstImg，会和当前的人脸池currentFacePool中每一张照片进行1:1相似度的比对，该人脸池具有一个小时的时限，超过时限时且始终没有检测到人时，人脸池将会清空。相似度compareScore高于阈值时，认为当前用户在一个小时之内已经出现过了，不会更新currentFacePool，仅仅在机器人的界面上更新当前的人像照片，不会触发打招呼的行为；低于阈值时，认为当前用户为新用户，添加到currentFacePool中，不仅在机器人的界面上更新当前的人像照片，还要同时触发机器人唤醒或打招呼的行为。

检测到新用户后，将当前人脸信息与本地人像库进行1:N比对。如果相似度similarityScore低于阈值时，认为该人像不存在于本地人像库中，比对失败；高于阈值时，则认为当前人像存在于本地人像库中，比对成功，机器人“认识”该用户，同时提取该用户信息用于后续逻辑处理，用户信息可能包含姓名、性别、职称、照片等，将这些属性信息直接一并展示；如果“不认识”，则直接简单打招呼，大大增加体验的友好性和智能性。

以上公开的仅为本发明的具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (9)

1.一种用于人机交互的人脸防重识别方法，其特征在于，包括以下步骤：

步骤一：开启摄像头后，藉由人脸检测模块，实时检测视频流中的人脸，并对当前检测到的人脸持续跟踪，动态定位当前视频流中最大人脸轮廓，标定为当前最有可能产生人机交互的目标，并根据轮廓对当前帧进行截取，方便保存为.jpg或.png格式的图片；

步骤二：质量检测模块对所述步骤一中提取出的人像图片进行质量检测，需要清晰度、人脸角度、光照度的质检项都符合要求，人像图片才被认为合格，合格后将图片保存至人像识别模块同时上传更新至后台人像库后擦除，保存至人像识别模块中的图片每隔一段时间自动清除；

步骤三：通过质量筛选的人脸照片，会和当前人脸池中每一张照片进行相似度的比对，若相似度低于阈值，即认为当前人像属于新出现的用户，同时将该人像照片加入所述人脸池中，否则丢弃该人脸照片；

步骤四：检测到新用户后，人脸识别模将当前人脸信息与本地人像库进行1:N比对，如果相似度高于阈值，即认为当前人像存在于本地人像库中，比对成功，同时提取该用户信息用于后续逻辑处理；否则认为该人像不存在于本地人像库中，比对失败。

2.根据权利要求1所述的用于人机交互的人脸防重识别方法，其特征在于：所述视频流为实时检测，达到每秒25～30帧，保证人脸的实时识别、视频流的流畅以及照片的清晰。

3.根据权利要求1所述的用于人机交互的人脸防重识别方法，其特征在于：所述步骤一还包括以下步骤：

步骤一一：所述人脸检测模块持续跟踪并标注当前帧中存在的最大人像，认为该最大人像为当前最有可能的人机交互对象，并定位其坐标位置；

步骤一二：所述人脸检测模块将当前帧的像素矩阵对象以及当前定位人像的旋转矩形对象信息作为输入参数输入到crop_headImage方法中，输出一帧含有比较完整人像的像素矩阵对象dstImg。

4.根据权利要求3所述的用于人机交互的人脸防重识别方法，其特征在于：

所述旋转矩形对象包含当前定位人像矩形轮廓的左上角坐标，以及轮廓的width与height属性；

所述crop_headImage方法接收含有人脸的视频帧以及定位人脸的旋转矩形对象RotatedRect，通过坐标运算，截取出合适的包含完整人脸的照片dstImg作为输出。

5.根据权利要求1所述的用于人机交互的人脸防重识别方法，其特征在于：所述步骤二还包括以下步骤：

步骤二一：质量检测模块能够保证大多数情况能够留下高清晰度、易辨别的人像照片，同时计算照片的清晰度picQuality和人像的清晰度faceQuality；

步骤二二：质量检测模块能够保证大多数情况能够留下用户的正脸照片，使用headPose向量组描述当前人脸的角度；

步骤二三：质量检测模块能够保证大多数情况下能够留下亮度适宜的现场照片，计算当前照片的光照度illumQuality；

步骤二四：通过质检的照片立即存储到人像识别模块中，久远记忆上传更新至后台人像库后擦除。

6.根据权利要求5所述的用于人机交互的人脸防重识别方法，其特征在于：

权利要求1所述人脸池描述了设备中临时存储人脸照片的数据队列，有着先入先出的特性，每次识别完成就会将本次的人脸照片存储在该人脸池队列中，超时后该人脸池池即会清空；

所述本地人像库为存储在设备端的人像数据库，用于设备端人像识别与比对；

所述后台人像库为存储在远程服务器上的人像数据库，用于保存人像识别记录；

所述picQuality描述了摄像头拍摄照片的清晰度，值分布于0到1之间，越趋近0，质量越高；

所述faceQuality描述了所述步骤一中截取人像照片的清晰度，使用拉普拉斯算子(式1)进行计算：

其中：(x,y)表示人像照片的坐标；

(x+1,y)、(x-1,y)、(x,y+1)、(x,y-1)分别代表该坐标点正右方、正左方、正上方、正下方的坐标点坐标；

值越高，质量越高；

所述headPose向量组描述了当前人脸角度，包含x、y、z三个维度，三值越向0收敛，当前的人脸角度越正；

所述illumQuality描述了摄像头拍摄照片的亮度，值分布于0到1之间，越趋近1，光照度越适宜。

7.根据权利要求1所述的用于人机交互的人脸防重识别方法，其特征在于：所述步骤三还包括以下步骤：

步骤三一：人像识别模块维护着一个实时所述人脸池队列，所述人脸池的最大大小为MAX_PERSON_POOL，出入方式为先进先出；

步骤三二：所述人脸池拥有时限，当经过了超时时间faceOverTime，始终没有捕捉到人脸照片的话，则清空该所述人脸池；

步骤三三：每次出现质量合格的人脸照片后，该照片即会和所述人脸池中所有人脸进行1:1相似度比对，得到相似度compareScore，相似度高于阈值，认为当前用户短时间已经出现过了，不会更新所述人脸池；低于阈值，认为当前用户为新用户，添加到当前所述人脸池中；

步骤三四：在规定的时限faceOverTime内，判定为新人后，会触发机器人唤醒或打招呼的动作，同时更新当前的人像照片；否则认为该人像在短时间内已经出现过一次，不会触发重复的唤醒或打招呼动作，仅仅更新当前的人像照片。

8.根据权利要求6所述的用于人机交互的人脸防重识别方法，其特征在于：所述相似度比对采用COCOLoss函数模型计算：

其中：

9.根据权利要求6所述的用于人机交互的人脸防重识别方法，其特征在于：所述步骤四还包括以下步骤：

步骤四一：***启动后，***直接连接到后台人脸识别引擎，根据后台人像库修改时间判断是否需要更新，需要更新的话将后台人像库存储的人脸信息直接下载到***，同时注册到本地人像库；

步骤四二：采用的1:N比对算法在离线模式下也能够进行，本地比对不依赖于网络环境，快速进行识别，较为准确地判断当前人像是否存在人像库中。