CN111539271B - 基于可穿戴设备的人脸识别方法及用于边防的可穿戴人脸检测设备 - Google Patents

Abstract

本发明涉及人脸识别领域，具体涉及一种基于可穿戴设备的人脸识别方法，包括：将原图像分为五个子块，其中第一子块至第四子块能够拼接形成原图像，并且第一子块至第四子块中任意两个相互重叠子块的重叠区域符合预设人脸识别算法的最小检测精度；第五子块为所述原图像长宽减半以后所得的缩小图；对的五个子块进行并行识别，得到识别结果；将识别结果进行坐标修正与重叠区域合并，并进行标记；对标记后的原图像进行人脸轮廓提取，得到表示人脸特征的特征向量；将特征向量与预设人脸特征库目标向量进行比对，得到比对结果。本发明还包括一种用于边防的可穿戴人脸检测设备。本发明适应于边防应用场景，兼顾考虑大尺寸和小尺寸人脸识别问题，能够准确迅速地进行识别检测。

Description

基于可穿戴设备的人脸识别方法及用于边防的可穿戴人脸检测设备

技术领域

本发明涉及增强现实和人脸识别领域，具体涉及一种基于可穿戴设备的人脸识别方法及用于边防的可穿戴人脸检测设备。

背景技术

随着经济的发展，发展速度加快，以及信息技术的突飞猛进，导致边防人口密集，流动人口增加，引发了边境建设中的交通、社会治安、重点区域防范、网络犯罪日益突出等边防管理问题，今后现代化管理手段的建设、网络信息必然将安全作为重中之重，与经济建设处于同等重要的地位。

近年来，社会犯罪率呈逐年升高的趋势，特别是网络犯罪更加的严重，网络逃犯频频发生，罪犯的犯罪手法也更加隐蔽和先进，给广大执法人员侦破案件增加了难度。同时，恶性事件时有发生，使人们对出入境等场所的安全感普遍降低。同时边防人员在对嫌疑人进行人工排查时如大海捞针，成功率极低，效果也不明显。现有技术主要存在的实际问题有：

首先，由于罪犯群体不断扩大，要在数以百万计的人员照片库中找出犯罪嫌疑人，不仅费时费力，还有可能造成遗漏等情况，破案的效率大打折扣。其次，目前边防管理侦察案件大多数仍然依靠事后追查和通缉，对已经发生的案件造成的损失很难有效弥补。最后，如果在案发的同时即能防患于未然，就能第一时间将损失控制在最小范围内。

智慧边防建设从最初的视频监控、要塞信息化建设，***已大量掌握了视频图像资源和相关有价值图片。但是针对人员侦查，身份确认还是需要通过技侦或网侦手段，无法充分利用视频图像资源快速定位人员身份。即使出动大量警力，采用“人海战术”但受制于肉眼识别劳动强度的极限，再加上人工排查效率不足，视频图像拍摄受光线、角度倾斜等不确定因素影响，无法保证查找的准确性和时效性，尤其出现突发紧急案件时，往往会贻误最佳破案时机。

发明内容

本发明的目的是解决现有技术中的人脸识别方法处理速度慢、易产生遗漏、难以在大量人员流动时准确找到目标的缺陷。

根据本发明的第一方面，提供一种基于可穿戴设备的人脸识别方法，包括：将原图像分为五个子块，其中第一子块至第四子块能够拼接形成原图像，并且第一子块至第四子块中任意两个相互重叠子块的重叠区域尺寸符合预设人脸识别算法的最小检测精度；第五子块为所述原图像长宽减半以后所得的缩小图；使用预设人脸识别算法对所述的五个子块进行并行识别，得到用于标识人脸所在区域的识别结果；将识别结果进行坐标修正与重叠区域合并，在所述原图像上标记出修正后的结果；对标记后的原图像进行人脸轮廓提取，得到表示人脸特征的特征向量；将所述特征向量与预设人脸特征库目标向量进行比对，得到比对结果。

优选地，设所述原图像的宽为w，高为h，g为预设人脸识别算法的最小检测精度的二倍，则第一子块在原图像中所占区域为

第二子块在原图像中所占区域为

第三子块在原图像中所占区域为

第四子块在原图像中所占区域为

优选地，坐标修正过程为：设各个子块中的识别结果在该子块中的位置坐标为(x,y)，将第一子块中的识别结果映射为原图像的(x,y)；将第二子块中的识别结果映射为原图像的

将第三子块中的识别结果映射为原图像的

将第四子块中的识别结果映射为原图像的

优选地，重叠区域合并过程为：获取各个识别结果在原图像中的中心位置坐标(x_c，y_c)；计算所有识别结果中心位置坐标间的距离Dcc；Dcc小于预设值的区域进行合并，合并方式为选取重叠区域的最大外边域；使用合并后的区域替换原区域。

优选地，预设人脸识别算法为HOG&SVM的目标检测算法。

优选地，人脸轮廓提取通过基于增强残差GBDT森林实现。

优选地，人脸特征库通过以下过程构建：设人脸特征库中包括M个特征向量，每个特征向量的维度为n；对于每个特征向量，将第k个维度构成数组L，对L进行排序，计算排序后中间间隔最大的两个数差值Ld；根据所有维度中最大的差值Ld，记录其维度k和中间间隔最大的两个数的均值Lk，根据k和Lk将M个特征向量分割成两个子集；重复上述步骤，直至每个子集中的向量数不大于预设值。

优选地，所述预设值为8。

优选地，将所述待测向量与预设人脸特征库中的特征向量进行比对，得到比对结果的具体过程为：在特征库中的每个子集中任选一个特征向量与待测向量进行矢量内积运算，选出计算结果最大的子集，再将该子集内每一个特征向量与待测向量进行矢量内积运算，选出计算结果最大的特征向量作为比对结果，且将矢量内积的最大值作为相似度。

根据本发明的第二方面，提供一种用于边防的可穿戴人脸检测设备，包括：拍摄装置，用于获取视景内的原图像；存储装置，用于存储人脸特征库，所述特征库中包括预设的能够表征人脸特征的特征向量；处理器，用于通过执行计算机程序指令实现如本发明第一方面所述的基于可穿戴设备的人脸识别方法，以识别出原图像中是否存在与所述特征库中已存储的特征相同的人脸。

本发明的有益效果是：

1、相邻子块间的重叠区域能够提高视野中小尺寸人脸的识别率；

2、第五子块能够防止当较大尺寸人脸出现在子块分界线处而出现的检测不准问题；

3、对特征库中的人脸特征向量进行子集划分，大大减少了匹配所用时间。

4、适应于边防应用场景，兼顾考虑大尺寸和小尺寸人脸识别问题，能够在目标未脱离佩戴者视野范围的时间内做出判断。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1为本发明一个实施例的基于可穿戴设备的人脸识别方法的流程图；

图2为子块划分的示意图；

图3(a)为特征库中特征向量子集划分时，将每个向量第k维排序后组成数组L的一个实施例的示意图；图3(b)为在数组L中找到差值最大的两个数的示意图；图3(c)为依据第k维和均值Lk将特征库划分为多个子集的示意图；

图4为本发明一个实施例的用于边防的可穿戴人脸检测设备的方框原理图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明提供的基于可穿戴设备的人脸识别方法，是一种用于对当前画面中进行人脸匹配识别的方法，可以用于可穿戴设备中，例如制作成AR眼镜供边防人员使用。在使用时，眼镜的图像采集装置采集到视野范围内的图像，AR眼镜内置存储器和处理器，存储器中存有预先设置好的目标人脸信息，处理器用于执行本发明的方法，将实时采集的图像进行并行处理识别出人脸区域，再跟存储器中的信息进行匹配，得出匹配结果。下面结合多种实施方式对本发明的内容进行说明。

<方法>

本实施方式的方法流程图如图1所示，包括：

步骤S1：将原图像分为五个子块，其中第一子块至第四子块能够拼接形成原图像，并且第一子块至第四子块中任意两个相互重叠子块的重叠区域尺寸符合预设人脸识别算法的最小检测精度；第五子块为原图像长宽减半以后所得的缩小图。

对于步骤S1，如图2所示，图中A1～A4四个子块分别代表图像左上、右上、左下、右下四个区域，A0代表原图像按比例缩小一倍所得的图像。五个子块使用人脸识别算法进行并行处理，能够加快处理速度。子块之间具有重叠区域，A1～A4四个子块每一个的尺寸略微大于原图尺寸的1/4。这样设置是为了解决当较小人脸出现在子块分界线附近时出现的遗漏现象。为了进一步减少由于人脸恰好出现在分界线导致的遗漏，还增加了第五子块，第五子块是原图长宽缩小一倍得到的图，尺寸为原图的四分之一。其优点是检测速度更快，并且能够检测到人脸恰好出现在分界线的情况；存在的问题是由于尺寸减小，对于较小人脸的识别不准确。第五子块与其他四个子块协同配合能够更准确、更高效识别出人脸所在区域。

步骤S2：使用预设人脸识别算法对的五个子块进行并行识别，得到用于标识人脸所在区域的识别结果。

对于步骤S2，可以通过多线程对五个子块进行并行处理，并在每个子块中各自标记出人脸所在的位置。“识别结果”可以是用矩形框进行标记。目前的目标识别算法中，常用矩形框对识别结果进行标记。矩形框的数据表示形式可以是通过四个顶点坐标或者处于对角线上的两个顶点来确定，也可以采用其他形式。本实施方式的人脸识别算法可以在现有技术中进行选择，能够框出人脸所在大致区域即可。本步骤中使用并行算法处理尺寸较小的图像，能够有效缩短处理时间。

步骤S3：将识别结果进行坐标修正与重叠区域合并，在原图像上标记出修正后的结果。

对于步骤S3，坐标修正的含义是，由于步骤S2中是对每个子块分别进行的人脸识别，标记出的矩形框的坐标是相对于子块的坐标，因此需要将该坐标映射成在原图像中的坐标。重叠区域合并的含义是，由于子块之间存在重复区域，有可能不同子块都在重叠区域中检测到了同一个人脸，因此需要将重复检测到的人脸区域合并成同一个。

步骤S4：对标记后的原图像进行人脸轮廓提取，得到表示人脸特征的特征向量。

对于步骤S4，由于步骤S2的人脸识别是用方框标记出大致区域，相当于是一种目标位置识别。而本步骤中需要提取特征向量，来判断待检测的人脸特征向量和已经存储的特征向量是否来自同一个人。

步骤S5：将特征向量与预设人脸特征库目标向量进行比对，得到比对结果。

对于步骤S5，需要将待检测向量和特征库中的每个向量做特定运算，以识别出相似度，将相似度高于一定阈值的作为检测结果。特征库中存储的是预先处理好的特征向量，代表不同对象的人脸信息。例如，当本实施方式用于边防可疑人员的匹配识别时，可以将已通缉人员的人脸信息进行处理后提取出特征向量，并进行存储，这样设置可以避免直接存储占用空间较大的图片格式，且处理速度更快。

在一个实施例中，原图像的宽为w，高为h，g为预设人脸识别算法的最小检测精度的二倍，则

第一子块在原图像中所占区域为

第二子块在原图像中所占区域为

第三子块在原图像中所占区域为

第四子块在原图像中所占区域为

g从图像上来看是相邻两个子块的重叠宽度，g需要符合人脸识别检测精度的二倍，这样在每个子区域中多出来的那部分g/2宽度的区域都有可能检测出人脸，这样能够最大程度避免漏检，同时也兼顾到检测速度。人脸识别的检测精度是每种算法的固有属性，每个算法模型能够检测出的最小尺寸是确定的，可以根据每种算法的最小精度确定g，也可以根据具体需求通过g寻找复合条件的算法。例如某种目标识别算法能够检测到的最小尺寸为10×10像素，则g可取20像素。

相应地，采用上述子块划分时，坐标修正的过程为：

设各个子块中的识别结果在该子块中的位置坐标为(x,y)。

将第一子块中的识别结果映射为原图像的(x,y)处。

将第二子块中的识别结果映射为原图像的

处。

将第三子块中的识别结果映射为原图像的

处。

将第四子块中的识别结果映射为原图像的

即坐标修正过程是将识别结果(如矩形框坐标)在子块中的坐标映射成在原图像中的坐标。对于本例，第一子块的坐标记法与原图像一致，因此无需改变；第二子块的坐标映射至原图像相当于做了向右平移

个像素的坐标变换；第三子块中的坐标映射至原图像相当于做了向下平移

的坐标变换；第四子块中的坐标映射至原图像相当于做了向右平移

且向下平移

的坐标变换。

重叠区域合并的过程是通过矩形框中心位置坐标来实现。坐标修正过程完成后，各子块识别出的目标框都已映射至原图像中，可能存在一些框，其中心距离非常近，可以认为是相同的人脸目标，将其合并。具体处理过程是：获取各个识别结果在原图像中的中心位置坐标(x_c，y_c)；计算所有识别结果中心位置坐标间的距离Dcc；Dcc小于预设值的区域进行合并，合并方式为选取重叠区域的最大外边域；使用合并后的区域替换原区域。“重叠区域的最大外边域”可以是两个区域的交集部分。也可以根据需要选取两个区域的并集部分。

人脸识别算法可以选择HOG&SVM的目标检测算法，也可以选择其他种类的目标检测算法，只要能够得出人脸所在的位置区域即可。人脸轮廓提取通过基于增强残差GBDT森林实现，该算法是现有技术中已有的，其输出结果为特征向量。

本实施方式还提供一种人脸特征库的构建方法，具体包括：

设人脸特征库中包括M个特征向量，每个特征向量的维度为n；对于每个特征向量，将第k个维度构成数组L，对L进行排序，计算排序后中间间隔最大的两个数差值Ld；根据所有维度中最大的差值Ld，记录其维度k和中间间隔最大的两个数的均值Lk，根据k和Lk将M个特征向量分割成两个子集；重复上述步骤，直至每个子集中的向量数不大于预设值。然后在特征库中的每个子集中任选一个特征向量与待测向量进行矢量内积运算，选出计算结果最大的子集，再将该子集内每一个特征向量与待测向量进行矢量内积运算，选出计算结果最大的特征向量作为比对结果，且将矢量内积的最大值作为相似度。

如图3(a)所示，M个特征向量代表预先存储的M个人脸信息，将所有M个向量的第k维进行排序，构成数组L，找到数值相差最大的两个数，在图3(b)示出的例子中为

和

将二者的平均值记为Lk，将二者的差值记为Ld。将k值从1取至n计算出所有的Ld，找到Ld的最大值，并计算出该最大值对应的

和

的平均值Lk。然后据此在该最大值对应的维度位置将M个特征向量划分出子集，同时将记录下来的第k维和Lk值作为子集划分的索引。例如在图3(c)中，发现第k维上

和

的数值间隔最大，即Ld值最大，则以此为依据将第1～j-1个向量分为第一子集，将j～m个向量分为第二子集(根据前述此时第1～m向量是按照第k维向量的大小排好序的)。此时假设

和

的均值为Lk，则第一次找到的子集划分位置可以记为第k维的Lk位置，即统计每个向量的第k维数值，大于等于Lk的分为一个子集，小于Lk的分到另一个子集。对于每一个子集，若子集内的特征向量数目大于预设值，则重复执行先前的分割步骤，直至每个子集的特征向量数目都不大于预设值。在一个优选实施例中，预设值可以为8，即经过多次分割后，分出的若干子集中特征向量的数据都不大于8。

按上述过程分割之后，将彼此差距较大的向量分割到了不同的子集，进行匹配时可以先在不同的子集中选择一个向量计算其与待测特征向量的矢量内积，选择计算结果值最大的向量对应的子集，将待测特征向量与该子集中每一个向量做矢量内积，选取其中数值最大的作为匹配结果。例如，特征库中一共存在3个子集，每个子集中有5个特征向量，在三个子集中各任选一个向量记为A、B、C，待测特征向量记为K，则分别计算K与A、B、C的内积，假设K与B的内积最大，则再将K与B所对应的子集中的每一个向量均进行内积运算，找到其中的最大值对应的ID值作为人脸识别的结果。配合并行执行方式能够大大减少人脸匹配时所需的时间。

特征库中的向量以及待测特征向量在进行内积计算前，可以先进行规定化，具体过程是：对于向量V，求其与原点的欧氏距离Vd＝sqrt(V*V)，并将V*10/Vd赋值给V，即V＝V*10/Vd。这样得到的向量V，是经过规定化的，可以用与计算后续的内积值。

至此，可以看出本实施方式的主要过程可以分为：1、将原图像进行并行分块处理，快速识别出各个子块中的人脸所在区域，这个过程主要使用目标检测技术；2、将子块中识别出的人脸区域整合到原图像中，这个过程主要使用坐标修正和重叠区域合并技术；3、对于整合后图像中每个方框内的人脸图像进行轮廓提取，得到特征向量，这个过程主要使用基于残差网络的人脸轮廓提取算法；4、对于提取出的特征向量，将其与特征库中预先存储好的人脸特征向量进行矢量内积运算，找出结果值最大的，作为最终匹配结果。

<设备>

本实施方式提供一种用于边防的可穿戴人脸检测设备，如图4所示，包括：

拍摄装置101，用于获取视景内的原图像；存储装置103，用于存储人脸特征库，特征库中包括预设的能够表征人脸特征的特征向量；处理器102，用于通过执行计算机程序指令实现前述的基于可穿戴设备的人脸识别方法，以识别出原图像中是否存在与特征库中已存储的特征相同的人脸。

本实施方式的设备可以是AR眼镜，也可以是头戴式AR设备，或者是安装有摄像头、能够内置存储器和处理器的其他可穿戴设备。其中若使用AR眼镜或头戴式AR设备可以保证摄像头拍摄到的视野画面与佩戴者观察到的比较相近，便于佩戴者调整姿态角度以获取更优的视野。拍摄装置可以视具体场景需要进行一秒拍摄多帧或间隔几秒拍摄一帧，所得图像帧作为处理器的输入进行识别匹配。

本实施方式的一个较优的应用场景是用于智慧边防，即由边防警卫人员佩戴设备，摄像头获取视野范围图像。存储器中用于存储预先设置好的可疑人员信息，例如被通缉的人员信息，或者因为其他目的被纳入监测对象的人员信息。摄像头获取到的图像送至处理器中进行匹配识别，如果出现匹配相似度高于设定阈值的，则认为视野内出现了目标，设备会对佩戴人员进行提示。

本发明的检测方法和设备与已有的人脸匹配技术的不同之处在于，对于用于边防的人脸识别做了特别优化：1、视野中出现的人脸图像可能出现大小差距很大的情况，即距离佩戴者较近的人脸较大，距离远的较小。鉴于这种情况，本发明的子块分割时包含了子块重叠区域，用于解决较小人脸处于子块分界线附近导致检测不准的问题；2、同时本发明为了解决离佩戴者较近的较大人脸容易被子块分割导致难以检测的问题，增加了第五子块，即长宽缩小一倍以后所得图像，第五子块可以用来检测较大人脸，且不受子块分界线的影响；3、预先将特征库中的特征向量进行了子集划分，将特征相似的划分到一个子集，最大程度减少了匹配时间；4、子块并行处理以及特征库中的匹配结合，能够以最快速度判断视野中是否出现与特征库中的目标相似的人员，这样能够在疑似人员尚未远离边防人员的情况下做出判断，便于边防人员在发现可疑人员后快速施行相应措施以保障边防安全，避免了由于匹配时间过长，导致边防人员在事后无法及时寻找到可疑人员的情况。

虽然已经通过例子对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (6)

1.一种基于可穿戴设备的人脸识别方法，其特征在于，包括：

将原图像分为五个子块，其中第一子块至第四子块能够拼接形成原图像，并且第一子块至第四子块中任意两个相互重叠子块的重叠区域尺寸符合预设人脸识别算法的最小检测精度；第五子块为所述原图像长宽减半以后所得的缩小图；

使用预设人脸识别算法对所述的五个子块进行并行识别，得到用于标识人脸所在区域的识别结果；

将识别结果进行坐标修正与重叠区域合并，在所述原图像上标记出修正后的结果；

对标记后的原图像进行人脸轮廓提取，得到表示人脸特征的待测向量；

将所述待测向量与预设人脸特征库中的特征向量进行比对，得到比对结果；

设所述原图像的宽为w，高为h，g为预设人脸识别算法的最小检测精度的二倍，则

第一子块在原图像中所占区域为

第二子块在原图像中所占区域为

第三子块在原图像中所占区域为

第四子块在原图像中所占区域为

坐标修正过程为：

设各个子块中的识别结果在该子块中的位置坐标为(x,y)，

将第一子块中的识别结果映射为原图像的(x,y)；

将第二子块中的识别结果映射为原图像的

将第三子块中的识别结果映射为原图像的

将第四子块中的识别结果映射为原图像的

重叠区域合并过程为：

获取各个识别结果在原图像中的中心位置坐标(x_c，y_c)；

计算所有识别结果中心位置坐标间的距离Dcc；

Dcc小于预设值的区域进行合并，合并方式为选取重叠区域的最大外边域；

使用合并后的区域替换原区域；

人脸特征库通过以下过程构建：

设人脸特征库中包括M个特征向量，每个特征向量的维度为n；

对于每个特征向量，将第k个维度构成数组L，对L进行排序，计算排序后中间间隔最大的两个数差值Ld；

根据所有维度中最大的差值Ld，记录其维度k和中间间隔最大的两个数的均值Lk，根据k和Lk将M个特征向量分割成两个子集；

重复上述步骤，直至每个子集中的向量数不大于预设值。

2.根据权利要求1所述的基于可穿戴设备的人脸识别方法，其特征在于，预设人脸识别算法为HOG&SVM的目标检测算法。

3.根据权利要求1所述的基于可穿戴设备的人脸识别方法，其特征在于，人脸轮廓提取通过基于增强残差GBDT森林实现。

4.根据权利要求1所述的基于可穿戴设备的人脸识别方法，其特征在于，所述预设值为8。

5.根据权利要求1所述的基于可穿戴设备的人脸识别方法，其特征在于，将所述待测向量与预设人脸特征库中的特征向量进行比对，得到比对结果的具体过程为：

在特征库中的每个子集中任选一个特征向量与待测向量进行矢量内积运算，选出计算结果最大的子集，再将该子集内每一个特征向量与待测向量进行矢量内积运算，选出计算结果最大的特征向量作为比对结果，且将矢量内积的最大值作为相似度。

6.一种用于边防的可穿戴人脸检测设备，包括：

拍摄装置，用于获取视景内的原图像；

存储装置，用于存储人脸特征库，所述特征库中包括预设的能够表征人脸特征的特征向量；

处理器，用于通过执行计算机程序指令实现如权利要求1至5中任意一项所述的基于可穿戴设备的人脸识别方法，以识别出原图像中是否存在与所述特征库中已存储的特征相同的人脸。

Images