CN110070010B - 一种基于行人重识别的人脸属性关联方法 - Google Patents

Abstract

本发明针对蒙面伪装身份辨识问题，公开了一种基于行人重识别的人脸属性关联方法。首先，提取一个与局部特征共同学习的全局特征，计算两组局部特征之间的最短路径来执行匹配，寻找与目标人物最相似的若干行人图像。接着，定位对应行人图像中的脸部位置，采用一种基于碎片的面部图像质量评估方法，将面部图像质量量化为面部相似性概率，从而选取最具有辨识度的人脸图像。最后，建立一种可信身份识别测度模型，将置信度最高的人脸图像作为蒙面目标的替代人脸。本发明将蒙面人脸识别问题转换为同一对象的蒙面人脸与显现人脸间的关联对应问题，为蒙面伪装目标的物理身份辨识提供了有效手段。

Description

一种基于行人重识别的人脸属性关联方法

技术领域

本发明属于计算机视觉技术领域，涉及一种视频数据中人脸属性关联方法，具体涉及一种基于行人重识别的人脸属性关联方法。

技术背景

人脸作为最重要的身份识别依据，目前最先进的人脸识别技术Google的FaceNet在LFW标准数据集上达到99.63％准确率。然而，犯罪分子出于刻意隐藏身份的动机，往往在作案现场佩戴墨镜、口罩、帽子、头巾等饰物遮挡面部，或利用头套、甚至3D面具进行蒙面伪装，对抗性目标的这种有意识的伪装行为给身份辨识带来巨大挑战。

相对于表情、姿态等因素的影响，头套、面具、墨镜、口罩、帽子等面部遮挡因素处理更为困难。2016年，美国卡内基梅隆大学的学者提出利用先验信息提高带局部遮挡目标的识别率，但需要先获取局部遮挡信息，如围巾、墨镜等。2017年，英国剑桥大学的学者提出一种深度学习框架，首先检测14个面部关键点，通过测量面部14个点之间的距离和角度估计出被遮挡的面部结构。该方法识别被帽子或围巾遮挡的面部准确率达到了56％，但如果被识别者同时戴上眼镜，准确率会下降到43％。2018年，美国西弗吉尼亚大学的学者提出基于Inception-ResNet网络迁移学习的人脸识别方法，使用大规模人脸数据库学习固有的面部表示，然后进行迁移学习以减轻面部伪装的影响。

尽管目前的遮挡人脸识别已经取得了积极的进展，但仅限于眼镜、口罩、假须等单一的轻度遮挡情况，对于同时佩戴墨镜和口罩等重度遮挡，识别率会急剧下降，对于蒙面人脸识别则完全失效。有待为蒙面这种重度遮挡的人脸识别问题探索新的方法。

发明内容

行人重识别指的是对于某个摄像头中出现的行人识别其是否在其它摄像头中再次出现的技术，可用于建立来自不同摄像头的同一行人图像间的对应关系。由于行人重识别依据人体外观形貌的综合特征而不单依赖人脸，故在人脸不可用时依然可以实现基于行人重识别的行人关联。为此，本发明提出了一种基于行人重识别的人脸属性关联方法。根据事件现场已有的图像，经过计算嫌犯逃逸的时间长度，锁定嫌犯逃逸的大致范围，对这一定范围内的摄像视频进行行人重识别，找出最相似的行人，然后利用人脸检测技术得到每张图片中行人的人脸，最后利用人脸图像质量评估方法得到最具有辨识度的人脸，就可以确定嫌犯的人脸。

本发明所采用的技术方案是：一种基于行人重识别的人脸属性关联方法，其特征在于，包括以下步骤：

步骤1：寻找与目标人物最相似的若干行人图像；

步骤1.1：训练图片输入ResNet-50网络，提取特征图，同时作为全局池化和水平池化两个分支的输入，提取局部特征，再降维，直至训练模型收敛。

步骤1.2：利用步骤1训练得到的模型，采用可信搜索路径优化，在一定范围内实现行人重识别。

步骤1.3：使用L2距离作为相似性度量，分别计算待查询图像与每一张候选图像之间的距离。

步骤1.4：使用概率分布函数Softmax将距离转换为概率分布，获得有效身份置信度。

步骤1.5：将上一阶段得到的图像的识别概率按照降序排列，考虑到每个范围内可能同一时间会识别出多个相似行人，可能是其他外貌比较相似的行人，故引入误判概率：

有效身份数量和拍摄到相似行人的监控点数越多，则误判率越低。

步骤2：定位图像中行人的脸部；

步骤2.1：训练多尺度特征器，直至训练模型收敛。

步骤2.2：将行人重识别过程中得到的图片依次采用插值将其重新缩放到特定尺度，利用步骤1中得到的模型进行单张图片的人脸检测。

步骤2.3：利用步骤2.2中得到的人脸检测坐标对原图进行裁剪，得到每张图片的人脸部分图像。

步骤3：选取最具有辨识度的人脸图像；

步骤3.1：对图像进行像素范围的压缩，采用非线性预处理来减少动态范围。

步骤3.2：变换后的图像I_log被分成M个小块，每一个小块B_i有n×n个像素，为了适应面部图像之间的对比度变化，将每个小块标准化，使其满足零均值和单位方差。

步骤3.3：对每一个小块B_i进行特征提取，再对每个小块提取一个2D的离散余弦变换(DCT)特征向量，保留除首个直流分量外的前3个低频分量。

步骤3.4：对于每个小块B_i计算局部概率，利用定位概率模型计算每个小块对应特征向量x_i的概率。

步骤3.5：计算给定人脸和理想人脸(一系列训练图片所表示的)相似的整体概率，由于各个小块相互独立，由M个小块组成的图像I的总概率为各小块概率之和。

步骤3.6：建立可信身份识别测度模型，确定目标人物的可辨识人脸。

嫌疑目标的视频图像会被摄像机网络中密集分布的多处监控探头所拍摄，当目标在事发现场的图像因蒙面伪装而无法取得身份辨识时，基于蒙面伪装行为的短时程特点，可通过人脸属性关联的方式间接完成物理身份的确认。行人重识别技术在不依赖人脸的情况下能够实现行人目标的跨摄像头对应，使得这一思路具有可行性。

附图说明

图1：本发明实施例的流程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施案例对本发明做进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明包括行人重识别、人脸检测和人脸图像质量评估过程。在人物搜索过程中，使用行人重识别技术寻找与特定人物最相似的若干行人图像，然后利用人脸检测技术定位图像中行人的脸部，然后选取不同人脸图像中辨识度最高的那张人脸图像，最后建立可信身份识别测度模型，确定特定搜索人物的脸部图像。

请见图1，本发明提供的一种基于行人重识别的人脸属性关联方法，包括以下步骤：

步骤1.1：对ImageNet上预训练的ResNet-50基本网络模型进行微调；

步骤1.1：利用在ImageNet上预训练的ResNet-50作为基本网络模型，训练图片裁剪为224×224像素再利用随机水平翻转和裁剪进行数据增强，作为ResNet-50网络的输入，提取特征图，同时作为两个分支的输入，一个分支利用全局池化产生N×2048的全局特征向量(N为训练时批量大小)，另一个分支利用水平池化得到N×128×7的局部特征，对每一行提取局部特征，然后利用1×1的卷积降维。训练时每个阶段包含2000个批量，采用Adam优化器，初始学习率为10^-3，直至训练模型收敛，获得对基本模型微调训练后的新模型。

步骤1.2：利用步骤1.1训练得到的新模型，在一定范围内实现行人重识别。

以嫌犯作案地的摄像头为中心，对周围的摄像视频进行搜索，采用可信搜索路径优化，根据运动目标的时空连贯性规律，同时考虑到时空路径约束，对连通路径上的监控摄像头采取由近及远的搜索策略。先从距离最近的点开始，在S₀范围(半径R＜100m)内进行行人重识别，记时刻为t₀。

步骤1.3：行人重识别算法的框架由特征提取与特征匹配两大部分组成，特征提取部分采用一种名为AlignedReID的方法提取一个与局部特征共同学习的全局特征，然后通过计算两组局部特征之间的最短路径来执行对准和匹配，在联合学习之后，只保留全局特征来计算图像之间的相似性，使用L2距离作为相似性度量

其中x_i和x_j分别表示待查询图像与候选图像的全局特征向量。

步骤1.4：使用概率分布函数Softmax将距离转换为概率分布，使用rank-10作为行人重识别评价指标，衡量模型对所有匹配对象的检索能力。在S₀范围中搜索的结果中rank-10的概率为p_0i,i＝0,1,…,9，若p_0i>0.7，则记为有效身份，记有效身份的个数为N₀。

步骤1.5：若N₀＞9，则停止行人重识别阶段的搜索；否继续搜索S₁范围(半径：100m＜R＜200m)内监控视频，普通人步行速度约为70m/min，考虑到作案人员想要快速离开现场，估计其步行速度约为80m/min,记t₁＝t₀+1.25，搜索t₀～t₁时刻的S₁范围内的监控视频，记rank-10的概率为p_1i,i＝0,1,…,9，若p_1i>0.7，则记为有效身份，记有效身份的个数为N₁，若N₀+N₁>9，则停止行人重识别阶段的搜索；否则重复以上过程，直到R＞1000m，停止搜索。

步骤1.6：将上一阶段得到的N张图像的识别概率p_ij按照降序排列，依次记为p_k,k＝0,1…N。考虑到每个范围内可能同一时间会识别出多个相似行人，可能是其他外貌比较相似的行人，故引入误判概率。如果多个不同监控点都拍到了相似行人，干扰的可能性就比较小。假设这一范围内监控点总数为m，拍摄到相似行人的监控点数量为m_i，由上文可知，这一范围内有效身份数量为N_i,则误判概率表示监控点错误做出行人身份判断的可能性，可用如下公式表示：

有效身份数量和拍摄到相似行人的监控点数越多，则误判率越低。

步骤2：利用人脸检测技术定位图像中行人的脸部；

步骤2.1：利用在WIDER FACE训练集上预训练的ResNet-50模型训练多尺度特征器。

首先将输入图像随机重新缩放0.5倍、1倍或2倍，然后从重新缩放的输入中随机裁剪出500x500图像区域，在裁剪图像边界外，使用平均RGB值进行填充。正位置定义为IOU重叠超过70％的位置，将负位置定义为重叠低于30％的位置，训练时利用平衡采样和困难样本挖掘来改善不平衡的二元分类训练集。同时使用10^-4的固定学习率，0.0005的权重衰减和0.9的动量，每个批量大小为20张图像，直至训练多尺度特征器收敛。

步骤2.2：将步骤1中得到的N张图片依次采用插值将其重新缩放到特定尺度，缩放比例为2的幂次，其取决于输入图像分辨率；然后，利用步骤2.1中得到的模型进行单张图片的人脸检测。在不同分辨率上进行预测，提取之后用于融合相应分辨率的检测器，最终利用非最大抑制(NMS)在原始分辨率图像上移除重叠的边界框，得到最终的人脸检测框的坐标。

步骤2.3：利用步骤2.2中得到的人脸检测坐标对原图进行裁剪，得到每张图片的人脸部分图像。

步骤3：采用一种有效的基于碎片的面部图像质量评估算法选取最具有辨识度的人脸图像；

步骤3.1：由于人物图像是在不受控制的条件下由多个摄像头拍摄的，头部姿势、照明、阴影、运动模糊等影响因素可能引入误差。因而首先对图像进行像素范围的压缩，对于给定图像I，采用非线性预处理函数来减少动态范围。采用如下公式计算：I_log(r,c)＝ln[I(r,c)+1]，其中I(r,c)表示(r,c)处的像素强度，I_log(r,c)表示预处理后的图像；对数归一化放大了低强度像素并压缩了高强度像素，有助于减少光照之间的强度差异。

步骤3.2：预处理后的图像I_log(r,c)被分成M个小块，每一个小块B_i有n×n个像素，为了适应面部图像之间的对比度变化，将每个小块标准化，使其满足零均值和单位方差，即E(LN(B_i))＝0,Var(LN(B_i))＝1。采用如下公式进行标准化：

其中，E(B_i)表示小块B_i的均值，Var(B_i)表示小块B_i对应的方差。

步骤3.3：对每一个小块B_i进行特征提取，首先对每个小块提取一个2D的离散余弦变换(DCT)特征向量，保留除首个直流分量外的前3个低频分量。低频分量保留了通用的脸部纹理，同时在很大程度上忽略了特定人物的信息。

步骤3.4：对于每个小块B_i计算局部概率，利用定位概率模型计算每个小块对应特征向量x_i的概率，采用如下公式：

其中μ_i和Σ_i分别表示特征向量x_i的均值和方差矩阵，d表示特征向量x_i的维数。

步骤3.5：计算给定人脸和理想人脸(一系列训练图片所表示的)相似的整体概率，由于各个小块相互独立，由M个小块组成的图像I的总概率q可用如下公式表示：

步骤3.6：建立可信身份识别测度模型，人脸图像质量评估的置信度是在假设检测行人是真实嫌犯的情况下作出的，因此人脸可辨识性的置信度只是条件概率，记作p(q|K＝i)，而行人重识别置信度为p_k,k＝0,1…N，两者的联合概率为p(q,K)＝p(q|K＝i)·p_k。当联合置信度高于0.7时，则认为该人脸可以取代嫌犯人脸。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种基于行人重识别的人脸属性关联方法，其特征在于，包括以下步骤：

步骤1：寻找与目标人物最相似的若干行人图像；

步骤1.1：对ImageNet上预训练的ResNet-50基本网络模型进行微调；

训练图片裁剪为224×224像素，再利用随机水平翻转和裁剪进行数据增强，形成的数据集用于微调ResNet-50模型；微调时同时作为两个分支的输入，一个分支利用全局池化产生N×2048的全局特征向量，另一个分支利用水平池化得到N×128×7的局部特征，对每一行提取局部特征，然后利用1×1的卷积降维；

步骤1.2：利用步骤1.1训练得到的新模型，在一定范围内实现行人重识别；

以嫌犯作案地的监控摄像头为中心，根据运动目标的时空连贯性规律，同时考虑到时空路径约束，对连通路径上的监控摄像头采取由近及远的优化搜索策略；先在S₀范围内进行行人重识别，记时刻为t₀，其中S₀范围的半径R＜100m；

行人重识别由特征提取与特征匹配两大部分组成，特征提取部分采用AlignedRelD方法提取一个与局部特征共同学习的全局特征，然后通过计算两组局部特征之间的最短路径来执行对准和匹配，在联合学习之后，只保留全局特征来计算图像之间的相似性，使用L2距离作为相似性度量

其中x_i和x_j分别表示待查询图像与候选图像的全局特征向量；

步骤1.3：使用Softmax函数将距离转换为概率分布，采用rank-10作为行人重识别评价指标，在S₀范围中搜索的结果中rank-10的概率为p_0i，i＝0，1，…，9，若p_0i＞0.7，则记为有效身份，记有效身份的个数为N₀；

步骤1.4：若N₀＞9，则停止行人重识别阶段的搜索；否则继续搜索S₁范围内监控视频，记t₁＝t₀+1.25，搜索t₀～t₁时刻的S₁范围内的监控视频，记rank-10的概率为p_1i，i＝0，1，…，9，若p_1i＞0.7，则记为有效身份，记有效身份的个数为N₁，若N₀+N₁＞9，则停止行人重识别阶段的搜索；否则重复以上过程，直到R＞1000m，停止搜索；其中，S₁范围半径R取值范围为100m＜R＜200m；

步骤1.5：将上一阶段得到的N张图像的识别概率p_ij按照降序排列，依次记为p_k，k＝0，1…N；设这一范围内监控点总数为m，拍摄到相似行人的监控点数量为m_i，这一范围内有效身份数量为N_i，则误判概率

误判概率P_e表示监控点错误做出行人身份判断的可能性；有效身份数量和拍摄到相似行人的监控点数越多，则误判率越低；

步骤2：定位图像中行人的脸部；

步骤3：选取最具有辨识度的人脸图像。

2.根据权利要求1所述的基于行人重识别的人脸属性关联方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：利用在WIDER FACE训练集上预训练的ResNet-50模型训练多尺度特征器；

首先将输入图像随机重新缩放0.5倍、1倍或2倍，然后从重新缩放的输入中随机裁剪出500x500图像区域，在裁剪图像边界外，使用平均RGB值进行填充；正位置定义为IOU重叠超过70％的位置，将负位置定义为重叠低于30％的位置，训练时利用平衡采样和困难样本挖掘来改善不平衡的二元分类训练集；

步骤2.2：将步骤1中得到的N张图片依次采用插值将其重新缩放到特定尺度，缩放比例为2的幂次，其取决于输入图像分辨率；然后，利用步骤2.1中得到的模型进行单张图片的人脸检测；在不同分辨率上进行预测，提取之后用于融合相应分辨率的检测器，最终利用非最大抑制NMS在原始分辨率图像上移除重叠的边界框，得到最终的人脸检测框的坐标；

步骤2.3：利用步骤2.2中得到的人脸检测框坐标对原图进行裁剪，得到每张图片的人脸图像。

3.根据权利要求1所述的基于行人重识别的人脸属性关联方法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：首先对图像进行像素范围的压缩，对于给定图像I，采用如下非线性预处理函数来减少图像动态范围：

I_log(r，c)＝ln[I(r，c)+1]

其中，I(r，c)表示位于(r，c)的像素强度，I_log(r，c)表示预处理后的像素强度；

步骤3.2：预处理后的图像I_log(r，c)被分成M个小块，每一个小块B_i有n×n个像素，并将每个小块标准化，使其满足零均值和单位方差，即E(LN(B_i))＝0，Var(LN(B_i))＝1；采用如下公式进行标准化：

其中，E(B_i)表示小块B_i的均值，Var(B_i)表示小块B_i对应的方差；

步骤3.3：对每一个小块B_i进行特征提取；

首先对每个小块提取一个2D的离散余弦变换DCT特征向量，然后保留除首个直流成分DC外的前3个低频分量；

步骤3.4：对于每个小块B_i计算局部概率，利用定位概率模型计算每个小块对应特征向量x_i的概率，采用如下公式：

其中μ_i和∑_i分别表示特征向量x_i的均值和方差矩阵，d表示特征向量x_i的维数；

步骤3.5：计算给定人脸和一系列训练图片所表示的理想人脸相似的整体概率，由于各个小块相互独立，由M个小块组成的图像I的总概率为q；用如下公式表示：

步骤3.6：建立可信身份识别测度模型；

人脸可辨识性的置信度是条件概率，记作p(q|K＝i)，行人重识别置信度为p_k，k＝0，1…N，两者的联合概率为p(q，K)＝p(q|K＝i)·p_k；当联合置信度高于0.7时，则认为该人脸能取代嫌犯人脸。

Images