CN110245592A - 一种用于提升监控场景的行人重识别率的方法 - Google Patents

Abstract

本发明公开了一种用于提升监控场景的行人重识别率的方法，包括：获取监控图片；利用faster‑rcnn目标检测模型进行检测获取行人图像；对行人图像先进行行人ID标注，再进行行人属性标注，获取行人训练数据集；搭建神经网络模型，神经网络模型包括基网络、行人属性分支网络和行人ID分支网络，输入行人训练数据集采用softmax‑loss损失函数分别对行人属性分支网络和行人ID分支网络进行训练，直至网络收敛；利用triple‑loss损失函数对行人ID分支网络进行微调，得到行人重识别网络模型。本发明对行人ID分支网络和行人属性分支网络进行多任务训练，并结合triple‑loss损失函数进行微调，从而大大提高了行人重识别模型的识别率，加快了刑侦案件中视频的分析速度，协助办案人员快速锁定嫌疑人。

Description

一种用于提升监控场景的行人重识别率的方法

技术领域

本发明涉及监控场景下的行人重识别技术领域，特别涉及一种用于提升监控场景的行人重识别率的方法。

背景技术

为了保障人民群众的人身财产安全，街道和商场内的监控覆盖数量也越来越多。然而，想要从茫茫的人海中快速的找到某个特定的人，若只靠人工进行辨别，则工作量巨大，识别效率太低。为了能够快速从视频图像中识别出某个人，故而将人脸识别技术引入智能监控***中。

然而，由于单个摄像头是有各自的不同角度和视角范围的，当需要切换多个摄像头画面查找一个行动中的人时，传统的人脸识别技术则无法做到快速而准确的找到一个人。特别是在刑侦场景中，对于跨摄像头出现的犯罪嫌疑人，需要及时对其进行尾随跟踪时，传统的人脸识别技术无法做到。

基于上述视频监控的技术需求，行人重识别技术被引入了智能监控***中。行人重识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。该技术是在给定一个监控行人图像，在跨设备的情况下对该行人图像进行检索，目的在于弥补目前监控摄像头的视觉局限。

然而，现有的行人重识别技术多数都是基于人脸识别或结合衣服颜色识别来做行人重识别的。然而，由于现有的监控摄像头像素普遍不是很高，尤其是远景摄像头里截取的人脸截取到的像素较少，当仅仅将其作为主要要素来进行人脸识别时经常容易出错。

另外，摄像头之间存在一定是色差，并且在不同的光线下会产生光影，且当两个行人着装颜色相同时，则极容易发生识别错误。

正是由于种种的技术缺陷问题，现在急需一种能够提高行人重识别识别率的方法，以满足现在智能监控***的需求。

发明内容

本发明目的是：提出一种用于提升监控场景的行人重识别率的方法，其能够在多个视频画面中快速而准确的识别出特定的行人图像，且识别准确率较高。

本发明解决其技术问题所采用的技术方案是：

一种用于提升监控场景的行人重识别率的方法，包括如下步骤：

S1、通过监控摄像头获取监控图片；

S2、利用faster-rcnn目标检测模型对所述监控图片中的行人区域进行检测，并获取行人图像；

S3、对所述行人图像先进行行人ID标注，再进行行人属性标注，进而得到行人训练数据集；

S4、搭建神经网络模型，所述神经网络模型包括基网络、行人属性分支网络和行人ID分支网络，输入所述行人训练数据集，并利用softmax-loss损失函数分别对所述行人属性分支网络和所述行人ID分支网络进行训练，直至网络收敛；

S5、输入所述行人训练数据集，并利用triple-loss损失函数对所述行人ID分支网络进行微调，最终得到高识别率的行人重识别网络模型。

进一步优化技术方案，所述基网络采用***net网络结构。

进一步优化技术方案，所述行人属性分支网络和行人ID分支网络都采用3层Inception网络结构。

进一步优化技术方案，所述步骤S3中获取行人训练数据集的具体步骤如下：

S31、预先为每个行人设置不同的行人ID，为每张行人图像标记上其相应的行人ID，并按所述行人ID进行分类，并将所述行人ID相同的所有行人图像归为一类，；

S32、在同一个行人ID分类中,选取一张图片进行行人属性标注，所述行人属性包括：性别、上下衣颜色、上下衣长短和是否拎东西或挎包；

S33、在同一个行人ID分类中的其他图片自动标注与其相应的行人属性，从而使所有行人图片完成行人ID和行人属性的标注，得到行人训练数据集。

进一步优化技术方案，所述行人训练数据集中若某个分类中图片数目少于10张，则分别对该类中每张图片采用亮度调整、对比度变化、随机裁剪、放射变换和尺度变换进行图片处理，并采用随机值替换策略进行数据增益。

进一步优化技术方案，所述步骤S5中微调的具体步骤如下：

S51、在处理数据前，设计一个Batch处理模块，且每次训练均以一个Batch处理模块为单元；所述Batch处理模块内包含P个人，且每人K张图片，其中K≥2；

S52、利用所述行人ID分支网络对输入Batch处理模块内的图片分别提取全局特征与局部特征；其中，所述局部特征是将最后一层网络输出的feature map横向切割为N块，得到N组局部特征；

S53、在一个Batch处理模块内，对于所述全局特征与局部特征同时计算triple-loss损失函数，然后利用梯度下降反传梯度，进行参数更新；

S54、调整margin和学习率参数，直至网络收敛到一个最优解，从而得到高识别率的行人重识别网络模型。

本发明的有益效果是：本发明利用神经网络模型将行人ID和行人属性进行多任务训练，并结合triple-loss损失函数对神经网络模型进行微调，从而大大提高了行人重识别模型的识别率，加快了刑侦案件中视频的分析速度，协助办案人员快速锁定嫌疑人。

附图说明

图1是本发明中行人重识别模型训练流程图。

图2是获取行人训练数据集的流程图。

图3是行人ID分支网络的微调流程图。

具体实施方式

以下结合附图，对本发明做进一步说明。

本发明的方案是一种用于提升监控场景的行人重识别率的方法，其中主要涉及三个网络处理模块，包括faster-rcnn目标检测模块、行人属性标注模块和神经网络模块。

faster-rcnn目标检测模块用于从监控图片中检测行人，并获取行人图像，保存成图片。其中，监控图片通过监控摄像头从被监控场景内获取。

行人属性标注模块将行人图像，首先根据行人ID进行分类处理，然后对行人图片进行行人属性标注，其中，行人ID为预先为每个行人生成的不同的ID号，归类时根据ID判断行人图片是否为同一人，若是，则将其归为一类。而行人属性包括性别、上下衣颜色、上下衣长短和是否拎东西或挎包等要素。将归类后的行人图片集内，每一类内分别选取一张图片，然后进行行人属性标注，其他与该图片ID相同的图片自动获取其相应的行人属性，最终得到行人训练数据集。

在行人训练数据集中，对于单个分类中图片数据量少于10张的，需对该分类中的每个图片进行数据增益处理。其中，数据增益的方法包括亮度调整、对比度变化、随机裁剪、放射变换和尺度变换。

搭建神经网络模块，该神经网络模型具体由基网络、行人属性分支网络和行人ID分支网络三部分搭建而成；其中基网络采用***net网络结构，行人属性分支网络和行人ID分支网络都采用3层Inception网络结构。

神经网络模块的训练过程：输入行人训练数据集，采用softmax-loss损失函数分别对行人属性分支网络和行人ID分支网络进行训练，直至网络收敛；

神经网络模块的微调过程：输入行人训练数据集，利用triple-loss损失函数对行人ID分支网络进行微调，具体实施方法包括，在处理数据之前，合理设计Batch处理模块大小，并保证一个Batch处理模块内包含P个人，每人K张图片，其中K>＝2，每次训练均以一个Batch处理模块为单位。利用行人ID分支网络对输入的Batch处理模块内的图片分别提取全局特征与局部特征，其中局部特征是将最后一层网络输出的feature map横向切割为N块，得到N组局部特征。在一个Batch处理模块内，对于全局特征与局部特征同时计算triple-loss，利用梯度下降反传梯度，更新网络参数，调整margin以及学习率等参数，直至网络收敛到一个最优解。

本发明的具体实施步骤如图1所示，包括如下步骤：

S1、通过监控摄像头获取监控图片；

S2、利用faster-rcnn目标检测模型对所述监控图片中的行人区域进行检测，并获取行人图像；

S3、对所述行人图像先进行行人ID标注，再进行行人属性标注，进而得到行人训练数据集；

S4、搭建神经网络模型，所述神经网络模型包括基网络、行人属性分支网络和行人ID分支网络，输入行人训练数据集，并采用softmax-loss损失函数分别对所述行人属性分支网络和所述行人ID分支网络进行训练，直至网络收敛；

S5、输入行人训练数据集，并利用triple-loss损失函数对所述行人ID分支网络进行微调，最终得到高识别率的行人重识别网络模型。

如图2所示，获取行人训练数据集的具体步骤如下：

S31、预先为每个行人设置不同的行人ID，为每张行人图像标记上其相应的行人ID，并按所述行人ID进行分类，并将所述行人ID相同的所有行人图像归为一类，；

S32、在同一个行人ID分类中,选取一张图片进行行人属性标注，所述行人属性包括：性别、上下衣颜色、上下衣长短和是否拎东西或挎包；

S33、在同一个行人ID分类中的其他图片自动标注与其相应的行人属性，从而使所有行人图片完成行人ID和行人属性的标注，得到行人训练数据集。

如图3所示，行人ID分支网络的微调步骤如下：

S51、处理数据前，设计一个Batch处理模块，且每次训练均以一个Batch处理模块为单元；所述Batch处理模块内包含P个人，且每人K张图片，其中K≥2；

S52、利用行人ID分支网络对输入的Batch处理模块内的图片分别提取全局特征与局部特征；其中，局部特征是将最后一层网络输出的feature map横向切割为N块，得到N组局部特征；

S53、在一个Batch处理模块内，对于全局特征与局部特征同时计算triple-loss损失函数，然后利用梯度下降反传梯度，进行参数更新；

S54、调整margin和学习率参数，直至网络收敛到一个最优解，从而得到高识别率的行人重识别网络模型。

以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进，这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种用于提升监控场景的行人重识别率的方法，其特征在于，包括如下步骤：

S1、通过监控摄像头获取监控图片；

S2、利用faster-rcnn目标检测模型对所述监控图片中的行人区域进行检测，并获取行人图像；

S3、对所述行人图像先进行行人ID标注，再进行行人属性标注，进而得到行人训练数据集；

S4、搭建神经网络模型，所述神经网络模型包括基网络、行人属性分支网络和行人ID分支网络，输入所述行人训练数据集，并采用softmax-loss损失函数分别对所述行人属性分支网络和所述行人ID分支网络进行训练，直至网络收敛；

S5、输入所述行人训练数据集，并利用triple-loss损失函数对所述行人ID分支网络进行微调，最终得到高识别率的行人重识别网络模型。

2.如权利要求1所述的一种用于提升监控场景的行人重识别率的方法，其特征在于，所述基网络采用***net网络结构。

3.如权利要求1所述的一种用于提升监控场景的行人重识别率的方法，其特征在于，所述行人属性分支网络和行人ID分支网络都采用3层Inception网络结构。

4.如权利要求1所述的一种用于提升监控场景的行人重识别率的方法，其特征在于，所述步骤S3中获取行人训练数据集的具体步骤如下：

S31、预先为每个行人设置不同的行人ID，为每张行人图像标记上其相应的行人ID，并按所述行人ID进行分类，并将所述行人ID相同的所有行人图像归为一类，；

S32、在同一个行人ID分类中,选取一张图片进行行人属性标注，所述行人属性包括：性别、上下衣颜色、上下衣长短和是否拎东西或挎包；

S33、在同一个行人ID分类中的其他图片自动标注与其相应的行人属性，从而使所有行人图片完成行人ID和行人属性的标注，得到行人训练数据集。

5.如权利要求4所述的一种用于提升监控场景的行人重识别率的方法，其特征在于，所述行人训练数据集中若某个分类中图片数目少于10张，则分别对该类中每张图片采用亮度调整、对比度变化、随机裁剪、放射变换和尺度变换进行图片处理，并采用随机值替换策略进行数据增益。

6.如权利要求1所述的一种用于提升监控场景的行人重识别率的方法，其特征在于，所述步骤S5中微调的具体步骤如下：

S51、设计一个Batch处理模块，且每次训练均以一个Batch处理模块为单元；所述Batch处理模块内包含P个人，且每人K张图片，其中K≥2；

S52、利用所述行人ID分支网络对输入的Batch处理模块内的图片分别提取全局特征与局部特征；其中，所述局部特征是将最后一层网络输出的feature map横向切割为N块，得到N组局部特征；

S53、在一个Batch处理模块内，对于所述全局特征与局部特征同时计算triple-loss损失函数，然后利用梯度下降反传梯度，进行参数更新；

S54、调整margin和学习率参数，直至网络收敛到一个最优解，从而得到高识别率的行人重识别网络模型。