CN113627383A - 一种用于全景智能安防的行人徘徊重识别方法 - Google Patents

一种用于全景智能安防的行人徘徊重识别方法 Download PDF

Info

Publication number
CN113627383A
CN113627383A CN202110978611.3A CN202110978611A CN113627383A CN 113627383 A CN113627383 A CN 113627383A CN 202110978611 A CN202110978611 A CN 202110978611A CN 113627383 A CN113627383 A CN 113627383A
Authority
CN
China
Prior art keywords
pedestrian
loitering
panoramic
identification
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110978611.3A
Other languages
English (en)
Inventor
张楠
黄绩
程德强
寇旗旗
赵凯
吕晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202110978611.3A priority Critical patent/CN113627383A/zh
Publication of CN113627383A publication Critical patent/CN113627383A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种用于全景智能安防的行人徘徊重识别方法，该方法主要包括视频图片采集，图片质量评估，行人检测和重识别，徘徊判断几个部分：第一部分是图片采集部分，该部分是实现实时预览安防视频按秒截取图片并收集在存储器中；第二部分是图片质量评估，截取到的图片可能存在模糊，遮挡物过多等问题，将这样一些图片筛选掉；第三部分是行人检测和行人重识别，在这部分，我们联合检测和行人特征识别，将截取到的全景图片送入一个单一的神经网络中联合处理行人检测和重识别这两个任务；第四部分是行人徘徊判断，我们通过对相机id是否相同以及图片间隔时长判断行人是否徘徊。

Description

一种用于全景智能安防的行人徘徊重识别方法
技术领域
本发明属于行人徘徊重识别的技术领域，尤其涉及一种用于全景智能安防的行人徘徊重识别方法。
背景技术
随着现代信息技术的飞速发展和新基建政策的出台，“智慧城市”这一概念逐步转为现实。智慧城市就是基于数字城市、物联网和云计算建立的现实世界与数字世界的融合，实现城市智慧式管理与运行。其中，智能安防是智慧城市的主要应用场景，在构建全景智能安防时，视频监控***起到了关键的作用。对于智能视频监控中的视频，对其进行目标检测、分类、识别、跟踪、特征点提取、运动估计等无需人力的智能分析正在引起越来越多的关注。行人的徘徊行为检测就是判断一个人是否在一个地方停留超过一段时间或者运动轨迹出现异常（例如在一个地方来回反复地走），这是一种比较常见的视频分析技术。
行人徘徊重识别是现下智能安防的一个关注热点，主要分为视频图片处理，行人检测，行人重识别，徘徊判断这四部分。行人徘徊检测通常归类于行人异常行为识别，有一定的缺陷。其一，传统行人异常行为识别利用人工提取特征，送入支持向量机等简单的分类器中进行分类，这类方法不仅耗费大量的人力财力，而且对行人徘徊行为的检测效果并不好，没有针对特异性做到专业性处理；其二，传统的行人异常行为识别多使用前背景建模的方法获得行人，非常容易受到嘈杂背景信息的干扰，导致检测的错误率较高。对于行人检测方面，传统方式采用背景建模的前后分离方式，效果往往不好，有待改进。对于现有的行人重识别技术可以弥补目前固定摄像头的视觉局限，与行人的检测、跟踪技术相结合应用于全景智能安防领域，有效地参与检测行人徘徊行为。行人重识别方法主要分为无监督行人重识别以及有监督的行人重识别。
因为监控视频中的行人身份是未知的，只能使用无监督的行人重识别。目前无监督的行人重识别对于样本的相似度判别以及难正样本（外形服装相似但是身份不同的行人）的识别上仍有极大的进步空间。由于视点不同、图像变化的低分辨率、照明变化、遮挡、背景混乱、不可靠的包围盒生成等因素，导致结果的不确定性，也需要合适的方法进行改进，总结现有的缺陷：传统的行人徘徊检测对于行人跟踪丢失以及行人走出视频画面再折返这种情况的检测效果不好；从实时监控视频流中获取的行人全景图片含有大量的背景信息，将其图片送入行人重识别步骤中会因为嘈杂的背景导致识别效率差，因此需要设计一种用于全景智能安防的行人徘徊重识别方法来解决上述问题。
发明内容
本发明的目的在于提供一种能够解决上述问题的一种用于全景智能安防的行人徘徊重识别方法。
本发明采用的技术方案如下：
一种用于全景智能安防的行人徘徊重识别方法，该方法包括如下步骤：
a.对实时安防监控视频进行全景图片采集；
b.对采集到的全景图片进行质量评估；
c.对筛选后的全景图片进行行人检测与重识别联合处理；
d.对行人检测和重识别这一步骤得到的伪标签分配结果进行行人徘徊判断。
本发明的进一步改进在于：所述的步骤a中安防视频全景图片采集基于python版的OpenCV来实现，首先需要准备cv2和NumPy库，对安防摄像头采用推流方式实现实时预览，再读取摄像头的帧数截取全景图片，最后保存图片即可。
本发明的进一步改进在于：所述的步骤b中图片质量评估基于图像评估模型，判断全景图片中行人是否模糊和遮挡过多，筛除评估结果低于评分阈值的视频截图。
本发明的进一步改进在于：所述的步骤c中采用新的深度学习框架将行人检测与行人重识别联合处理。
本发明的进一步改进在于：新的深度学习框架主要分为5个模块，卷积神经网络CNN模块、行人检测模块、池化层模块、基于互近邻伪标签分配模块和损失函数模块，所述的行人徘徊判断基于伪标签分配结果，在具有相同伪标签的一组相似行人特征中，首先判断行人图片的相机id是否相同，若不同，则排除行人徘徊的可能；若相机id相同，再判断行人图片的帧数间隔。
本发明的进一步改进在于：所述的卷积神经网络CNN模块的基础模型是ResNet50，主干由ResNet50的前四层组成，在网络的第一层和卷积层的最后一层加入注意力机制用于特征的提取，在每层的残差块relu之前加入Instance Normalization（样本归一化）用于消除图像背景的影响，
Figure 466289DEST_PATH_IMAGE001
Figure 402888DEST_PATH_IMAGE002
Figure 639965DEST_PATH_IMAGE003
Figure 882728DEST_PATH_IMAGE004
表示激活映射中的第
Figure 200446DEST_PATH_IMAGE005
组元素，
Figure 745828DEST_PATH_IMAGE006
和
Figure 594835DEST_PATH_IMAGE007
是跨越空间的维度，
Figure 1808DEST_PATH_IMAGE008
是特征通 道，
Figure 518240DEST_PATH_IMAGE009
是批次中图像的索引，
Figure 31261DEST_PATH_IMAGE010
是小常数，
Figure 492198DEST_PATH_IMAGE011
和
Figure 965511DEST_PATH_IMAGE012
分别表示高度和宽度。
本发明的进一步改进在于：所述的行人检测模块是基于特征图，利用512*3*3卷积层对特征图中行人特征进行转换，在特征图的每个位置利用锚点和SoftMax分类器预测锚框是否含有行人，其中还包括一个线性回归器用来调整锚框位置。
本发明的进一步改进在于：所述的池化层模块包括：感兴趣区域池化层(RolPooling)和全局平均池化层(Global Average Pooling)。
本发明的进一步改进在于：所述的基于互近邻伪标签分配模块包括计算所有特征向量的最近邻关系，再利用传递性将整个特征向量空间划分为几个不同的簇，得到伪标签。
本发明的进一步改进在于：所述的损失函数模块包括交叉熵损失函数和三元组损失函数。
有益效果：
第一， 针对传统的行人徘徊检测效果不好的问题，首次提出将深度学习与传统方法相结合，利用深度学习在一个CNN卷积神经网络中完成行人的检测和重识别，既简化了利用完全深度学习方法检测行人徘徊的复杂，又提高了传统方法徘徊检测的准确度；
第二，从实时监控摄像头获取的全景图片经过行人检测模块时，因为全景图片中含有大量的背景信息，所以对于行人特征的提取造成一定干扰。本发明利用了注意力机制和IN（Instance Normalization），通过在ResNet50卷积层后加入注意力机制以及残余块中加入IN模块（Instance Normalization）实现减弱图片背景影响的同时更加关注于提取行人的特征。
附图说明
图1是本发明的一种用于全景智能安防的行人徘徊重识别方法***框图；
图2是本发明的安防视频图片采集流程图；
图3是本发明的行人检测与重识别框架图；
图4是本发明的加入IN的ResNet50残差块（左）和未加入IN的ResNet50残差块（右）；
图5是本发明的网络提取主干模型。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
本发明讲述了本发明提出了一种应用于全景智能安防的行人徘徊重识别方法。该方法主要包括视频图片采集，图片质量评估，行人检测和重识别，徘徊判断几个部分，第一部分是图片采集部分，该部分是实现实时预览安防视频按秒截取图片并收集在存储器中；第二部分是图片质量评估，截取到的图片可能存在模糊，遮挡物过多等问题，将这样一些图片筛选掉；第三部分是行人检测和行人重识别，在这部分，我们联合检测和行人特征识别，将截取到的全景图片送入一个单一的神经网络中联合处理行人检测和重识别这两个任务；第四部分是行人徘徊判断，我们通过对相机id是否相同以及图片间隔时长判断行人是否徘徊。整体方法***如图1所示。
第一部分：视频图片采集
安防视频图片采集流程如图2所示。我们使用python版的OpenCV来实现实时视频预览截图。我们首先需要准备cv2和NumPy库，对安防摄像头采用推流方式实现实时预览，采用摄像头的方式如下：videoCapture=cv2.VideoCapture(1)。因为行人的移动速度没有达到特别快，因此我们按秒提取，根据摄像头每秒钟的帧数，那么每隔这些帧数截取一次即可，存储的图片放于一个可更新的储存器中。
第二部分：图片质量评估
从全景安防视频按秒截取的图片中，有些图片可能反映的行人特征以及效果并不是很好。例如，行人模糊分辨不出具体的个人特征，行人被建筑物、障碍物、过往的车辆遮挡住绝大部分主要的特征等情况，像这类情况的话，我们不予选择，因为会造成下一步骤的行人无法有效检测与识别。我们采用图像评估模型，对截取图片中的行人图像进行评估，判断行人模糊程度和完整程度，并将评估结果低于评分阈值的视频截图筛除。
第三部分：行人检测和重识别
此部分是行人徘徊检测的核心部分，在以往的任务中将行人检测与行人重识别视作两个独立的任务，本专利将行人检测与行人重识别联合处理，我们提出了一种新的深度学习框架如图3所示。
该框架主要分为5个模块，第一个模块是卷积神经网络CNN，CNN的基础模型是ResNet50，为了消除图像背景的影响，我们在残余块中加入IN（Instance Normalization）,为了更加专注的提取行人特征，在ResNet网络中加入注意力机制，分别是ChannelAttention Module 和 Spatial Attention Module。第二个模块是行人检测，利用卷积层对特征图中行人特征进行转换，在特征图的每个位置利用锚点和SoftMax分类器预测锚框是否含有行人，其中还包括一个线性回归器用来调整锚框位置。第三个模块是池化层，将从特征图中得到的1024*14*14的区域送入感兴趣区域池化层(Rol Pooling)后再经过一个全局平均池化层（Global Average Pooling），最后整合得到2048维特征向量。第四个模块是基于互近邻伪标签分配（Mutual Nearest Neighbors Pseudo Labeling），能够更好地发掘样本之间的相似性。最后一个模块是损失函数，基于分配的伪标签计算损失。
第一模块：CNN卷积神经网络
CNN卷积神经网络的基础模型是ResNet50，主干实际上是由ResNet50的前四层组成，每层都有一组残差块，只在残差块relu之前加IN(IN是Instance Normalization，即实例归一化，BN指Batch Normalization,即批次归一化。IN是BN的变体)，如图4所示。
在relu之前添加IN,对残差块进行了重构。IN是批处理标准化(BN)的变体。它们之间的计算差异在于IN是使用单个样本的统计信息而不是批样本的统计信息进行特征归一化。IN主要用于样式转换字段，以便从内容中过滤出特定于实例的对比，加入可以显著提高模型性能，可以写成:
Figure 946237DEST_PATH_IMAGE013
Figure 958055DEST_PATH_IMAGE014
Figure 703026DEST_PATH_IMAGE015
其中，
Figure 966648DEST_PATH_IMAGE004
表示激活映射中的第
Figure 926514DEST_PATH_IMAGE005
组元素，
Figure 735332DEST_PATH_IMAGE006
和
Figure 983911DEST_PATH_IMAGE007
是跨越空间的维度，
Figure 644699DEST_PATH_IMAGE008
是特 征通道，
Figure 849285DEST_PATH_IMAGE009
是批次中图像的索引，
Figure 140589DEST_PATH_IMAGE010
是小常数，
Figure 938780DEST_PATH_IMAGE011
和
Figure 32288DEST_PATH_IMAGE012
分别表示高度和宽度。
CNN主干最前面是一个7*7的卷积层（即第一层卷积conv1），后面是4个模块（conv2_x至conv5_x）,这四个模块分别包含3、4、6、3个残差单元。我们在网络的第一层和卷积层的最后一层加入注意力机制用于特征的提取，加入后的resnet50主干网如图5。给定输入图像主干CNN将产生1024个通道的特征图，分辨率为原始图像的1/16。
第二模块：行人检测
全景图片经过卷积神经网络CNN生成特征图，行人检测就是为了在特征图的基础上预测行人边界框。我们在特征图之上加入一个512*3*3的卷积层，接着是锚分类和锚回归来预测行人的感兴趣区域，在行人区域预测阶段会生成许多感兴趣区域的边界框，此阶段的输出是行人的可能位置的边界框列表。我们首先利用512*3*3卷积层对行人特征进行转换，在特征图的每个位置用9个锚点和一个SoftMax分类器来预测每个边界框是否含有行人。接着，为了进一步确定锚框，用线性回归器来调整锚框位置，我们将保留非最大抑制后的前128个调整边界框作为最终选择。由于行人检测将不可避免地包含一些错误警报和没有对准的情况，再次使用SoftMax分类器和线性回归来排除非人员并细化位置。
第三模块：池化层
池化层包括感兴趣区域池化和全局平均池化两个层，行人区域预测阶段会生成许多感兴趣的区域，可能会使得性能以及处理速度变慢，这就是感兴趣区域池化所需要发挥作用的地方。感兴趣区域池化对于来自输入列表的每个感兴趣区域，采用对应的输入特征图的一部分并将其缩放到某个预定义的大小，缩放通过以下方式完成：（1）将预测区域划分为相等大小的部分（其数量与输出的维度相同）；（2）找到每个部分的最大值；（3）将这些最大值复制到输出。最终，从具有不同大小的边界矩形框列表中，可以快速获得具有固定大小的相应特征映射的列表。感兴趣区域池化输出的维度实际上并不取决于输入要素映射的大小，也不取决于感兴趣区域大小，它仅由我们将预测行人划分成的部分数量决定。
我们利用感兴趣区域池化层从特征图中得到1024*14*14的区域，接着送入ResNet50剩下的conv4_4至conv5_3后面再接一个全局平均池化层，将其整合最终得到2048维特征向量。
第四模块：基于互最近邻的伪标签分配
在得到2048维特征向量之后，我们基于互最邻伪标签分配方法(Mutual NearestNeighbors Pseudo Labeling,以下简称MNNPL)学习行人特征向量之间的相似性。MNNPL方法基于传递的k相互最近邻关系， k相互最近邻指的是两个样本位于彼此的k最近邻中，表述如下：
Figure 966746DEST_PATH_IMAGE016
其中
Figure 428951DEST_PATH_IMAGE017
代表k最近邻，
Figure 839073DEST_PATH_IMAGE018
的下标代表图像索引。
MNNPL方法性能优于聚类算法，具体来说，相互最近邻意味着两个样本彼此是k最 近邻，当k很小时，它被认为是一个强约束，可以用来解决相似服装引起的类间距离小的问 题。同时，视角之间存在一定的相关性，比如行人的前后虽然差别很大，但是前后面和侧面 有些相似，所以侧面可以用来建立正面和背面的连接。例如，分别定义一个行人的前面、侧 面和后面，那么
Figure 841664DEST_PATH_IMAGE019
是对应的特性。由于行人的背部可能与正面有很大的不同，
Figure 771574DEST_PATH_IMAGE020
。 然而，前后都与侧面相似，因此
Figure 155413DEST_PATH_IMAGE021
和
Figure 662618DEST_PATH_IMAGE022
，即标 签
Figure 344266DEST_PATH_IMAGE023
=标签
Figure 518895DEST_PATH_IMAGE024
和标签
Figure 306592DEST_PATH_IMAGE024
=标签
Figure 442038DEST_PATH_IMAGE025
。然后，根据传递原则得到标签
Figure 786432DEST_PATH_IMAGE023
=标签
Figure 438736DEST_PATH_IMAGE025
。因此，我们可以使用 可传递的互最邻关系解决视角引起的类内距离大的问题。MNNPL的整个过程大致如下：首 先，计算所有特征向量的最近邻关系；其次，利用传递性将整个特征向量空间划分为几个不 同的簇，得到伪标签。
第五模块：损失函数
训练中同时应用了交叉熵损失和三元组损失函数。对所有2048维特征向量通过聚 类生成伪标签后，将伪标签与分类器产生的分类结果在一起计算交叉熵损失，使用
Figure 148066DEST_PATH_IMAGE026
采 样方法来形成小批次，即每个小批次由p个行人的k张图片组成，交叉熵损失可以写成如下 形式:
Figure 895443DEST_PATH_IMAGE027
Figure 168161DEST_PATH_IMAGE028
是图像
Figure 51803DEST_PATH_IMAGE029
属于标签
Figure 400876DEST_PATH_IMAGE030
的预测概率。
在这一批次中，除了计算分类损失，同样计算难三元组损失，公式如下:
Figure 792805DEST_PATH_IMAGE031
其中
Figure 744581DEST_PATH_IMAGE032
、
Figure 358096DEST_PATH_IMAGE033
、
Figure 737125DEST_PATH_IMAGE034
分别是从锚图像、正样本和负样本中提取的特征，
Figure 114885DEST_PATH_IMAGE035
是超边缘参 数。
总损失是上述两种损失的总和，将它定义为
Figure 745718DEST_PATH_IMAGE036
第四部分：徘徊判断
在行人检测和重识别这一步骤，我们通过将获得的全景图片输入卷积神经网络，检测行人并提取行人的特征，通过KMNN算法，计算出了所有特征向量的k最近邻，最后又利用传递性划分为几个簇，并分配了伪标签。在这一过程中，我们找到了特征相似行人图片的类。根据最终的伪标签分配结果，我们进行徘徊判断。由于每张全景图片本身带有一些属性信息，如相机id，帧数等，我们在具有相同伪标签的一组相似行人特征中，首先判断行人图片的相机id是否相同，若不同，则排除行人徘徊的可能；若相机id相同，再判断行人图片的帧数间隔是否大于M(M为常数，正常非徘徊停留时长*每秒钟的帧数)，若大于M,则认为行人出现了徘徊的行为；若小于M，则认为行人徘徊的可能性不大。
本发明的有益效果：
第一，将传统方法与深度学习相结合，利用传统方法从实时安防视频中不断获取全景图片帧，把获得的全景图片送入深度学习模型，而且联合了行人检测和行人重识两个任务，不仅简化了完全深度学习方法检测行人徘徊的复杂网络，又提高了传统方法徘徊检测的准确性；
第二，对于行人图片背景信息的影响，首次提出了在ResNet50网络中同时加入IN模块和注意力机制的方法，IN（Instance Normalization）模块将抑制图片背景的影响，注意力机制将更加关注于行人特征的提取，降低对背景信息的关注，二者的加入有效减少了背景信息对最终行人识别结果的影响。
以上仅为本发明的较佳实施例而已。

Claims (10)

1.一种用于全景智能安防的行人徘徊重识别方法，其特征在于：该方法包括如下步骤：
a.对实时安防监控视频进行全景图片采集；
b.对采集到的全景图片进行质量评估；
c.对筛选后的全景图片进行行人检测与重识别联合处理；
d.对行人检测和重识别这一步骤得到的伪标签分配结果进行行人徘徊判断。
2.根据权利要求1所述的一种用于全景智能安防的行人徘徊重识别方法，其特征在于：所述的步骤a中安防视频全景图片采集基于python版的OpenCV来实现，首先需要准备cv2和NumPy库，对安防摄像头采用推流方式实现实时预览，再读取摄像头的帧数截取全景图片，最后保存图片即可。
3.根据权利要求1所述的一种用于全景智能安防的行人徘徊重识别方法，其特征在于，所述的步骤b中图片质量评估基于图像评估模型，判断全景图片中行人是否模糊和遮挡过多，筛除评估结果低于评分阈值的视频截图。
4.根据权利要求1所述的一种用于全景智能安防的行人徘徊重识别方法，其特征在于：所述的步骤c中采用新的深度学习框架将行人检测与行人重识别联合处理。
5.根据权利要求4所述的一种用于全景智能安防的行人徘徊重识别方法，其特征在于：新的深度学习框架主要分为5个模块，卷积神经网络CNN模块、行人检测模块、池化层模块、基于互近邻伪标签分配模块和损失函数模块，所述的行人徘徊判断基于伪标签分配结果，在具有相同伪标签的一组相似行人特征中，首先判断行人图片的相机id是否相同，若不同，则排除行人徘徊的可能；若相机id相同，再判断行人图片的帧数间隔。
6.根据权利要求5所述的一种用于全景智能安防的行人徘徊重识别方法，其特征在于：所述的卷积神经网络CNN模块的基础模型是ResNet50，主干由ResNet50的前四层组成，在网络的第一层和卷积层的最后一层加入注意力机制用于特征的提取，在每层的残差块relu之前加入Instance Normalization（样本归一化）用于消除图像背景的影响，
Figure 605004DEST_PATH_IMAGE001
Figure 882402DEST_PATH_IMAGE002
Figure 706001DEST_PATH_IMAGE003
Figure 861301DEST_PATH_IMAGE004
表示激活映射中的第
Figure 86746DEST_PATH_IMAGE005
组元素，
Figure 269466DEST_PATH_IMAGE006
和
Figure 111520DEST_PATH_IMAGE007
是跨越空间的维度，
Figure 37888DEST_PATH_IMAGE008
是特征通道，
Figure 117839DEST_PATH_IMAGE009
是批次中图像的索引，
Figure 2619DEST_PATH_IMAGE010
是小常数，
Figure 302275DEST_PATH_IMAGE011
和
Figure 32334DEST_PATH_IMAGE012
分别表示高度和宽度。
7.根据权利要求5所述的一种用于全景智能安防的行人徘徊重识别方法，其特征在于：所述的行人检测模块是基于特征图，利用512*3*3卷积层对特征图中行人特征进行转换，在特征图的每个位置利用锚点和SoftMax分类器预测锚框是否含有行人，其中还包括一个线性回归器用来调整锚框位置。
8.根据权利要求5所述的一种用于全景智能安防的行人徘徊重识别方法，其特征在于：所述的池化层模块包括：感兴趣区域池化层(Rol Pooling)和全局平均池化层(GlobalAverage Pooling)。
9.根据权利要求5所述的一种用于全景智能安防的行人徘徊重识别方法，其特征在于：所述的基于互近邻伪标签分配模块包括计算所有特征向量的最近邻关系，再利用传递性将整个特征向量空间划分为几个不同的簇，得到伪标签。
10.根据权利要求5所述的一种用于全景智能安防的行人徘徊重识别方法，其特征在于：所述的损失函数模块包括交叉熵损失函数和三元组损失函数。
CN202110978611.3A 2021-08-25 2021-08-25 一种用于全景智能安防的行人徘徊重识别方法 Pending CN113627383A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110978611.3A CN113627383A (zh) 2021-08-25 2021-08-25 一种用于全景智能安防的行人徘徊重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110978611.3A CN113627383A (zh) 2021-08-25 2021-08-25 一种用于全景智能安防的行人徘徊重识别方法

Publications (1)

Publication Number Publication Date
CN113627383A true CN113627383A (zh) 2021-11-09

Family

ID=78387606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110978611.3A Pending CN113627383A (zh) 2021-08-25 2021-08-25 一种用于全景智能安防的行人徘徊重识别方法

Country Status (1)

Country Link
CN (1) CN113627383A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114662521A (zh) * 2021-11-16 2022-06-24 成都考拉悠然科技有限公司 一种行人徘徊行为检测方法及其***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948425A (zh) * 2019-01-22 2019-06-28 中国矿业大学 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
CN112069940A (zh) * 2020-08-24 2020-12-11 武汉大学 一种基于分阶段特征学习的跨域行人重识别方法
CN112733814A (zh) * 2021-03-30 2021-04-30 上海闪马智能科技有限公司 一种基于深度学习的行人徘徊滞留检测方法、***及介质
CN112785572A (zh) * 2021-01-21 2021-05-11 上海云从汇临人工智能科技有限公司 图像质量评估方法、装置以及计算机可读存储介质
US20210232813A1 (en) * 2020-01-23 2021-07-29 Tongji University Person re-identification method combining reverse attention and multi-scale deep supervision

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948425A (zh) * 2019-01-22 2019-06-28 中国矿业大学 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
US20210232813A1 (en) * 2020-01-23 2021-07-29 Tongji University Person re-identification method combining reverse attention and multi-scale deep supervision
CN112069940A (zh) * 2020-08-24 2020-12-11 武汉大学 一种基于分阶段特征学习的跨域行人重识别方法
CN112785572A (zh) * 2021-01-21 2021-05-11 上海云从汇临人工智能科技有限公司 图像质量评估方法、装置以及计算机可读存储介质
CN112733814A (zh) * 2021-03-30 2021-04-30 上海闪马智能科技有限公司 一种基于深度学习的行人徘徊滞留检测方法、***及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TONG XIAO 等: "Joint Detection and Identification Feature Learning for Person Search", 《ARXIV》, pages 1 - 10 *
YANWEN CHONG 等: "Learning domain invariant and specific representation for cross-domain person re-identification", 《APPLIED INTELLIGENCE》, pages 5219 - 5232 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114662521A (zh) * 2021-11-16 2022-06-24 成都考拉悠然科技有限公司 一种行人徘徊行为检测方法及其***

Similar Documents

Publication Publication Date Title
CN107967451B (zh) 一种对静止图像进行人群计数的方法
CN107622258B (zh) 一种结合静态底层特征和运动信息的快速行人检测方法
Bertini et al. Multi-scale and real-time non-parametric approach for anomaly detection and localization
Paul et al. Human detection in surveillance videos and its applications-a review
AU2014240213B2 (en) System and Method for object re-identification
CN111914664A (zh) 基于重识别的车辆多目标检测和轨迹跟踪方法
Elguebaly et al. Finite asymmetric generalized Gaussian mixture models learning for infrared object detection
US8855363B2 (en) Efficient method for tracking people
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
Denman et al. Multi-spectral fusion for surveillance systems
Pathak et al. Anomaly localization in topic-based analysis of surveillance videos
CN111091057A (zh) 一种信息处理方法、装置及计算机可读存储介质
Hu et al. Parallel spatial-temporal convolutional neural networks for anomaly detection and location in crowded scenes
Agrawal et al. An improved Gaussian Mixture Method based background subtraction model for moving object detection in outdoor scene
CN113255549A (zh) 一种狼群围猎行为状态智能识别方法及***
Hou et al. Human detection and tracking over camera networks: A review
CN113627383A (zh) 一种用于全景智能安防的行人徘徊重识别方法
Yang et al. Video anomaly detection for surveillance based on effective frame area
CN116012949B (zh) 一种复杂场景下的人流量统计识别方法及***
CN116824641A (zh) 姿态分类方法、装置、设备和计算机存储介质
WO2022228325A1 (zh) 行为检测方法、电子设备以及计算机可读存储介质
Mantini et al. Camera Tampering Detection using Generative Reference Model and Deep Learned Features.
Al Najjar et al. A hybrid adaptive scheme based on selective Gaussian modeling for real-time object detection
Chen et al. Spatiotemporal motion analysis for the detection and classification of moving targets
Vu et al. Anomaly detection in surveillance videos by future appearance-motion prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211109