CN108549846A - 一种结合运动特征和头肩结构的行人检测与统计方法 - Google Patents

一种结合运动特征和头肩结构的行人检测与统计方法 Download PDF

Info

Publication number
CN108549846A
CN108549846A CN201810253557.4A CN201810253557A CN108549846A CN 108549846 A CN108549846 A CN 108549846A CN 201810253557 A CN201810253557 A CN 201810253557A CN 108549846 A CN108549846 A CN 108549846A
Authority
CN
China
Prior art keywords
pedestrian
head
shoulder
model
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810253557.4A
Other languages
English (en)
Other versions
CN108549846B (zh
Inventor
李波
张晓伟
胡海苗
王晓燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201810253557.4A priority Critical patent/CN108549846B/zh
Publication of CN108549846A publication Critical patent/CN108549846A/zh
Application granted granted Critical
Publication of CN108549846B publication Critical patent/CN108549846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结合运动特征和头肩结构的行人检测与统计方法，首先，根据红外监控视频中行人的运动特征，采用高斯混合背景模型对红外视频监控区域进行背景建模，提取出红外监控视频中的运动区域。其次，根据行人头肩结构的显著性特征，构造头肩检测器模型和行人整体结构模型，并利用行人几何结构约束信息构建级联目标模型提高行人检测性能的鲁棒性。再之，利用核相关滤波跟踪方法构建多目标跟踪模型，并对头肩跟踪区域进行实时地在线学习，自适应地更新跟踪目标模型，获取行人的运动轨迹信息。最后，根据关卡位置，结合头肩分类器模型的识别结果和多目标***的运动轨迹信息，提高红外监控视频中行人目标的精确计数性能。

Description

一种结合运动特征和头肩结构的行人检测与统计方法
技术领域
本发明涉及数字图像处理技术领域，更具体的说是涉及一种结合运动特征和头肩结构的行人检测与统计方法。
背景技术
随着计算机处理能力的提升以及计算机视觉技术的发展，智能视频监控技术得到了广泛的关注和研究，对人们的生活方式和社会发展起着越来越重要的作用；尤其在以全天候实时监控的红外视频对危化行业安全生产管理的智能化监控方面，实现对场地关卡中行人目标进出入关卡的精确数量统计，达到对监控场景进行科学、有效、智能化的控制和组织管理，具有重要的研究意义和应用价值。
在实时、复杂多变的红外视频全天候监控环境中，由于不同季节、不同天候、不同光照、不同温度等监控条件的变化导致行人目标在成像过程中整体结构信息和局部细节信息的变化，背景对行人识别存在不同程度的干扰，以及行人目标存有遮挡或重叠的问题，给行人目标对特征提取、建模、学习与推理等方面行人目标的精确计数带来了极大的挑战。
目前，针对视频监控场景中行人目标数量统计的方法大致可以分为两类。第一类是基于目标连通区域传统几何特征(面积比、长宽比等)的非模型方法，其根据目标几何特征(面积比、长宽比等)建立相应的分类准则分类、统计目标，这种方法对目标流量估计具有较好的适用性，但是对目标间发生严重遮挡或重叠时难以对目标数量精确地计数。第二类是基于目标识别统计学习模型的方法，此方法最为常用，其前提是需要建立完备的目标图像数据集，然后提取目标图像特征，并结合统计学习方法构建分类模型，其常用的统计学习方法有支持向量机方法、决策树方法和神经网络方法等。此方法的主要挑战是如何构建一个具有鲁棒性的目标识别模型以避免监控场景中复杂背景对目标识别的干扰。
当前行人识别的目标模型分为整体模型和部件模型，整体模型根据行人的外观特征提取具有区分能力的特征信息，并将其输入到分类器中实现对目标的判别。该方法在通常情况下能够有效识别出行人目标，但是易受遮挡的影响。基于结构与部件模型的分类识别方法是将目标模型化为具有几何联系的若干组件的集合，这些组件可以看作目标图像在语义层的表示，它们直接由底层特征抽象得到。而如何确定各个目标组件间内在联系至关重要，是结构与部件模型最核心的问题。有许多种不同的联系结构模型得到了研究，比如星座模型、星星模型、树结构模型、层次结构模型、稀疏弹性模型和可形变部件模型等，其中可形变部件模型在物体检测中的取得了较大的进步，其缺点是复杂性高，实时性差。
因此，如何提供一种对于行人目标能够实时监控，并且提高红外监控视频中行人目标的精确计数的结合运动特征和头肩结构的行人检测与统计方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种结合运动特征和头肩结构的行人检测与统计方法，有效提高了红外监控视频中的行人计数的精确性，尤其适用于红外监控视频中行人之间存在相互遮挡、重叠的情况下；针对红外视频监控中行人目标之间遮挡问题的复杂性，将结合运动特征在时间维度上的时序连续性和行人头肩结构特征在空间维度上的平移不变性，联合行人目标在红外监控视频中时间和空间上的有效特征信息，提高行人目标识别与计数的精确性。
为了实现上述目的，本发明提供如下技术方案：
一种结合运动特征和头肩结构的行人检测与统计方法，具体步骤包括：
步骤(1)：对红外监控视频通过K个高斯分布η(Xt,μi,t,Σi,t)i＝1,2,···,K建立高斯混合背景模型，并根据所述高斯混合背景模型进行运动检测，获得行人目标的候选搜索区域；
步骤(2)：对红外监控视频中的行人头肩结构建立头肩检测器模型并在所述步骤(1)提取的目标候选搜索区域上，利用所述头肩检测器模型进行多尺度检测，获取视频图像序列第t帧中第i个行人目标的头肩区域位置其中表示头肩区域框在图像中的左上角像素位置，表示头肩区域框在图像中宽度和高度；
步骤(3)：对红外监控视频中的行人整体目标建立行人整体检测器模型并基于所述头肩检测器模型检测到的行人头肩区域位置结合行人头肩区域与行人整体区域之间的空间位置距离约束信息对行人头肩区域约束下的搜索区域使用行人整体检测器模型进行多尺度检测，获取与头肩区域相对应的行人整体区域位置其中表示行人整体区域框在图像中的左上角像素位置，表示行人整体区域框在图像中宽度和高度；
步骤(4)：结合步骤(2)和步骤(3)的头肩检测器模型和行人整体检测器模型利用行人头肩区域与行人整体区域之间的空间位置距离约束信息构建级联目标模型wTψ(X)，使级联目标模型wTψ(X)对非行人目标具有头肩结构相似背景的干扰区域进行抑制；
步骤(5)：对行人头肩区域利用核相关滤波跟踪算法构建基于头肩检测器的多目标跟踪模型，并对红外视频检测出的行人头肩跟踪区域进行实时地在线学习，自适应地更新跟踪目标在不同时间段、不同光照、不同温度下的目标模型，获取行人的运动轨迹信息；
步骤(6)：根据在红外监控视频中设置的关卡位置，结合头肩和行人整体检测器模型的识别结果和多目标***的运动轨迹信息，实现对红外监控视频中行人目标的精确计数。
通过上述技术方案，本发明的技术效果：有效提高了红外监控视频中的行人计数的精确性，尤其适用于红外监控视频中行人之间存在相互遮挡、重叠的情况下；针对红外视频监控中行人目标之间遮挡问题的复杂性，将结合运动特征在时间维度上的时序连续性和行人头肩结构特征在空间维度上的平移不变性，联合行人目标在红外监控视频中时间和空间上的有效特征信息，提高行人目标识别与计数的精确性。
优选的，在上述的一种结合运动特征和头肩结构的行人检测与统计方法中，所述步骤(1)中具体步骤包括：
步骤(11)：依据红外监控视频中监控背景受季节、气候、光照、温度的干扰，利用高斯混合模型建立背景模型；其中高斯混合模型由K个高斯分布η(It,μi,t,Σi,t)i＝1,2,···,K的线性组合来模拟背景图像的每一个像素点，η(It,μi,t,Σi,t)是视频序列图像It中第i个高斯分布的概率密度函数，其均值和方差分别为μi,t,Σi,t，则高斯混合模型P(It)表示为：
步骤(12)：根据建立的高斯混合背景模型使用背景减除法获取行人目标的候选搜索区域。
通过上述技术方案，本发明的技术效果：根据红外监控视频中行人的运动特征，采用高斯混合背景模型对红外视频监控区域进行背景建模，提取出红外监控视频中的候选搜索区域。
优选的，在上述一种结合运动特征和头肩结构的行人检测与统计方法中，所述步骤(2)具体的步骤包括：
步骤(21)：根据红外监控视频中行人头肩结构的显著稳定性特征，为行人头肩目标提取具有头肩结构轮廓信息的HOG梯度特征，表示为其中D表示HOG梯度特征的维数，Nh为头肩区域HOG梯度特征个数；
步骤(22)：根据所述步骤(21)为行人头肩图像提取的HOG梯度特征利用支持向量机SVM对其建立行人头肩检测器模型
步骤(23)：根据所述步骤(1)提取的头肩候选搜索区域，使用步骤(22)头肩检测器模型进行多尺度检测，获取头肩区域位置
优选的，在上述一种结合运动特征和头肩结构的行人检测与统计方法中，所述步骤(3)具体的步骤包括：
步骤(31)：根据红外监控视频中行人整体结构信息，为其提取HOG梯度特征表示为其中D表示HOG梯度特征的维数，Nb为行人整体目标HOG梯度特征个数；
步骤(32)：根据所述步骤(31)中行人整体图像提取的HOG梯度特征利用支持向量机SVM对其建立行人整体检测器模型
步骤(33)：根据步骤(1)提取的目标候选搜索区域，并在所述步骤(2)检测到的行人头肩区域约束下使用步骤(32)建立的行人整体检测器模型进行多尺度检测，获取行人整体目标区域位置
优选的，在上述一种结合运动特征和头肩结构的行人检测与统计方法中，所述步骤(4)具体的步骤包括：
步骤(41)：结合步骤(2)和步骤(3)中的头肩检测器模型和行人整体检测器模型利用行人头肩区域与行人整体区域之间的空间位置距离约束信息构建级联目标模型wTψ(X)；
其中，d表示头肩中心区域与行人整体中心区域的位置偏移权重系数,c表示头肩检测器模型和行人整体模检测器型之间的偏移系数；(dxi,dyi)表示头肩区域相对于行人整体区域的位置偏移量：
(dxi,dyi)＝(xi,yi)-(x0,y0)-vi；
vi表示头肩中心区域与行人整体中心区域的相对参考位移，表示位置偏移函数，具体写成：
级联目标模型wTψ(X)初始化时，位置偏移权重系数d＝(0,0,1,1)，
表示实际样本图像中头肩中心区域与行人整体中心区域相对参考位移的位置距离；
步骤(42)：在头肩结构模型的基础上使用级联目标模型，使对具有头肩结构相似背景的非行人目标干扰区域进行抑制。
通过上述技术方案，本发明的技术效果：根据红外监控视频中行人头肩结构的显著性特征，构造头肩检测器模型和行人整体结构模型，并利用行人几何结构约束信息构建级联目标模型提高行人检测性能的鲁棒性。
优选的，在上述一种结合运动特征和头肩结构的行人检测与统计方法中，所述步骤(5)具体的步骤包括：
步骤(51)：对所述步骤(4)中检测到的每个头肩目标区域根据目标相似度匹配判断是否为其已经分配一个***线程pThread；若没有分配则为其创建一个新的***线程pThread，若已分配则更新其跟踪目标模型；其中同一目标相似度匹配判断采样马氏距离来度量：
其中表示第t帧检测到的第i个头肩目标区域特征，表示第t-1帧中第j个头肩目标***模型的特征，M是参数矩阵；
步骤(52)：对步骤(51)中的行人头肩区域位置根据核相关滤波跟踪算法更新其头肩检测位置和目标跟踪模板
优选的，在上述一种结合运动特征和头肩结构的行人检测与统计方法中，所述步骤(52)具体的步骤包括：
步骤步骤(521)：对一个任意第t-1帧行人头肩目标模型的跟踪位置为其扩大行人头肩搜索区域并提取HOG特征
步骤(522)：基于目标跟踪模板对步骤(521)获取的搜索区域进行核相关性滤波操作，计算并获取其响应最大值所对应的区域位置被认为是第t帧目标的跟踪区域位置为
其中响应值是基于目标模板在不同循环偏移下得到的核相关性滤波操作的最大值，⊙表示向量内积操作，核函数的计算方式同F为空域到频域的傅里叶变换，F-1为对傅里叶频谱进行逆变换，λ为常系数，为权重函数；
步骤(523)、更新头肩模型***在第t帧的跟踪位置和目标跟踪模板其中以学习参数γ的目标跟踪模型更新包括跟踪目标外观特征和跟踪目标分类器权重矩阵
通过上述技术方案，本发明的技术效果：利用核相关滤波跟踪方法构建基于头肩分类器的多目标跟踪模型，并对头肩跟踪区域进行实时地在线学习，自适应地更新跟踪目标模型，获取行人的运动轨迹信息。
优选的，在上述的一种结合运动特征和头肩结构的行人检测与统计方法中，所述步骤(6)具体的步骤包括：根据在红外视频图像中设计的关卡位置，结合头肩分类器模型的识别结果和步骤(5)中头肩目标***的运动轨迹信息，获得监控视频中进出入关卡的行人数量。
通过上述技术方案，本发明的技术效果：根据在红外视频图像中设计的关卡位置，结合头肩分类器模型的识别结果和多目标***的运动轨迹信息，提高红外监控视频中行人目标的精确计数性能。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种结合运动特征和头肩结构的行人检测与统计方法，有效提高了红外监控视频中的行人计数的精确性，针对红外视频监控中行人目标之间遮挡问题的复杂性，将结合运动特征在时间维度上的时序连续性和行人头肩结构特征在空间维度上的平移不变性，联合行人目标在红外监控视频中时间和空间上的有效特征信息，提高行人目标识别与计数的精确性。针对红外监控视频中行人头肩结构的显著性特征，构造头肩检测器模型和行人整体结构模型，并利用行人几何结构约束信息构建级联目标模型，使其对具有头肩结构相似背景的非行人目标干扰区域进行抑制，提高行人检测性能的鲁棒性。
本发明提出了一种结合运动特征和头肩结构的行人检测与统计方法，本发明与现有技术相比的优点在于：
1、现有技术中图像目标识别模型是基于行人整体模型或者可变部件模型在行人目标之间出现大量遮挡或者重叠的情况下缺乏对行人目标识别的鲁棒性。针对红外监控视频中行人头肩结构的显著性特征，构造头肩检测器模型和行人整体结构模型，并利用行人几何结构约束信息构建级联目标模型，使其对具有头肩结构相似背景的非行人目标干扰区域进行抑制，提高行人检测性能的鲁棒性。
2、现有技术的目标识别方法中，往往只关注对目标空间结构关系上的建模，缺少对时间维度上的关联推理分析，本发明根据同一行人目标在时间维度上的结构连续性，使用核相关滤波跟踪算法获取多目标跟踪的运动轨迹信息，并结合头肩分类器模型和级联目标模型的识别结果，提高红外监控视频中行人目标的精确计数性能。实验表明，本发明所提出的结合运动特征和行人头肩结构约束的红外监控视频行人检测与统计能有效提高行人计数的精确性，尤其是在红外监控视频中行人之间存在相互遮挡、重叠的情况下，本方法性能表现尤为显著。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明的框架图；
图2附图为本发明提出的行人目标级联检测器流程图；
图3附图为本发明提出的行人目标级联检测器检测效果图；
图4附图为本发明提出的行人检测与统计方法效果图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种结合运动特征和头肩结构的行人检测与统计方法，有效提高了红外监控视频中的行人计数的精确性，并利用级联目标模型提高了红外监控视频中的行人计数的鲁棒性。
如图1所示，一种结合运动特征和头肩结构的行人检测与统计方法，具体步骤包括：
步骤(1)：对红外监控视频通过K个高斯分布η(Xt,μi,t,Σi,t)i＝1,2,···,K建立高斯混合背景模型，并根据所述高斯混合背景模型进行运动检测，获得行人目标的候选搜索区域；
步骤(2)：对红外监控视频中的行人头肩结构建立头肩检测器模型并在所述步骤(1)提取的目标候选搜索区域上，利用所述头肩检测器模型进行多尺度检测，获取视频图像序列第t帧中第i个行人目标的头肩区域位置其中表示头肩区域框在图像中的左上角像素位置，表示头肩区域框在图像中宽度和高度；
步骤(3)：对红外监控视频中的行人整体目标建立行人整体检测器模型并基于所述头肩检测器模型检测到的行人头肩区域位置结合行人头肩区域与行人整体区域之间的空间位置距离约束信息对行人头肩区域约束下的搜索区域使用行人整体检测器模型进行多尺度检测，获取与头肩区域相对应的行人整体区域位置其中表示行人整体区域框在图像中的左上角像素位置，表示行人整体区域框在图像中宽度和高度；
步骤(4)：结合步骤(2)和步骤(3)的头肩检测器模型和行人整体检测器模型利用行人头肩区域与行人整体区域之间的空间位置距离约束信息构建级联目标模型wTψ(X)，使级联目标模型wTψ(X)对非行人目标具有头肩结构相似背景的干扰区域进行抑制；
步骤(5)：对行人头肩区域利用核相关滤波跟踪算法构建基于头肩检测器的多目标跟踪模型，并对红外视频检测出的行人头肩跟踪区域进行实时地在线学习，自适应地更新跟踪目标在不同时间段、不同光照、不同温度下的目标模型，获取行人的运动轨迹信息；
步骤(6)：根据在红外监控视频中设置的关卡位置，结合头肩和行人整体检测器模型的识别结果和多目标***的运动轨迹信息，实现对红外监控视频中行人目标的精确计数。
为了进一步优化上述技术方案，步骤(1)中具体步骤包括：
步骤(11)：依据红外监控视频中监控背景受季节、气候、光照、温度的干扰，利用高斯混合模型建立背景模型；其中高斯混合模型由K个高斯分布η(It,μi,t,Σi,t)i＝1,2,···,K的线性组合来模拟背景图像的每一个像素点，η(It,μi,t,Σi,t)是视频序列图像It中第i个高斯分布的概率密度函数，其均值和方差分别为μi,t,Σi,t，则高斯混合模型P(It)表示为：
步骤(12)：根据建立的高斯混合背景模型使用背景减除法获取行人目标的候选搜索区域。
为了进一步优化上述技术方案，所述步骤(2)具体的步骤包括：
步骤(21)：根据红外监控视频中行人头肩结构的显著稳定性特征，为行人头肩目标提取具有头肩结构轮廓信息的HOG梯度特征，表示为其中D表示HOG梯度特征的维数，Nh为头肩区域HOG梯度特征个数；
步骤(22)：根据所述步骤(21)为行人头肩图像提取的HOG梯度特征利用支持向量机SVM对其建立行人头肩检测器模型
步骤(23)：根据所述步骤(1)提取的头肩候选搜索区域，使用步骤(22)头肩检测器模型进行多尺度检测，获取头肩区域位置
为了进一步优化上述技术方案，所述步骤(3)具体的步骤包括：
步骤(31)：根据红外监控视频中行人整体结构信息，为其提取HOG梯度特征表示为其中D表示HOG梯度特征的维数，Nb为行人整体目标HOG梯度特征个数；
步骤(32)：根据所述步骤(31)中行人整体图像提取的HOG梯度特征利用支持向量机SVM对其建立行人整体检测器模型
步骤(33)：根据步骤(1)提取的目标候选搜索区域，并在所述步骤(2)检测到的行人头肩区域约束下使用步骤(32)建立的行人整体检测器模型进行多尺度检测，获取行人整体目标区域位置
为了进一步优化上述技术方案，步骤(4)具体的步骤包括：
步骤(41)：结合步骤(2)和步骤(3)中的头肩检测器模型和行人整体检测器模型利用行人头肩区域与行人整体区域之间的空间位置距离约束信息构建级联目标模型wTψ(X)；
其中，d表示头肩中心区域与行人整体中心区域的位置偏移权重系数,c表示头肩检测器模型和行人整体模检测器型之间的偏移系数；(dxi,dyi)表示头肩区域相对于行人整体区域的位置偏移量：
(dxi,dyi)＝(xi,yi)-(x0,y0)-vi；
vi表示头肩中心区域与行人整体中心区域的相对参考位移，表示位置偏移函数，具体写成：
级联目标模型wTψ(X)初始化时，位置偏移权重系数d＝(0,0,1,1)，
表示实际样本图像中头肩中心区域与行人整体中心区域相对参考位移的位置距离；
步骤(42)：在头肩结构模型的基础上使用级联目标模型，使对具有头肩结构相似背景的非行人目标干扰区域进行抑制。
为了进一步优化上述技术方案，步骤(5)具体的步骤包括：
步骤(51)：对所述步骤(4)中检测到的每个头肩目标区域根据目标相似度匹配判断是否为其已经分配一个***线程pThread；若没有分配则为其创建一个新的***线程pThread，若已分配则更新其跟踪目标模型；其中同一目标相似度匹配判断采样马氏距离来度量：
其中表示第t帧检测到的第i个头肩目标区域特征，表示第t-1帧中第j个头肩目标***模型的特征，M是参数矩阵；
步骤(52)：对步骤(51)中的行人头肩区域位置根据核相关滤波跟踪算法更新其头肩检测位置和目标跟踪模板
为了进一步优化上述技术方案，步骤(52)具体的步骤包括：
步骤(521)：对一个任意第t-1帧行人头肩目标模型的跟踪位置为其扩大行人头肩搜索区域并提取HOG特征
步骤(522)：基于目标跟踪模板对步骤(521)获取的搜索区域进行核相关性滤波操作，计算并获取其响应最大值所对应的区域位置被认为是第t帧目标的跟踪区域位置为
其中响应值是基于目标模板在不同循环偏移下得到的核相关性滤波操作的最大值，⊙表示向量内积操作，核函数的计算方式同F为空域到频域的傅里叶变换，F-1为对傅里叶频谱进行逆变换，λ为常系数，为权重函数；
步骤(523)、更新头肩模型***在第t帧的跟踪位置和目标跟踪模板其中以学习参数γ的目标跟踪模型更新包括跟踪目标外观特征和跟踪目标分类器权重矩阵
为了进一步优化上述技术方案，步骤(6)具体的步骤包括：根据在红外视频图像中设计的关卡位置，结合头肩分类器模型的识别结果和步骤(5)中头肩目标***的运动轨迹信息，获得监控视频中进出入关卡的行人数量。
如图2所示，显示了本发明提出的行人目标级联检测器的流程图，首先根据红外视频中行人头肩结构的显著性特征构造头肩检测器模型，并基于头肩检测器模型在运动区域进行多尺度检测，获取行人目标的头肩区域位置；其次根据行人整体检测器模型在行人头肩区域位置的基础上扩展图像搜索区域，获取行人目标整体区域位置；最后利用行人头肩区域位置和行人整体区域位置的空间距离约束关系级联头肩检测器模型和行人整体检测器模型有效识别出行人头肩结构区域位置。
如图3所示，图3为行人目标级联检测器的检测效果图，可以很具体地观察到本发明提出的行人目标级联检测器在红外视频中对行人目标检测的有效性，尤其在行人目标存在相互遮挡的情况下依然能够鲁棒的检测出行人目标。如图4所示，图4为本发明提出的行人检测与统计方法效果图，图中显示了被行人目标级联检测器检测出的行人目标均被分配了一个基于头肩结构的***，并基于行人目标的跟踪轨迹信息精确地统计出了行人目标的数量。其中，显示图像中红色“Per Count”字幕表示关卡内行人数量、行人进入关卡数量和行人离开关卡数量，黄色“Pin”字幕表示被跟踪行人目标的ID标记。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种结合运动特征和头肩结构的行人检测与统计方法，其特征在于，具体步骤包括：
步骤(1)：对红外监控视频通过K个高斯分布η(Xt,μi,t,Σi,t)i＝1,2,…,K建立高斯混合背景模型，并根据所述高斯混合背景模型进行运动检测，获得行人目标的候选搜索区域；
步骤(2)：对红外监控视频中的行人头肩结构建立头肩检测器模型并在所述步骤(1)提取的目标候选搜索区域上，利用所述头肩检测器模型进行多尺度检测，获取视频图像序列第t帧中第i个行人目标的头肩区域位置其中表示头肩区域框在图像中的左上角像素位置，表示头肩区域框在图像中宽度和高度；
步骤(3)：对红外监控视频中的行人整体目标建立行人整体检测器模型并基于所述头肩检测器模型检测到的行人头肩区域位置结合行人头肩区域与行人整体区域之间的空间位置距离约束信息对行人头肩区域约束下的搜索区域使用行人整体检测器模型进行多尺度检测，获取与头肩区域相对应的行人整体区域位置其中表示行人整体区域框在图像中的左上角像素位置，表示行人整体区域框在图像中宽度和高度；
步骤(4)：结合步骤(2)和步骤(3)的头肩检测器模型和行人整体检测器模型利用行人头肩区域与行人整体区域之间的空间位置距离约束信息构建级联目标模型wTψ(X)，使级联目标模型wTψ(X)对非行人目标具有头肩结构相似背景的干扰区域进行抑制；
步骤(5)：对行人头肩区域利用核相关滤波跟踪算法构建基于头肩检测器的多目标跟踪模型，并对红外视频检测出的行人头肩跟踪区域进行实时地在线学习，自适应地更新跟踪目标在不同时间段、不同光照、不同温度下的目标模型，获取行人的运动轨迹信息；
步骤(6)：根据在红外监控视频中设置的关卡位置，结合头肩和行人整体检测器模型的识别结果和多目标***的运动轨迹信息，实现对红外监控视频中行人目标的精确计数。
2.根据权利要求1所述的一种结合运动特征和头肩结构的行人检测与统计方法，其特征在于，所述步骤(1)中具体步骤包括：
步骤(11)：依据红外监控视频中监控背景受季节、气候、光照、温度的干扰，利用高斯混合模型建立背景模型；其中高斯混合模型由K个高斯分布η(It,μi,t,Σi,t)i＝1,2,…,K的线性组合来模拟背景图像的每一个像素点，η(It,μi,t,Σi,t)是视频序列图像It中第i个高斯分布的概率密度函数，其均值和方差分别为μi,t,Σi,t，则高斯混合模型P(It)表示为：
步骤(12)：根据建立的高斯混合背景模型使用背景减除法获取行人目标的候选搜索区域。
3.根据权利要求1所述的一种结合运动特征和头肩结构的行人检测与统计方法，其特征在于，所述步骤(2)具体的步骤包括：
步骤(21)：根据红外监控视频中行人头肩结构的显著稳定性特征，为行人头肩目标提取具有头肩结构轮廓信息的HOG梯度特征，表示为其中D表示HOG梯度特征的维数，Nh为头肩区域HOG梯度特征个数；
步骤(22)：根据所述步骤(21)为行人头肩图像提取的HOG梯度特征利用支持向量机SVM对其建立行人头肩检测器模型
步骤(23)：根据所述步骤(1)提取的头肩候选搜索区域，使用步骤(22)头肩检测器模型进行多尺度检测，获取头肩区域位置
4.根据权利要求1所述的一种结合运动特征和头肩结构的行人检测与统计方法，其特征在于，所述步骤(3)具体的步骤包括：
步骤(31)：根据红外监控视频中行人整体结构信息，为其提取HOG梯度特征表示为其中D表示HOG梯度特征的维数，Nb为行人整体目标HOG梯度特征个数；
步骤(32)：根据所述步骤(31)中行人整体图像提取的HOG梯度特征利用支持向量机SVM对其建立行人整体检测器模型
步骤(33)：根据步骤(1)提取的目标候选搜索区域，并在所述步骤(2)检测到的行人头肩区域约束下使用步骤(32)建立的行人整体检测器模型进行多尺度检测，获取行人整体目标区域位置
5.根据权利要求1所述的一种结合运动特征和头肩结构的行人检测与统计方法，其特征在于，所述步骤(4)具体的步骤包括：
步骤(41)：结合步骤(2)和步骤(3)中的头肩检测器模型和行人整体检测器模型利用行人头肩区域与行人整体区域之间的空间位置距离约束信息构建级联目标模型wTψ(X)；
其中，d表示头肩中心区域与行人整体中心区域的位置偏移权重系数,c表示头肩检测器模型和行人整体模检测器型之间的偏移系数；(dxi,dyi)表示头肩区域相对于行人整体区域的位置偏移量：
(dxi,dyi)＝(xi,yi)-(x0,y0)-vi；
vi表示头肩中心区域与行人整体中心区域的相对参考位移，表示位置偏移函数，具体写成：
级联目标模型wTψ(X)初始化时，位置偏移权重系数d＝(0,0,1,1)，表示实际样本图像中头肩中心区域与行人整体中心区域相对参考位移的位置距离；
步骤(42)：在头肩结构模型的基础上使用级联目标模型，使对具有头肩结构相似背景的非行人目标干扰区域进行抑制。
6.根据权利要求1所述的一种结合运动特征和头肩结构的行人检测与统计方法，其特征在于，所述步骤(5)具体的步骤包括：
步骤(51)：对所述步骤(4)中检测到的每个头肩目标区域根据目标相似度匹配判断是否为其已经分配一个***线程pThread；若没有分配则为其创建一个新的***线程pThread，若已分配则更新其跟踪目标模型；其中同一目标相似度匹配判断采样马氏距离来度量：
其中表示第t帧检测到的第i个头肩目标区域特征，表示第t-1帧中第j个头肩目标***模型的特征，M是参数矩阵；
步骤(52)：对步骤(51)中的行人头肩区域位置根据核相关滤波跟踪算法更新其头肩检测位置和目标跟踪模板
7.根据权利要求6所述的一种结合运动特征和头肩结构的行人检测与统计方法，其特征在于，所述步骤(52)具体的步骤包括：
步骤(521)：对一个任意第t-1帧行人头肩目标模型的跟踪位置为其扩大行人头肩搜索区域并提取HOG特征
步骤(522)：基于目标跟踪模板对步骤(521)获取的搜索区域进行核相关性滤波操作，计算并获取其响应最大值所对应的区域位置被认为是第t帧目标的跟踪区域位置为
其中响应值是基于目标模板在不同循环偏移下得到的核相关性滤波操作的最大值，⊙表示向量内积操作，核函数的计算方式同F为空域到频域的傅里叶变换，F-1为对傅里叶频谱进行逆变换，λ为常系数，为权重函数；
步骤(523)、更新头肩模型***在第t帧的跟踪位置和目标跟踪模板其中以学习参数γ的目标跟踪模型更新包括跟踪目标外观特征和跟踪目标分类器权重矩阵
8.根据权利要求1所述的一种结合运动特征和头肩结构的行人检测与统计方法，其特征在于，所述步骤(6)具体的步骤包括：根据在红外视频图像中设计的关卡位置，结合头肩分类器模型的识别结果和步骤(5)中头肩目标***的运动轨迹信息，获得监控视频中进出入关卡的行人数量。
CN201810253557.4A 2018-03-26 2018-03-26 一种结合运动特征和头肩结构的行人检测与统计方法 Active CN108549846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810253557.4A CN108549846B (zh) 2018-03-26 2018-03-26 一种结合运动特征和头肩结构的行人检测与统计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810253557.4A CN108549846B (zh) 2018-03-26 2018-03-26 一种结合运动特征和头肩结构的行人检测与统计方法

Publications (2)

Publication Number Publication Date
CN108549846A true CN108549846A (zh) 2018-09-18
CN108549846B CN108549846B (zh) 2022-03-22

Family

ID=63517015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810253557.4A Active CN108549846B (zh) 2018-03-26 2018-03-26 一种结合运动特征和头肩结构的行人检测与统计方法

Country Status (1)

Country Link
CN (1) CN108549846B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389589A (zh) * 2018-09-28 2019-02-26 百度在线网络技术（北京）有限公司 用于统计人数的方法和装置
CN110009611A (zh) * 2019-03-27 2019-07-12 中南民族大学 一种面向图像序列的视觉目标动态计数方法及***
CN110148153A (zh) * 2019-04-03 2019-08-20 深圳云天励飞技术有限公司 一种多目标的跟踪方法和相关装置
CN110245267A (zh) * 2019-05-17 2019-09-17 天津大学 多用户视频流深度学习共享计算复用方法
CN110415267A (zh) * 2019-08-15 2019-11-05 利卓创新（北京）科技有限公司 一种低功耗在线热红外目标识别装置及工作方法
CN111126243A (zh) * 2019-12-19 2020-05-08 北京科技大学 一种图像数据检测方法、装置以及计算机可读存储介质
CN111209781A (zh) * 2018-11-22 2020-05-29 珠海格力电器股份有限公司 一种统计室内人数的方法及装置
CN112132119A (zh) * 2020-11-24 2020-12-25 科大讯飞(苏州)科技有限公司 客流统计方法、装置、电子设备和存储介质
CN112180373A (zh) * 2020-09-18 2021-01-05 纵目科技（上海）股份有限公司 一种多传感器融合的智能泊车***和方法
CN112422915A (zh) * 2020-11-18 2021-02-26 珠海格力电器股份有限公司 一种人数监测方法、装置、电子设备及存储介质
CN112464917A (zh) * 2021-01-06 2021-03-09 希望银蕨智能科技有限公司 一种非接触式测温***的人数统计方法
CN113160276A (zh) * 2021-04-28 2021-07-23 珠海市金锐电力科技有限公司 一种目标跟踪方法、目标跟踪装置及计算机可读存储介质
CN114677651A (zh) * 2022-05-30 2022-06-28 山东极视角科技有限公司 一种基于低画质低帧率视频的客流统计方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147869A (zh) * 2011-03-31 2011-08-10 上海交通大学 基于前景分析和模式识别的行人检测方法
CN102156983A (zh) * 2011-03-31 2011-08-17 上海交通大学 基于模式识别与目标跟踪的异常行人位置检测方法
CN103049787A (zh) * 2011-10-11 2013-04-17 汉王科技股份有限公司 一种基于头肩特征的人数统计方法和***
US20160203385A1 (en) * 2015-01-09 2016-07-14 Stmicroelectronics S.R.L. Image processing system for extraction of contextual information and associated methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147869A (zh) * 2011-03-31 2011-08-10 上海交通大学 基于前景分析和模式识别的行人检测方法
CN102156983A (zh) * 2011-03-31 2011-08-17 上海交通大学 基于模式识别与目标跟踪的异常行人位置检测方法
CN103049787A (zh) * 2011-10-11 2013-04-17 汉王科技股份有限公司 一种基于头肩特征的人数统计方法和***
US20160203385A1 (en) * 2015-01-09 2016-07-14 Stmicroelectronics S.R.L. Image processing system for extraction of contextual information and associated methods

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘琳 等: "轮廓特征与神经网络相结合的行人检测", 《光电工程》 *
景阳 等: "基于头肩HOG特征的快速行人检测", 《电视技术》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389589A (zh) * 2018-09-28 2019-02-26 百度在线网络技术（北京）有限公司 用于统计人数的方法和装置
CN111209781A (zh) * 2018-11-22 2020-05-29 珠海格力电器股份有限公司 一种统计室内人数的方法及装置
CN111209781B (zh) * 2018-11-22 2023-05-23 珠海格力电器股份有限公司 一种统计室内人数的方法及装置
CN110009611A (zh) * 2019-03-27 2019-07-12 中南民族大学 一种面向图像序列的视觉目标动态计数方法及***
CN110148153A (zh) * 2019-04-03 2019-08-20 深圳云天励飞技术有限公司 一种多目标的跟踪方法和相关装置
CN110245267A (zh) * 2019-05-17 2019-09-17 天津大学 多用户视频流深度学习共享计算复用方法
CN110245267B (zh) * 2019-05-17 2023-08-11 天津大学 多用户视频流深度学习共享计算复用方法
CN110415267A (zh) * 2019-08-15 2019-11-05 利卓创新（北京）科技有限公司 一种低功耗在线热红外目标识别装置及工作方法
CN111126243B (zh) * 2019-12-19 2023-04-07 北京科技大学 一种图像数据检测方法、装置以及计算机可读存储介质
CN111126243A (zh) * 2019-12-19 2020-05-08 北京科技大学 一种图像数据检测方法、装置以及计算机可读存储介质
CN112180373A (zh) * 2020-09-18 2021-01-05 纵目科技（上海）股份有限公司 一种多传感器融合的智能泊车***和方法
CN112180373B (zh) * 2020-09-18 2024-04-19 纵目科技（上海）股份有限公司 一种多传感器融合的智能泊车***和方法
CN112422915A (zh) * 2020-11-18 2021-02-26 珠海格力电器股份有限公司 一种人数监测方法、装置、电子设备及存储介质
CN112132119A (zh) * 2020-11-24 2020-12-25 科大讯飞(苏州)科技有限公司 客流统计方法、装置、电子设备和存储介质
CN112464917A (zh) * 2021-01-06 2021-03-09 希望银蕨智能科技有限公司 一种非接触式测温***的人数统计方法
CN113160276A (zh) * 2021-04-28 2021-07-23 珠海市金锐电力科技有限公司 一种目标跟踪方法、目标跟踪装置及计算机可读存储介质
CN113160276B (zh) * 2021-04-28 2023-05-26 珠海市金锐电力科技有限公司 一种目标跟踪方法、目标跟踪装置及计算机可读存储介质
CN114677651A (zh) * 2022-05-30 2022-06-28 山东极视角科技有限公司 一种基于低画质低帧率视频的客流统计方法及相关装置

Also Published As

Publication number Publication date
CN108549846B (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN108549846A (zh) 一种结合运动特征和头肩结构的行人检测与统计方法
CN104881637B (zh) 基于传感信息及目标追踪的多模信息***及其融合方法
Roshtkhari et al. An on-line, real-time learning method for detecting anomalies in videos using spatio-temporal compositions
CN104244113B (zh) 一种基于深度学习技术的视频摘要生成方法
Shan et al. Unsupervised learning of discriminative edge measures for vehicle matching between nonoverlapping cameras
CN108765394A (zh) 基于质量评价的目标识别方法
Hashemzadeh et al. Counting moving people in crowds using motion statistics of feature-points
CN106570490B (zh) 一种基于快速聚类的行人实时跟踪方法
CN110399835B (zh) 一种人员停留时间的分析方法、装置及***
Lin et al. Modeling and estimating persistent motion with geometric flows
Song et al. Sparse camera network for visual surveillance--a comprehensive survey
Liu et al. Learning-based hand motion capture and understanding in assembly process
Lu et al. Online visual tracking
Abdullah et al. Vehicle counting using deep learning models: a comparative study
Zhang et al. Moving people tracking with detection by latent semantic analysis for visual surveillance applications
Li et al. Foldover features for dynamic object behaviour description in microscopic videos
CN117541994A (zh) 一种密集多人场景下的异常行为检测模型及检测方法
Hou et al. Multicue-based crowd segmentation using appearance and motion
Zhang et al. A Multiple Instance Learning and Relevance Feedback Framework for Retrieving Abnormal Incidents in Surveillance Videos.
Hu et al. Multi-level trajectory learning for traffic behavior detection and analysis
Zhao et al. Abnormal human behavior recognition based on image processing technology
Saadat et al. Automation of tracking trajectories in a crowded situation
Pan A method of key posture detection and motion recognition in sports based on Deep Learning
Denman et al. Locating people in surveillance video using soft biometric traits
Huang et al. Video object detection by model-based tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant