CN108985216B - 一种基于多元logistic回归特征融合的行人头部检测方法 - Google Patents

一种基于多元logistic回归特征融合的行人头部检测方法 Download PDF

Info

Publication number
CN108985216B
CN108985216B CN201810751494.5A CN201810751494A CN108985216B CN 108985216 B CN108985216 B CN 108985216B CN 201810751494 A CN201810751494 A CN 201810751494A CN 108985216 B CN108985216 B CN 108985216B
Authority
CN
China
Prior art keywords
image
head
sub
feature
logistic regression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810751494.5A
Other languages
English (en)
Other versions
CN108985216A (zh
Inventor
刘锁兰
孔立智
王洪元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou University
Original Assignee
Changzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou University filed Critical Changzhou University
Priority to CN201810751494.5A priority Critical patent/CN108985216B/zh
Publication of CN108985216A publication Critical patent/CN108985216A/zh
Application granted granted Critical
Publication of CN108985216B publication Critical patent/CN108985216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多元logistic回归特征融合的行人头部检测方法，它包括以下步骤：S1：载入视频数据，采用基于single shot multibox detector(SSD)的方法进行运动目标(行人)检测；S2：对检测到的运动区域使用梯度法进行头部预选；S3：将每个候选的头部图像进一步划分为若干子图像；S4：对每个候选图像首先提取全局特征，同时对子图像分别提取局部特征；S5：使用自适应权值的异源特征融合方法，将候选图像表示为一个特征向量；S6：将特征向量作为多元logistic回归输入，计算回归系数，得到匹配概率。

Description

一种基于多元logistic回归特征融合的行人头部检测方法
技术领域
本发明属于计算机数字图像处理领域，尤其涉及一种基于多元logistic回归特征融合的行人头部检测方法。
背景技术
人体头部由于其相对简单的形状变化和运动，相对于人脸来说更便于进行检测和跟踪。目前，人体头部检测技术在智能监控、视觉导航、智能家居、商场等领域中已得到了广泛的应用，并已扩展到行人计数和流量分析应用中，为智能安保工作提供参考和指导。虽然对头部的检测看起来似乎比对脸部的检测更容易，但仍然存在许多困难，主要包括以下几个方面：(1)误检。将非头部目标误判为头部，然后从伪头部区域提取特征等用于后续跟踪等处理，将会导致一系列糟糕的后果。(2)漏检。在检测过程中由于受光照条件，视角，头部倾斜，甚至被检测者头戴帽子，胡须等外观变化都会导致目标漏检。(3)实时处理性能弱。虽然许多检测算法比较快速，但在视频分析***应用(如行人跟踪)中，头部检测的计算量通常占比较大甚至大于30％，主要因为大多数算法采用窗口扫描方法。窗口数量越大，计算量则越大。此外，许多***本身性能较低对计算负担特别敏感。所以如何准确快速地检测和定位人体头部区域是一项具有挑战的研究工作。
行人头部检测算法主要分为基于颜色模型的方法、基于模板匹配的方法和基于轮廓检测的方法三类。基于颜色模型的方法一般通过建立肤色和头发颜色模型来判断像素是否属于头部区域(参见Y Guan,Y Huang.Multi-pose human head detection andtracking boosted by efficient human head validation using ellipse detection,Engineering applications of artificial intelligence,2015,37:181-193)。该类方法简单实时性能好，但需要脸部面向相机。因此当脸部背对相机且背景较复杂时，头部区域往往被误判为背景目标。因此基于颜色模型的方法虽然简单但自适应性较差。基于模板匹配的方法首先手动或自动离线建立头部模板模型，然后基于这些模板，通过相似性度量或动态变形技术等搜索头部区域。(参见M Prantl,S Vera.Curvature-based featuredetection for head modeling,Procedia computer science,2017,2323-2327)。这种方法对复杂背景和任意头部姿态具有良好的鲁棒性，但搜索过程往往耗时较长。基于轮廓检测的方法将头部轮廓近似为椭圆、高斯曲线等几何曲线。根据头部边缘的梯度信息通过曲线拟合技术来获得描述参数。这类方法可以实现对头部轮廓的求解，在头部检测中得到广泛应用。(参见W Zhou,Y Li,K Yuan.Real-time elliptical head contour detectionunder arbitrary pose and wide distance range,Journal ofvisual communicationand image representation,2009(20):217–228)。在所有适用的近似曲线中，椭圆由于其与头部轮廓形状最为相似，且为闭合形态，因而得到广泛地应用。但该方法受图像尺度影响较大，尤其对于小目标，存在漏检率和误检率的问题。
发明内容
针对现有技术中的缺陷，本发明提供一种基于多元logistic回归特征融合的行人头部检测方法。能够避免现有方法在对头部进行检测时容易误检和漏检，准确度低的问题，可以大幅度提高复杂背景下行人头部检测的速度和准确性。
为了实现上述目标，本发明所采用的技术方案如下：
步骤1：载入视频数据，采用基于SSD的方法进行行人检测；
步骤2：对检测到的运动区域使用prewitt算子提取边缘。在此基础上分别计算边缘梯度幅值和方向。通过定义幅值和方向阈值范围进行头部区域预筛选；
步骤3：调整候选的头部图像尺寸大小为m*n,并使用局部区域法进一步划分为S个子图像，每个子图像大小为m*n/S；
步骤4：对每个候选的头部图像提取基于颜色直方图的全局特征，对S个子图像经向量重组后提取随机特征子集构成局部特征；
步骤5：使用自适应权值的特征融合方法，将候选图像转换为一个特征向量；
步骤6：将特征向量作为多元logistic回归输入，计算回归系数，得到匹配概率；设置一个匹配阈值，如果计算得到匹配概率大于此阈值，则判断该候选的头部图像为真实的头部图像。
进一步的，在步骤1中的行人检测具体方法为：采用基于深度学习的SSD 检测器进行行人检测，并使用Google开源的神经卷积网络MobileNet V2提取卷积层特征用于训练SSD参数；
进一步的，在步骤2中的头部候选区域检测具体方法为：首先对步骤1检测到的运动区域使用prewitt边缘检测算子提取边缘；其次，在边缘提取基础上分别计算每个边缘像素点的梯度幅值和方向；最后，通过定义幅值和方向的阈值范围进行头部区域预筛选，得到若干候选头部区域；
进一步的，在步骤3中的子图像划分具体方法为：调整所有候选头部图像尺寸，统一大小为60*60,并使用局部区域法进一步均分为S个子图像，每个子图像大小为60*60/S；
进一步的，在步骤4中的候选头部图像特征提取具体方法为：首先，对每个候选的头部图像提取颜色直方图作为全局特征。其次，对S个子图像提取局部特征，具体做法为：
步骤41.设训练集中共有Z帧图像。对于所有图像按上述步骤进行运动目标检测和划分子图像等处理；
步骤42.将每个子图像表示为一个60*60/S维的列向量。将训练集中所有位置相同的列向量组合为一个子图像集,共得到S个子图像集；
步骤43.对第q个子图像集Qq,从Z个子图像中每随机生成一个索引向量就表示为一个特征。则假设要分为K类，共可以获得K个有效特征，每个特征子集可表示为
Figure GDA0003380880080000041
进一步的，在步骤5中的特征融合具体方法为：设每个候选图像样本xi可提取U个特征矢量
Figure GDA0003380880080000042
则该图像可以表示为
Figure GDA0003380880080000043
因此定义特征融合模型，表示为：
Figure GDA0003380880080000044
其中，
Figure GDA0003380880080000045
为自适应权值矩阵，用于将不同特征映射为线性特征；
进一步的，在步骤6中的分类判别具体方法为：对多元logistic回归模型进行对数变换建立因变量与自变量间的线性关系模型，表示为：
Figure GDA0003380880080000046
其中ε0、εj为待估计系数，pi为匹配概率，∑表示求和计算。因此，多元 logistic回归即为求使上式取得极大值时的系数。求回归系数的某个分量可通过求偏导数的方法求得,最后通过设定匹配概率阈值，得到头部图像。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明一种基于多元logistic回归特征融合的行人头部检测方法的流程图；
图2是本发明的行人检测效果图，其中(a)为原始视频图像，(b)为行人检测结果；
图3是本发明采用基于梯度的阈值判定方法提取的头部候选区域，其中(a) 为行人梯度图，(b)为梯度图上头部粗选结果，(c)为粗选区域映射至原始视频图像对应的区域图；
图4是本发明的子图像划分及局部特征提取方法示意图；
图5是本发明的最终头部区域提取结果，其中(a)为头部区域提取示意图， (b)为头部区域放大示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行详细地描述，以下实施了例不构成对本发明的限定：
参照图1所示，本发明提供一种基于多元logistic回归特征融合的行人头部检测方法。通过载入视频帧图像，使用SSD方法进行行人检测，对检测目标提取边缘并计算边缘梯度幅值和方向信息。通过设置幅值和方向阈值得到若干候选头部图像区域。对候选区域分别提取全局和局部特征并进行融合得到表示该区域的特征向量。以此特征向量作为多元logistic回归模型的输入，通过估计系数得到匹配概率，设置匹配阈值得到分类结果。
其具体步骤如下：
步骤1：读入待检测的视频帧图像，使用基于SSD方法进行运动目标检测，寻找到运动区域的轮廓外接矩形，输出行人检测结果，并在本机中保存为.jpg 格式的8位灰度图像。参见图2中的 (b)。
步骤2：使用prewitt算子提取运动目标边缘，并计算边缘梯度幅值M(i,j)和方向值O(i,j)，计算方法如下：
Figure GDA0003380880080000061
O(i,j)＝1/tan(gy(i,j)/gx(i,j))
其中，gx(i,j)＝f(i,j-1)-f(i,j+1),gy(i,j)＝f(i-1,j)-f(i+1,j)分别表示像素点在水平方向和垂直方向的梯度大小。设置梯度幅值阈值为Mth,方向阈值范围为[Omin,Omax]对图像进行二值化处理，并以外接矩形标定头部候选区域。同时将矩形位置信息映射至原始视频帧图像，并以Region1、Region2 等标注，输出头部粗选结果。参见图3。
步骤3：对Regioni调整尺寸大小为60*60。计算颜色直方图作为全局特征。同时等分为16个子图像，每个子图像大小为15*15。将Z个训练样本中所有位置相同的子图像串行组合为行向量，共构成16个子图像集。对第q个子图像集Qq,从Z个子图像中每随机生成一个索引向量就表示为一个特征。则假设要分为K类，共可以获得K个有效特征，每个特征子集可表示为
Figure GDA0003380880080000062
Figure GDA0003380880080000063
参见图4。
步骤4：特征融合与分类决策。将从Regioni提取的全局特征和局部特征采用如下公式进行特征融合：
Figure GDA0003380880080000064
其中
Figure GDA0003380880080000065
为自适应权值矩阵。该融合模型通过调整每个特征的权值,衡量不同特征对模型的贡献,灵活有效地融合了多种特征，最后生成一个特征向量Xi用于表示区域Regioni。
将特征向量Xi作为logistic回归模型的输入，模型如下：
Figure GDA0003380880080000071
估计系数ε0、εj，使匹配概率pi趋近于1，即为求使上式取得极大值时的系数，通过对各分量求偏导数得到。
步骤5：通过设置匹配阈值，得到最终的头部检测结果。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，均仍属于本方明技术方案的保护范围。

Claims (5)

1.一种基于多元logistic回归特征融合的行人头部检测方法，该方法包括如下步骤：
步骤1：载入视频数据，采用基于SSD的方法进行行人检测；
步骤2：对检测到的运动区域使用prewitt算子提取边缘，在此基础上分别计算边缘梯度幅值和方向，通过定义幅值和方向阈值范围进行头部区域预筛选；
步骤3：调整候选的头部图像尺寸大小为m*n,并使用局部区域法进一步划分为S个子图像，每个子图像大小为m*n/S；
步骤4：对每个候选的头部图像提取基于颜色直方图的全局特征，对S个子图像经向量重组后提取随机特征子集构成局部特征；
步骤5：使用自适应权值的特征融合方法，将候选图像转换为一个特征向量：设每个候选图像样本xi可提取U个特征矢量
Figure FDA0003380880070000011
则该图像可以表示为
Figure FDA0003380880070000012
定义特征融合模型表示为：
Figure FDA0003380880070000013
其中，
Figure FDA0003380880070000014
为自适应权值矩阵，用于将不同特征映射为线性特征；
步骤6：将特征向量作为多元logistic回归输入，计算回归系数，得到匹配概率；设置一个匹配阈值，如果计算得到匹配概率大于此阈值，则判断该候选的头部图像为真实的头部图像，具体步骤为：对多元logistic回归模型做对数变换建立因变量与自变量间的线性关系模型，表示为：
Figure FDA0003380880070000015
其中ε0、εj为待估计系数，pi为匹配概率，∑表示求和计算，多元logistic回归即为求使上式取得极大值时的系数，求回归系数的某个分量可通过求偏导数的方法求得；最后通过设定匹配概率阈值，得到头部图像。
2.根据权利要求1所述的一种基于多元logistic回归特征融合的行人头部检测方法，其特征在于所述步骤1中行人检测的具体步骤为：训练基于深度学习的SSD检测器，其中SSD的特征提取层使用了Google开源的轻量化神经卷积网络MobileNet V2。
3.根据权利要求1所述的一种基于多元logistic回归特征融合的行人头部检测方法，其特征在于所述步骤2的具体步骤为：首先对步骤1检测到的运动区域使用prewitt边缘检测算子提取边缘；其次，在边缘提取基础上分别计算每个边缘像素点的梯度幅值和方向；最后，通过定义幅值和方向的阈值范围进行头部区域预筛选，得到若干候选头部区域。
4.根据权利要求1所述的一种基于多元logistic回归特征融合的行人头部检测方法，其特征在于所述步骤3的具体步骤为：调整所有候选头部图像尺寸，统一大小为60*60,并使用局部区域法进一步均分为S个子图像，每个子图像大小为60*60/S。
5.根据权利要求1所述的一种基于多元logistic回归特征融合的行人头部检测方法，其特征在于所述步骤4的具体步骤为：
首先，对每个候选的头部图像提取颜色直方图作为全局特征；其次，对S个子图像提取局部特征，具体做法为：
a.设训练集中共有Z帧图像，对于所有图像按上述步骤进行运动目标检测和划分子图像处理；
b.将每个子图像表示为一个60*60/S维的列向量，将训练集中所有位置相同的列向量组合为一个子图像集,共得到S个子图像集；
c.对第q个子图像集Qq,从Z个子图像中每随机生成一个索引向量就表示为一个特征，则假设要分为K类，共可以获得K个有效特征，每个特征子集可表示为
Figure FDA0003380880070000031
CN201810751494.5A 2018-07-10 2018-07-10 一种基于多元logistic回归特征融合的行人头部检测方法 Active CN108985216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810751494.5A CN108985216B (zh) 2018-07-10 2018-07-10 一种基于多元logistic回归特征融合的行人头部检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810751494.5A CN108985216B (zh) 2018-07-10 2018-07-10 一种基于多元logistic回归特征融合的行人头部检测方法

Publications (2)

Publication Number Publication Date
CN108985216A CN108985216A (zh) 2018-12-11
CN108985216B true CN108985216B (zh) 2022-01-25

Family

ID=64537616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810751494.5A Active CN108985216B (zh) 2018-07-10 2018-07-10 一种基于多元logistic回归特征融合的行人头部检测方法

Country Status (1)

Country Link
CN (1) CN108985216B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740463A (zh) * 2018-12-21 2019-05-10 沈阳建筑大学 一种车载环境下的目标检测方法
CN110443147B (zh) * 2019-07-10 2022-03-18 广州市讯码通讯科技有限公司 一种坐姿识别方法、***和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015512050A (ja) * 2012-03-05 2015-04-23 オサケユキテュア・アークティック・パートナーズ・アクチボラゲットＯｙ Ａｒｃｔｉｃ Ｐａｒｔｎｅｒｓａｂ 前立腺癌のリスク及び前立腺容積を予測する方法及び装置
CN105447503A (zh) * 2015-11-05 2016-03-30 长春工业大学 基于稀疏表示lbp和hog融合的行人检测方法
CN108121970A (zh) * 2017-12-25 2018-06-05 武汉大学 一种基于差异矩阵和矩阵度量的行人重识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015512050A (ja) * 2012-03-05 2015-04-23 オサケユキテュア・アークティック・パートナーズ・アクチボラゲットＯｙ Ａｒｃｔｉｃ Ｐａｒｔｎｅｒｓａｂ 前立腺癌のリスク及び前立腺容積を予測する方法及び装置
CN105447503A (zh) * 2015-11-05 2016-03-30 长春工业大学 基于稀疏表示lbp和hog融合的行人检测方法
CN108121970A (zh) * 2017-12-25 2018-06-05 武汉大学 一种基于差异矩阵和矩阵度量的行人重识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SSD: Single Shot MultiBox Detector;Wei Liu 等;《https://arxiv.org/pdf/1512.02325.pdf》;20161229;全文 *
基于距离中心化与投影向量学习的行人重识别;丁宗元 等;《计算机研究与发展》;20170831;全文 *

Also Published As

Publication number Publication date
CN108985216A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
Li et al. Automatic pavement crack detection by multi-scale image fusion
CN108510467B (zh) 基于深度可变形卷积神经网络的sar图像目标识别方法
CN107016357B (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
US8406470B2 (en) Object detection in depth images
Ahmad et al. Overhead view person detection using YOLO
CN109801305B (zh) 基于深度胶囊网络的sar图像变化检测方法
CN108734200B (zh) 基于bing特征的人体目标视觉检测方法和装置
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
CN109902576B (zh) 一种头肩图像分类器的训练方法及应用
Ballotta et al. Fully convolutional network for head detection with depth images
Mousavi A new way to age estimation for rgb-d images, based on a new face detection and extraction method for depth images
CN108985216B (zh) 一种基于多元logistic回归特征融合的行人头部检测方法
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN109165592B (zh) 一种基于pico算法的实时可旋转的人脸检测方法
Andiani et al. Face recognition for work attendance using multitask convolutional neural network (MTCNN) and pre-trained facenet
CN114038011A (zh) 一种室内场景下人体异常行为的检测方法
Junejo et al. Single-class SVM for dynamic scene modeling
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN111402185B (zh) 一种图像检测方法及装置
CN111191575B (zh) 一种基于火苗跳动建模的明火检测方法及***
CN106803080B (zh) 一种基于形状玻尔兹曼机的补全式行人检测方法
CN112541403A (zh) 一种利用红外摄像头的室内人员跌倒检测方法
Hbali et al. Object detection based on HOG features: Faces and dual-eyes augmented reality
Yang et al. Condensation-based multi-person tracking using an online SVM approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant