CN111539396A - 一种基于yolov3的行人检测及步态识别的方法 - Google Patents

一种基于yolov3的行人检测及步态识别的方法 Download PDF

Info

Publication number
CN111539396A
CN111539396A CN202010654323.8A CN202010654323A CN111539396A CN 111539396 A CN111539396 A CN 111539396A CN 202010654323 A CN202010654323 A CN 202010654323A CN 111539396 A CN111539396 A CN 111539396A
Authority
CN
China
Prior art keywords
gait
pedestrian
yolov3
hog
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010654323.8A
Other languages
English (en)
Inventor
陈海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DeepBlue AI Chips Research Institute Jiangsu Co Ltd
Original Assignee
DeepBlue AI Chips Research Institute Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DeepBlue AI Chips Research Institute Jiangsu Co Ltd filed Critical DeepBlue AI Chips Research Institute Jiangsu Co Ltd
Priority to CN202010654323.8A priority Critical patent/CN111539396A/zh
Publication of CN111539396A publication Critical patent/CN111539396A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于yolov3的行人检测及步态识别的方法，包括建立yolov3分类特征模型步骤，使用变粒度HOG和CSLBP的方法提取行人轮廓的全局特征以及行人局部的细节纹理特征；检测行人目标区域及步态识别检测步骤，采用SEF‑GHEI能量图进行检测。该方法主要是先通过yolov3网络对行人进行进行检测定位，然后使用基于SEF‑GHEI及协同表示的步态识别方法对检测到的行人进行身份识别。本发明算法与基于步态高斯及稀疏表示的步态识别准确率相比，本发明所采取的方法使步态识别准确率平均提高了1.5%左右，比基于协同表示的步态识别准确率平均提高了1.13%。

Description

一种基于yolov3的行人检测及步态识别的方法
技术领域
本发明涉及行人检测和步态识别技术，更具体地涉及一种基于yolov3的行人检测及步态识别的方法。
背景技术
目前步态识别主要分为两大类，一类是基于模型(model-based)的方法，一类是基于非模型（model-free）的方法。
基于模型的方法主要是通过对建立的人体运动模型进行跟踪分析获取参数，利用获取的参数作为步态特征进行匹配。主要有椭圆模型的方法和基于静态步态参数的表示方法等，但是基于模型的方法对步态视频序列图像质量要求高，并且在建立模型时计算量大，难以实现较理想的结果。
基于非模型的方法不需要预先假定模型，直接提取图像序列中运动目标轮廓产生的时空特性作为步态特征。主要有李占利等提出基于步态高斯及稀疏表示的步态识别，识别效果显著并在跨视角下具有一定的鲁棒性，但是在计算分类的过程中存在着耗时的问题，在较复杂的场景中满足不了实时性的要求。杨旗等提出基于稀疏表示的步态识别，识别准确性高且速度快，但步态特征提取选用的是主动能量图，该能量图只考虑了步态的动态信息而步态的静态信息被完全的丢弃。李占利等提出基于协同表示的步态识别，识别效果良好且计算速度快，但步态特征提取采用的是GEI能量图，由于GEI能量图只能捕获轮廓外部边界信息，忽略了轮廓内部边界信息的原因，对步态的识别率有着一定的影响。
在传统的目标检测方法中，它的检测过程一般分为3个阶段，首先通过使用尺寸大小不一致的滑动窗口从输入图像中选择候选区域，然后从标记的候选区域中提取相关的特征，最后使用训练好的分类器进行分类识别。然而在传统的目标检测方法中，存在着一直没有解决的两个主要问题分别是：
1）在一阶段中使用滑动窗口选择图像的候选区域没有针对性的策略、时间复杂度高以及窗口冗余的问题；
2）由于特征具有多样性变化的原因，导致训练出来的模型鲁棒性很差。
在基于深度学习的目标检测方法中，region proposal（候选区域）利用图像中的纹理、颜色以及边缘等特征预测出图像中目标可能出现的位置，这不仅降低了后续操作的时间复杂度，而且获取的候选区域窗口的质量比传统目标检测方法中滑动窗口的质量更高，很好的解决了滑动窗口的问题，但是当在背景复杂、行人之间遮掩比较严重的时候，存在着误检和漏检的现象，导致检测效果不是很稳定。
变粒度HOG特征主要描述物体形状轮廓的全局特征，而CSLBP特征描述的是物体局部的细节纹理。在实际检测环境中有背景色干扰时，使用变粒度HOG特征描述行人轮廓的全局特征时，提取的行人特征效果降低，由于CSLBP纹理特征对灰度变换具有不变性的原因，因此使用CSLBP纹理特征描述行人局部的细节纹理可以保证行人检测的正确率；若当提取行人的CSLBP纹理特征与背景相似时，利用变粒度HOG特征的鲁棒性描述行人的形状轮廓全局特征，就能起到对行人的主导描述作用，保证行人检测的准确性。因此为了提高行人检测模型的效果，本发明提出使用机器学习与深度学习相结合的方法来实现行人检测，即在yolov3网络的第一层卷积层前添加特征提取层，该特征提取层采用变粒度HOG特征和CSLBP特征融合的方法（HOG-CSLBP）提取行人特征，然后使用yolov3网络对提取的行人特征进行训练及检测。
梯度方向直方图(HOG)不仅能够很好的描述轮廓图像的内外边界信息，还能对图像轮廓重合的边界信息进行提取，比GEI算法提取的轮廓边界信息更加详细，对跨视角下的步态识别效果更好。所以为了提高步态识别在跨视角下的识别率，本发明提出采用HOG和GEI算法融合的方法，即以SEF-GHEI能量图为特征，采用基于协同表示的分类器进行识别。
[1]李占利, 孙卓,杨晓强. 基于步态高斯图及稀疏表示的步态识别[J]. 科学技术与工程, 2017, 17(4):250-254.
[2]杨旗, 薛定宇, 崔建江. 基于稀疏表示的步态识别[J]. 东北大学学报(自然科学版), 2012, 33(1):43-46.
[3]李占利, 崔磊磊, 刘金瑄. 基于协同表示的步态识别[J]. 计算机应用研究,2016, 33(9):2878-2880。
发明内容
本发明的目的
本发明为了解决一阶段中使用滑动窗口选择图像的候选区域没有针对性的策略、时间复杂度高以及窗口冗余、模型鲁棒性很差的问题，而提出了一种基于yolov3的行人检测及步态识别的方法。
为达到上述目的，本发明所采用的技术方案
本发明公开了一种基于yolov3的行人检测及步态识别的方法，具体为：
建立yolov3分类特征模型步骤，使用变粒度HOG和CSLBP的方法提取行人轮廓的全局特征以及行人局部的细节纹理特征；
检测行人目标区域及步态识别检测步骤，采用SEF-GHEI能量图进行检测。
更进一步，建立yolov3分类特征模型包括：
添加图像预处理层步骤，即分别使用变粒度HOG和CSLBP的方法提取行人轮廓的全局特征以及行人局部的细节纹理特征，然后将提取的变粒度HOG特征和CSLBP纹理特征进行融合得到HOG-CSLBP特征。
更进一步，建立yolov3分类特征模型包括：
更改yolov3网络中输出层的卷积核个数，然后根据更改后的结果构建yolov3分类特征模型，然后使用添加图像预处理层步骤中提取到的HOG-CSLBP特征作为网络的输入数据并对yolov3分类特征模型进行预训练。
更进一步，从步态数据中不同视角下的步态视频中提取步态图像，然后使用添加图像预处理层步骤中的方法对提取的步态图像提取HOG-CSLBP特征。
更进一步，使用HOG-CSLBP特征数据对yolov3分类特征模型中预训练的模型进行微调，得到检测行人yolov3分类特征模型。
更进一步，行人目标区域检测步骤为使用微调中训练出来的模型所检测出的行人目标区域，采用背景消减法提取人体轮廓图像并二值化；首先采用形态学方法对其进行去噪或者降噪；其次通过图像归一化方法对经过形态学处理后的步态轮廓图像进行归一化处理，然后对归一化后的步态轮廓图像进行周期检测，从而获得行人步态周期图像序列。
更进一步，从步态周期图像序列中提取每个人的步态特征；SEF-GHEI能量图定义 如下：
Figure 950549DEST_PATH_IMAGE001
，其中：N表示步态周期内的步态剪影图像序列帧数，
Figure 24554DEST_PATH_IMAGE002
表示第t帧步态剪影图像坐标
Figure 455404DEST_PATH_IMAGE003
像素值b方向的HOG特征，其中
Figure 97607DEST_PATH_IMAGE004
表示梯度方向直方图bin的索引号。
更进一步，首先将上述所有训练样本的SEF-GHEI能量图以列的方式展开成列向 量，然后把展开成列向量的训练样本构建成字典
Figure 309014DEST_PATH_IMAGE005
，其中
Figure 124392DEST_PATH_IMAGE006
表示第
Figure 409749DEST_PATH_IMAGE007
类训 练样本组成的列向量特征，，i从1到n，n为自然数，然后将矩阵
Figure 347487DEST_PATH_IMAGE008
的列进行规范化计算并得到
Figure 983873DEST_PATH_IMAGE009
范数；
然后，使用PCA方法先对字典
Figure 399680DEST_PATH_IMAGE010
进行降维处理；最后通过公式
Figure 805122DEST_PATH_IMAGE011
计算 投影矩阵P，即
Figure 913761DEST_PATH_IMAGE012
。
更进一步，将所有测试样本的SEF-GHEI能量图以列的方式展开成列向量，并进行 列规范化；使用
Figure 771865DEST_PATH_IMAGE013
表示采用PCA方法进行降维后的测试样本；根据投影矩阵P的值，计算降维 后的测试样本
Figure 256942DEST_PATH_IMAGE014
在矩阵P上的投影值x，即：x=Py；并通过
Figure 477462DEST_PATH_IMAGE015
计算正规化残差
Figure 819319DEST_PATH_IMAGE016
，即：
Figure 164719DEST_PATH_IMAGE017
；最后将
Figure 860011DEST_PATH_IMAGE018
归类于残差最小的一个类：
Figure 302363DEST_PATH_IMAGE019
并输出 识别结果。
本发明所达到的有益效果
（1）本发明算法与基于步态高斯及稀疏表示的步态识别准确率相比，本发明所采取的方法使步态识别准确率平均提高了1.5%左右，比基于协同表示的步态识别准确率平均提高了1.13%。
（2）本发明方法的识别率比基于步态高斯及稀疏表示的步态识别以及基于GEI能量图协同表示步态识别的识别准确率高的主要原因是提取步态能量图的方法不一样，在协同表示方法中采用的是GEI能量图来表述一个周期内的步态特征，而步态高斯能量图重在描述不同对象之间步态的差异性，由于GEI能量图和步态高斯能量图只考虑了人体轮廓的外部边界信息，没有考虑内部边界信息，对步态的识别率有着一定的影响。而本发明提取步态特征采用的是GEI和HOG算法融合的方法，即SEF-GHEI能量图，该方法考虑了人体轮廓的内外部边界信息。因此，本发明算法的识别率均高于基于协同表示的步态识别以及基于步态高斯图及稀疏表示的步态识别的识别率。
（3）本发明采用的算法和基于GEI能量图的协同表示步态识别算法的识别时间均 小于基于步态高斯及稀疏表示算法的识别时间，识别速度提高了13.8~115.2倍，其主要原 因是
Figure 690488DEST_PATH_IMAGE020
能提前计算出来，并且能够快速计算出测试样本的重构系数，而基 于步态高斯图及稀疏表示的方法对于每次输入的测试样本都要计算一次
Figure 523183DEST_PATH_IMAGE021
范数比较耗时。
（4）本发明方法的识别时间高于基于协同表示步态识别的识别时间的主要原因是 按
Figure 84484DEST_PATH_IMAGE022
计算并提取步态特征时，要先计算每张步态剪影的HOG 特征，而HOG特征的计算以及提取比较耗时，但是本发明方法的识别时间能满足实时性的要 求。
附图说明
图1为SEF-GHEI步态能量图；
图2为HOG-CSLBP特征提取、yolov3行人检测训练流程图；
图3为SEF-GHEI获取、训练和识别的流程图。
具体实施方式
下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面将结合附图对本发明实例作进一步地详细描述。
实施例
本发明更改yolov3（网络构型中的一种）输出层的卷积核个数，然后根据更改后的结果构建yolov3分类特征模型并用coco数据集（一个大型图像数据集）中类别为人的图像作为训练样本对yolov3分类特征模型进行预训练；使用摄像头在多视角多分辨率的条件下拍摄人在行走过程中各种姿态的图片；使用上述拍摄的数据对上述预训练的yolov3分类特征模型进行微调，得到行人检测模型。
行人检测采取了小样本学习步骤；
使用大样本图像数据集对yolov3分类特征模型预训练；
使用小样本图像对预训练的网络进行微调；
使用测试数据集对训练好的模型进行测试。
本发明公开了一种基于yolov3的行人检测及步态识别的方法，按照如下步骤进行：
（1）、添加图像预处理层，即分别使用变粒度HOG（方向梯度直方图）和CSLBP（基于大尺度纹理特征描述算子）的方法提取行人轮廓的全局特征以及行人局部的细节纹理特征，其中行人局部特征比如头、脚、手等局部特征，然后将提取的变粒度HOG特征和CSLBP纹理特征进行融合得到HOG-CSLBP特征。
（2）、更改yolov3网络中输出层的卷积核个数，然后根据更改后的结果构建yolov3分类特征模型，然后使用（1）中提取到的HOG-CSLBP特征作为网络的输入数据并对yolov3分类特征模型进行预训练。
（3）、从步态数据中不同视角下的步态视频中提取步态图像，然后使用（1）中的方法对提取的步态图像提取HOG-CSLBP特征， HOG指的是人体轮廓的边界特征，CSLBP特征指的是人的纹理特征。
（4）、使用（3）中提取的特征数据对（2）中预训练的模型进行微调，在原来训练好的模型基础上，在使用额外的数据对模型再次进行训练。
（5）、得到检测行人效果较好的yolov3分类特征模型。
（6）、对使用（4）中训练出来的模型所检测出的行人目标区域，采用背景消减法提取人体轮廓图像并二值化。由于获取的二值轮廓图像中存在着噪声点和空洞，首先采用形态学方法对其进行去噪或者降噪，从而降低对步态识别率的影响；其次通过图像归一化方法对经过形态学处理后的步态轮廓图像进行归一化处理，然后对归一化后的步态图像进行周期检测，从而获得行人步态周期图像序列。
（7）、SEF-GHEI能量图像是一个步态周期内每帧步态剪影图像HOG特征的平均，该 幅图像反映了轮廓的主要形状、内外部边界信息以及一个步态周期内形状的变化，不仅减 少了步态数据量，而且对每帧图像中的噪声也并不敏感。为了能够让原始步态轮廓图更好 地描述人的步态特点，从（6）中获取的步态周期序列图像中提取每个人的步态特征。SEF- GHEI能量图定义如下：
Figure 319025DEST_PATH_IMAGE023
。其中：N表示步态周期内的步态剪影图 像序列帧数，
Figure 127319DEST_PATH_IMAGE024
表示第
Figure 181731DEST_PATH_IMAGE025
帧步态剪影图像坐标
Figure 546722DEST_PATH_IMAGE026
像素值
Figure 901349DEST_PATH_IMAGE027
方向的HOG特征，其中
Figure 568960DEST_PATH_IMAGE028
表示梯度方向直方图bin的索引号。提取的能量图如图1所示。
将（6）中所有训练样本的SEF-GHEI能量图以列的方式展开成列向量，然后把展开 成列向量的训练样本构建成字典
Figure 868527DEST_PATH_IMAGE005
，其中
Figure 37209DEST_PATH_IMAGE029
表示第
Figure 980763DEST_PATH_IMAGE030
类训练样本组成的 列向量特征，i从1到n，n为自然数，然后将矩阵
Figure 943908DEST_PATH_IMAGE031
的列进行规范化计算并得到
Figure 238492DEST_PATH_IMAGE032
范数（
Figure 882969DEST_PATH_IMAGE032
范数 是指向量各元素的平方和然后求平方根，
Figure 681030DEST_PATH_IMAGE032
范数可以防止过拟合，提升模型的泛化能力）； 由于SEF-GHEI步态能量图的像素是
Figure 18339DEST_PATH_IMAGE033
，构建的字典
Figure 534640DEST_PATH_IMAGE034
的维度为20000维，维度较高计 算复杂的原因，需使用PCA（主成分分析技术）方法先对字典
Figure 717228DEST_PATH_IMAGE035
进行降维处理；最后通过公式
Figure 635375DEST_PATH_IMAGE036
计算投影矩阵P，即
Figure 81268DEST_PATH_IMAGE037
。
将所有测试样本的SEF-GHEI能量图以列的方式展开成列向量，并进行列规范化； 使用
Figure 819286DEST_PATH_IMAGE038
表示采用PCA（主成分分析技术）方法进行降维后的测试样本；根据（7）中训练出来的 投影矩阵P，计算降维后的测试样本
Figure 133462DEST_PATH_IMAGE039
在投影矩阵P上的投影值x，即：x=Py；并通过
Figure 906115DEST_PATH_IMAGE040
计算正规化残差
Figure 343085DEST_PATH_IMAGE041
，即：
Figure 833978DEST_PATH_IMAGE042
， i从1到n，n为自然数；最后将
Figure 623948DEST_PATH_IMAGE043
归类于残 差最小的一个类：
Figure 251107DEST_PATH_IMAGE044
，其中identity表示赋值，
Figure 38804DEST_PATH_IMAGE045
为
Figure 876047DEST_PATH_IMAGE046
达到最小值时的变量的取值，并输出识别结果。其步态识别结果如表1，2，3，4，5，6所示。
行人检测与步态识别的流程图分别如图2，图3所示
Figure 407392DEST_PATH_IMAGE047
表1 为90°视角下SRC、CRC及本发明算法的识别率
Figure 279271DEST_PATH_IMAGE048
表2 为90°视角下SRC、CRC及本发明算法的识别时间
Figure 34606DEST_PATH_IMAGE049
表3 为72°视角下SRC、CRC及本发明算法的识别率
Figure 437774DEST_PATH_IMAGE050
表4 为72°视角下SRC、CRC及本发明算法的识别时间
Figure 569547DEST_PATH_IMAGE051
表5 为108°视角下SRC、CRC及本发明算法的识别率
Figure 171299DEST_PATH_IMAGE052
表6 为108°视角下SRC、CRC及本发明算法的识别时间
每个对象在每种视角下可以有多个携带背包、多个穿大衣以及多个正常行走的步态图像序列，本发明以每个对象在每种视角下有2个携带背包、2个穿大衣以及2个正常行走为例，所得出表1、表2、表3、表4、表5、表6，6种状态的步态图像序列。本发明分别从背包行走和穿大衣行走的步态图像序列中选取一个图像序列作为训练样本，剩下的图像序列作为测试样本，从正常行走的步态图像序列中选取3个图像序列作为训练样本，剩下的3个图像序列作为测试样本。由于90°视角下步态图像序列的步态特征明显且易提取，所以本发明使用该视角下的步态图像序列进行实验，并分别与基于步态高斯及稀疏表示分类方法和基于GEI能量图（步态能量图）的协同表示方法进行比较，其中的识别时间是平均识别一个测试样本所用的时间，比较结果如表1，表2所示。
从表1和表2中可以看出，本发明算法在90°视角下的三种行走状态的识别率均高于基于步态高斯图及稀疏表示的步态识别和基于GEI能量图协同表示的步态识别。本发明算法与基于步态高斯及稀疏表示的步态识别准确率相比，本发明所采取的方法使步态识别准确率平均提高了1.5%左右，比基于协同表示的步态识别准确率平均提高了1.13%。本发明方法的识别率比基于步态高斯及稀疏表示的步态识别以及基于GEI能量图协同表示步态识别的识别准确率高的主要原因是提取步态能量图的方法不一样，在协同表示方法中采用的是GEI能量图来表述一个周期内的步态特征，而步态高斯能量图重在描述不同对象之间步态的差异性，由于GEI能量图和步态高斯能量图只考虑了人体轮廓的外部边界信息，没有考虑内部边界信息，对步态的识别率有着一定的影响。而本发明提取步态特征采用的是GEI和HOG算法融合的方法，即SEF-GHEI能量图，该方法考虑了人体轮廓的内外部边界信息。因此，本发明算法的识别率均高于基于协同表示的步态识别以及基于步态高斯图及稀疏表示的步态识别的识别率。
从表3、表4中可以看出，本发明采用的算法和基于GEI能量图的协同表示步态识别 算法的识别时间均小于基于步态高斯及稀疏表示算法的识别时间，识别速度提高了13.8~ 115.2倍，基于步态高斯图及稀疏表示的方法对于每次输入的测试样本都要计算一次范数 比较耗时。本发明方法的识别时间高于基于协同表示步态识别的识别时间的主要原因是按
Figure 159852DEST_PATH_IMAGE053
计算并提取步态特征时，要先计算每张步态剪影的HOG特征，而 HOG特征的计算以及提取比较耗时，但是本发明方法的识别时间不超过0.035s，能满足实时 性的要求。
为了验证本发明算法在实际环境中的有效性，本发明以90°视角下的三种行走状态步态序列图像作为训练样本，分别把72°和108°视角下的正常、穿大衣以及背包三种行走状态步态序列图像作为测试样本进行实验。实验结果如表1、2、3、4、5、6所示。
从表3和表5中可以看出，本发明算法在跨视角下的72°视角和108°视角的三种行走状态图像序列的识别率均高于另外两种算法，特别是在正常行走状态下的识别准确率平均提高了9.74%，以及携带背包行走状态下的识别准确率平均提高了12.97%。从表4和表6可以看出，本发明算法的识别时间相对于协同表示算法比较耗时，但是能满足实时性要求，比基于步态高斯图及稀疏表示算法的识别速度快10倍左右，并且在单一视角下和跨视角下，本发明算法的识别率均高于基于步态高斯图及稀疏表示算法以及基于协同表示算法的识别率。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种基于yolov3的行人检测及步态识别的方法，其特征在于
建立yolov3分类特征模型步骤，使用变粒度HOG和CSLBP的方法提取行人轮廓的全局特征以及行人局部的细节纹理特征；
检测行人目标区域及步态识别检测步骤，采用SEF-GHEI能量图进行检测。
2.根据权利要求1所述的基于yolov3的行人检测及步态识别的方法，其特征在于建立yolov3分类特征模型包括：
添加图像预处理层步骤，即分别使用变粒度HOG和CSLBP的方法提取行人轮廓的全局特征以及行人局部的细节纹理特征，然后将提取的变粒度HOG特征和CSLBP纹理特征进行融合得到HOG-CSLBP特征。
3.根据权利要求2所述的基于yolov3的行人检测及步态识别的方法，其特征在于建立yolov3分类特征模型包括：
更改yolov3网络中输出层的卷积核个数，然后根据更改后的结果构建yolov3分类特征模型，然后使用添加图像预处理层步骤中提取到的HOG-CSLBP特征作为网络的输入数据并对yolov3分类特征模型进行预训练。
4.根据权利要求3所述的基于yolov3的行人检测及步态识别的方法，其特征在于：从步态数据中不同视角下的步态视频中提取步态图像，然后使用添加图像预处理层步骤中的方法对提取的步态图像提取HOG-CSLBP特征。
5.根据权利要求3所述的基于yolov3的行人检测及步态识别的方法，其特征在于：使用HOG-CSLBP特征数据对yolov3分类特征模型中预训练的模型进行微调，得到检测行人yolov3分类特征模型。
6.根据权利要求5所述的基于yolov3的行人检测及步态识别的方法，其特征在于：行人目标区域检测步骤为使用微调中训练出来的模型所检测出的行人目标区域，采用背景消减法提取人体轮廓图像并二值化；首先采用形态学方法对其进行去噪或者降噪；其次通过图像归一化方法对经过形态学处理后的步态轮廓图像进行归一化处理，然后对归一化后的步态轮廓图像进行周期检测，从而获得行人步态周期图像序列。
7.根据权利要求6所述的基于yolov3的行人检测及步态识别的方法，其特征在于从步 态周期图像序列中提取每个人的步态特征；SEF-GHEI能量图定义如下：
Figure 928408DEST_PATH_IMAGE001
，其中：N表示步态周期内的步态剪影图像序列帧数，
Figure 153722DEST_PATH_IMAGE002
表示第
Figure 881375DEST_PATH_IMAGE003
帧步态剪影图像坐标
Figure 836431DEST_PATH_IMAGE004
像素值
Figure 545498DEST_PATH_IMAGE005
方向的HOG特征，其中
Figure 523688DEST_PATH_IMAGE006
表示梯度方向直方图bin的索引号。
8.根据权利要求7所述的基于yolov3的行人检测及步态识别的方法，其特征在于：首先 将上述所有训练样本的SEF-GHEI能量图以列的方式展开成列向量，然后把展开成列向量的 训练样本构建成字典
Figure 914087DEST_PATH_IMAGE007
，其中
Figure 661332DEST_PATH_IMAGE008
表示第
Figure 478984DEST_PATH_IMAGE009
类训练样本组成的列向量特征，i 从1到n，n为自然数，然后将矩阵
Figure 967907DEST_PATH_IMAGE010
的列进行规范化计算并得到
Figure 37363DEST_PATH_IMAGE011
范数；其次使用PCA方法先 对字典
Figure 763748DEST_PATH_IMAGE012
进行降维处理；最后通过公式
Figure 955564DEST_PATH_IMAGE013
计算投影矩阵P，即
Figure 642766DEST_PATH_IMAGE014
。
9.根据权利要求8所述的基于yolov3的行人检测及步态识别的方法，其特征在于：将所 有测试样本的SEF-GHEI能量图以列的方式展开成列向量，并进行列规范化；使用
Figure 312650DEST_PATH_IMAGE015
表示采 用PCA方法进行降维后的测试样本；根据投影矩阵P的值，计算降维后的测试样本
Figure 972171DEST_PATH_IMAGE016
在投影 矩阵P上的投影值x，即：x=Py；并通过
Figure 803729DEST_PATH_IMAGE017
计算正规化残差
Figure 243807DEST_PATH_IMAGE018
，即：
Figure 451803DEST_PATH_IMAGE019
；最 后将
Figure 293726DEST_PATH_IMAGE020
归类于残差最小的一个类：
Figure 561765DEST_PATH_IMAGE021
并输出识别结果。
CN202010654323.8A 2020-07-09 2020-07-09 一种基于yolov3的行人检测及步态识别的方法 Pending CN111539396A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010654323.8A CN111539396A (zh) 2020-07-09 2020-07-09 一种基于yolov3的行人检测及步态识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010654323.8A CN111539396A (zh) 2020-07-09 2020-07-09 一种基于yolov3的行人检测及步态识别的方法

Publications (1)

Publication Number Publication Date
CN111539396A true CN111539396A (zh) 2020-08-14

Family

ID=71979779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010654323.8A Pending CN111539396A (zh) 2020-07-09 2020-07-09 一种基于yolov3的行人检测及步态识别的方法

Country Status (1)

Country Link
CN (1) CN111539396A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465076A (zh) * 2021-01-28 2021-03-09 知行汽车科技（苏州）有限公司 多特征融合的方法、装置、***及存储介质
CN113887315A (zh) * 2021-09-06 2022-01-04 广东工业大学 一种基于多分类器协同的步态识别方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130041815A1 (en) * 2011-08-10 2013-02-14 Philip J. Baratz System and method for financing purchases of consumables, including heating oil or propane
CN108527382A (zh) * 2018-04-09 2018-09-14 上海方立数码科技有限公司 一种巡检机器人

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130041815A1 (en) * 2011-08-10 2013-02-14 Philip J. Baratz System and method for financing purchases of consumables, including heating oil or propane
CN108527382A (zh) * 2018-04-09 2018-09-14 上海方立数码科技有限公司 一种巡检机器人

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐守坤等: "基于HOG-CSLBP及YOLOV2的行人检测", 《计算机工程与设计》 *
徐守坤等: "基于SEF-GHEI及协同表示的步态识别研究", 《计算机应用研究》 *
郑慧平: "基于步态特征的身份识别技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465076A (zh) * 2021-01-28 2021-03-09 知行汽车科技（苏州）有限公司 多特征融合的方法、装置、***及存储介质
CN113887315A (zh) * 2021-09-06 2022-01-04 广东工业大学 一种基于多分类器协同的步态识别方法及***

Similar Documents

Publication Publication Date Title
Jiang et al. Change detection in heterogeneous optical and SAR remote sensing images via deep homogeneous feature fusion
Ahmed et al. DFR-TSD: A deep learning based framework for robust traffic sign detection under challenging weather conditions
US20140043329A1 (en) Method of augmented makeover with 3d face modeling and landmark alignment
US20210264144A1 (en) Human pose analysis system and method
Guo et al. Improved hand tracking system
CN110060273B (zh) 基于深度神经网络的遥感影像滑坡测图方法
Chen et al. From eyes to face synthesis: a new approach for human-centered smart surveillance
CN107609571B (zh) 一种基于lark特征的自适应目标跟踪方法
Shen et al. Adaptive pedestrian tracking via patch-based features and spatial–temporal similarity measurement
CN111539396A (zh) 一种基于yolov3的行人检测及步态识别的方法
Wang et al. Generative image deblurring based on multi-scaled residual adversary network driven by composed prior-posterior loss
Ma et al. Casqnet: Intrinsic image decomposition based on cascaded quotient network
Chen et al. Scene segmentation of remotely sensed images with data augmentation using U-net++
CN113763274B (zh) 一种联合局部相位锐度定向描述的多源图像匹配方法
Xu et al. Extended non-local feature for visual saliency detection in low contrast images
Makwana Illumination invariant face recognition: a survey of passive methods
Qu et al. An intelligent vehicle image segmentation and quality assessment model
Favorskaya et al. Accurate spatio-temporal reconstruction of missing data in dynamic scenes
Robinson et al. Foreground segmentation in atmospheric turbulence degraded video sequences to aid in background stabilization
Zhao Sports motion feature extraction and recognition based on a modified histogram of oriented gradients with speeded up robust features
Zhu et al. A moving infrared small target detection method based on optical flow-guided neural networks
Zhu et al. A Stereo Matching and Depth Map Acquisition Algorithm Based on Deep Learning and Improved Winner Takes All-Dynamic Programming
Wang et al. Collaborative model based uav tracking via local kernel feature
Bi [Retracted] A Motion Image Pose Contour Extraction Method Based on B‐Spline Wavelet
Sun et al. A New Method for Edge Detection Based on the Criterion of Separability.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200814