CN110175506A - 基于并行降维卷积神经网络的行人重识别方法及装置 - Google Patents
基于并行降维卷积神经网络的行人重识别方法及装置 Download PDFInfo
- Publication number
- CN110175506A CN110175506A CN201910277665.XA CN201910277665A CN110175506A CN 110175506 A CN110175506 A CN 110175506A CN 201910277665 A CN201910277665 A CN 201910277665A CN 110175506 A CN110175506 A CN 110175506A
- Authority
- CN
- China
- Prior art keywords
- layer
- denoted
- image
- convolution
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明属于机器学习技术领域,具体为一种基于并行降维卷积神经网络的行人重识别方法和装置。本发明方法包括:构建并训练基于并行降卷积核的卷积神经网络,作为特征提取模型;对已确定为待检索的目标图像和待判定的目标图像进行预处理,获得预处理的目标图像和相应的待判定图像;将目标图像和待判定图像依次输入特征提取模型,得到多个待判定行人特征向量和多个目标特征向量;根据特征向量,在待判定目标图像中寻找出与目标图像一致的行人图像。本发明采用并行卷积核减少了卷积参数,同时运用多个低维度对称卷积核和低维度非对称卷积核代替较高维度卷积核,减少了运算量,本发明的行人重识别精度远高于现有的多种行人重识别方法。
Description
技术领域
本发明属于机器学习技术领域,具体涉及行人图像重识别方法及装置。
背景技术
行人重识别是利用计算机视觉技术,对获得的图像进行特征分析,通过在跨区域的摄像头获得的图像或视频中中识别出指定目标的方法。行人重识别在安防领域是一项具有重大意义的研究工作,同时有着重要的生活应用场景潜力。
行人重识别的技术最早起源于多目标跟踪,后来逐渐发展为一个较为独立的研究领域。早期行人重识别技术通过人工选取颜色、纹理、边缘、形状等特征运用机器学习方法进行分析。但这些相应特征和方法很难对目标特征有较全面的分析,在因光线、天气等不同环境因素改变的情况下识别准确性表现不够理想。
近年来随着深度学习方法和卷积神经网络的出现和流行,相应的很多方法被应用于行人重识别的研究中,并在识别准确性上取得了一定的进展。其主要流程为利用训练集对卷积神经网络进行训练,并将训练好的卷积神经网络对目标图像进行特征提取,获取目标图像和待判定图像的特征表示向量,再通过向量相关的相似度表比较方法,便可以找出相似度最高的目标。
行人图像特征较多,手工提取特征进行描述比较困难,卷积神经网络可以有效的提取深度特征。有科研人员利用卷积神经网络在数据集Market1501上取得了较高的识别率。
然而常见的卷积神经网络模型往往随着神经网络层数和模型深度的增加,面临着参数增加和计算量增大的问题,在多层神经网络进行深度学习的过程中,面对行人重识别巨大的训练数据量,仍在一定程度上存在着参数过量、计算量过大、效率低下的问题。因而存储和计算的开销十分巨大,当应用于大规模的行人重识别时(例如待判定图像的数量巨大时)则更容易产生参数过量、模型过大和海量计算、效率低下的问题,这不仅提升了完成行人重识别所需的硬件要求,还将增加模型训练所需的时间甚至使得训练过程几乎无法完成。
发明内容
本发明的目的在于提供一种能在大规模数据集下完成行人重识别任务且计算量小的行人图像重识别方法及装置。
本发明提出的行人图像重识别方法,是基于并行降维卷积神经网络技术的,在多个不同摄像头获取的图像或视频序列中寻找出给定目标,通过增加降维卷积和非对称卷积核来代替原有对称卷积核,具体步骤如下:
步骤S1:构建基于并行降卷积核的卷积神经网络,并采用多个选自标准数据集的行人图像作为训练集,对该卷积神经网络模型进行量化训练,将训练后的卷积神经网络模型作为特征提取模型;
步骤S2:对已确定为待检索的目标图像进行预处理,获得相应的预处理的目标图像,对待判定的目标图像进行预处理,获得相应的待判定图像;
步骤S3:将预处理过的目标图像和待判定图像依次输入特征提取模型,分别得到与预处理待判定图像相对应的多个待判定行人特征向量和与预处理目标图像相对应的多个目标特征向量;
步骤S4:根据目标特征向量和待判定行人特征向量,在待判定目标图像中寻找出与目标图像一致的行人图像。
其中,步骤S1中,包含下列子步骤:
步骤S1-1,对用于作为训练集的多个现有目标行人图像进行预处理,获得尺寸统一的图像;
步骤S1-2,构建基于并行降卷积核的卷积神经网络模型,该卷积神经网络模型含有输入模块、降卷积模块、缩减模块、池化层以及全连接层;各模块主要功能为:输入模块用于输入待检测图像数据并提取相关特征,降卷积模块采用多通道并行结构进行卷积,减少图像特征参数,缩减模块对提取图像特征进行降维;各层的参数矩阵中的参数为随机设置;其结构参见图2。其中,降卷积模块分为3类,记为:降卷积模块A、降卷积模块B、降卷积模块C,缩减模块分为2类,记为:缩减模块A、缩减模块B;其中:
输入模块后是4个依次连接的降卷积模块A;降卷积模块A分为4组卷积;
降卷积模块A之后为缩减模块A,以起到池化缩减数据规模的作用,缩减模块A由3组卷积行构成;
缩减模块A之后是7个依次连接的降卷积模块B,降卷积模块B分为4路卷积通道;
降卷积模块B后接缩减模块B,缩减模块B具有池化作用;缩减模块B由3组卷积构成;
缩减模块B后接3个依次连接的降卷积模块C,降卷积模块C由5组卷积构成;
降卷积模块C后接平均池化层,之后接随机丢弃层(即Dropout层),上述各层中均含有用于计算向下一层传递的数据的计算权重数值(即参数)。下面进行卷积神经网络模型训练:
步骤S1-3,将预处理过后的行人图像作为训练集,输入卷积神经网络模型;
步骤S1-4,将卷积神经网络模型进行向前传递计算误差;
步骤S1-5,采用反向传播方法传递误差更新参数;
步骤S1-6,重复步骤S1-3至步骤S1-5,直至达到训练要求条件,得到训练后的卷积神经网络,作为特征提取模型。
本发明中,所述卷积神经网络具有这样的技术特征,在同一层卷积层中加入有并行的卷积核,使单层卷积可以提取不同稀疏程度的参数属性,增加网络宽度,同时增加网络的适应性。
本发明中,所述卷积神经网络还具有这样的技术特征,卷积神经网络的卷积核由常用的m×m改为由2个n×n(n<m)卷积核代替,可获得相同视野的同时减少卷积层的参数数量,同时也增加神经网络的深度。
本发明中,所述卷积神经网络还具有这样的技术特征,对尺寸大于5×5的较大的n×n的对称卷积核用1×n和n×1的非对称卷积核相结合来代替,可在提取特征数量不变的前提下进一步减少参数数量和计算量,获得了更好的训练效果。
本发明中,所述卷积神经网络还具有这样的技术特征,降卷积核模块分为3类,每一类各有多组卷积,缩减模块分为2类,每一类各有多组卷积。
本发明中,在步骤S-1的每一层卷积层的输出都进行批标准化,将每一层的输出都规范化到一个N(0,1)的正态分布,防止反向传播过程中出现梯度消失问题。
本发明中,在步骤S1中的3×3和5×5卷积层之前添加额外的1×1卷积层,限制输入信道的数量,减小计算量。
本发明中,在步骤S1-3中引入专用的缩减模块,用于改变网格的宽度和高度,减小输出的维度和训练的相关参数数量。
本发明中,步骤S1-6中的训练完成条件为:完成了预定的循环次数、参数已经收敛或消除了训练误差。
本发明还包括基于上述方法的行人重识别装置,其包括:卷积神经网络模型构建、训练模块,待判定图像以及目标图像预处理模块,特征提取模块,以及一致性判定模块。这四个模块执行功能依次对于行人重识别方法中步骤S1、步骤S2、步骤S3、步骤S4的操作。
本发明方法采用并行卷积核减少了卷积参数,同时运用多个低维度对称卷积核和低维度非对称卷积核代替较高维度卷积核,减少了运算参数数量和运算计算量,使模型计算可以较快完成,相应的特征向量提取和行人重识别模型的训练速度得到提升,本方法在数据集上得到的行人重识别精度远高于现有的多种行人重识别方法,同时减少了计算量和计算时间。
附图说明
图1是本发明实施例的基于并行降卷积核卷积神经网络的行人重识别方法的流程图。
图2是本发明实施例的卷积神经网络结构图示。
图3是本发明实施例的降卷积模块A图示。
图4是本发明实施例的降卷积模块B图示。
图5是本发明实施例的降卷积模块C图示。
图6是本发明实施例的缩减模块A图示。
图7是本发明实施例的缩减模块B图示。
具体实施方式
以下结合附图以及实施例来说明本发明的具体实施方式。
本实施例中的模型构建等均在Linux平台上实现,该平台具有至少一张图形处理单元GPU卡的支持。
图1是本发明实施例的基于并行降卷积核的卷积神经网络的流程图。基于并行降卷积核神经网络的行人重识别方法,包括如下步骤:
步骤S1,卷积神经网络模型的构建及训练。即构建基于并行降卷积核的卷积神经网络模型,并采用多个现有行人图像对卷积网络模型进行训练,得到训练后卷积神经网络模型作为特征提取模型。该模型构建及训练包含下列步骤:
步骤S1-1:对用作于训练集的多个现有行人图像进行预处理,从而获得大小统一并且分别与现有行人图像相对应的预处理训练图像。
本实施例中,作为训练集的图像来自于数据集Market1501,数据集共有1501个行人ID,其中包含750个训练ID和751个待检索测试ID,训练数据集包含12936张图片,由6个不同区域的摄像头进行拍摄,并对不同的摄像头分别进行编号,输入图像格式为128×64。预处理包括如下步骤:
步骤S1-1-1:对待处理图像进行人脸检测,找出其中的人脸位置。本实施例中,采用现有技术中Faster-RCNN来检测图像中的行人。
步骤S1-1-2:检测步骤S1-1-1找出的人行人中的多个关键位置点,即至少包括头部、躯干以及四肢在内的关键位置点。
步骤S1-1-3,根据关键位置点对待处理图像进行对齐操作,并将待处理图像进行尺寸统一化(即调整为统一尺寸)。本实施例中,待处理图像的对齐操作均依据头部、躯干以及四肢在内的关键点进行,在对齐后各个待处理图像就通过通常的图像调整手段被统一调整为299×299像素的尺寸。另外,各个待处理图像的通道数均不作改变。
步骤S1-1-4,将尺寸统一化后的待处理图像进行剪裁,得到对应的预处理图像。
步骤S1-2,构建模型。本实施例中所采用的模型为基于并行降卷积核的卷积神经网络,该卷积神经网络模型含有输入模块、降卷积模块、缩减模块以及全连接模块。其结构参见图2。其中,降卷积模块分为3类,记为:降卷积模块A、降卷积模块B、降卷积模块C,缩减模块分为2类,记为:缩减模块A、缩减模块B。
卷积神经网络先将数据输入输入模块,输入模块后是4个依次连接的降卷积模块A。降卷积模块A分为4组卷积:LA1,LA2,LA3,LA4。其中LA1第一层为平均池化层P1,第二层为卷积层LA1C1。LA2只含一层卷积层LA2C1。LA3第一层为卷积层LA3C1,第二层为卷积层LA3C2。LA4第一层为卷积层LA4C1,第二层为LA4C2,第三层为LA4C3。
降卷积模块A之后加上缩减模块A,以起到池化缩减数据规模的作用,将输入的35×35像素值数据池化为17×17大小。缩减模块A由3组卷积行构成,分别为:RA1,RA2,RA3。其中RA1为最大池化层P2,RA2为卷积层RA2C1,RA3第一层为卷积层RA3C1,第二层为卷积层RA3C2,第三层为卷积层RA3C3。
缩减模块A之后是7个依次连接的降卷积模块B,降卷积模块B分为4路卷积通道:LB1,LB2,LB3,LB4。其中,LB1第一层为平均池化层P3,第二层为卷积层LB1C1。LB2只含一层卷积层LB2C1。LB3第一层为卷积层LB3C1,第二层为卷积层LB3C2,第三层为卷积层LB3C3。LB4第一层为卷积层LB4C1,第二层为LB4C2,第三层为LB4C3,第四层为LB4C4。
降卷积模块B后接缩减模块B,缩减模块B具有池化作用;将输入缩减模块B的17×17像素块缩减为8×8大小。缩减模块B由3组卷积:RB1、RB2、RB3组成。其中RB1为最大池化层P4,RB2第一层为卷积层RB2C1,第二层为RB2C2。RB3第一层为卷积层RB3C1,第二层为卷积层RB3C2,第三层为卷积层RB3C3,第四层为卷积层RB3C4。
缩减模块B后接3个依次连接的降卷积模块C,降卷积模块C由5组卷积:LC1、LC2、LC3、LC4、LC5组成。其中,LC1第一层为平均池化层P5,第二层为卷积层LC1C1。LC2只含一层卷积层LC2C1。LC3第一层为卷积层LC3C1,第二层为2组并行卷积LC3C21和LC3C22。LC4第一层为卷积层LC4C1,第二层为LC4C2,第三层为LC4C3,第四层为2组并行卷积LC4C41和LC4C42。
降卷积模块C后接平均池化层,之后接随机丢弃层(即Dropout层),上述各层中均含有用于计算向下一层传递的数据的计算权重数值(即参数)。
本实施例中卷积神经网络模型各层参数如下表1所示。
表1
层名 | 参数 |
输入层 | 299×299×3 |
P1 | 池化区间2×2,平均池化 |
LA1C1 | 卷积核1×1,通道96,移动步长1 |
LA2C1 | 卷积核1×1,通道96,移动步长1 |
LA3C1 | 卷积核1×1,通道64,移动步长1 |
LA3C2 | 卷积核3×3,通道96,移动步长1 |
LA4C1 | 卷积核1×1,通道64,移动步长1 |
LA4C2 | 卷积核3×3,通道96,移动步长1 |
LA4C3 | 卷积核3×3,通道96,移动步长1 |
P2 | 池化区间3×3,最大池化,移动步长2 |
RA2C1 | 卷积核3×3,通道384,移动步长2 |
RA3C1 | 卷积核1×1,通道192,移动步长1 |
RA3C2 | 卷积核3×3,通道224,移动步长1 |
RA3C3 | 卷积核3×3,通道256,移动步长2 |
P3 | 池化区间2×2,平均池化 |
LB1C1 | 卷积核1×1,通道128,移动步长1 |
LB2C1 | 卷积核1×1,通道384,移动步长1 |
LB3C1 | 卷积核1×1,通道192,移动步长1 |
LB3C2 | 卷积核1×7,通道224,移动步长1 |
LB3C3 | 卷积核7×1,通道256,移动步长1 |
LB4C1 | 卷积核1×1,通道192,移动步长1 |
LB4C2 | 卷积核1×7,通道192,移动步长1 |
LB4C3 | 卷积核7×1,通道224,移动步长1 |
LB4C4 | 卷积核1×7,通道224,移动步长1 |
LB4C5 | 卷积核7×1,通道256,移动步长1 |
P4 | 池化区间3×3,最大池化,移动步长2 |
RB2C1 | 卷积核1×1,通道192,移动步长1 |
RB2C2 | 卷积核3×3,通道192,移动步长2 |
RB3C1 | 卷积核1×1,通道256,移动步长1 |
RB3C2 | 卷积核1×7,通道256,移动步长1 |
RB3C3 | 卷积核7×1,通道320,移动步长1 |
RB3C4 | 卷积核3×3,通道320,移动步长2 |
P5 | 池化区间2×2,平均池化 |
LC1C1 | 卷积核1×1,通道256,移动步长1 |
LC2C1 | 卷积核1×1,通道256,移动步长1 |
LC3C1 | 卷积核1×1,通道384,移动步长1 |
LC3C21 | 卷积核1×3,通道256,移动步长1 |
LC3C22 | 卷积核3×1,通道256,移动步长1 |
LC4C1 | 卷积核1×1,通道384,移动步长1 |
LC4C2 | 卷积核1×3,通道448,移动步长1 |
LC4C3 | 卷积核3×1,通道512,移动步长1 |
LC4C41 | 卷积核1×1,通道256,移动步长1 |
LC4C42 | 卷积核1×3,通道256,移动步长1 |
P6 | 输出1024维 |
Dropout | 随机丢弃比例0.5 |
FC6 | 输出10575维 |
从表1中可看出,本实施例模型构建完成后,即可采用训练集对其进行训练。
步骤S1-3,将预处理训练图像作为训练集输入卷积神经网络模型。
步骤S1-4,将卷积神经网络模型中进行前向传递并计算训练误差。
步骤S1-5,采用反向传播算法传递误差更新参数,即根据训练误差在模型中进行反向传播计算,并逐渐调整各层参数,使得训练误差逐渐降低。
步骤S1-6,重复步骤S1-3至步骤S1-5,直至达到了完成训练的条件(即完成了预定的循环次数、参数已经收敛或基本消除了训练误差),得到训练后的卷积神经网络模型,作为特征提取模型。
为了方便图像输入、加快模型训练速度,本实施例的上述训练过程采用了分批输入处理的方式。即,将训练集的图像分为203个批次、每批次输入64张图像,然后每批次分别进行步骤S1-4~步骤S1-5的处理;全部批次均完成输入及处理后,一次循环就完成了,随后即可进行下一个循环的分批次输入处理过程。
本实施例中,循环总次数为200次。另外,在输入时模型的初始学习率设置为0.003,并在40、80和110个循环时分别缩小10倍。模型采用Softmax损失函数进行监督,通过步骤S1-5的设置进行反向传播更新参数。
经过上述步骤,本实施例的卷积神经网络模型就完成了构建及训练,可以用于进行行人重识别了。本实施例中,训练后的上述卷积神经网络模型作为一种特征提取部,用于进行目标图像和待判定图像的特征向量提取,得到的特征向量即可用于判定目标图像与各个待判定图像的相似程度,从而找出多个待判定图像中与目标图像一致的行人图像。
将目标图像和待判定图像输入训练好的模型前还需要进行相应的预处理,以获得尺寸大小一致的图像,即步骤S2:对目标图像进行预处理获得预处理目标图像,并对待判定图像进行预处理获得对应的预处理待判定图像。
本实施例中,采用Market1501数据集作为测试数据集,该Market1501数据集包含750人的共19281张图像。
这些待判定图像及目标图像在输入训练好的模型前同样需要进行预处理,该预处理过程与作为训练集的行人图像的预处理过程(即步骤)基本相同,包括如下步骤:
步骤S2-1,对待处理图像进行行人检测,找出其中的行人位置;
步骤S2-2,检测步骤S2-1找出的行人人体的至少包括头部、躯干以及四肢在内的多个关键位置点;
步骤S2-3,根据关键位置点对待处理图像进行对齐操作并将待处理图像进行尺寸统一化;
步骤S2-4,将尺寸统一化后的待处理图像进行中心剪裁,得到对应的预处理图像。本实施例中,与训练集不同,作为测试集的各个行人图像的采用中心剪裁。
上述待判定图像及目标图像经过预处理后即可进行特征提取及判定,即如下步骤:
步骤S3,将预处理待判定图像及预处理目标图像依次输入特征提取模型,从而得到分别与预处理待判定图像相对应的多个待判定特征向量以及与预处理目标图像相对应的目标特征向量。
步骤S4,根据目标特征向量以及待判定向量判定出待判定图像中的与目标图像一致的行人图像。
本实施例中,为了方便进行训练后模型判定精度的考察,将预处理目标图像及对应的预处理待判定图像(即经过预处理后得到的图像)设置为图片对。在分别输入模型得到对应的特征向量后,采用余弦距离来对一个图片对中的两个特征向量的相似度进行计算,当计算得到的余弦距离大于预设值时,则判定图片对中的目标图像及待判定图像中不是同一个人,而小于预设值时则判定二者中的为同一个人。
显然,由于图片对中的待判定仅仅是目标图像翻转后形成的,因此实际上二者均为同一个人。当经过上述图像预处理、输入模型获得特征向量、计算余弦距离并判定的过程后,若一个图片对的判定结果为不是同一个人,则说明该次人脸识别结果有误,而若判定结果为同一个人,则说明该次行人识别结果是正确的。
表2是本发明实施例的基于并行降卷积核神经网络的行人重识别方法的判定精度结果,以及与现有常用方法模型精度的对比。其中,“Inception V1”,“Inception V2”,“Alexnet”,“densenet”均是常用的图像识别神经网络。
表2
。
本实施例的基于并行降卷积核神经网络的行人重识别方法识别精度较高,超过了现有技术中常用的行人重识别方法的精度。
实施例作用与效果
根据本实施例,通过对维度卷积核进行并行分解,同时将高维度卷积核用多个对称或非对称低维度卷积代替,大大减少了需要计算的参数数量和计算时间,使得模型训练能够更快完成,并且采用训练后的模型进行的特征向量提取也能够更快完成,从而让行人重识别的模型训练速度、目标图像和待判定图像的特征提取速度均得到加快。
上述实施例仅用于举例说明本发明的具体实施方式,并非对本发明的限定。
根据该方法,本发明也可以提供相应的行人重识别装置,包括:经过上述构建及训练得到的卷积神经网络模型进行封装形成卷积神经网络模型构建及训练模块,用于对待判定图像以及目标图像进行预处理的预处理模块,用于特征提取的特征提取模块,以及根据特征提取模块提取出的目标特征向量和待判定向量进行一致性判定的一致判定模块。这四个模块的功能依次对于执行行人重识别方法的步骤S1、步骤S2、步骤S3、步骤S4的操作。
实施例中,目标图像与待判定图像之间是否一致是通过二者的特征向量之间的余弦距离计算来判定的。在本发明中,也可以利用其他的向量距离计算方式来判定目标图像与待判定图像之间的一致性。
实施例中,为了方便图像输入、加快模型训练速度,训练过程采用了分批输入处理的方式。但在采用图像数量不多的其他训练集时,也可以不采用分批输入处理的方式,而是直接将训练集全部输入,然后进行步骤S1-4~步骤S1-5的处理过程。
Claims (12)
1.一种基于并行降维卷积神经网络的行人重识别方法,其特征在于,具体步骤如下:
步骤S1:构建基于并行降卷积核的卷积神经网络,并采用多个选自标准数据集的行人图像作为训练集,对该卷积神经网络模型进行量化训练,将训练后的卷积神经网络模型作为特征提取模型;
步骤S2:对已确定为待检索的目标图像进行预处理,获得相应的预处理的目标图像,对待判定的目标图像进行预处理,获得相应的待判定图像;
步骤S3:将预处理过的目标图像和待判定图像依次输入特征提取模型,分别得到与预处理待判定图像相对应的多个待判定行人特征向量和与预处理目标图像相对应的多个目标特征向量;
步骤S4:根据目标特征向量和待判定行人特征向量,在待判定目标图像中寻找出与目标图像一致的行人图像。
2.根据权利要求1所述的行人重识别方法,其特征在于,步骤S1中包含下述子步骤:
步骤S1-1,对用于作为训练集的多个现有目标行人图像进行预处理,获得尺寸统一的图像;
步骤S1-2,构建基于并行降卷积核的卷积神经网络模型,该卷积神经网络模型含有输入模块、降卷积模块、缩减模块、池化层以及全连接层;其中,输入模块用于输入待检测图像数据并提取相关特征;降卷积模块采用多通道并行结构进行卷积,以减少图像特征参数;缩减模块对提取图像特征进行降维;各层的参数矩阵中的参数为随机设置;其中,降卷积模块分为3类,记为:降卷积模块A、降卷积模块B、降卷积模块C,缩减模块分为2类,记为:缩减模块A、缩减模块B;
输入模块后是4个依次连接的降卷积模块A;降卷积模块A分由4组卷积组成;
降卷积模块A之后为缩减模块A,以起到池化缩减数据规模的作用,缩减模块A由3组卷积行构成;
缩减模块A之后是7个依次连接的降卷积模块B,降卷积模块B分为4路卷积通道;
降卷积模块B后接缩减模块B,缩减模块B具有池化作用;缩减模块B由3组卷积构成;
缩减模块B后接3个依次连接的降卷积模块C,降卷积模块C由5组卷积构成;
降卷积模块C后接平均池化层,之后接随机丢弃层,上述各层中均含有用于计算向下一层传递的数据的计算权重数值;
步骤S1-3,将预处理过后的行人图像作为训练集,输入卷积神经网络模型;
步骤S1-4,将卷积神经网络模型进行向前传递计算误差;
步骤S1-5,采用反向传播方法传递误差更新参数;
步骤S1-6,重复步骤S1-3至步骤S1-5,直至达到训练要求条件,得到训练后的卷积神经网络,作为特征提取模型。
3.根据权利要求2所述的行人重识别方法,其特征在于,步骤S1-1,包括如下子步骤:
步骤S1-1-1:对待处理图像进行人脸检测,找出其中的人脸位置;
步骤S1-1-2:检测步骤S1-1-1找出的人行人中的多个关键位置点,所述关键位置点至少包括头部、躯干以及四肢在内的关键位置点;
步骤S1-1-3,根据关键位置点对待处理图像进行对齐操作,并将待处理图像进行尺寸统一;
步骤S1-1-4,对尺寸统一后的待处理图像进行剪裁,得到对应的预处理图像。
4.根据权利要求2所述的行人重识别方法,其特征在于,步骤S1.2中:
所述降卷积模块A分为4组卷积,分别记为:LA1,LA2,LA3,LA4;LA1中,第一层为平均池化层,记为P1,第二层为卷积层,记为LA1C1;LA2只含一层卷积层,记为LA2C1;LA3中,第一层为卷积层,记为LA3C1,第二层为卷积层,记为LA3C2;LA4中,第一层为卷积层,记为LA4C1,第二层为卷积层,记为LA4C2,第三层为卷积层,记为LA4C3;
所述降卷积模块B分为4路卷积通道,分别记为LB1,LB2,LB3,LB4;LB1中,第一层为平均池化层,记为P3,第二层为卷积层,记为LB1C1;LB2只含一层卷积层,记为LB2C1;LB3中,第一层为卷积层,记为LB3C1,第二层为卷积层,记为LB3C2,第三层为卷积层,记为LB3C3;LB4中,第一层为卷积层,记为LB4C1,第二层为卷积层,记为LB4C2,第三层为卷积层,记为LB4C3,第四层为卷积层,记为LB4C4;
所述降卷积模块C由5组卷积组成,分别记为:LC1、LC2、LC3、LC4、LC5;LC1中,第一层为平均池化层,记为P5,第二层为卷积层,记为LC1C1;LC2只含一层卷积层,记为LC2C1;LC3中,第一层为卷积层,记为LC3C1,第二层为2组并行卷积,记为LC3C21和LC3C22;LC4中,第一层为卷积层,记为LC4C1,第二层为卷积层,记为LC4C2,第三层为卷积层,记为LC4C3,第四层为2组并行卷积,记为LC4C41和LC4C42;
所述缩减模块A由3组卷积行构成,分别记为:RA1,RA2,RA3;RA1为最大池化层,记为P2,RA2为卷积层,记为RA2C1,RA3中,第一层为卷积层,记为RA3C1,第二层为卷积层,记为RA3C2,第三层为卷积层,记为RA3C3;
所说缩减模块B由3组卷积组成,分别记为:RB1、RB2、RB3;RB1为最大池化层,记为P4,RB2中,第一层为卷积层,记为RB2C1,第二层为卷积层,记为RB2C2;RB3中,第一层为卷积层,记为RB3C1,第二层为卷积层,记为RB3C2,第三层为卷积层,记为RB3C3,第四层为卷积层,记为RB3C4。
5.根据权利要求4所述的行人重识别方法,其特征在于,所述卷积神经网络中,在同一层卷积层中加入有并行的卷积核,使单层卷积可以提取不同稀疏程度的参数属性,增加网络宽度,同时增加网络的适应性。
6.根据权利要求4所述的行人重识别方法,其特征在于,所述卷积神经网络中,卷积神经网络的卷积核由常用的m×m改为由2个n×n卷积核代替,n<m,以获得相同视野的同时减少卷积层的参数数量,同时也增加神经网络的深度。
7.根据权利要求4所述的行人重识别方法,其特征在于,所述卷积神经网络中,对尺寸大于5×5的较大的n×n的对称卷积核用1×n和n×1的非对称卷积核相结合来代替,在提取特征数量不变的前提下进一步减少参数数量和计算量,获得更好的训练效果。
8.根据权利要求4所述的行人重识别方法,其特征在于,卷积神经网络模型各层参数如下表所示:
9.根据权利要求4所述的行人重识别方法,其特征在于,对步骤S-1的每一层卷积层的输出都进行批标准化,将每一层的输出都规范化到一个N(0,1)的正态分布。
10.根据权利要求2所述的行人重识别方法,其特征在于,步骤S1-6中的训练完成条件为:完成预定的循环次数、参数已经收敛或消除了训练误差。
11.根据权利要求1所述的行人重识别方法,其特征在于,步骤S2包括如下子步骤:
步骤S2-1,对待处理图像进行行人检测,找出其中的行人位置;
步骤S2-2,检测步骤S2-1找出的行人人体的至少包括头部、躯干以及四肢在内的多个关键位置点;
步骤S2-3,根据关键位置点对待处理图像进行对齐操作并将待处理图像进行尺寸统一化;
步骤S2-4,将尺寸统一化后的待处理图像进行中心剪裁,得到对应的预处理图像。
12.基于权利要求1-11之一所述方法的行人重识别装置,其特征在于,包括:卷积神经网络模型构建、训练模块,待判定图像以及目标图像预处理模块,特征提取模块,以及一致性判定模块;这四个模块执行功能依次对应于行人重识别方法中步骤S1、步骤S2、步骤S3、步骤S4的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910277665.XA CN110175506B (zh) | 2019-04-08 | 2019-04-08 | 基于并行降维卷积神经网络的行人重识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910277665.XA CN110175506B (zh) | 2019-04-08 | 2019-04-08 | 基于并行降维卷积神经网络的行人重识别方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110175506A true CN110175506A (zh) | 2019-08-27 |
CN110175506B CN110175506B (zh) | 2023-01-06 |
Family
ID=67689490
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910277665.XA Active CN110175506B (zh) | 2019-04-08 | 2019-04-08 | 基于并行降维卷积神经网络的行人重识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110175506B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111311599A (zh) * | 2020-01-17 | 2020-06-19 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
CN111680595A (zh) * | 2020-05-29 | 2020-09-18 | 新疆爱华盈通信息技术有限公司 | 一种人脸识别方法、装置及电子设备 |
CN112529767A (zh) * | 2020-12-01 | 2021-03-19 | 平安科技(深圳)有限公司 | 图像数据处理方法、装置、计算机设备和存储介质 |
CN112818797A (zh) * | 2021-01-26 | 2021-05-18 | 厦门大学 | 一种面向在线考试答卷文档图像的一致性检测方法和存储设备 |
CN113052008A (zh) * | 2021-03-01 | 2021-06-29 | 深圳市捷顺科技实业股份有限公司 | 一种车辆重识别方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020010691A1 (en) * | 2000-03-16 | 2002-01-24 | Chen Yuan Yan | Apparatus and method for fuzzy analysis of statistical evidence |
CN102496289A (zh) * | 2011-12-09 | 2012-06-13 | 浙江省交通规划设计研究院 | 一种基于待行人数的路段行人过街感应控制方法 |
CN104899561A (zh) * | 2015-05-27 | 2015-09-09 | 华南理工大学 | 一种并行化的人体行为识别方法 |
US20160048741A1 (en) * | 2014-08-12 | 2016-02-18 | Siemens Aktiengesellschaft | Multi-layer aggregation for object detection |
CN106651830A (zh) * | 2016-09-28 | 2017-05-10 | 华南理工大学 | 一种基于并行卷积神经网络的图像质量测试方法 |
CN107657249A (zh) * | 2017-10-26 | 2018-02-02 | 珠海习悦信息技术有限公司 | 多尺度特征行人重识别的方法、装置、存储介质及处理器 |
CN108647595A (zh) * | 2018-04-26 | 2018-10-12 | 华中科技大学 | 基于多属性深度特征的车辆重识别方法 |
CN108961245A (zh) * | 2018-07-06 | 2018-12-07 | 西安电子科技大学 | 基于双通道深度并行卷积网络的图像质量分类方法 |
CN109508675A (zh) * | 2018-11-14 | 2019-03-22 | 广州广电银通金融电子科技有限公司 | 一种针对复杂场景的行人检测方法 |
-
2019
- 2019-04-08 CN CN201910277665.XA patent/CN110175506B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020010691A1 (en) * | 2000-03-16 | 2002-01-24 | Chen Yuan Yan | Apparatus and method for fuzzy analysis of statistical evidence |
CN102496289A (zh) * | 2011-12-09 | 2012-06-13 | 浙江省交通规划设计研究院 | 一种基于待行人数的路段行人过街感应控制方法 |
US20160048741A1 (en) * | 2014-08-12 | 2016-02-18 | Siemens Aktiengesellschaft | Multi-layer aggregation for object detection |
CN104899561A (zh) * | 2015-05-27 | 2015-09-09 | 华南理工大学 | 一种并行化的人体行为识别方法 |
CN106651830A (zh) * | 2016-09-28 | 2017-05-10 | 华南理工大学 | 一种基于并行卷积神经网络的图像质量测试方法 |
CN107657249A (zh) * | 2017-10-26 | 2018-02-02 | 珠海习悦信息技术有限公司 | 多尺度特征行人重识别的方法、装置、存储介质及处理器 |
CN108647595A (zh) * | 2018-04-26 | 2018-10-12 | 华中科技大学 | 基于多属性深度特征的车辆重识别方法 |
CN108961245A (zh) * | 2018-07-06 | 2018-12-07 | 西安电子科技大学 | 基于双通道深度并行卷积网络的图像质量分类方法 |
CN109508675A (zh) * | 2018-11-14 | 2019-03-22 | 广州广电银通金融电子科技有限公司 | 一种针对复杂场景的行人检测方法 |
Non-Patent Citations (2)
Title |
---|
江彤彤等: "基于卷积神经网络多层特征提取的目标识别", 《计算机***应用》 * |
马文楷: "融合主成分分析与并行混合的卷积神经网络", 《电脑知识与技术》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111311599A (zh) * | 2020-01-17 | 2020-06-19 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
CN111311599B (zh) * | 2020-01-17 | 2024-03-26 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
CN111680595A (zh) * | 2020-05-29 | 2020-09-18 | 新疆爱华盈通信息技术有限公司 | 一种人脸识别方法、装置及电子设备 |
CN112529767A (zh) * | 2020-12-01 | 2021-03-19 | 平安科技(深圳)有限公司 | 图像数据处理方法、装置、计算机设备和存储介质 |
CN112529767B (zh) * | 2020-12-01 | 2023-07-25 | 平安科技(深圳)有限公司 | 图像数据处理方法、装置、计算机设备和存储介质 |
CN112818797A (zh) * | 2021-01-26 | 2021-05-18 | 厦门大学 | 一种面向在线考试答卷文档图像的一致性检测方法和存储设备 |
CN112818797B (zh) * | 2021-01-26 | 2024-03-01 | 厦门大学 | 一种面向在线考试答卷文档图像的一致性检测方法和存储设备 |
CN113052008A (zh) * | 2021-03-01 | 2021-06-29 | 深圳市捷顺科技实业股份有限公司 | 一种车辆重识别方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110175506B (zh) | 2023-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110175506A (zh) | 基于并行降维卷积神经网络的行人重识别方法及装置 | |
CN111259850B (zh) | 一种融合随机批掩膜和多尺度表征学习的行人重识别方法 | |
CN109101930B (zh) | 一种人群计数方法及*** | |
Suryawati et al. | Deep structured convolutional neural network for tomato diseases detection | |
CN108596143A (zh) | 基于残差量化卷积神经网络的人脸识别方法及装置 | |
CN108491849A (zh) | 基于三维稠密连接卷积神经网络的高光谱图像分类方法 | |
CN109190643A (zh) | 基于卷积神经网络中药识别方法及电子设备 | |
CN113159300B (zh) | 图像检测神经网络模型及其训练方法、图像检测方法 | |
CN109754017A (zh) | 基于可分离的三维残差网络和迁移学习高光谱图像分类方法 | |
Varga et al. | Fully automatic image colorization based on Convolutional Neural Network | |
CN109993164A (zh) | 一种基于rcrnn神经网络的自然场景文字识别方法 | |
CN108090403A (zh) | 一种基于3d卷积神经网络的人脸动态识别方法及*** | |
CN106709453A (zh) | 一种基于深度学习的体育视频关键姿态提取方法 | |
CN110334675B (zh) | 一种基于人体骨骼关键点分割和列卷积的行人重识别方法 | |
Qi et al. | Tea chrysanthemum detection under unstructured environments using the TC-YOLO model | |
CN107992938A (zh) | 基于正反卷积神经网络的时空大数据预测方法和*** | |
CN113191222B (zh) | 水下鱼类目标检测方法及装置 | |
CN109919246A (zh) | 基于自适应特征聚类和多重损失融合的行人重识别方法 | |
CN106991428A (zh) | 基于自适应池化模型的害虫图像识别方法 | |
CN112183448B (zh) | 一种基于三级分类和多尺度fcn的脱荚大豆图像分割方法 | |
CN110363218A (zh) | 一种胚胎无创评估方法及装置 | |
Wang | Multi-path convolutional neural networks for complex image classification | |
Modasshir et al. | Mdnet: Multi-patch dense network for coral classification | |
CN109766742A (zh) | 一种玉米籽裂纹识别方法、装置、***、设备和存储介质 | |
CN106683043A (zh) | 一种多通道光学探测***的并行图像拼接方法、装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |