CN111783753B - 基于语义一致水平条和前景修正的行人重识别方法 - Google Patents
基于语义一致水平条和前景修正的行人重识别方法 Download PDFInfo
- Publication number
- CN111783753B CN111783753B CN202010918791.1A CN202010918791A CN111783753B CN 111783753 B CN111783753 B CN 111783753B CN 202010918791 A CN202010918791 A CN 202010918791A CN 111783753 B CN111783753 B CN 111783753B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- features
- image
- foreground
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012937 correction Methods 0.000 title claims abstract description 30
- 238000012549 training Methods 0.000 claims description 64
- 238000000605 extraction Methods 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 9
- 230000009191 jumping Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 abstract description 4
- 238000003909 pattern recognition Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 239000013598 vector Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉和模式识别领域，具体涉及一种基于语义一致水平条和前景修正的行人重识别方法，旨在解决现有的行人重实别方法重实别鲁棒性较差的问题。本发明方法包括：获取待识别的图像，作为输入图像；提取输入图像的特征，作为第一特征；基于第一特征，通过行人重识别模型中的行分类器分别获取输入图像中行人对应的前景特征作为第二特征，获取输入图像中行人各设定部位水平条区域的特征作为第三特征；将将第二特征与第三特征进行点对点相乘，并与第一特征拼接，得到第四特征；计算第四特征与图像库中各图像对应特征的欧式距离并排序，将排序结果作为重识别结果进行输出。本发明提高了行人重识别的鲁棒性。
Description
技术领域
本发明属于计算机视觉和模式识别领域，具体涉及一种基于语义一致水平条和前景修正的行人重识别方法、***、装置。
背景技术
行人重识别属于图像检索领域的一个子问题。给定一个行人图像，行人重识别任务旨在找到其他场景下的该行人图像。但是由于视角的变换、姿态的差异和物体的遮挡，导致人体的部位可能出现在图片的任何位置。因此，学习一种能够有效定位人体各个部位，并单独提取出有足够判别力的部位特征是十分重要的。
现有的基于部位对齐的行人重识别大概有四类：基于水平条的方法、基于包围框的方法、基于注意力的方法和基于额外语义信息的方法。这其中，基于水平条方法因其方便快捷和相对较高的性能而尤其流行。其中，比较流行的有PCB、MGN、Pyramid等。PCB (YifanSun, Liang Zheng,Yi Yang,Qi Tian,Shengjin Wang.Beyond Part Models: PersonRetrieval with Refined Part Pooling (and A Strong Convolutional Baseline).ECCV, 2018)最早提出将行人图片划分成等高度得水平条，然后单独对每一个水平条进行平均池化得到特征，并单独计算损失。MGN (Guanshuo Wang, Yufeng Yuan, Xiong Chen,Jiwei Li.Learning discriminative features with multiple granularities forperson re-identification. ACM MM, 2018)和Pyramid(Zheng F , Deng C , Sun X ,et al. Pyramidal Person Re-IDentification via Multi-Loss Dynamic Training.CVPR, 2019.)在PCB的基础上，设计了多粒度和有重叠的水平条，大大提升了算法的鲁棒性。但是，以上方法都没有解决以下两个问题：(1)水平条高度和位置固定。由于姿态、视角的差异和遮挡等问题的影响，并不能保证每一个水平条内的语义都是一致的。但是以上方法采用固定水平条，并没有尝试解决这个问题。(2)背景噪声的干扰。在每个水平条的内部，不可避免地会有背景信息的干扰，如何去除水平条内部的背景噪音，目前还没有方法能够解决。基于此，本发明提出了一种基于语义一致水平条和前景修正的行人重识别方法。
发明内容
为了解决现有技术中的上述问题，即为了解决现有的行人重识别方法由于水平条高度和位置固定、未消除背景噪声，导致重识别鲁棒性较差的问题，本发明提出了一种基于语义一致水平条和前景修正的行人重识别方法，该方法包括：
步骤S10，获取待识别的图像，作为输入图像；
步骤S20，通过行人重识别模型的特征提取层提取所述输入图像的特征，作为第一特征；
步骤S30，基于所述第一特征，通过行人重识别模型中预训练的行分类器分别获取所述输入图像中行人对应的前景特征作为第二特征，获取所述输入图像中行人各设定部位水平条区域的特征作为第三特征；
步骤S40，将所述第二特征与所述第三特征进行点对点相乘，并与所述第一特征拼接，得到第四特征；
步骤S50，计算所述第四特征与图像库中各图像对应特征的欧式距离并进行排序，将排序结果作为重识别结果进行输出；
其中，所述行人重识别模型基于深度卷积神经网络构建；所述行分类器基于全连接层和softmax层构建。
在一些优选的实施方式中，所述行分类器，其训练方法为：
步骤A10，获取训练样本图像集；
步骤A20，对所述训练样本图像集中的任一图像，提取其行特征并池化，得到其对应的平均特征；
步骤A30，判断当前的迭代次数M是否为N的倍数，若是，则执行步骤A40，否则跳转步骤A50；其中，N、M为自然数；
步骤A40，提取所述训练样本集中各训练样本图像的行特征，通过自相似聚类获取各设定部位对应的伪标签，并执行步骤A50；
步骤A50，计算步骤A20获取的局部特征与所述伪标签的损失，并对所述行分类器进行参数更新。
在一些优选的实施方式中，所述自相似聚类为k-means聚类方法。
在一些优选的实施方式中，“通过行人重识别模型中预训练的行分类器分别获取所述输入图像中行人对应的前景特征作为第二特征”，其方法为：
通过所述行分类器获取所述输入图像中各像素点对人体前景语义的置信度；
将置信度大于第一设定阈值的像素点作为前景像素，将直线度小于第二设定阈值的像素点作为背景像素；
基于提取的前景像素构建的特征作为所述输入图像中行人对应的前景特征。
在一些优选的实施方式中，“通过行人重识别模型中预训练的行分类器获取所述输入图像中行人各设定部位水平条区域的特征作为第三特征”，其方法为：
通过行分类器对所述输入图像进行语义分割，得到所述输入图像中行人各设定部位水平条区域的置信图；
将各置信图分别与所述第一特征进行点对点乘积运算，得到所述输入图像中行人各设定部位水平条区域的特征。
在一些优选的实施方式中，所述行人重识别模型，其在训练时的损失函数为：
其中，
表示行人重识别模型的损失值，
表示行人重识别模型在训练时
一批次的训练样本图像的数量，
表示批次，
表示行人重识别模型在训练时一批次
的训练样本图像中的任一图像，
表示图像集A中图像特征与的
的特征欧式距离最大的一
张训练样本图像，
表示图像集B中图像特征与
的特征的欧式距离最小的一张训练样本图
像，
表示预设的距离间隔，
表示包含与
相同ID的所有图像的图像集，
表示当前批次
中除了
中包含的图像外所有图像构建的图像集，
表示欧氏距离。
本发明的第二方面，提出了一种基于语义一致水平条和前景修正的行人重识别***，该***包括：图像获取模块、全局特征提取模块、局部特征提取模块、特征拼接模块、识别输出模块；
所述图像获取模块，配置为获取待识别的图像，作为输入图像；
所述全局特征提取模块，配置为通过行人重识别模型的特征提取层提取所述输入图像的特征，作为第一特征；
所述局部特征提取模块，配置为基于所述第一特征，通过行人重识别模型中预训练的行分类器分别获取所述输入图像中行人对应的前景特征作为第二特征，获取所述输入图像中行人各设定部位水平条区域的特征作为第三特征；
所述特征拼接模块，配置为将所述第二特征与所述第三特征进行点对点相乘，并与所述第一特征拼接，得到第四特征；
所述识别输出模块，配置为计算所述第三特征与图像库中各图像对应特征的欧式距离并进行排序，将排序结果作为重识别结果进行输出；
其中，所述行人重识别模型基于深度卷积神经网络构建；所述行分类器基于全连接层和softmax层构建。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序应用由处理器加载并执行以实现上述的基于语义一致水平条和前景修正的行人重识别方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；所述程序适用于由处理器加载并执行以实现上述的基于语义一致水平条和前景修正的行人重识别方法。
本发明的有益效果：
本发明提高了行人重识别的鲁棒性。本发明通过预训练的行分类器会将每一行分到特定的语义从而组成语义一致的水平条，可以自适应的调整水平条的高度和位置，以确保每一个水平条内部所包含的语义是一致的，解决了水平条语义一致性的问题。
同时，每一个像素还会被分到前景或背景语义。通过取水平条语义和前景区域的交集，我们便会近似地得到人体各个部位的位置，解决了背景信息的干扰，提高各部分定位的精准性和局部特征的判别性。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1 是本发明一种实施例的基于语义一致水平条和前景修正的行人重识别方法的流程示意图；
图2为本发明一种实施例的基于语义一致水平条和前景修正的行人重识别***的框架示意图；
图3是本发明一种实施例的基于语义一致水平条和前景修正的行人重识别方法的简略结构示意图；
图4是本发明一种实施例的本发明行分类器与现有水平条高度和位置固定行分类器的对比效果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明第一实施例的一种基于语义一致水平条和前景修正的行人重识别方法，如图1所示，该方法包括以下步骤：
步骤S10，获取待识别的图像，作为输入图像；
步骤S20，通过行人重识别模型的特征提取层提取所述输入图像的特征，作为第一特征；
步骤S30，基于所述第一特征，通过行人重识别模型中预训练的行分类器分别获取所述输入图像中行人对应的前景特征作为第二特征，获取所述输入图像中行人各设定部位水平条区域的特征作为第三特征；
步骤S40，将所述第二特征与所述第三特征进行点对点相乘，并与所述第一特征拼接，得到第四特征；
步骤S50，计算所述第四特征与图像库中各图像对应特征的欧式距离并进行排序，将排序结果作为重识别结果进行输出；
其中，所述行人重识别模型基于深度卷积神经网络构建；所述行分类器基于全连接层和softmax层构建。
为了更清晰地对本发明基于语义一致水平条和前景修正的行人重识别方法进行说明，下面对本发明方法一种实施例中各步骤进行展开详述。
在下文的实施例中，先对行人重识别模型的训练过程进行详述，在再对基于语义一致水平条和前景修正的行人重识别方法获取行人重识别结果的过程进行详述。
1、行人重识别模型的训练过程
步骤B10，对行人重识别模型进行预训练
本发明中，行人重识别模型基于深度卷积神经网络构建，深度卷积神经网络在本发明中优选为文献“Sun K , Xiao B , Liu D , et al. Deep High-ResolutionRepresentation Learning for Human Pose Estimation[J]. 2019.”所提出的HRNet网络，HRNet包含多尺度的语义信息，较为适合做人体语义解析和行人重识别共同的网络。行人重识别模型，如图3所示，其中，图3中的神经网络模型指的是卷积神经网络，用于提取特征，对齐后的行人各部位的特征，表示按顺序将人体各部位的特征拼接后得到的特征，具体在下文中解释。
在本实施例中，采用ImageNet数据集对行人重识别模型进行预训练，初始化行人
重识别模型的网络参数。在预训练过程中，将选取的样本图像尺寸压缩至
，每
一次迭代输入64张图像，迭代训练6000次，在其他实施例中，可以根据实际需求选取模型预
训练的迭代次数以及每次迭代输入的样本图像数量。
步骤B20，获取训练样本图像集
在本实施例中，获取包含行人的训练样本图像，构建训练样本图像集。
步骤B30，提取训练样本图像集中各训练样本图像的特征，作为全局特征
在本实施例中，通过行人重识别模型的特征提取层提取训练样本图像的特征，作为全局特征，特征提取层为基于卷积神经构建的特征提取层。其中，HRNet最终输出的特征（特征图）大小为64322048，本发明中将HRNet输出的特征通过11的卷积对特征进行降维到6432512大小，然后进行行划分和前景修正操作。
步骤B40，基于全局特征，通过行人重识别模型中预训练的行分类器分别获取各训练样本图像中行人对应的前景特征、获取各训练样本图像中行人各设定部位水平条区域的特征。
本发明提出了一种语义一致水平条和前景修正分类器，先对行人图像进行语义一致水平条的划分，然后再去除水平条内部的背景。该网络包含语义一致水平条和前景修正模块。前者用迭代聚类的方式生成水平条的伪标签，然后指导水平条划分的学***条分类器得到前景响应图，并利用前景响应图指导前背景的划分。最后，通过组合全局和局部特征来获得有效的行人特征描述。具体如下：
在本实施例中，语义一致水平条的划分，即行划分，行划分主要包括一个行分类器，由全连接层和softmax层构建，可以将每一行分到不同的语义。首先通过对训练样本图像每一行进行池化操作（即图3中的行单元池化），得到每一行的平均特征，即行特征，然后用行分类器将每一行平均特征进行分类，每一行平均特征被分到的类别就代表这一行的语义部分，即通过行分类器对训练样本图像中行人设定身体部位区域进行语义分割，获取行人设定身体部位区域的置信图，将各置信图与全局特征进行点对点乘积运算，形成对应于身体不同部位的加权特征图（行人各设定部位水平条区域（行区域）的特征）。
本发明中优选获取行人五个身体部位的水平条特征，分别对应头部，胸部，腹部，腿部和脚部的特征，表示为M1，M2，M3，M4和M5。如图4所示，图4中的（a）（b）（c）为现有的水平条高度和位置固定行分类器获取的特征图，可以发现，利用现有的人体解析模型得到的特征图（即拼接后的特征图）无法利用背包等有效信息而影响性能。
其中，行分类器在训练过程中使用迭代聚类的方法给每一行分配伪标签。即每进行n次训练阶段，我们便将图像每一行（行人设定部位的水平条区域）的特征均值进行聚类，然后按照从上至下的位置分配语义。在之后的训练过程中，将分配到的语义伪标签用于监督行分类器的学***条划分，得到语义一致的水平条。行分类器的训练过程具体如下：
步骤B41，对所述训练样本图像集中的任一图像，提取其行特征并池化，得到其对应的平均特征；
步骤B42，判断当前的迭代次数M是否为N的倍数，若是，则执行步骤B43，否则跳转步骤B44；其中，N、M为自然数；当前的迭代次数M也为行人重识别训练模型的当前迭代次数；
步骤B43，提取所述训练样本集中所有训练样本图像的平均特征，并通过自相似聚类获取每一行对应的伪标签进行更新，执行步骤B44；
步骤B44，计算步骤B41获取的平均特征与更新后的伪标签的损失，并对所述行分类器进行参数更新。
步骤B45，循环执行步骤B41-B44，直至得到训练好的行分类器。
自相似聚类在本发明中k-means聚类算法。
在行分类器获取行人各设定部位的局部特征后，为了进一步的去除各设定部位水平条中的背景像素，减少噪音干扰。本发明设计了前景引导的部位精细化方法，即添加了一个前背景分类器，来预测训练样本图像每一个像素是属于前景还是背景。鉴于之前已经学到了行分类器，本发明优选用行分类器去区分各像素点对人体各设定部位的置信度，本发明优选将置信度大于0.8的作为前景像素，将置信度小于0.2作为背景像素，其他的作为中立像素（即图3中的中立）。基于提取的前景像素构建的特征作为训练样本图像中行人对应的前景特征（即图3中以像素为单元，提取前景/背景特征）。
步骤B50，特征拼接
在本实施例中，首先，将M1-5通过全局特征池化压缩为5个256维度的向量，记作S1-5。然后，将M1-5相加，得到前景特征图，并由平均池化映射压缩为一个256维向量，记作S6。将全局特征通过平均池化映射压缩为一个256维向量，记作S7，这个特征向量可以很好地传递整体抽象特征。最后拼接上述三个特征向量，最终获得一个7×256维的特征，来表征行人融合后的特征。
其中，S6也可以直接通过行分类器获取各训练样本图像的前景特征，若通过行分类器获取各训练样本图像的前景特征，则将S1-5与S6进行点对点相乘后与S7拼接，来表征行人融合后的特征。
步骤B60，计算拼接后的特征与图像库中各图像对应特征的欧式距离并进行排序，将排序结果作为重识别结果进行输出。
在本实施例中，计算拼接后的行人特征与图像库中各图像对应的欧式距离并进行升序排序，Rank-1（排名第一）和排序靠前的匹配率越高，表明对目标重识别任务的效果越好。图像库为存储多张行人图像的数据库。
基于重识别后的结果，本发明采用三元组损失来监督整个网络的训练。该损失的核心思想是通过距离间隔将不匹配的行人对与匹配的行人对分离开来，以增大类间差异，缩小类内差异，如公式（1）所示：
其中，
表示行人重识别模型的损失值，
表示行人重识别模型在训练时
一批次的训练样本图像的数量，
表示批次，
表示行人重识别模型在训练时一批次
的训练样本图像中的任一图像，
表示图像集A中图像特征与的
的特征欧式距离最大的一
张训练样本图像，即最不像的正样本，
表示图像集B中图像特征与
的特征的欧式距离最
小的一张训练样本图像，即最像的负样本，
构成一个三元组，
表示预设的距离
间隔，
表示包含与
相同ID的所有图像的图像集，
表示当前批次中除了
中包含的图像
外所有图像构建的图像集，
表示欧氏距离。
基于上述损失对行人重识别模型的网络参数进行更新，并跳转至步骤B20，直至得到训练好的行人重识别模型。
2、基于语义一致水平条和前景修正的行人重识别方法
步骤S10，获取待识别的图像，作为输入图像；
在本实施例中，先获取识别的行人图像，作为输入图像。
步骤S20，通过行人重识别模型的特征提取层提取所述输入图像的特征，作为第一特征；
在本实施例中，通过上述训练好的行人重识别模型获取输入图像中行人的全局特征，即基于行人重识别模型的特征提取层提取输入图像的特征，作为第一特征。
步骤S30，基于所述第一特征，通过行人重识别模型中预训练的行分类器分别获取所述输入图像中行人对应的前景特征作为第二特征，获取所述输入图像中行人各设定部位水平条区域的特征作为第三特征；
在本实施例中，通过行分类器获取输入图像中各像素点对人体前景语义的置信度，将置信度大于第一设定阈值的像素点作为前景像素，将置信度小于第二设定阈值的像素点作为背景像素，基于提取的前景像素构建的特征作为所述输入图像中行人对应的前景特征，作为第二特征。
通过行分类器对输入图像进行语义分割，得到输入图像中行人各设定部位水平条区域的置信图，将各置信图分别与第一特征进行点对点乘积运算，得到输入图像中行人各设定部位水平条区域的特征，作为第三特征。
步骤S40，将所述第二特征与所述第三特征进行点对点相乘，并与所述第一特征拼接，得到第四特征；
在本实施例中，将获取的行人的各特征进行拼接。
步骤S50，计算所述第四特征与图像库中各图像对应特征的欧式距离并进行排序，将排序结果作为重识别结果进行输出。
在本实施例中，计算拼接后的第四特征与图像库中各行人图像对应的特征之间的欧式距离，并进行排序，将排序结果作为重识别结果进行输出。本发明中优选采用升序排序，排序越靠前表明匹配率越高。
本发明第二实施例的一种基于语义一致水平条和前景修正的行人重识别***，如图2所示，包括：图像获取模块100、全局特征提取模块200、局部特征提取模块300、特征拼接模块400、识别输出模块500；
所述图像获取模块100，配置为获取待识别的图像，作为输入图像；
所述全局特征提取模块200，配置为通过行人重识别模型的特征提取层提取所述输入图像的特征，作为第一特征；
所述局部特征提取模块300，配置为基于所述第一特征，通过行人重识别模型中预训练的行分类器分别获取所述输入图像中行人对应的前景特征作为第二特征，获取所述输入图像中行人各设定部位水平条区域的特征作为第三特征；
所述特征拼接模块400，配置为将所述第二特征与所述第三特征进行点对点相乘，并与所述第一特征拼接，得到第四特征；
所述识别输出模块500，配置为计算所述第四特征与图像库中各图像对应特征的欧式距离并进行排序，将排序结果作为重识别结果进行输出；
其中，所述行人重识别模型基于深度卷积神经网络构建；所述行分类器基于全连接层和softmax层构建。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的***的具体的工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于语义一致水平条和前景修正的行人重识别***，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适用于由处理器加载并实现上述的基于语义一致水平条和前景修正的行人重识别方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于语义一致水平条和前景修正的行人重识别方法。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”、“第三”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (8)
1.一种基于语义一致水平条和前景修正的行人重识别方法，其特征在于，该方法包括：
步骤S10，获取待识别的图像，作为输入图像；
步骤S20，通过行人重识别模型的特征提取层提取所述输入图像的特征，作为第一特征；
步骤S30，基于所述第一特征，通过行人重识别模型中预训练的行分类器分别获取所述输入图像中行人对应的前景特征作为第二特征，获取所述输入图像中行人各设定部位水平条区域的特征作为第三特征；
步骤S40，将所述第二特征与所述第三特征进行点对点相乘，并与所述第一特征拼接，得到第四特征；
步骤S50，计算所述第四特征与图像库中各图像对应特征的欧式距离并进行排序，将排序结果作为重识别结果进行输出；
其中，所述行人重识别模型基于深度卷积神经网络构建；所述行分类器基于全连接层和softmax层构建，其训练方法为：
步骤A10，获取训练样本图像集；
步骤A20，对所述训练样本图像集中的任一图像，提取其行特征并池化，得到其对应的平均特征；
步骤A30，判断当前的迭代次数M是否为N的倍数，若是，则执行步骤A40，否则跳转步骤A50；其中，N、M为自然数；
步骤A40，提取所述训练样本图像集中所有训练样本图像的平均特征，并通过自相似聚类获取每一行对应的伪标签，执行步骤A50；
步骤A50，计算步骤A20获取的平均特征与所述伪标签的损失，并对所述行分类器进行参数更新。
2.根据权利要求1所述的基于语义一致水平条和前景修正的行人重识别方法，其特征在于，所述自相似聚类为k-means聚类方法。
3.根据权利要求1所述的基于语义一致水平条和前景修正的行人重识别方法，其特征在于，“通过行人重识别模型中预训练的行分类器分别获取所述输入图像中行人对应的前景特征作为第二特征”，其方法为：
通过所述行分类器获取所述输入图像中各像素点对人体各个部位的置信度；
将置信度大于第一设定阈值的像素点作为前景像素，将置信度小于第二设定阈值的像素点作为背景像素；
基于提取的前景像素构建的特征作为所述输入图像中行人对应的前景特征。
4.根据权利要求1所述的基于语义一致水平条和前景修正的行人重识别方法，其特征在于，“通过行人重识别模型中预训练的行分类器获取所述输入图像中行人各设定部位水平条区域的特征作为第三特征”，其方法为：
通过所述行分类器对所述输入图像进行语义分割，得到所述输入图像中行人各设定部位水平条区域的置信图；
将各置信图分别与所述第一特征进行点对点乘积运算，得到所述输入图像中行人各设定部位水平条区域的特征。
5.根据权利要求1所述的基于语义一致水平条和前景修正的行人重识别方法，其特征在于，所述行人重识别模型，其在训练时的损失函数为：
其中，
表示行人重识别模型的损失值，
表示行人重识别模型在训练时一批次的训练样本图像的数量，
表示批次，
表示行人重识别模型在训练时一批次的训练样本图像中的任一图像，
表示图像集A中图像特征与
的特征的欧式距离最大的一张训练样本图像，
表示图像集B中图像特征与
的特征的欧式距离最小的一张训练样本图像，
表示预设的距离间隔，
表示包含与
相同ID的所有图像的图像集，
表示当前批次中除了
中包含的图像外所有图像构建的图像集，
表示欧氏距离。
6.一种基于语义一致水平条和前景修正的行人重识别***，其特征在于，该***包括：图像获取模块、全局特征提取模块、局部特征提取模块、特征拼接模块、识别输出模块；
所述图像获取模块，配置为获取待识别的图像，作为输入图像；
所述全局特征提取模块，配置为通过行人重识别模型的特征提取层提取所述输入图像的特征，作为第一特征；
所述局部特征提取模块，配置为基于所述第一特征，通过行人重识别模型中预训练的行分类器分别获取所述输入图像中行人对应的前景特征作为第二特征，获取所述输入图像中行人各设定部位水平条区域的特征作为第三特征；
所述特征拼接模块，配置为将所述第二特征与所述第三特征进行点对点相乘，并与所述第一特征拼接，得到第四特征；
所述识别输出模块，配置为计算所述第四特征与图像库中各图像对应特征的欧式距离并进行排序，将排序结果作为重识别结果进行输出；
其中，所述行人重识别模型基于深度卷积神经网络构建；所述行分类器基于全连接层和softmax层构建，其训练方法为：
步骤A10，获取训练样本图像集；
步骤A20，对所述训练样本图像集中的任一图像，提取其行特征并池化，得到其对应的平均特征；
步骤A30，判断当前的迭代次数M是否为N的倍数，若是，则执行步骤A40，否则跳转步骤A50；其中，N、M为自然数；
步骤A40，提取所述训练样本图像集中所有训练样本图像的平均特征，并通过自相似聚类获取每一行对应的伪标签，执行步骤A50；
步骤A50，计算步骤A20获取的平均特征与所述伪标签的损失，并对所述行分类器进行参数更新。
7.一种存储装置，其中存储有多条程序，其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-5任一项所述的基于语义一致水平条和前景修正的行人重识别方法。
8.一种处理装置，包括处理器、存储装置；处理器，适用于执行各条程序；存储装置，适用于存储多条程序；其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-5任一项所述的基于语义一致水平条和前景修正的行人重识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010918791.1A CN111783753B (zh) | 2020-09-04 | 2020-09-04 | 基于语义一致水平条和前景修正的行人重识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010918791.1A CN111783753B (zh) | 2020-09-04 | 2020-09-04 | 基于语义一致水平条和前景修正的行人重识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111783753A CN111783753A (zh) | 2020-10-16 |
| CN111783753B true CN111783753B (zh) | 2020-12-15 |
Family
ID=72762343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010918791.1A Active CN111783753B (zh) | 2020-09-04 | 2020-09-04 | 基于语义一致水平条和前景修正的行人重识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111783753B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906614A (zh) * | 2021-03-08 | 2021-06-04 | 中南大学 | 基于注意力指导的行人重识别方法、装置及存储介质 |
| CN113077556A (zh) * | 2021-03-29 | 2021-07-06 | 深圳大学 | 基于行人重识别的检票***及方法 |
| CN112801238B (zh) * | 2021-04-15 | 2021-07-27 | 中国科学院自动化研究所 | 一种图像分类方法、装置、电子设备及存储介质 |
| CN113158901B (zh) * | 2021-04-22 | 2023-04-07 | 天津大学 | 一种域自适应行人重识别方法 |
| CN114842512B (zh) * | 2022-07-01 | 2022-10-14 | 山东省人工智能研究院 | 基于多特征协同和语义感知的遮挡行人重识别和检索方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108108674A (zh) * | 2017-12-08 | 2018-06-01 | 浙江捷尚视觉科技股份有限公司 | 一种基于关节点分析的行人再识别方法 |
| JP7111088B2 (ja) * | 2019-01-24 | 2022-08-02 | カシオ計算機株式会社 | 画像検索装置、学習方法及びプログラム |
| CN110321813B (zh) * | 2019-06-18 | 2023-06-20 | 南京信息工程大学 | 基于行人分割的跨域行人重识别方法 |
| CN111046732B (zh) * | 2019-11-11 | 2023-11-28 | 华中师范大学 | 一种基于多粒度语义解析的行人重识别方法及存储介质 |
-
2020
- 2020-09-04 CN CN202010918791.1A patent/CN111783753B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111783753A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111783753B (zh) | 基于语义一致水平条和前景修正的行人重识别方法 | |
| CN108399386B (zh) | 饼图中的信息提取方法及装置 | |
| Tong et al. | Salient object detection via bootstrap learning | |
| Lazebnik et al. | Affine-invariant local descriptors and neighborhood statistics for texture recognition | |
| Costea et al. | Creating roadmaps in aerial images with generative adversarial networks and smoothing-based optimization | |
| CN109522908A (zh) | 基于区域标签融合的图像显著性检测方法 | |
| CN110647829A (zh) | 一种票据的文本识别方法及*** | |
| CN109977997B (zh) | 基于卷积神经网络快速鲁棒的图像目标检测与分割方法 | |
| CN107633226B (zh) | 一种人体动作跟踪特征处理方法 | |
| Carmona et al. | Human action recognition by means of subtensor projections and dense trajectories | |
| CN111931703B (zh) | 基于人-物体交互弱监督标签的物体检测方法 | |
| Bojanić et al. | On the comparison of classic and deep keypoint detector and descriptor methods | |
| CN112819110B (zh) | 基于权重生成的增量式小样本目标检测方法及*** | |
| CN111753119A (zh) | 一种图像搜索方法、装置、电子设备及存储介质 | |
| CN113723492A (zh) | 一种改进主动深度学习的高光谱图像半监督分类方法及装置 | |
| CN113111716A (zh) | 一种基于深度学习的遥感影像半自动标注方法和装置 | |
| Haindl et al. | A competition in unsupervised color image segmentation | |
| Pan et al. | Deep learning for object saliency detection and image segmentation | |
| CN112052819A (zh) | 一种行人重识别方法、装置、设备及存储介质 | |
| CN108549857A (zh) | 事件检测模型训练方法、装置及事件检测方法 | |
| CN110232337B (zh) | 基于全卷积神经网络的中文字符图像笔划提取方法、*** | |
| CN113255394A (zh) | 基于无监督学习的行人再识别方法及*** | |
| CN114168768A (zh) | 图像检索方法及相关设备 | |
| CN111382638A (zh) | 一种图像检测方法、装置、设备和存储介质 | |
| Guo et al. | An improved YOLO v4 used for grape detection in unstructured environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240619 Address after: 200-19, 2nd Floor, Building B, Wanghai Building, No.10 West Third Ring Middle Road, Haidian District, Beijing, 100036 Patentee after: Zhongke Zidong Taichu (Beijing) Technology Co.,Ltd. Country or region after: China Address before: 100190 No. 95 East Zhongguancun Road, Beijing, Haidian District Patentee before: INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES Country or region before: China |