CN107316031B - 用于行人重识别的图像特征提取方法 - Google Patents

用于行人重识别的图像特征提取方法 Download PDF

Info

Publication number
CN107316031B
CN107316031B CN201710536020.4A CN201710536020A CN107316031B CN 107316031 B CN107316031 B CN 107316031B CN 201710536020 A CN201710536020 A CN 201710536020A CN 107316031 B CN107316031 B CN 107316031B
Authority
CN
China
Prior art keywords
image
pedestrian
feature extraction
feature
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710536020.4A
Other languages
English (en)
Other versions
CN107316031A (zh
Inventor
王文敏
张奕豪
王荣刚
李革
董胜富
王振宇
李英
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University Shenzhen Graduate School
Original Assignee
Peking University Shenzhen Graduate School
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University Shenzhen Graduate School filed Critical Peking University Shenzhen Graduate School
Priority to CN201710536020.4A priority Critical patent/CN107316031B/zh
Publication of CN107316031A publication Critical patent/CN107316031A/zh
Priority to US16/622,586 priority patent/US11238274B2/en
Priority to PCT/CN2017/118794 priority patent/WO2019007004A1/zh
Application granted granted Critical
Publication of CN107316031B publication Critical patent/CN107316031B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Nonlinear Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公布了一种用于行人重识别的图像特征提取方法，通过对齐局部描述子提取和分级全局特征提取，进行行人重识别；对齐局部描述子提取采用仿射变换对原图像进行处理，对相邻区域的图像块特征进行求和池化操作而得到对齐局部描述子；对齐局部描述子保留图像内部块与块之间的空间信息；分级全局特征提取通过对定位的行人区域块进行分级，求取相应特征均值而得到全局特征。采用本发明技术方案，能够解决行人重识别中由于行人姿态变化等带来的特征不对齐问题，消除无关背景对重识别带来的影响，由此提高行人重识别的精度和鲁棒性。

Description

用于行人重识别的图像特征提取方法
技术领域
本发明涉及计算机视觉与图像处理技术，尤其涉及一种用于行人重识别的图像鲁棒性特征的提取方法。
背景技术
近年来，随着人们对社会公共安全的要求日渐提升，视频监控***大量普及，如何利用计算机视觉分析技术，自动化监控及分析视频信息，成为关注的热点。行人重识别是计算机视觉研究中关键的任务。一般来说，给定关于行人的一张图片或者一段视频，行人重识别就是在其它不重合拍摄场景下的图片或者视频中，将同一个人识别出来的过程。尽管相关的研究越来越受到重视，行人重识别的准确率也已经提高了不少，但仍有许多困难需要解决，比如姿态的变化、光照和无关背景的影响等等。
现有传统的行人重识别框架主要由特征提取和度量学习两部分构成。不过，目前大多数方法在提取图像特征的过程中，都忽略了无关背景信息的影响，使得提取好的图像特征带有较多的噪声；其次，为了解决由于拍摄角度不一以及行人姿态的变化问题，大多数方法采取了非精确匹配的策略，使用特定的方式将不同图像块之间的特征进行融合，效果颇为显著，但同时也损失了一部分图像内部的空间信息，使得在分辨一些具有相对位置差异的图像上，能力大大降低。
发明内容
为了克服上述现有技术的不足，本发明提供一种用于行人重识别的图像特征的提取方法，基于图像颜色和纹理特征，在精确匹配的策略下提出新的对齐局部描述子，并设计分级全局特征与之互补，解决由于行人姿态变化等带来的特征不对齐等问题，提高行人重识别的精确度。
本发明的原理是：提出了应用于行人重识别的对齐局部描述子和分级全局特征提取算法。本发明针对现有特征提取方法中非精确匹配策略带来的缺陷，提出基于精确匹配策略下的对齐局部描述子，以及为了消除无关背景的影响，提出了分级全局特征，通过对齐局部描述子与分级全局特征提取，提高行人重识别的性能。对齐局部描述子保留了图像内部块与块之间的空间信息，同时为了解决图像之间的不对齐问题，采用了仿射变换对原图像进行处理，得到包括原图在内的水平翻转和切变的四张图像，通过叠加，仅对相邻区域的图像块特征进行求和池化操作，得到对齐局部描述子。为了丰富图像特征的表达以及消除背景信息的影响，对原图像中行人的整体轮廓区域及其头部、上半身和下半身分别计算全局特征，最后整合成分级全局特征。实验证明，对齐局部描述子和分级全局特征有助于解决姿态变化问题和弱化背景的影响，保留的图像内部空间信息也有助于行人匹配精度的提高。
对齐局部描述子是基于精确匹配策略所提出来的一种特征，即对于图像内部的块，提取其相应的颜色和纹理特征，保留该图像块的位置信息，不与图像内其它块的特征融合。为了解决行人姿态变化带来两张图像之间的不对齐问题，采用了仿射变换方法对原始图像进行了处理，如水平翻转和水平切变，得到关于同一张图像的四种不同角度的图像扩充。紧接着，在空间上将四张图像叠加在一起，以图像块的特征为基础，对相同图像区域的图像块特征进行求和池化操作，作为该图像块最终的描述子。分级全局特征是基于与局部特征互补的作用而提出来的。传统的全局特征是对整幅图像统计相应的颜色和纹理信息，提取的全局特征往往包含大量的背景信息，而且空间信息紊乱，对于结构差异大但统计信息一致的图像，极易造成误差。分级全局特征不仅考虑到背景的影响，还把属于行人的区域的图像块按照头部、上半身和下半身的人体结构进行分组，并对涵盖重要信息的上半身进一步分组，总共三级划分，增强了全局特征的辨识力。
本发明提供的技术方案是：
一种图像特征提取方法，通过对齐局部描述子提取和分级全局特征提取，进行行人重识别；所述对齐局部描述子提取采用仿射变换对原图像进行处理，仅对相邻区域的图像块特征进行求和池化操作而得到对齐局部描述子；所述对齐局部描述子保留图像内部块与块之间的空间信息；所述分级全局特征提取对定位的行人区域块进行分级，通过求取相应特征均值得到全局特征；包括如下步骤：
1)对图像进行了预处理，以消除光照对图像的影响；
为了消除光照对图像的影响，本发明采用了多尺度Retinex算法对图像进行了预处理；在去除背景信息时，借助了通过元胞自动机进行显著性检测的前景提取方法；关于图像块的表达，颜色信息使用了nRGB、Lab和HSV三种颜色空间直方图，纹理信息使用了尺度不变局部三值模式(SILTP)统计直方图。
2)提取对齐局部描述子，主要包括以下步骤：
21)对图像进行仿射变换，得到多张图像(包括原图及变换后的图像)；
22)分别对上一步得到的每张图像进行图像块分割，提取特征，生成相应的特征图；
23)在空间上叠加所有特征图，对相邻位置的图像块特征进行求和池化操作，得到相应局部描述子；
24)根据局部描述子在图像中所在的位置，将它们按从左上到右下的顺序连接起来，得到对齐局部描述子；
3)提取分级全局特征，主要分为以下步骤：
31)使用前景提取方法对图像进行显著性检测，得到相应的显著图；
32)将上一步得到的显著图进行对比增强；
33)定位属于行人区域的图像块；
34)针对人体的特殊结构，将属于行人的图像块按照三个不同层级进行归类；
35)对每一级图像块进行平均池化操化，得到该级特征；
36)对三级特征首尾连接起来，得到分级全局特征；
4)根据步骤2)提取得到的对齐局部描述子和步骤3)提取得到的分级全局特征，使用现有的XQDA(Cross-view Quadratic Discriminant Analysis，交叉视觉二次判别分析)方法作为度量学习方法，计算图像的相似性，由此进行行人重识别。
与现有技术相比，本发明的有益效果是：
本发明提供一种行人重识别方法，通过对齐局部描述子的提取，保留了图像局部块之间的空间信息，并解决由于行人姿态变化等带来的特征不对齐问题；通过分级全局特征提取，消除无关背景带来的影响；通过结合提取的对齐局部描述子和分级全局特征，提高行人重识别的精度和鲁棒性。具体地，本发明具有以下优点：
(一)本发明方法保留不相关图像块的相对位置信息。现有行人重识别方法在特征提取过程中经常忽略，而本发明通过增加不相关图像块的相对位置信息，可让后续匹配的准确率更高；
(二)本发明方法使用仿射变换对输入图片进行处理，可以一定程度上解决由于行人姿态变化或拍摄角度不一带来的特征不对齐问题；
(三)本发明方法使用多个层级的行人区域图像块提取全局特征，可以提高全局特征的鲁棒性。
附图说明
图1是对齐局部描述子提取过程示意图；
其中，(a)为对原图像进行仿射变换(水平剪切和水平翻转)，分别得到四张变换后的图像；(b)为分别对每一张图像进行图像块的特征提取过程；(c)为将四张特征图在空间上叠加在一起；(d)为对相邻图像块的特征进行求和池化操作，得到多个局部描述子；(e)为将每个局描部描述子向量相连，得到最终的对齐局部描述子。
图2是分级全局特征提取过程示意图。
其中，(a)为通过显著性检测得到的显著图；(b)为对显著图进行对比度增强；(c)为对属于行人区域图像块进行定位；(d)为对所有属于行人的图像块特征进行第一级全局特征提取；(e)为对所有属于行人的图像块分成头部、上半身和下半身三个部分，提取第二级全局特征；(f)为对所有属于行人上半身的图像块分成三个部分，提取第三级全局特征。
图3是本发明实施例在VIPeR数据集上与使用LOMO特征匹配效果对比。
图4是本发明实施例在VIPeR数据集上的CMC结果。
图5是本发明实施例在QMUL GRID数据集上与使用LOMO特征匹配效果对比。
图6是本发明实施例在QMUL GRID数据集上的CMC结果。
具体实施方式
下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
本发明针对现有图像特征提取方法中非精确匹配策略带来的缺陷，提出基于精确匹配策略下的对齐局部描述子和分级全局特征。对齐局部描述子保留了图像内部块与块之间的空间信息，同时为了解决图像之间的不对齐问题，采用了仿射变换对原图像进行处理，得到包括原图在内的水平翻转和切变的四张图像，通过叠加，对相同区域的图像块特征进行求和池化操作，得到对齐局部描述子。为了丰富图像特征的表达，对原图像中行人的整体轮廓区域及其头部、上半身和下半身分别计算全局特征，最后整合成分级全局特征。实验证明，对齐局部描述子和分级全局特征有助于解决姿态变化问题，保留的图像内部空间信息有助于行人匹配精度的提高。
图1示意了对齐局部描述子的提取流程，首先是仿射变换，然后是图像块的特征提取，接着对相邻图像块的特征向量进行求和池化操作，最后把不同的局部描述子连接到一起作为图片的对齐局部描述子。具体实施中，提取对齐局部描述子的过程具体包括如下步骤：把图片统一缩放到128*48大小，并使用文献[1](D.J.Jobson,Z.-U.Rahman,andG.A.Woodell.A multiscale retinex for bridging the gap between color imagesand the human observation of scenes.Image Processing,IEEE Transactions on,6(7):965–976,1997)记载的多尺度Retinex算法消除光照影响，得到预处理后的图片I，其中尺度参数分别为σ＝5和σ＝20。仿射变换。对预处理后的图片I进行水平翻转，得到图片II，分别对图片I和II进行水平剪切变换，产生相应图片III和IV，水平剪切变换具体如式1所示：
Figure GDA0002398168000000051
其中，λ为剪切变换参数，方法中使用λ＝0.2。
分别对上一步得到的四张图片(I、II、III和IV)求图像块的特征。具体采用滑动窗口方法，对窗口内的图像块提取8*8*8维的nRGB和HSV颜色直方图、32维的Lab颜色直方图以及两个阈值为0.3的尺度不变局部三值模式(SILTP)统计直方图，两个SILTP的比较半径R分别为3和5个像素，其中滑动窗口大小为8*8，步长为4*4，每张图像在同一水平方向上通过滑动窗口可以得到N个图像块，在同一垂直方向上得到M个图像块，提取相应的特征后得到一张特征图，其中有M*N个点，每个点对应一个图像块的特征向量，记作
Figure GDA0002398168000000056
上述滑动窗口方法中，nRGB是将原来的RGB三通道彩色图片中的每一通道的像素值(原来是0-255)变到指定的0-8的范围，8*8*8是将每一通道都缩放到0-8之间，再进一步求相应颜色直方图。比较半径R是指目标元素点与离自己R个像素远的像素比较大小。
在空间上叠加四个特征向量图，对相邻位置的图像块特征进行求和池化操作，得到相应局部描述子，如式2所示：
Figure GDA0002398168000000052
其中：
Figure GDA0002398168000000053
其中，
Figure GDA0002398168000000054
代表了第i张特征图中第m行第n列的图像块特征向量，将相邻的16个图像块特征向量相加，得到的
Figure GDA0002398168000000055
表示一个局部描述子，其中p和q为正整数，分别表示为局部描述子所在的位置；最后，根据所有局部描述子在特征图的位置，按从左上到右下的顺序首尾连接成一个特征向量，作为整幅图片的对齐局部描述子。
图2示意了分级全局特征的提取流程，首先对图片进行显著性检测，然后对相同水平方向上的元素值进行对比度增强，接着对图片进行二值化处理，通过滑动窗口的方法定位行人区域块，对行人区域块进行分级求取相应特征均值。提取分级全局特征的过程具体包括如下步骤：
1.把图片统一缩放到128*48大小，并使用文献[1](D.J.Jobson,Z.-U.Rahman,andG.A.Woodell.A multiscale retinex for bridging the gap between color imagesand the human observation of scenes.Image Processing,IEEE Transactions on,6(7):965–976,1997)所述的多尺度Retinex算法消除光照影响，其中尺度参数分别为σ＝5和σ＝20。
2.使用文献[2](Y.Qin,H.Lu,Y.Xu,and H.Wang,"Saliency detection viacellular automata,"in Computer Vision and Pattern Recognition(CVPR),2015,pp.110-119)记载的方法对预处理后的图片进行前景提取,得到相应的显著图。
3.采用式3对提取得到的显著图作对比增强：
Figure GDA0002398168000000061
其中，分子pr,i为第r行第i列的元素值，分母为该行元素的极差。得到该行每列元素的p′r,i值后，统一对该行元素进行更新。
4.使用文献[3](N.Otsu,"Threshold selection method from gray-levelhistograms,ieee transactions on systems man and cybernetics,"Systems Man&Cybernetics IEEE Transactions on,vol.9,no.1,pp.62-66,1979)中记载的OTSU算法自适应选取阈值，对上一步得到的结果进行二值化处理，得到相应的二值图。
5.采用滑动窗口的方法对二值图进行扫描，其中窗口大小为10*10，步长为5*5，对窗口内的元素值求和，其中把大于设定阈值(如50)的窗口定义为行人区域，其它则为无关区域。
6.按照提取对齐局部描述子图像块特征的方法，对行人区域的图像块提取颜色和纹理特征。
7.可将得到的行人区域的图像块划分为3个层级。第一级为人的整体(即全部图像块)，第二级是按人体的头、上身、下身分，第三级是按人体上身的重要性来细分三块。
本实施例中，层级1为所有行人区域图像块；层级2按照图像块所在垂直方向上的位置分为头部区、上半身和下关身区域，其中行数小于等于15为头部区，行数大于等于60为下半身区、中间为上半身区；层级3按照上半身图像块的垂直位置再细分为3个区，分界条件为：图像块所属位置在15到30行之间为一区、在30到45行之间为一区、在45到60行为一区。对不同层级里的图像块特征向分别作平均池化操作，分别得到7个特征向量，然后连接在一起，作为最终的分级全局特征。
8.最后，通过采取XQDA作为度量学习方法，通过式4计算两张图像之间的相似性，值越小即说明特征之间距离越小，对应的两张图片越相似：
Figure GDA0002398168000000071
其中，d(x,z)是指两张图像(x和z)之间的距离，越小则表明越相似；dW(f1,f2)是XQDA距离函数，
Figure GDA0002398168000000072
分别为图像x的对齐局部描述子和分级全局特征，其中β表示全局特征的权重，在这里β＝1.3。
本发明具体实施中，将本发明方法与现有其他方法进行对比分析，以验证本发明方法的有效性。表1和表2中，LOMO(Local Maximum Occurrence，局部直方图最大频数特征)在文献(S.Liao,Y.Hu,X.Zhu,and S.Z.Li,Person re-identi_cation by local maximaloccurrence representation and metric learning,"in Computer Vision and PatternRecognition(CVPR),2015,pp.2197-2206.)中记载。SCNCD(Salient Color Names basedColor Descriptor，基于颜色描述子的显著颜色名)在文献(Y.Yang,Salient color namesfor person re-identification,"in European Conference on Computer Vision(ECCV),2014,pp.536-551.)中记载。kBiCov(Covariance descriptor based on bio-inspired features,基于生物启发特征的协方差描述子)在文献(B.Ma,Y.Su,andF.Jurie,Covariance descriptor based on bio-inspired features for person re-identification and face verification,"Image&Vision Computing,vol.32,no.6-7,pp.379-390,2014.)中记载。LDFV(Local descriptors encoded by fisher vectors,使用Fisher向量编码的局部描述子)在文献(B.Ma,Y.Su,and F.Jurie,Local descriptorsencoded by fisher vectors for personre-identification,"in European Conferenceon Computer Vision(ECCV),2012,pp.413-422.)中记载。SCSP(Spatially ConstrainedSimilarity function on Polynomial feature map，基于多项式特征图的部分约束相似函数)在文献(D.Chen,Z.Yuan,B.Chen,and N.Zheng,Similarity learning with spatialconstraints for person re-identification,"in Computer Vision and PatternRecognition(CVPR),2016,pp.1268-1277.)中记载。DR-KISS(dual-regularized kiss，双正则化KISS算法)在文献(D.Tao,Y.Guo,M.Song,and Y.Li,Person re-identification bydual-regularized kiss metric learning,"IEEE Transactions on Image Processing,vol.25,no.6,pp.2726-2738,2016.)中记载。SSDAL(semi-supervised deep attributelearning，半监督深度属性学习)在文献(C.Su,S.Zhang,J.Xing,W.Gao,and Q.Tian,Deepattributes driven multi-camera personre-identification,"in EuropeanConference on Computer Vision(ECCV),2016,pp.475-491.)中记载。NLML(Nonlinearlocal metric learning，非线性局部度量学习)在文献(S.Huang,J.Lu,J.Zhou,andA.K.Jain,Nonlinear local metric learning for person re-identification,"arXivpreprint arXiv:1511.05169v1,2015.)中记载。
图3和图5分别对比了使用本发明所提出的方法和使用LOMO特征在VIPeR和QMULGRID数据集上的表现，可以看出，我们的方法都取得了较好的效果。图4和图6对本发明所提出的方法进行了不同情况下的对比实验,分别为使用了结合对齐局部描述子和分级全局特征的完整方法、只使用了对齐局部描述子作为特征、只使用了分级全局特征作为特征和使用了不做仿射变换的对齐局部描述子和分级全局特征结合的方法，结果展示了局部描述子和全局特征在不同数据集上的不同表现，并且结合的效果达到最优，说明本专利所提出方法的有效性。
表1本发明方法和现有方法在VIPeR数据上的CMC结果
方法 Rank＝1 Rank＝10 Rank＝20 参考来源
本发明方法 46.2 85.3 94.4 /
LOMO 40.0 80.5 91.1 CPPR 2015
SCNCD 37.8 81.2 90.4 ECCV 2014
kBiCov 31.1 70.7 82.5 IVC 2014
LDFV 26.5 70.9 84.6 ECCVW 2012
表2本发明方法和现有方法在QMUL GRID数据上的CMC结果
方法 Rank＝1 Rank＝5 Rank＝10 Rank＝20 参考来源
本发明方法 25.6 47.0 56.6 66.3 /
SCSP 24.2 44.6 54.1 65.2 CVPR 2016
DR-KISS 20.6 39.3 51.4 62.6 TIP 2016
SSDAL 22.4 39.2 48.0 58.4 ECCV 2016
NLML 24.5 35.9 43.5 55.3 arXiv 2015
LOMO 16.6 33.8 41.8 52.4 CVPR 2015
表1列出了其它一些方法在VIPeR数据上的CMC(Cumulative MatchCharacteristic，累计匹配特性)结果，与之对比，使用本发明方法识别性能有较好的提升。表2列出了其它一些方法在QMUL GRID数据上的CMC结果，与之对比，本发明方法的准确率最高，说明了本发明方法的有效性。
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (10)

1.一种用于行人重识别的图像特征提取方法，通过对齐局部描述子提取和分级全局特征提取，进行行人重识别；所述对齐局部描述子提取采用仿射变换对原图像进行处理，对相邻区域的图像块特征进行求和池化操作而得到对齐局部描述子；所述对齐局部描述子保留图像内部块与块之间的空间信息；所述分级全局特征提取通过对定位的行人区域块进行分级，求取相应特征均值而得到全局特征；包括如下步骤：
1)对图像进行了预处理，以消除光照对图像的影响；
2)提取对齐局部描述子，包括步骤21)～24)：
21)对图像进行仿射变换，得到多张图像；
22)对仿射变换后产生的所有图像进行图像块分割并提取特征，生成相应的特征向量图；
23)在空间上叠加所有特征向量图，对相邻位置的图像块特征进行求和池化操作，得到相应局部描述子；
24)将图像中的所有局部描述子按顺序连接起来，得到对齐局部描述子；
3)提取分级全局特征，包括步骤31)～36)：
31)使用前景提取方法对图像进行显著性检测，得到相应的显著图；
32)将得到的显著图进行对比增强；
33)定位属于行人区域的图像块；
34)对行人区域的图像块分层级，得到多级行人区域图像块；
35)对每一级的行人区域图像块进行平均池化操化，得到该级特征；
36)对多级特征连接起来，得到分级全局特征；
4)根据步骤2)提取得到的对齐局部描述子和步骤3)提取得到的分级全局特征，采用度量学习方法计算图像的相似性，由此进行行人重识别。
2.如权利要求1所述图像特征提取方法，其特征是，步骤1)采用文献[1](D.J.Jobson,Z.-U.Rahman,and G.A.Woodell.A multiscale retinex for bridging the gap betweencolor images and the human observation of scenes.Image Processing,IEEETransactions on,6(7):965–976,1997)记载的多尺度Retinex算法对图像进行预处理。
3.如权利要求1所述图像特征提取方法，其特征是，步骤21)对图像进行仿射变换，具体是：对预处理后的图片I进行水平翻转，得到图片II；分别对图片I和II进行水平剪切变换，产生相应图片III和IV；所述水平剪切变换如式1所示：
Figure FDA0001340598800000021
其中，λ为剪切变换参数。
4.如权利要求1所述图像特征提取方法，其特征是，步骤22)采用滑动窗口方法求图像块的特征，具体对窗口内的图像块提取RGB颜色直方图、HSV颜色直方图、Lab颜色直方图、尺度不变局部三值模式SILTP统计直方图，得到多个特征向量图，每个特征图中有M*N个点，每个点对应一个图像块的特征向量，记作
Figure FDA0001340598800000022
5.如权利要求1所述图像特征提取方法，其特征是，步骤23)具体通过式2在空间上叠加四个特征向量图，对相邻位置的图像块特征进行求和池化操作，得到相应局部描述子：
Figure FDA0001340598800000023
其中：m＝2×(p-1)+1,n＝2×(q-1)+1,
Figure FDA0001340598800000024
其中，
Figure FDA0001340598800000025
代表第i张特征图中第m行第n列的图像块特征向量；将相邻的图像块特征向量相加，得到的
Figure FDA0001340598800000026
表示一个局部描述子，其中p和q为正整数，分别表示局部描述子所在的位置。
6.如权利要求1所述图像特征提取方法，其特征是，步骤31)具体采用文献[2](Y.Qin,H.Lu,Y.Xu,and H.Wang,"Saliency detection via cellular automata,"in ComputerVision and Pattern Recognition(CVPR),2015,pp.110-119)记载的方法对预处理后的图片进行前景提取,得到相应的显著图。
7.如权利要求1所述图像特征提取方法，其特征是，步骤32)具体采用式3对提取得到的显著图作对比增强：
Figure FDA0001340598800000027
其中，分子pr,i为第r行第i列的元素值，分母为该行元素的极差；得到该行每列元素的p′r,i值后，统一对该行元素进行更新。
8.如权利要求1所述图像特征提取方法，其特征是，步骤33)定位属于行人区域的图像块，首先采用文献[3](N.Otsu,"Threshold selection method from gray-levelhistograms,ieee transactions on systems man and cybernetics,"Systems Man&Cybernetics IEEE Transactions on,vol.9,no.1,pp.62-66,1979)中记载的OTSU算法自适应选取阈值，对经对比增强得到的结果图像进行二值化处理，得到相应的二值图；再采用滑动窗口方法对二值图进行扫描，对窗口内的元素值求和；通过设定阈值，将大于设定阈值的窗口定义为行人区域，其它为无关区域。
9.如权利要求1所述图像特征提取方法，其特征是，步骤34)具体将行人区域的图像块分为三个层级，得到三个层级的行人区域图像块；层级一为所有行人区域图像块；层级二按照图像块所在垂直方向上的位置分为头部区、上半身和下关身区域；层级三按照上半身图像块的垂直位置再细分为三个区。
10.如权利要求1所述图像特征提取方法，其特征是，步骤4)采用XQDA作为度量学习方法计算图像的相似性，具体通过式4计算两张图像之间的相似性：
Figure FDA0001340598800000032
其中，d(x,z)是两张图像(x和z)之间的距离，越小则表明越相似；dW(f1,f2)是XQDA距离函数；
Figure FDA0001340598800000031
分别为图像x的对齐局部描述子和分级全局特征；β表示全局特征的权重。
CN201710536020.4A 2017-07-04 2017-07-04 用于行人重识别的图像特征提取方法 Expired - Fee Related CN107316031B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710536020.4A CN107316031B (zh) 2017-07-04 2017-07-04 用于行人重识别的图像特征提取方法
US16/622,586 US11238274B2 (en) 2017-07-04 2017-12-27 Image feature extraction method for person re-identification
PCT/CN2017/118794 WO2019007004A1 (zh) 2017-07-04 2017-12-27 用于行人重识别的图像特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710536020.4A CN107316031B (zh) 2017-07-04 2017-07-04 用于行人重识别的图像特征提取方法

Publications (2)

Publication Number Publication Date
CN107316031A CN107316031A (zh) 2017-11-03
CN107316031B true CN107316031B (zh) 2020-07-10

Family

ID=60181373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710536020.4A Expired - Fee Related CN107316031B (zh) 2017-07-04 2017-07-04 用于行人重识别的图像特征提取方法

Country Status (3)

Country Link
US (1) US11238274B2 (zh)
CN (1) CN107316031B (zh)
WO (1) WO2019007004A1 (zh)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107316031B (zh) * 2017-07-04 2020-07-10 北京大学深圳研究生院 用于行人重识别的图像特征提取方法
CN108229344A (zh) * 2017-12-19 2018-06-29 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、计算机程序和存储介质
US10977811B2 (en) * 2017-12-20 2021-04-13 AI Analysis, Inc. Methods and systems that normalize images, generate quantitative enhancement maps, and generate synthetically enhanced images
CN107977656A (zh) * 2017-12-26 2018-05-01 北京大学 一种行人重识别方法及***
CN108537264B (zh) * 2018-03-30 2021-09-07 西安电子科技大学 基于深度学习的异源图像匹配方法
CN108520226B (zh) * 2018-04-03 2020-07-28 东北大学 一种基于躯体分解和显著性检测的行人重识别方法
CN108664951A (zh) * 2018-05-22 2018-10-16 南京邮电大学 基于颜色名特征的行人重识别方法
CN108960412B (zh) * 2018-06-29 2022-09-30 北京京东尚科信息技术有限公司 图像识别方法、装置及计算机可读存储介质
CN110866526A (zh) * 2018-08-28 2020-03-06 北京三星通信技术研究有限公司 图像分割方法、电子设备及计算机可读存储介质
CN109214366B (zh) * 2018-10-24 2021-05-04 北京旷视科技有限公司 局部目标重识别方法、装置及***
CN109472248B (zh) * 2018-11-22 2022-03-25 广东工业大学 一种行人重识别方法、***及电子设备和存储介质
CN109711316B (zh) * 2018-12-21 2022-10-21 广东工业大学 一种行人重识别方法、装置、设备及存储介质
CN109697432B (zh) * 2018-12-30 2023-04-07 陕西师范大学 融合改进的siltp和局部方向模式的学习者姿态识别方法
CN109784258A (zh) * 2019-01-08 2019-05-21 华南理工大学 一种基于多尺度特征切割与融合的行人重识别方法
CN109934177A (zh) * 2019-03-15 2019-06-25 艾特城信息科技有限公司 行人再识别方法、***及计算机可读存储介质
CN110008379A (zh) * 2019-03-19 2019-07-12 北京旷视科技有限公司 监控图像处理方法及装置
CN110110755B (zh) * 2019-04-04 2021-02-26 长沙千视通智能科技有限公司 基于ptgan区域差距与多重分支的行人重识别检测方法及装置
CN110175527B (zh) * 2019-04-29 2022-03-25 北京百度网讯科技有限公司 行人再识别方法及装置、计算机设备及可读介质
CN110427868A (zh) * 2019-07-30 2019-11-08 上海工程技术大学 一种行人重识别中的特征提取方法
CN110619271A (zh) * 2019-08-12 2019-12-27 浙江浩腾电子科技股份有限公司 一种基于深度区域特征连接的行人重识别方法
CN110472591B (zh) * 2019-08-19 2022-03-25 浙江工业大学 一种基于深度特征重构的遮挡行人重识别方法
CN110728238A (zh) * 2019-10-12 2020-01-24 安徽工程大学 一种融合型神经网络的人员再检测方法
CN110852276B (zh) * 2019-11-12 2022-07-01 杭州云栖智慧视通科技有限公司 一种基于多任务深度学习的行人再识别方法
CN111160295B (zh) * 2019-12-31 2023-05-12 广州视声智能科技有限公司 基于区域引导和时空注意力的视频行人重识别方法
US11645505B2 (en) * 2020-01-17 2023-05-09 Servicenow Canada Inc. Method and system for generating a vector representation of an image
CN111291705B (zh) * 2020-02-24 2024-04-19 北京交通大学 一种跨多目标域行人重识别方法
CN111539336B (zh) * 2020-04-25 2023-06-20 长治学院 一种提高局部注意力的行人重识别方法
CN111666843B (zh) * 2020-05-25 2023-04-28 湖北工业大学 一种基于全局特征和局部特征拼接的行人重识别方法
CN112861691B (zh) * 2021-01-29 2022-09-09 中国科学技术大学 基于部位感知建模的遮挡场景下的行人重识别方法
CN113269070B (zh) * 2021-05-18 2023-04-07 重庆邮电大学 融合全局和局部特征的行人重识别方法、存储器及处理器
CN113536917B (zh) * 2021-06-10 2024-06-07 浙江大华技术股份有限公司 着装识别方法、***、电子装置和存储介质
CN113435329B (zh) * 2021-06-25 2022-06-21 湖南大学 一种基于视频轨迹特征关联学习的无监督行人重识别方法
CN113283394B (zh) * 2021-06-28 2023-04-25 苏州大学 一种融合上下文信息的行人重识别方法及***
CN113536995B (zh) * 2021-06-30 2022-11-18 河南大学 一种基于特征映射空间和样本判定的行人重识别方法
CN113408492B (zh) * 2021-07-23 2022-06-14 四川大学 一种基于全局-局部特征动态对齐的行人重识别方法
CN113657267B (zh) * 2021-08-17 2024-01-12 中国科学院长春光学精密机械与物理研究所 一种半监督行人重识别方法和装置
CN113743313A (zh) * 2021-09-06 2021-12-03 北京易华录信息技术股份有限公司 一种行人识别方法、装置及电子设备
CN113963374A (zh) * 2021-10-19 2022-01-21 中国石油大学(华东) 基于多层次特征与身份信息辅助的行人属性识别方法
CN114565963A (zh) * 2022-03-03 2022-05-31 成都佳华物链云科技有限公司 一种顾客流量统计方法、装置、电子设备及存储介质
CN114639165B (zh) * 2022-03-16 2024-05-10 平安科技（深圳）有限公司 基于人工智能的行人重识别方法、装置、设备及存储介质
CN114550220B (zh) * 2022-04-21 2022-09-09 中国科学技术大学 行人重识别模型的训练方法及行人重识别方法
CN114863486A (zh) * 2022-05-31 2022-08-05 厦门市美亚柏科信息股份有限公司 联合全局和局部信息的层次监督行人再识别方法及***
CN114943753A (zh) * 2022-06-15 2022-08-26 北京理工大学 基于局部结构矢量对齐的位姿配准方法及装置
CN116824695A (zh) * 2023-06-07 2023-09-29 南通大学 一种基于特征去噪的行人再识别非局部防御方法
CN116840693B (zh) * 2023-06-30 2024-03-19 深圳市盛弘新能源设备有限公司 基于人工智能的充放电测试控制方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679142A (zh) * 2013-12-02 2014-03-26 宁波大学 一种基于空间约束的目标人体识别方法
CN105718882A (zh) * 2016-01-19 2016-06-29 上海交通大学 一种分辨率自适应特征提取与融合的行人重识别方法
CN106250870A (zh) * 2016-08-16 2016-12-21 电子科技大学 一种联合局部和全局相似性度量学习的行人再识别方法
CN106548139A (zh) * 2016-10-21 2017-03-29 华中科技大学 一种行人重识别方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3879732B2 (ja) * 2003-11-27 2007-02-14 コニカミノルタホールディングス株式会社 物体検出装置、物体検知方法、およびコンピュータプログラム
CN102663409B (zh) * 2012-02-28 2015-04-22 西安电子科技大学 一种基于hog-lbp描述的行人跟踪方法
CN105005760B (zh) * 2015-06-11 2018-04-24 华中科技大学 一种基于有限混合模型的行人再识别方法
US9911198B2 (en) * 2015-12-17 2018-03-06 Canon Kabushiki Kaisha Method, system and apparatus for matching moving targets between camera views
CN105975929A (zh) * 2016-05-04 2016-09-28 北京大学深圳研究生院 一种基于聚合通道特征的快速行人检测方法
CN107346409B (zh) * 2016-05-05 2019-12-17 华为技术有限公司 行人再识别方法和装置
US10885667B2 (en) * 2016-09-28 2021-01-05 Chung Ang University Industry Academic Cooperation Foundation Normalized metadata generation device, object occlusion detection device and method
CN106650806B (zh) * 2016-12-16 2019-07-26 北京大学深圳研究生院 一种用于行人检测的协同式深度网络模型方法
US10503981B2 (en) * 2017-06-27 2019-12-10 Canon Kabushiki Kaisha Method and apparatus for determining similarity of objects in images
US10496880B2 (en) * 2017-06-27 2019-12-03 Canon Kabushiki Kaisha Method and apparatus for comparing objects in images
CN107316031B (zh) * 2017-07-04 2020-07-10 北京大学深圳研究生院 用于行人重识别的图像特征提取方法
DE112017007724T5 (de) * 2017-07-06 2020-03-26 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. System und Verfahren zur Verfolgung von Objekten in einer zeitlichen Sequenz von digitalen Bildern
CN107832672B (zh) * 2017-10-12 2020-07-07 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN107886067B (zh) * 2017-11-07 2020-04-28 中国矿业大学 一种基于hiksvm分类器的多特征融合的行人检测方法
CN110147743B (zh) * 2019-05-08 2021-08-06 中国石油大学(华东) 一种复杂场景下的实时在线行人分析与计数***及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103679142A (zh) * 2013-12-02 2014-03-26 宁波大学 一种基于空间约束的目标人体识别方法
CN105718882A (zh) * 2016-01-19 2016-06-29 上海交通大学 一种分辨率自适应特征提取与融合的行人重识别方法
CN106250870A (zh) * 2016-08-16 2016-12-21 电子科技大学 一种联合局部和全局相似性度量学习的行人再识别方法
CN106548139A (zh) * 2016-10-21 2017-03-29 华中科技大学 一种行人重识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Pose Invariant Embedding for Deep Person Re-identification";Liang Zheng;《arXiv》;20170126;第1-10页 *
"基于全局空间约束块匹配的目标人体识别";陈普强;《计算机研究与发展》;20151231;第596-605页 *

Also Published As

Publication number Publication date
CN107316031A (zh) 2017-11-03
WO2019007004A1 (zh) 2019-01-10
US20210150194A1 (en) 2021-05-20
US11238274B2 (en) 2022-02-01

Similar Documents

Publication Publication Date Title
CN107316031B (zh) 用于行人重识别的图像特征提取方法
Choy et al. Fuzzy model-based clustering and its application in image segmentation
WO2019169816A1 (zh) 一种用于精细化识别车辆属性的深度神经网络及训练方法
Patel et al. Automatic number plate recognition system (anpr): A survey
Sirmacek et al. Urban-area and building detection using SIFT keypoints and graph theory
Lu et al. Salient object detection using concavity context
CN103886589B (zh) 面向目标的自动化高精度边缘提取方法
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN104680127A (zh) 手势识别方法及***
Peng et al. Recognition of low-resolution logos in vehicle images based on statistical random sparse distribution
CN110706235A (zh) 一种基于双级级联分割的远红外行人检测方法
Shin et al. Practical methods of image data preprocessing for enhancing the performance of deep learning based road crack detection
CN114863464B (zh) 一种pid图纸图件信息的二阶识别方法
CN108319961B (zh) 一种基于局部特征点的图像roi快速检测方法
CN105354547A (zh) 一种结合纹理和彩色特征的行人检测方法
CN112784722B (zh) 基于YOLOv3和词袋模型的行为识别方法
CN103336964A (zh) 一种基于模值差镜像不变性的sift图像匹配方法
Narendra Kumar Rao et al. Text Recognition from Images Using Deep Learning Techniques
Patel et al. A novel approach for detecting number plate based on overlapping window and region clustering for Indian conditions
Sushma et al. Text detection in color images
CN114862883A (zh) 一种目标边缘提取方法、图像分割方法及***
Kosala et al. MSER-Vertical Sobel for Vehicle Logo Detection
Chang et al. Color-texture segmentation of medical images based on local contrast information
Lin et al. Face detection algorithm based on multi-orientation gabor filters and feature fusion
CN111640071A (zh) 基于卷积神经网络修复帧差法获取全景前景目标的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200710