CN111611846A - 行人再识别方法、装置、电子设备及存储介质 - Google Patents
行人再识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111611846A CN111611846A CN202010246639.3A CN202010246639A CN111611846A CN 111611846 A CN111611846 A CN 111611846A CN 202010246639 A CN202010246639 A CN 202010246639A CN 111611846 A CN111611846 A CN 111611846A
- Authority
- CN
- China
- Prior art keywords
- sub
- image
- feature map
- pedestrian
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了行人再识别方法、装置、电子设备及存储介质,该方法包括:利用特征提取网络得到待识别行人图像的所有待识别子特征图序列;基于待识别行人图像的所有待识别子特征图序列和每一个参考行人图像的所有参考子特征图序列,计算待识别行人图像与每一个参考行人图像的相似度;基于待识别行人图像与每一个参考行人图像的相似度,生成待识别行人图像的行人再识别结果。在待识别行人图像为待识别行人图像所属的全身图或非全身图的情况和/或参考行人图像为参考行人图像所属的参考行人的全身图或非全身图的情况下,均可以较为准确地计算待识别行人图像与参考行人图像的相似度,较为准确地完成行人再识别。
Description
技术领域
本申请涉及计算机视觉领域,具体涉及行人再识别方法、装置、电子设备及存储介质。
背景技术
行人再识别(person re-identification)是计算机视觉中一项重要研究课题,特别是随着视频监控、智慧安防等场景下日益增长的相关需求,行人再识别获得越来越多的关注。
目前,采用的行人再识别方法仅可以在针对待识别行人图像为待识别行人图像所属的待识别行人的全身图即待识别行人图像包括待识别行人的身体的全部的情况下进行行人再识别。待识别行人图像通常依靠行人检测网络通过行人框从包括一个或多个行人的监控图像中获取。利用从待识别行人图像提取的所有特征与每一个参考行人图像对应的所有预设特征进行比较,以确定待识别行人图像与哪一个参考行人图像属于同一个行人,完成行人再识别。
然而,实际的行人再识别场景中经常出现在上下方向,待识别行人的身体的一部分被其他对象例如其他行人、交通工具、障碍物等遮挡的情况。在上述情况下,获取的待识别行人图像仅包括待识别行人的身体的一部分,获取的行人图像不是待识别行人图像所属的待识别行人的全身图,而是待识别行人的非全身图。此外,参考行人图像同样可能出现不是参考行人图像所属的参考行人的全身图的情况。
在出现上述情况时,无法采用目前的行人再识别方法进行行人再识别。因此,如何在出现上述情况是进行行人再识别成为一个亟待解决的问题。
发明内容
为克服相关技术中存在的问题,本申请提供一种行人再识别方法、装置、电子设备及存储介质。
根据本申请实施例的第一方面,提供一种行人再识别方法,包括:
将待识别行人图像输入到特征提取网络,得到特征提取网络输出的待识别行人图像的所有待识别子特征图序列,其中,特征提取网络被配置为:提取待识别行人图像的特征图;对于所有预设划分数量中的每一个预设划分数量,以所述预设划分数量,在从上至下的方向上对待识别行人图像的特征图进行划分,得到与所述预设划分数量相对应的待识别子特征图序列;将得到的所有待识别子特征图序列作为待识别行人图像的所有待识别子特征图序列;
对于每一个参考行人图像,基于待识别行人图像的所有待识别子特征图序列和所述参考行人图像的所有参考子特征图序列,计算待识别行人图像与所述参考行人图像的相似度;
基于待识别行人图像与每一个参考行人图像的相似度,生成待识别行人图像的行人再识别结果。
根据本申请实施例的第二方面,提供一种行人再识别装置,包括:
特征提取单元,被配置为将待识别行人图像输入到特征提取网络,得到特征提取网络输出的待识别行人图像的所有待识别子特征图序列,其中,特征提取网络被配置为:提取待识别行人图像的特征图;对于所有预设划分数量中的每一个预设划分数量,以所述预设划分数量,在从上至下的方向上对待识别行人图像的特征图进行划分,得到与所述预设划分数量相对应的待识别子特征图序列;将得到的所有待识别子特征图序列作为待识别行人图像的所有待识别子特征图序列;
相似度计算单元,被配置为对于每一个参考行人图像,基于待识别行人图像的所有待识别子特征图序列和所述参考行人图像的所有参考子特征图序列,计算待识别行人图像与所述参考行人图像的相似度;
生成单元,被配置为基于待识别行人图像与每一个参考行人图像的相似度,生成待识别行人图像的行人再识别结果。
本申请实施例提供的行人再识别方法、装置,实现了在进行行人再识别时,考虑了待识别行人图像为待识别行人图像所属的待识别行人的全身图或非全身图的情况,同时,考虑了参考行人图像为参考行人图像所属的参考行人的全身图或非全身图的情况。在待识别行人图像为待识别行人图像所属的全身图或非全身图的情况和/或参考行人图像为参考行人图像所属的参考行人的全身图或非全身图的情况下,均可以较为准确地计算待识别行人图像与参考行人图像的相似度,较为准确地完成行人再识别。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1示出了本申请实施例提供的行人再识别方法的流程图;
图2示出了以不同的保留比例获取保留图像的效果示意图;
图3示出了本申请实施例提供的行人再识别装置的结构框图;
具体实施
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本申请实施例提供的方法的流程图,该方法包括:
步骤101,利用特征提取网络得到待识别行人图像的所有待识别子特征图序列。
在本申请中,将待识别行人图像输入到特征提取网络,得到特征提取网络输出的待识别行人图像的所有待识别子特征图序列。
特征提取网络被配置为:提取待识别行人图像的特征图;对于所有预设划分数量中的每一个预设划分数量,以该预设划分数量,在从上至下的方向上对待识别行人图像的特征图进行划分,得到与该预设划分数量相对应的待识别子特征图序列;将得到的所有待识别子特征图序列作为待识别行人图像的所有待识别子特征图序列。
在本申请中,特征提取网络可以包括用于提取待识别行人图像的特征图的卷积神经网络。
待识别行人图像属于在该待识别行人图像中出现的待识别行人,待识别行人图像中的行人类型的对象仅包括该待识别行人。
在本申请中,对于待识别行人图像的每一个待识别子特征图序列,该待识别子特征图序列中的任意两个相邻的待识别子特征图无重叠。每一个待识别子特征图的尺寸相同或基本相同。
对于每一个预设划分数量,以该预设划分数量,在从上至下的方向上对待识别行人图像的特征图进行均匀地划分,在从上至下的方向上待识别行人图像的特征图被划分为预设划分数量个尺寸基本相同的子特征图,预设划分数量个尺寸相同的子特征图组成与该预设划分数量相对应的子特征图序列。
例如,所有预设划分数量包括n/2、n/2+1、n/2+2、…、n。假设n为6,所有预设划分数量包括3、4、5、6。
以预设划分数量3,在从上至下的方向上对待识别行人图像的特征图进行均匀地划分,在从上至下的方向上待识别行人图像的特征图被划分为3个尺寸基本相同的子特征图,3个尺寸基本相同的子特征图组成与该预设划分数量3相对应的子特征图序列。以预设划分数量4,在从上至下的方向上对待识别行人图像的特征图进行均匀地划分,在从上至下的方向上待识别行人图像的特征图被划分为4个尺寸基本相同的子特征图,4个尺寸基本相同的子特征图组成与该预设划分数量4相对应的子特征图序列。以此类推。
在以所有预设划分数量,分别在从上至下的方向上对待识别行人图像的特征图划分之后,将得到的所有子特征图序列作为待识别行人图像的所有子特征图序列。
例如,所有预设划分数量包括3、4、5、6。
以所有预设划分数量,在从上至下的方向上对待识别行人图像的特征图划分,得到的所有子特征图序列包括:与预设划分数量3相对应的待识别子特征图序列、与该预设划分数量4相对应的待识别子特征图序列、与该预设划分数量5相对应的待识别子特征图序列、与该预设划分数量6相对应的待识别子特征图序列。
在本申请中,以每一个该预设划分数量,分别在从上至下的方向上对待识别行人图像的特征图进行均匀地划分,是由于考虑了在上下方向上,可能存在的多种待识别行人图像与待识别行人图像所属的待识别行人的全身图之间的关系。
对于所有预设划分数量中的每一个预设划分数量,该预设划分数量与最大的预设划分数量的比例指示待识别行人图像与待识别行人图像所属的待识别行人的全身图的比例。
例如,所有预设划分数量包括3、4、5、6,6为最大预设划分数量。
以预设划分数量3,在从上至下的方向上对待识别行人图像的特征图划分,是假设待识别行人图像是待识别行人图像所属的待识别行人的全身图3/6的情况。
以预设划分数量4,在从上至下的方向上对待识别行人图像的特征图划分,是假设待识别行人图像是待识别行人图像所属的待识别行人的全身图4/6的情况。
以预设划分数量5,在从上至下的方向上对待识别行人图像的特征图划分,是假设待识别行人图像是待识别行人图像所属的待识别行人的全身图5/6的情况。
以预设划分数量6,在从上至下的方向上对待识别行人图像的特征图划分,是假设待识别行人图像是待识别行人图像所属的待识别行人的全身图的情况。
步骤102,基于相关的子特征图序列,计算待识别行人图像与每一个参考行人图像的相似度。
对于每一个参考行人图像,基于待识别行人图像的所有待识别子特征图序列和该参考行人图像的所有参考子特征图序列,计算待识别行人图像与该参考行人图像的相似度。
对于每一个参考行人图像,该参考行人图像属于在该参考行人图像中出现的参考行人,该参考行人图像中的行人类型的对象仅包括该参考行人。
在本申请中,对于每一个参考行人图像,可以预先以所有预设划分数量,分别在从上至下的方向上对该参考行人图像的特征图进行划分,将得到的所有参考子特征图序列作为该参考行人图像的所有参考子特征图序列。参考行人图像的特征图通过特征提取网络提取。
例如,所有预设划分数量包括3、4、5、6。对于每一个参考行人图像,
以所有预设划分数量,分别在从上至下的方向上对该参考行人图像的特征图划分,该参考行人图像的所有参考子特征图序列包括:与预设划分数量3相对应的参考子特征图序列、与该预设划分数量4相对应的参考子特征图序列、与该预设划分数量5相对应的参考子特征图序列、与该预设划分数量6相对应的参考子特征图序列。
以每一个预设划分数量,分别在从上至下的方向上对待识别行人图像的特征图进行均匀地划分,是由于考虑了在上下方向上,可能存在的多种待识别行人图像与待识别行人图像所属的待识别行人的全身图之间的关系,同理,以每一个预设划分数量,分别在从上至下的方向上对待识别行人图像的特征图进行均匀地划分,是由于考虑了在上下方向上,可能存在的多种参考行人图像与参考行人图像所属的参考行人的全身图之间的关系。
以下说明计算待识别行人图像与一个参考行人图像的相似度的过程,计算待识别行人图像与任意一个参考行人图像的相似度的过程可以参考该过程:
该参考行人图像的所有参考子特征图序列中的每一个参考子特征图序列各自对应待识别行人图像的所有待识别子特征图序列中的一个待识别子特征图序列。
对于该每一个参考子特征图序列,该参考子特征图序列和该参考子特征图序列对应的待识别子特征图序列对应于同一预设划分数量。
例如,所有预设划分数量包括3、4、5、6。
以所有预设划分数量,分别在从上至下的方向上分别对待识别行人图像的特征图进行划分,待识别行人图像的所有待识别子特征图序列包括:与预设划分数量3相对应的待识别子特征图序列1、与该预设划分数量4相对应的待识别子特征图序列2、与预设划分数量5相对应的待识别子特征图序列3、与预设划分数量6相对应的待识别子特征图序列4。
以所有预设划分数量,分别在从上至下的方向上分别对该参考行人图像的特征图进行划分,该参考行人图像的所有参考子特征图序列包括:与预设划分数量3相对应的参考子特征图序列1、与该预设划分数量4相对应的参考子特征图序列2、与预设划分数量5相对应的参考子特征图序列3、与预设划分数量6相对应的参考子特征图序列4。
与预设划分数量3相对应的待识别子特征图序列1对应与预设划分数量3相对应的参考子特征图序列1。
与预设划分数量4相对应的待识别子特征图序列2对应与该预设划分数量4相对应的参考子特征图序列2。
与预设划分数量5相对应的待识别子特征图序列3对应与预设划分数量5相对应的参考子特征图序列3。
与预设划分数量6相对应的参考子特征图序列4对应与预设划分数量6相对应的参考子特征图序列4。
可以计算该参考子特征图序列中的每一个参考子特征图和其对应的待识别子特征图的相似度,即计算待识别子特征图序列1与参考子特征图序列1的相似度、待识别子特征图序列2与参考子特征图序列2的相似度、待识别子特征图序列3与参考子特征图序列3的相似度、待识别子特征图序列4与参考子特征图序列4的相似度。
然后,可以将计算出的所有相似度中的最小的相似度作为待识别行人图像与该参考行人图像的相似度。
在一些实施例中,对于每一个参考行人图像,基于待识别行人图像的所有待识别子特征图序列和该参考行人图像的所有参考子特征图序列,计算待识别行人图像与该参考行人图像的相似度包括:将待识别行人图像的待识别子特征图序列和该参考行人图像的参考子特征图序列进行组合,得到与该参考行人图像相关的多个子特征图序列组合,其中,每一个子特征图序列组合包括:一个参考子特征图序列、一个待识别子特征图序列;对于该每一个子特征图序列组合,计算与该子特征图序列组合相对应的每一个子特征图组合中的两个子特征图的相似度,与该子特征图序列组合相对应的子特征图组合包括:该子特征图序列组合中的两个子特征图序列中的位于同一位置的子特征图;将计算出的所有相似度的平均值作为该子特征图序列组合对应的相似度;基于该每一个子特征图序列组合对应的相似度,计算待识别行人图像与该参考行人图像的相似度。
对于每一个参考行人图像,当将待识别行人图像的待识别子特征图序列和该参考行人图像的参考子特征图序列进行组合时,对于待识别行人图像的每一个待识别子特征图序列,将该待识别子特征图序列分别与该参考行人图像的每一个参考子特征图序列进行组合,得到与该参考行人图像相关的多个子特征图序列组合。
以一个参考行人图像为例,假设所有预设划分数量包括3、4、5、6。
待识别行人图像的所有子特征图序列包括:与预设划分数量3相对应的待识别子特征图序列1、与该预设划分数量4相对应的待识别子特征图序列2、与该预设划分数量5相对应的待识别子特征图序列3、与该预设划分数量6相对应的待识别子特征图序列4。
该参考行人图像的所有子特征图序列包括:与预设划分数量3相对应的参考子特征图序列1、与该预设划分数量4相对应的参考子特征图序列2、与该预设划分数量5相对应的参考子特征图序列3、与该预设划分数量6相对应的参考子特征图序列4。
待识别子特征图序列1分别与参考子特征图序列1、参考子特征图序列2、参考子特征图序列3、参考子特征图序列4进行组合,得到由待识别子特征图序列1与参考子特征图序列1组成的子特征图序列组合、由待识别子特征图序列1与参考子特征图序列2组成的子特征图序列组合、由待识别子特征图序列1分别与参考子特征图序列3组成的子特征图序列组合、由待识别子特征图序列1分别与参考子特征图序列4组成的子特征图序列组合。
待识别子特征图序列2分别与参考子特征图序列1、参考子特征图序列2、参考子特征图序列3、参考子特征图序列4进行组合,以此类推。
在本申请中,对于每一个参考行人图像,可以计算与该参考行人图像相关的每一个子特征图序列组合对应的相似度,然后,可以基于与该参考行人图像相关的每一个子特征图序列组合对应的相似度,计算待识别行人图像与该参考行人图像的相似度。
例如,将与该参考行人图像相关的每一个子特征图序列组合对应的相似度中的作为中位数的相似度或所有与该参考行人图像相关的所有子特征图序列组合对应的相似度中的相似度的平均值作为待识别行人图像与该参考行人图像的相似度。
在一些实施例中,对于每一个参考行人图像,基于与该参考行人图像相关的每一个子特征图序列组合对应的相似度,计算待识别行人图像与该参考行人图像的相似度包括:将该每一个子特征图序列组合对应的相似度中的最小的相似度作为待识别行人图像与该参考行人图像的相似度。
以下说明计算与一个参考行人图像相关的一个子特征图序列组合对应的相似度的过程:
该子特征图序列组合包括一个待识别子特征图序列、一个参考子特征图序列。
计算与该子特征图序列组合相对应的每一个子特征图组合中的两个子特征图的相似度。然后,将计算出的所有相似度的平均值作为该子特征图序列组合对应的相似度。
与该子特征图序列组合相对应的子特征图组合包括:该子特征图序列组合中的两个子特征图序列中的位于同一位置的子特征图。
在本申请中,对于每一个待识别子特征图,该待识别子特征图在待识别子特征图序列中的位置指示在从上至下的方向上,该待识别子特征图为待识别行人图像的特征图的第几个待识别子特征图。
例如,对于预设划分数量3,在从上至下的方向上待识别行人图像的特征图划分为3个待识别子特征图,得到与该预设划分数量3相对应的、包括该3个待识别子特征图的待识别子特征图序列。该待识别子特征图序列中的第1个待识别子特征图为在从上至下的方向上,待识别行人图像的特征图的第1个待识别子特征图。该待识别子特征图序列中的第2个待识别子特征图为在从上至下的方向上,待识别行人图像的特征图的第2个待识别子特征图。该待识别子特征图序列中的第3个待识别子特征图为在从上至下的方向上,待识别行人图像的特征图的第3个待识别子特征图。
同理,对于每一个参考子特征图,该参考子特征图在参考子特征图序列中的位置指示在从上至下的方向上,该参考子特征图为参考行人图像的特征图的第几个待参考子特征图。
当该子特征图序列组合中的待识别子特征图序列包括的待识别子特征图的数量和该子特征图序列组合中的参考子特征图序列包括的参考子特征图的数量相同时,每一个待识别子特征图各自与参考子特征图序列中的一个参考子特征图组成与该子特征图序列组合相对应的一个子特征图组合。
例如,待识别子特征图序列包括3个待识别子特征图,参考子特征图序列包括3个参考子特征图。
该待识别子特征图序列中的第1个待识别子特征图与参考子特征图序列中的第1个参考子特征图组成与该子特征图序列组合相对应的子特征图组合相对应的第1个子特征图组合。
该待识别子特征图序列中的第2个待识别子特征图与参考子特征图序列中的第2个参考子特征图组成与该子特征图序列组合相对应的子特征图组合相对应的第2个子特征图组合。
该待识别子特征图序列中的第3个待识别子特征图与参考子特征图序列中的第3个参考子特征图组成与该子特征图序列组合相对应的子特征图组合相对应的第3个子特征图组合。
计算与该子特征图序列组合相对应的每一个子特征图组合中的两个子特征图的相似度,即计算该待识别子特征图序列中的第1个待识别子特征图与该参考子特征图序列中的第1个参考子特征图的相似度、该待识别子特征图序列中的第2个待识别子特征图与该参考子特征图序列中的第2个参考子特征图的相似度、该待识别子特征图序列中的第3个待识别子特征图与该参考子特征图序列中的第3个参考子特征图的相似度。
然后,将计算出的所有相似度的平均值作为该子特征图序列组合对应的相似度。
当该子特征图序列组合中的待识别子特征图序列包括的待识别子特征图的数量和该子特征图序列组合中的参考子特征图序列包括的参考子特征图的数量不相同时,对应的预设划分数量少的子特征图序列包括的子特征图的数量利用N表示。
对应的预设划分数量少的子特征图序列中的一个子特征图各自与对应的预设划分数量多的子特征图序列中的前N个子特征图中的一个子特征图相对应。
对于对应的预设划分数量少的子特征图序列中的每一个子特征图,该子特征图在对应的预设划分数量少的子特征图序列中的位置与该子特征图对应的子特征图在对应的预设划分数量多的子特征图序列中的位置相同。
对于对应的预设划分数量少的子特征图序列中的每一个子特征图,该子特征图与其对应的子特征图组成一个子特征图组合。
位置在对应的预设划分数量多的子特征图序列中的第N个子特征图之后的子特征图不参与相似度的计算。
例如,待识别子特征图序列包括3个待识别子特征图,参考子特征图序列包括5个参考子特征图。N为3。
对应的预设划分数量少的子特征图序列为待识别子特征图序列,对应的预设划分数量多的子特征图序列为参考子特征图序列。
位置在对应的预设划分数量多的子特征图序列中的第3个子特征图之后的子特征图即第4个参考子特征图、第5个参考子特征图不参与相似度的计算。
该待识别子特征图序列中的第1个待识别子特征图与参考子特征图序列中的第1个参考子特征图组成与两个子特征图序列相对应的第1个子特征图组合。该待识别子特征图序列中的第2个待识别子特征图与参考子特征图序列中的第2个参考子特征图组成与两个子特征图序列相对应的第2个子特征图组合。该待识别子特征图序列中的第3个待识别子特征图与参考子特征图序列中的第3个参考子特征图组成与两个子特征图序列相对应的第3个子特征图组合。
计算与该子特征图序列组合相对应的子特征图组合相对应的每一个子特征图组合中的两个子特征图的相似度,得到该待识别子特征图序列中的第1个待识别子特征图与参考子特征图序列中的第1个参考子特征图的相似度、该待识别子特征图序列中的第2个待识别子特征图与参考子特征图序列中的第2个参考子特征图的相似度、该待识别子特征图序列中的第3个待识别子特征图与参考子特征图序列中的第3个参考子特征图的相似度。
然后,将计算出的所有相似度的平均值作为该子特征图序列组合对应的相似度。
在一些实施例中,在多个训练阶段对特征提取网络进行训练,其中,在每一个训练阶段,执行以下操作:对于每一个用于训练的行人图像,以该用于训练的行人图像的预设保留比例,从该用于训练的行人图像获取属于该用于训练的行人图像的保留图像;将在该训练阶段得到的所有保留图像划分为多组保留图像;对于该多组保留图像中的每一组保留图像,利用特征提取网络提取该一组保留图像中的每一个保留图像的特征图;对于该每一个保留图像的特征图,以与该保留图像所属的用于训练图像的预设保留比例相对应的预设划分数量,在从上至下的方向上对该保留图像的特征图进行划分,得到该保留图像的子特征图序列;至少基于该每一个保留图像的子特征图序列,计算该一组保留图像对应的所有损失;基于该一组保留图像对应的所有损失,对特征提取网络的参数的参数值进行更新。
在本申请中,在每一个训练阶段即每一个epoch,可以使用同一个训练集中的所有用于训练的行人图像对特征提取网络进行训练。
对于每一个用于训练的行人图像,该用于训练的行人图像在每一个训练阶段均被用于对特征提取网络进行训练。
在本申请中,可以预先设置多个预设保留比例。例如,预先设置1、(n-1)/n、(n-2)/n、...、(n/2)/n等预设保留比例,假设n为6,预先设置1、5/6、4/6、3/6等预设保留比例。
在每一个训练阶段,每一个用于训练的行人图像各自具有一个预设保留比例。
在每一个训练阶段,对于每一个用于训练的行人图像,从该用于训练的行人图像获取属于该用于训练的行人图像的保留图像。
对于一个用于训练的行人图像,当该用于训练的行人图像的预设保留比例为1时,该用于训练的行人图像直接作为属于所述用于训练的行人图像的保留图像。换言之,保留该用于训练的行人图像的全部。
对于一个用于训练的行人图像,当该用于训练的行人图像的预设保留比例不是1时,从用于训练的行人图像获取属于该用于训练的行人图像的保留图像为以该用于训练的行人图像的预设保留比例,对该用于训练的行人图像进行截取,得到属于该用于训练的行人图像的保留图像,保留该用于训练的行人图像的预设保留比例的部分,即属于该用于训练的行人图像的保留图像为该用于训练的行人图像的预设保留比例的部分。
对于一个用于训练的行人图像,当以该用于训练的行人图像的预设保留比例,对该用于训练的行人图像进行截取时,可以在从上至下的方向上对该用于训练的行人图像进行截取,保留在从上至下的方向上该用于训练的行人图像的预设保留比例的部分,即属于该用于训练的行人图像的保留图像为在从上至下的方向上该用于训练的行人图像的预设保留比例的部分。
例如,对于一个用于训练的行人图像,当该用于训练的行人图像的预设保留比例5/6时,以该用于训练的行人图像的预设保留比例,在从上至下的方向上对该用于训练的行人图像进行截取,保留在从上至下的方向上该用于训练的行人图像的5/6的部分,得到属于该用于训练的行人图像的保留图像,属于该用于训练的行人图像的保留图像为在从上至下的方向上该用于训练的行人图像的5/6的部分。
请参考图2,其示出了以不同的预设保留比例获取保留图像的效果示意图。
在图2中,示出了4个利用矩形表示的用于训练的行人图像。用于训练的行人图像中的数值表示用于训练的行人图像的预设保留比例。
对于预设保留比例为6/6的用于训练的行人图像,用于训练的行人图像直接作为保留图像。表示用于训练的行人图像的矩形中的虚线为属于用于训练的行人图像的保留图像的底边,属于用于训练的行人图像的保留图像的顶边为用于训练的行人图像的顶边。
对于预设保留比例为5/6的用于训练的行人图像,属于该用于训练的行人图像的保留图像为在从上至下的方向上该用于训练的行人图像的5/6的部分。
对于预设保留比例为4/6的用于训练的行人图像,属于该用于训练的行人图像的保留图像为在从上至下的方向上该用于训练的行人图像的4/6的部分。
对于预设保留比例为3/6的用于训练的行人图像,属于该用于训练的行人图像的保留图像为在从上至下的方向上该用于训练的行人图像的3/6的部分。
在本申请中,对于每一个训练阶段,可以预先设置在该训练阶段,
对于每一个预设保留比例,具有该预设保留比例的用于训练的行人图像的数量。
例如,预先设置1、(n-1)/n、(n-2)/n、...、(n/2)/n等预设保留比例,假设n为6,预先设置1、5/6、4/6、3/6等预设保留比例。
对于一个训练阶段,预先设置在该训练阶段,具有预设保留比例1的用于训练的行人图像的数量、预先设置具有预设保留比例5/6的用于训练的行人图像的数量、具有预设保留比例4/6的用于训练的行人图像的数量、具有预设保留比例3/6的用于训练的行人图像的数量。
在一些实施例中,对于每一个训练阶段,在该训练阶段中每一个用于训练的行人图像的预设保留比例以随机方式确定,以使得对于每一个用于训练的行人图像,每一个预设保留比例应用在该用于训练的行人图像上的总次数均匀。
在每一个训练阶段,每一个用于训练的行人图像的预设保留比例以随机方式确定,即在每一个训练阶段,对于每一个用于训练的行人图像,以均匀分布的概率从所有预设保留比例中选取出作为该用于训练的行人图像的预设保留比例的预设保留比例。从而,使得对于每一个用于训练的行人图像,每一个预设保留比例应用在该用于训练的行人图像上的总次数均匀。对于每一个预设保留比例,该预设保留比例应用在该用于训练的行人图像上的总次数为在所有训练阶段中该预设保留比例应用在该用于训练的行人图像上的总次数。
例如,预先设置1、(n-1)/n、(n-2)/n、...、(n/2)/n等预设保留比例,假设n为6,预先设置1、5/6、4/6、3/6等预设保留比例。
在每一个训练阶段,每一个用于训练的行人图像的预设保留比例以随机方式确定。从而,对于每一个用于训练的行人图像,1、5/6、4/6、3/6等预设保留比例均应用在该用于训练的行人图像上,并且1、5/6、4/6、3/6等预设保留比例均应用在该用于训练的行人图像上的总次数均匀,例如1、5/6、4/6、3/6等预设保留比例均应用在该用于训练的行人图像上的总次数基本相等。
在本申请中,对于每一个训练阶段,将在该训练阶段得到的所有保留图像划分为多组保留图像,在该训练阶段得到的每一组保留图像包括的保留图像的数量可以相同。对于在该训练阶段所有保留图像中的每一个保留图像,该保留图像属于多组保留图像中的一组保留图像。
对于每一个训练阶段,在该训练阶段的每一次训练过程中,利用在该训练阶段得到的多组保留图像中的一组保留图像对特征提取网络进行训练,该训练阶段的每一次训练过程使用的一组保留图像不同。
对于每一个训练阶段,在该训练阶段的每一次训练过程中,利用特征提取网络提取在该训练阶段得到的一组保留图像中的每一个保留图像的特征图;对于该每一个保留图像的特征图,以与该保留图像所属的用于训练图像的预设保留比例相对应的预设划分数量,对该保留图像的特征图进行划分,得到该保留图像的子特征图序列。
对于在该训练阶段得到的所有保留图像中的每一个保留图像,与该保留图像所属的用于训练图像的预设保留比例相对应的预设划分数量为为该预设保留比例中的分子。
例如,在一个训练阶段的一次训练训练过程中,使用在该训练阶段得到的一组保留图像进行训练,该一组保留图像包括3个保留图像。
该一组保留图像中的第1个保留图像通过以该第1个保留图像所属用于训练的行人图像的预设保留比例5/6,对该保留图像所属用于训练的行人图像进行截取得到。与该第1个保留图像所属的用于训练图像的预设保留比例相对应的预设划分数量为5。以预设划分数量5,在从上至下的方向上对该第1个保留图像的特征图进行划分,得到该第1个保留图像的子特征图序列。该第1个保留图像的子特征图序列包括5个子特征图。
该一组保留图像中的第2个保留图像通过以该第2个保留图像所属用于训练的行人图像的预设保留比例4/6,对该保留图像所属用于训练的行人图像进行截取得到。与该第2个保留图像所属的用于训练图像的预设保留比例相对应的预设划分数量为4。以预设划分数量4,在从上至下的方向上对该第2个保留图像的特征图进行划分,得到该第2个保留图像的子特征图序列。该第2个保留图像的子特征图序列包括4个子特征图。
该一组保留图像中的第3个保留图像通过以该第3个保留图像所属用于训练的行人图像的预设保留比例3/6,对该保留图像所属用于训练的行人图像进行截取得到。与该第3个保留图像所属的用于训练图像的预设保留比例相对应的预设划分数量为3。以预设划分数量3,在从上至下的方向上对该第3个保留图像的特征图进行划分,得到该第3个保留图像的子特征图序列。该第3个保留图像的子特征图序列包括3个子特征图。
在本申请中,对于每一个训练阶段,在该训练阶段的每一次训练过程中,可以基于在该训练过程中使用的一组保留图像中的每一个保留图像的子特征图序列,计算该一组保留图像对应的所有损失;基于该一组保留图像对应的所有损失,对特征提取网络的参数的参数值进行更新。
从而,对于每一个训练阶段,在该训练阶段的每一次训练过程中,根据一组保留图像对应的所有损失,对特征提取网络的参数的参数值进行更新。
在本申请中,对于每一个训练阶段,在该训练阶段的每一次训练过程中,一组保留图像对应的所有损失可以为一组保留图像对应的距离损失。
对于每一个训练阶段,在该训练阶段的每一次训练过程中,可以通过度量学习(Metric Learning)计算一组保留图像对应的距离损失,根据一组保留图像对应的距离损失,更新特征提取网络的参数的参数值。
通过度量学习方式计算一组保留图像对应的距离损失,根据一组保留图像对应的距离损失,更新特征提取网络的参数的参数值的目的为使得属于同一行人的行人图像的特征图或子特征图之间的相似度越来越大,属于不同的行人的行人图像的特征图或子特征图之间的相似度越来越小。
当通过度量学习计算一组保留图像对应的距离损失时,可以对于一组保留图像中的每一个保留图像,计算该保留图像的子特征图序列与每一个其他的子特征图序列之间的距离。
然后,利用损失函数Triplet Loss,基于计算出的所有距离,计算一组保留图像对应的距离损失。
例如,一组保留图像包括属于行人图像1的保留图像、属于行人图像2保留图像、属于行人图像3的保留图像。
行人图像1、行人图像2为均为行人1的行人图像。行人图像3为与行人1不同的行人2的行人图像。
计算属于行人图像1的保留图像的子特征图序列与属于行人图像2的保留图像的子特征图序列之间的距离、属于行人图像1的保留图像的子特征图序列与属于行人图像3的保留图像的子特征图序列之间的距离、属于行人图像2的保留图像的子特征图序列与属于行人图像3的保留图像的子特征图序列之间的距离。
然后,利用损失函数Triplet Loss,基于计算出的3个距离,计算该该一组保留图像对应的距离损失。
以下说明计算两个保留图像的子特征图序列之间的距离的过程,计算任意两个保留图像的子特征图序列之间的距离的过程可以参考该过程:
当该两个保留图像中的第一保留图像的子特征图序列包括的子特征图的数量和该两个保留图像中的第二保留图像的子特征图序列包括的子特征图的数量相同时,第一保留图像的子特征图序列中的每一个子特征图各自对应第二保留图像的子特征图序列中的一个子特征图。对于第一保留图像的子特征图序列中的每一个子特征图,该子特征图在第一保留图像的子特征图序列中的位置与该子特征图对应的子特征图在第二保留图像的子特征图序列中的位置相同。
对于第一保留图像的子特征图序列中的每一个子特征图,计算该子特征图与该子特征图对应的子特征图之间的距离。将计算出的所有距离的平均值作为第一保留图像的子特征图序列与第二保留图像的子特征图序列之间的距离。
当该两个保留图像中的第一保留图像的子特征图序列包括的子特征图的数量和该两个保留图像中的第二保留图像的子特征图序列包括的子特征图的数量不相同时,包括的子特征图数量少的子特征图序列包括的子特征图的数量利用N表示,包括的子特征图数量多的子特征图序列中的前N个子特征图各自对应包括的子特征图数量少的子特征图序列中的一个子特征图。
对于包括的子特征图数量少的子特征图序列中的每一个子特征图,该子特征图在包括的子特征图数量少的子特征图序列中的位置与该子特征图对应的子特征图在包括的子特征图数量多的子特征图序列中的位置相同。
位置在包括的子特征图数量多的子特征图序列中的第N个子特征图之后的子特征图不参与距离的计算。
对于包括的子特征图数量少的子特征图序列中的每一个子特征图,计算该子特征图与该子特征图对应的子特征图之间的距离。
将计算出的所有距离的平均值作为第一保留图像的子特征图序列与第二保留图像的子特征图序列之间的距离。
在一些实施例中,对于每一组保留图像,该一组保留图像对应的所有损失包括:该一组保留图像对应的距离损失、该一组保留图像中的每一个保留图像对应的所有分类损失;至少基于该每一个保留图像的子特征图序列,计算该一组保留图像对应的所有损失包括:
基于该每一个保留图像的子特征图序列,计算该一组保留图像对应的距离损失;
对于该一组保留图像中的每一个保留图像,利用与该保留图像相对应的所有分类器,基于该保留图像所属的用于训练的行人图像的特征图和所述保留图像的子特征图序列,得到该保留图像对应的所有分类预测结果,其中,该保留图像所属的用于训练的行人图像的特征图作为该所有分类器中的完整特征图监督分类器的输入,该保留图像的子特征图序列中的每一个子特征图各自作为该所有分类器中的一个分类器的输入;对于该一组保留图像中的每一个保留图像,基于该保留图像对应的所有分类预测结果、该保留图像所属用于训练的行人图像的分类标注结果,计算该每一个保留图像对应的所有分类损失。
对于每一个训练阶段,在该训练阶段的每一次训练过程中,可以同时将度量学习方式和分类器用于特征提取网络的训练,以加快特征提取网络的收敛速度以及增强特征提取网络提取具有区分度的特征的性能。
在本申请中,用于对特征提取网络训练进行训练的分类器的数量可以为n+1个,n为所有预设划分数量中的最大值,即最大的预设划分数量,例如,n为6。
分类器的输入为保留图像所属的用于训练的行人图像的特征图或保留图像的子特征图序列中的子特征图。分类器输出的预测分类结果可以为一个行人标识。
每一个预先确定的行人标识各自属于所有预先确定的所有行人中的一个预先确定的行人。该所有预先确定的所有行人由所有用于训练的行人图像中的每一个用于训练的行人图像各自所属的行人组成。
换言之,对于该所有预先确定的行人中的每一个预先确定的行人,所有用于训练的行人图像包括至少一个属于该预先确定的行人的用于训练的行人图像。
分类器基于分类器的输入进行预测,得到预测分类结果可以相当于分类器预测保留图像所属的用于训练的行人图像属于所有预先确定的行人中的哪一个行人。
分类器输出的预测分类结果也可以为每一个预先确定的行人的概率,预先确定的行人的概率可以指示保留图像所属的用于训练的行人图像属于该预先确定的行人的概率。
在本申请中,每一个分类器均可以为softmax分类器,可以利用softmax损失函数计算一组保留图像对应的分类损失。
n+1个分类器中的第n+1个分类器的输入为保留图像所属的用于训练的行人图像的特征图,第n+1个分类器可以称之为完整特征图监督分类器。
n+1个分类器中的第1、2...n个分类器的输入为保留图像的子特征图序列中的不同的子特征图。
任意一个保留图像对应的所有分类器均包括第n+1个分类器即完整特征图监督分类器。
对于每一个训练阶段,在该训练阶段的每一次训练过程中,对于该一组保留图像中的每一个保留图像,利用与该保留图像相对应的所有分类器,基于该保留图像所属的用于训练的行人图像的特征图和该保留图像的子特征图序列,得到该保留图像对应的所有分类预测结果。
对于该一组保留图像中的每一个保留图像,该保留图像所属的用于训练的行人图像的特征图对应所有分类器中的完整特征图监督分类器,该保留图像所属的用于训练的行人图像的特征图作为第n+1个分类器即完整特征图监督分类器的输入。
对于该一组保留图像中的每一个保留图像,该保留图像的子特征图序列中的每一个子特征图各自对应与该保留图像相对应的所有分类器中的一个分类器。对于该保留图像的子特征图序列中的每一个子特征图,该子特征图作为该子特征图对应的分类器的输入。
对于该保留图像的子特征图序列中的每一个子特征图,该子特征图对应的分类器为在n+1个分类器中的的位置与该子特征图在该保留图像的子特征图序列中的位置相同的分类器。
该保留图像的子特征图序列中的第1个子特征图对应n+1个分类器中的第1个分类器,该保留图像的子特征图序列中的第1个子特征图作为第1个分类器的输入,第1个分类器输出该保留图像对应的第1个分类预测结果,该保留图像的子特征图序列中的第2个子特征图对应n+1个分类器中的第2个分类器,该保留图像的子特征图序列中的第2个子特征图作为第2个分类器的输入,第2个分类器输出该保留图像对应的第2个分类预测结果,以此类推。该保留图像所属的用于训练图像作为第n+1个分类器即完整特征图监督分类器的输入,第n+1个分类器输出该保留图像对应的最后一个分类预测结果。
在本申请中,对于每一个用于训练的行人图像,该用于训练的行人图像的分类标注结果可以为一个预先确定的行人标识,该预先确定的行人标识为该用于训练的行人图像所属的行人的行人标识。
以下说明在一个训练阶段的一次训练训练过程中计算一组保留图像中的每一个保留图像各自对应的所有分类损失的过程,在一个训练阶段的任意一次训练训练过程中计算任意一组保留图像一组保留图像中的每一个保留图像各自对应的所有分类损失的过程参考该过程:
n+1个分类器为n+1个softmax分类器。
在一个训练阶段的一次训练训练过程中,使用在该训练阶段得到的一组保留图像进行训练,该一组保留图像包括3个保留图像。
假设n为6,该一组保留图像中的第1个保留图像通过以该第1个保留图像所属用于训练的行人图像的预设保留比例5/6,在从上至下的方向上对该保留图像所属用于训练的行人图像进行截取得到。与该第1个保留图像所属的用于训练图像的预设保留比例相对应的预设划分数量为5。以预设划分数量5,在从上至下的方向上对该第1个保留图像的特征图进行划分,得到该第1个保留图像的子特征图序列。该第1个保留图像的子特征图序列包括5个子特征图。
与该第1个保留图像的子特征图序列相对应的所有softmax分类器分类器包括:第1个softmax分类器、第2个softmax分类器、第3个softmax分类器、第4个softmax分类器、第5个softmax分类器、第n+1个即第7个softmax分类器。
该第1个保留图像的子特征图序列中的第1个子特征图作为第1个softmax分类器的输入,第1个softmax分类器输出该第1个保留图像对应的第1个分类预测结果,利用softmax损失函数基于该第1个保留图像对应的第1个分类预测结果和该第1个保留图像所属用于训练的行人图像的分类标注结果,得到该第1个保留图像对应的第1个分类损失。
该第1个保留图像的子特征图序列中的第2个子特征图作为第2个softmax分类器的输入,第2个softmax分类器输出该第1个保留图像对应的第2个分类预测结果,利用softmax损失函数基于该第1个保留图像对应的第2个分类预测结果和该保留图像所属用于训练的行人图像的分类标注结果,得到该第1个保留图像对应的第2个分类损失,以此类推。
该第1个保留图像所属的用于训练图像的特征图作为第7个分类器的输入,第7个分类器输出该第1个保留图像对应的第6个分类预测结果,利用softmax损失函数基于该第1个保留图像对应的第6个分类预测结果和该保留图像所属用于训练的行人图像的分类标注结果,得到该第1个保留图像对应的第6个分类损失。
该第1个保留图像对应的所有分类损失包括:该第1个保留图像对应的第1个分类损失、该第1个保留图像对应的第2个分类损失、该第1个保留图像对应的第3个分类损失、该第1个保留图像对应的第4个分类损失、该第1个保留图像对应的第5个分类损失、该第1个保留图像对应的第6个分类损失。
该一组保留图像中的第2个保留图像通过以该第2个保留图像所属用于训练的行人图像的预设保留比例4/6,在从上至下的方向上对该保留图像所属用于训练的行人图像进行截取得到。与该第2个保留图像所属的用于训练图像的预设保留比例相对应的预设划分数量为4。以预设划分数量4,在从上至下的方向上对该第2个保留图像的特征图进行划分,得到该第2个保留图像的子特征图序列。该第2个保留图像的子特征图序列包括4个子特征图。
与该第2个保留图像的子特征图序列相对应的所有softmax分类器分类器包括:第1个softmax分类器、第2个softmax分类器、第3个softmax分类器、第4个softmax分类器、第n+1个即第7个分类器。
该第2个保留图像的子特征图序列中的第1个子特征图作为第1个softmax分类器的输入,第1个softmax分类器输出该第2个保留图像对应的第1个分类预测结果,利用softmax损失函数基于该第2个保留图像对应的第1个分类预测结果和该保留图像所属用于训练的行人图像的分类标注结果,得到该第2个保留图像对应的第1个分类损失。
该第2个保留图像的子特征图序列中的第2个子特征图作为第2个softmax分类器的输入,第2个softmax分类器输出该第2个保留图像对应的第2个分类预测结果,利用softmax损失函数基于该第2个保留图像对应的第2个分类预测结果和该保留图像所属用于训练的行人图像的分类标注结果,得到该第2个保留图像对应的第2个分类损失,以此类推。
该第2个保留图像所属的用于训练图像的特征图作为第7个softmax分类器的输入,第7个softmax分类器输出该第2个保留图像对应的第5个分类预测结果。利用softmax损失函数基于该第2个保留图像对应的第5个分类预测结果和该保留图像所属用于训练的行人图像的分类标注结果,得到该第2个保留图像对应的第5个分类损失,以此类推。
该第2个保留图像对应的所有分类损失包括:该第2个保留图像对应的第1个分类损失、该第2个保留图像对应的第2个分类损失、该第2个保留图像对应的第3个分类损失、该第2个保留图像对应的第4个分类损失、该第1个保留图像对应的第5个分类损失。
该一组保留图像中的第3个保留图像通过以该第3个保留图像所属用于训练的行人图像的预设保留比例3/6,在从上至下的方向上对该保留图像所属用于训练的行人图像进行截取得到。与该第3个保留图像所属的用于训练图像的预设保留比例相对应的预设划分数量为3。以预设划分数量3,在从上至下的方向上对该第3个保留图像进行划分,得到该第3个保留图像的子特征图序列。该第3个保留图像的子特征图序列包括3个子特征图。
与该第3个保留图像的子特征图序列相对应的所有softmax分类器包括:第1个softmax分类器、第2个softmax分类器、第3个softmax分类器、第n+1个即第7个softmax分类器。
该第3个保留图像的子特征图序列中的第1个子特征图作为第1个softmax分类器的输入,第1个softmax分类器输出该第3个保留图像对应的第1个分类预测结果。利用softmax损失函数基于该第3个保留图像对应的第1个分类预测结果和该保留图像所属用于训练的行人图像的分类标注结果,得到该第3个保留图像对应的第1个分类损失,以此类推。
该第3个保留图像所属的用于训练图像的特征图作为第7个softmax分类器的输入,第7个分类器输出该第3个保留图像对应的第4个分类预测结果。利用softmax损失函数基于该第3个保留图像对应的第4个分类预测结果和该保留图像所属用于训练的行人图像的分类标注结果,得到该第3个保留图像对应的第4个分类损失。
该第3个保留图像对应的所有分类损失包括:该第3个保留图像对应的第1个分类损失、该第3个保留图像对应的第2个分类损失、该第3个保留图像对应的第3个分类损失、该第3个保留图像对应的第4个分类损失。
步骤103,基于待识别行人图像与每一个参考行人图像的相似度,生成行人再识别结果。
在本申请中,待识别行人图像的行人再识别结果可以为待识别行人图像对应的行人标识。
每一个参考行人图像各自对应一个行人标识。对于每一个参考行人图像,该参考行人图像对应的行人标识为该参考行人所属的行人的行人标识。
在本申请中,当基于待识别行人图像与每一个参考行人图像的相似度,生成待识别行人图像的行人再识别结果时,可以将与待识别行人图像的相似度最大的参考图像对应的行人标识作为待识别行人图像对应的行人标识。从而,确定待识别行人图像中的行人即待识别行人图像所属的行人的身份,完成一次行人再识别。
请参考图3,其示出了本申请实施例提供的行人再识别装置的结构框图。装置包括:特征提取单元301,相似度计算单元302,生成单元303。
特征提取单元301被配置为将待识别行人图像输入到特征提取网络,得到特征提取网络输出的待识别行人图像的所有待识别子特征图序列,其中,特征提取网络被配置为:提取待识别行人图像的特征图;对于所有预设划分数量中的每一个预设划分数量,以所述预设划分数量,在从上至下的方向上对待识别行人图像的特征图进行划分,得到与所述预设划分数量相对应的待识别子特征图序列;将得到的所有待识别子特征图序列作为待识别行人图像的所有待识别子特征图序列;
相似度计算单元302被配置为对于每一个参考行人图像,基于待识别行人图像的所有待识别子特征图序列和所述参考行人图像的所有参考子特征图序列,计算待识别行人图像与所述参考行人图像的相似度;
生成单元303被配置为基于待识别行人图像与每一个参考行人图像的相似度,生成待识别行人图像的行人再识别结果。
在一些实施例中,所有预设划分数量包括:n/2、n、至少一个其他预设划分数量,其中,n为所有预设划分数量中最大的预设划分数量,其他预设划分数量大于n/2并且小于n。
在一些实施例中,相似度计算单元302进一步被配置为:
将待识别行人图像的待识别子特征图序列和所述参考行人图像的参考子特征图序列进行组合,得到与所述参考行人图像相关的多个子特征图序列组合,其中,每一个子特征图序列组合包括:一个参考子特征图序列、一个待识别子特征图序列;
对于所述每一个子特征图序列组合,计算与所述子特征图序列组合相对应的每一个子特征图组合中的两个子特征图的相似度,所述子特征图组合包括:所述子特征图序列组合中的两个子特征图序列中的位于同一位置的子特征图;将计算出的所有相似度的平均值作为所述子特征图序列组合对应的相似度;
基于所述每一个子特征图序列组合对应的相似度,计算待识别行人图像与所述参考行人图像的相似度。
在一些实施例中,所述基于所述每一个子特征图序列组合对应的相似度,计算待识别行人图像与所述参考行人图像的相似度包括:
将所述每一个子特征图序列组合对应的相似度中的最小的相似度作为待识别行人图像与所述参考行人图像的相似度。
在一些实施例中,行人再识别装置还包括:
训练单元,被配置为:在多个训练阶段对所述特征提取网络进行训练,其中,在每一个训练阶段,执行以下操作:
对于每一个用于训练的行人图像,以所述用于训练的行人图像的预设保留比例,从所述用于训练的行人图像获取属于所述用于训练的行人图像的保留图像;
将在所述训练阶段得到的所有保留图像划分为多组保留图像;
对于所述多组保留图像中的每一组保留图像,利用特征提取网络提取所述一组保留图像中的每一个保留图像的特征图;对于所述每一个保留图像的特征图,以与所述保留图像所属的用于训练图像的预设保留比例相对应的预设划分数量,在从上至下的方向上对所述保留图像的特征图进行划分,得到所述保留图像的子特征图序列;至少基于所述每一个保留图像的子特征图序列,计算所述一组保留图像对应的所有损失;基于所述一组保留图像对应的所有损失,对所述特征提取网络的参数的参数值进行更新。
在一些实施例中,对于每一个训练阶段,在所述训练阶段中每一个用于训练的行人图像的预设保留比例以随机方式确定,以使得对于每一个用于训练的行人图像,每一个预设保留比例应用在所述用于训练的行人图像上的总次数均匀。
在一些实施例中,所述一组保留图像对应的所有损失包括:所述一组保留图像对应的距离损失、所述每一个保留图像对应的所有分类损失;
至少基于所述每一个保留图像的子特征图序列,计算所述一组保留图像对应的所有损失包括:
基于所述每一个保留图像的子特征图序列,计算所述一组保留图像对应的距离损失;
对于所述一组保留图像中的每一个保留图像,利用与所述保留图像相对应的所有分类器,基于所述保留图像所属的用于训练的行人图像的特征图和所述保留图像的子特征图序列,得到所述保留图像对应的所有分类预测结果,其中,所述保留图像所属的用于训练的行人图像的特征图作为所述所有分类器中的完整特征图监督分类器的输入,所述保留图像的子特征图序列中的每一个子特征图各自作为所述所有分类器中的一个分类器的输入;
对于所述一组保留图像中的每一个保留图像,基于所述保留图像对应的所有分类预测结果、所述保留图像所属用于训练的行人图像的分类标注结果,计算所述每一个保留图像对应的所有分类损失。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器,上述指令可由电子设备执行以完成上述方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种行人再识别方法,其特征在于,所述方法包括:
将待识别行人图像输入到特征提取网络,得到特征提取网络输出的待识别行人图像的所有待识别子特征图序列,其中,特征提取网络被配置为:提取待识别行人图像的特征图;对于所有预设划分数量中的每一个预设划分数量,以所述预设划分数量,在从上至下的方向上对待识别行人图像的特征图进行划分,得到与所述预设划分数量相对应的待识别子特征图序列;将得到的所有待识别子特征图序列作为待识别行人图像的所有待识别子特征图序列;
对于每一个参考行人图像,基于待识别行人图像的所有待识别子特征图序列和所述参考行人图像的所有参考子特征图序列,计算待识别行人图像与所述参考行人图像的相似度;
基于待识别行人图像与每一个参考行人图像的相似度,生成待识别行人图像的行人再识别结果。
2.根据权利要求1所述的方法,其特征在于,所述所有预设划分数量包括:n/2、n、至少一个其他预设划分数量,其中,n为所有预设划分数量中最大的预设划分数量,其他预设划分数量大于n/2并且小于n。
3.根据权利要求1所述的方法,其特征在于,所述基于待识别行人图像的所有待识别子特征图序列和所述参考行人图像的所有参考子特征图序列,计算待识别行人图像与所述参考行人图像的相似度包括:
将待识别行人图像的待识别子特征图序列和所述参考行人图像的参考子特征图序列进行组合,得到与所述参考行人图像相关的多个子特征图序列组合,其中,每一个子特征图序列组合包括:一个参考子特征图序列、一个待识别子特征图序列;
对于所述每一个子特征图序列组合,计算与所述子特征图序列组合相对应的每一个子特征图组合中的两个子特征图的相似度,所述子特征图组合包括:所述子特征图序列组合中的两个子特征图序列中的位于同一位置的子特征图;将计算出的所有相似度的平均值作为所述子特征图序列组合对应的相似度;
基于所述每一个子特征图序列组合对应的相似度,计算待识别行人图像与所述参考行人图像的相似度。
4.根据权利要求3所述的方法,其特征在于,所述基于所述每一个子特征图序列组合对应的相似度,计算待识别行人图像与所述参考行人图像的相似度包括:
将所述每一个子特征图序列组合对应的相似度中的最小的相似度作为待识别行人图像与所述参考行人图像的相似度。
5.根据权利要求1-4之一所述的方法,其特征在于,所述方法还包括:
在多个训练阶段对所述特征提取网络进行训练,其中,在每一个训练阶段,执行以下操作:
对于每一个用于训练的行人图像,以所述用于训练的行人图像的预设保留比例,从所述用于训练的行人图像获取属于所述用于训练的行人图像的保留图像;
将在所述训练阶段得到的所有保留图像划分为多组保留图像;
对于所述多组保留图像中的每一组保留图像,利用特征提取网络提取所述一组保留图像中的每一个保留图像的特征图;对于所述每一个保留图像的特征图,以与所述保留图像所属的用于训练图像的预设保留比例相对应的预设划分数量,在从上至下的方向上对所述保留图像的特征图进行划分,得到所述保留图像的子特征图序列;至少基于所述每一个保留图像的子特征图序列,计算所述一组保留图像对应的所有损失;基于所述一组保留图像对应的所有损失,对所述特征提取网络的参数的参数值进行更新。
6.根据权利要求5所述的方法,其特征在于,对于每一个训练阶段,在所述训练阶段中每一个用于训练的行人图像的预设保留比例以随机方式确定,以使得对于每一个用于训练的行人图像,每一个预设保留比例应用在所述用于训练的行人图像上的总次数均匀。
7.根据权利要求5所述的方法,其特征在于,所述一组保留图像对应的所有损失包括:所述一组保留图像对应的距离损失、所述一组保留图像中的每一个保留图像对应的所有分类损失;
至少基于所述每一个保留图像的子特征图序列,计算所述一组保留图像对应的所有损失包括:
基于所述每一个保留图像的子特征图序列,计算所述一组保留图像对应的距离损失;
对于所述每一个保留图像,利用与所述保留图像相对应的所有分类器,基于所述保留图像所属的用于训练的行人图像的特征图和所述保留图像的子特征图序列,得到所述保留图像对应的所有分类预测结果,其中,所述保留图像所属的用于训练的行人图像的特征图作为所述所有分类器中的完整特征图监督分类器的输入,所述保留图像的子特征图序列中的每一个子特征图各自作为所述所有分类器中的一个分类器的输入;
对于所述每一个保留图像,基于所述保留图像对应的所有分类预测结果、所述保留图像所属用于训练的行人图像的分类标注结果,计算所述每一个保留图像对应的所有分类损失。
8.一种行人再识别装置,其特征在于,所述装置包括:
特征提取单元,被配置为将待识别行人图像输入到特征提取网络,得到特征提取网络输出的待识别行人图像的所有待识别子特征图序列,其中,特征提取网络被配置为:提取待识别行人图像的特征图;对于所有预设划分数量中的每一个预设划分数量,以所述预设划分数量,在从上至下的方向上对待识别行人图像的特征图进行划分,得到与所述预设划分数量相对应的待识别子特征图序列;将得到的所有待识别子特征图序列作为待识别行人图像的所有待识别子特征图序列;
相似度计算单元,被配置为对于每一个参考行人图像,基于待识别行人图像的所有待识别子特征图序列和所述参考行人图像的所有参考子特征图序列,计算待识别行人图像与所述参考行人图像的相似度;
生成单元,被配置为基于待识别行人图像与每一个参考行人图像的相似度,生成待识别行人图像的行人再识别结果。
9.一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的方法。
10.一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至7中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010246639.3A CN111611846A (zh) | 2020-03-31 | 2020-03-31 | 行人再识别方法、装置、电子设备及存储介质 |
PCT/CN2020/119546 WO2021196547A1 (zh) | 2020-03-31 | 2020-09-30 | 行人再识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010246639.3A CN111611846A (zh) | 2020-03-31 | 2020-03-31 | 行人再识别方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111611846A true CN111611846A (zh) | 2020-09-01 |
Family
ID=72203525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010246639.3A Pending CN111611846A (zh) | 2020-03-31 | 2020-03-31 | 行人再识别方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111611846A (zh) |
WO (1) | WO2021196547A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021196547A1 (zh) * | 2020-03-31 | 2021-10-07 | 北京迈格威科技有限公司 | 行人再识别方法、装置、电子设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778464A (zh) * | 2016-11-09 | 2017-05-31 | 深圳市深网视界科技有限公司 | 一种基于深度学习的行人重识别方法和装置 |
CN108416295A (zh) * | 2018-03-08 | 2018-08-17 | 天津师范大学 | 一种基于局部嵌入深度特征的行人再识别方法 |
CN108564097A (zh) * | 2017-12-05 | 2018-09-21 | 华南理工大学 | 一种基于深度卷积神经网络的多尺度目标检测方法 |
CN108875487A (zh) * | 2017-09-29 | 2018-11-23 | 北京旷视科技有限公司 | 行人重识别网络的训练及基于其的行人重识别 |
CN109784258A (zh) * | 2019-01-08 | 2019-05-21 | 华南理工大学 | 一种基于多尺度特征切割与融合的行人重识别方法 |
CN109886242A (zh) * | 2019-03-01 | 2019-06-14 | 中国科学院重庆绿色智能技术研究院 | 一种行人重识别的方法及*** |
CN110363047A (zh) * | 2018-03-26 | 2019-10-22 | 普天信息技术有限公司 | 人脸识别的方法、装置、电子设备和存储介质 |
CN110569731A (zh) * | 2019-08-07 | 2019-12-13 | 北京旷视科技有限公司 | 一种人脸识别方法、装置及电子设备 |
WO2020040391A1 (ko) * | 2018-08-24 | 2020-02-27 | 전북대학교산학협력단 | 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109101865A (zh) * | 2018-05-31 | 2018-12-28 | 湖北工业大学 | 一种基于深度学习的行人重识别方法 |
CN108960114A (zh) * | 2018-06-27 | 2018-12-07 | 腾讯科技(深圳)有限公司 | 人体识别方法及装置、计算机可读存储介质及电子设备 |
CN109271870B (zh) * | 2018-08-21 | 2023-12-26 | 平安科技(深圳)有限公司 | 行人重识别方法、装置、计算机设备及存储介质 |
CN111611846A (zh) * | 2020-03-31 | 2020-09-01 | 北京迈格威科技有限公司 | 行人再识别方法、装置、电子设备及存储介质 |
-
2020
- 2020-03-31 CN CN202010246639.3A patent/CN111611846A/zh active Pending
- 2020-09-30 WO PCT/CN2020/119546 patent/WO2021196547A1/zh active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106778464A (zh) * | 2016-11-09 | 2017-05-31 | 深圳市深网视界科技有限公司 | 一种基于深度学习的行人重识别方法和装置 |
CN108875487A (zh) * | 2017-09-29 | 2018-11-23 | 北京旷视科技有限公司 | 行人重识别网络的训练及基于其的行人重识别 |
CN108564097A (zh) * | 2017-12-05 | 2018-09-21 | 华南理工大学 | 一种基于深度卷积神经网络的多尺度目标检测方法 |
CN108416295A (zh) * | 2018-03-08 | 2018-08-17 | 天津师范大学 | 一种基于局部嵌入深度特征的行人再识别方法 |
CN110363047A (zh) * | 2018-03-26 | 2019-10-22 | 普天信息技术有限公司 | 人脸识别的方法、装置、电子设备和存储介质 |
WO2020040391A1 (ko) * | 2018-08-24 | 2020-02-27 | 전북대학교산학협력단 | 결합심층네트워크에 기반한 보행자 인식 및 속성 추출 시스템 |
CN109784258A (zh) * | 2019-01-08 | 2019-05-21 | 华南理工大学 | 一种基于多尺度特征切割与融合的行人重识别方法 |
CN109886242A (zh) * | 2019-03-01 | 2019-06-14 | 中国科学院重庆绿色智能技术研究院 | 一种行人重识别的方法及*** |
CN110569731A (zh) * | 2019-08-07 | 2019-12-13 | 北京旷视科技有限公司 | 一种人脸识别方法、装置及电子设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021196547A1 (zh) * | 2020-03-31 | 2021-10-07 | 北京迈格威科技有限公司 | 行人再识别方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2021196547A1 (zh) | 2021-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101640998B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
US9940548B2 (en) | Image recognition method for performing image recognition utilizing convolution filters | |
US9098775B2 (en) | Multi-class identifier, method, and computer-readable recording medium | |
WO2017079521A1 (en) | Cascaded neural network with scale dependent pooling for object detection | |
CN107273832B (zh) | 基于积分通道特征与卷积神经网络的车牌识别方法及*** | |
JP2016057918A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN110826558B (zh) | 图像分类方法、计算机设备和存储介质 | |
CN110543838A (zh) | 车辆信息检测的方法及装置 | |
CN110889421A (zh) | 目标物检测方法及装置 | |
CN112862023B (zh) | 对象密度确定方法、装置、计算机设备和存储介质 | |
Weber et al. | Single-shot panoptic segmentation | |
CN110852327A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN114283350A (zh) | 视觉模型训练和视频处理方法、装置、设备及存储介质 | |
CN111274964B (zh) | 一种基于无人机视觉显著性分析水面污染物的检测方法 | |
CN115731422A (zh) | 多标签分类模型的训练方法、分类方法及装置 | |
CN111626303A (zh) | 性别和年龄的识别方法、装置、存储介质及服务器 | |
CN110942034A (zh) | 用于检测多类型深度网络生成图像的方法、***、装置 | |
CN112507981B (zh) | 模型生成方法、虹膜图像质量评估方法及电子设备 | |
CN111611846A (zh) | 行人再识别方法、装置、电子设备及存储介质 | |
CN116958873A (zh) | 行人跟踪方法、装置、电子设备及可读存储介质 | |
Duque et al. | The OBSERVER: An intelligent and automated video surveillance system | |
CN111476190A (zh) | 用于无人驾驶的目标检测方法、设备及存储介质 | |
CN116168438A (zh) | 关键点检测方法、装置及电子设备 | |
EP4332910A1 (en) | Behavior detection method, electronic device, and computer readable storage medium | |
CN113591647A (zh) | 人体动作识别方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |