CN112149470B - 一种行人重识别方法和装置 - Google Patents
一种行人重识别方法和装置 Download PDFInfo
- Publication number
- CN112149470B CN112149470B CN201910575126.4A CN201910575126A CN112149470B CN 112149470 B CN112149470 B CN 112149470B CN 201910575126 A CN201910575126 A CN 201910575126A CN 112149470 B CN112149470 B CN 112149470B
- Authority
- CN
- China
- Prior art keywords
- image
- human body
- identified
- data
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种行人重识别方法和装置,方法包括:获取包含有人物画面的待识别图像,对待识别图像进行人体特征提取,得到待识别图像的人体特征数据,对待识别图像进行图像分割,得到待识别图像的图像分割数据,根据图像分割数据,确定待识别图像的图像类型,如果图像类型为人体局部图像,基于预先训练的图像类型对应的局部特征提取网络、图像分割数据和人体特征数据,得到待识别图像的人体局部特征数据,基于待识别图像的人体局部特征数据与预设人体局部特征数据的匹配结果,确定待识别图像中的人物是否为预设人体局部特征数据所表示的人物。基于上述处理,能够提高行人重识别结果的准确度。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种行人重识别方法和装置。
背景技术
行人重识别(Person re-identification)也称行人再识别,是利用图像处理技术,确定某一图像(可以称为待识别图像)中显示的人物是否为特定人物的过程,被广泛应用在智能视频监控、智能安保等领域中。
相关技术中,行人重识别可以包括以下步骤:对待识别图像进行人体特征提取,得到待识别图像的人体特征数据(可以称为待识别人体特征数据),然后,可以将待识别人体特征数据与预设人体特征数据进行匹配,并根据匹配结果,确定待识别图像中的人物是否为预设人体特征数据所表示的人物。
上述过程中,如果待识别图像中的人物画面不完整,待识别人体特征数据并不能有效地体现该人物的局部特征。例如,待识别图像中只显示人物的上半身时,对待识别图像进行人体特征提取得到的人体特征数据,并不能有效地体现该人物的上半身特征。因此,直接根据人体特征数据进行行人重识别,可能会导致行人重识别结果的准确度较低。
发明内容
本申请实施例的目的在于提供一种行人重识别方法和装置,可以提高行人重识别结果的准确度。具体技术方案如下:
第一方面,为了达到上述目的,本申请实施例公开了一种行人重识别方法,所述方法包括:
获取包含有人物画面的待识别图像;
对所述待识别图像进行人体特征提取,得到所述待识别图像的人体特征数据;
对所述待识别图像进行图像分割,得到所述待识别图像的图像分割数据,其中,所述图像分割数据用于表示所述人物画面包含的像素点所属的人体部位;
根据所述图像分割数据,确定所述待识别图像的图像类型;
如果所述图像类型为人体局部图像,基于预先训练的所述图像类型对应的局部特征提取网络、所述图像分割数据和所述人体特征数据,得到所述待识别图像的人体局部特征数据;
基于所述待识别图像的人体局部特征数据与预设人体局部特征数据的匹配结果,确定所述待识别图像中的人物是否为所述预设人体局部特征数据所表示的人物。
可选的,所述局部特征提取网络包括挤压和激励网络SeNet;
所述基于预先训练的所述图像类型对应的局部特征提取网络、所述图像分割数据和所述人体特征数据,得到所述待识别图像的人体局部特征数据,包括:
将所述人体特征数据输入所述SeNet,得到所述SeNet的输出数据;
对所述SeNet的输出数据和所述图像分割数据进行特征融合,并对特征融合的结果进行卷积处理;
基于卷积处理的结果,对所述SeNet的输出数据进行加权处理,得到所述待识别图像的人体局部特征数据。
可选的,所述局部特征提取网络的损失函数包括预设网络模型输出的图像特征数据与所述局部特征提取网络输出的人体局部特征数据的差值,以及所述局部特征提取网络的实际输出结果与期望输出结果的差值,所述预设网络模型的训练样本包括与所述待识别图像具有相同图像类型的图像,所述预设网络模型用于获取与所述待识别图像具有相同图像类型的图像的人体局部特征数据。
可选的,所述基于所述待识别图像的人体局部特征数据与预设人体局部特征数据的匹配结果,确定所述待识别图像中的人物是否为所述预设人体局部特征数据所表示的人物,包括:
计算所述待识别图像的人体局部特征数据与预设人体局部特征数据的相似度;
根据得到的相似度,确定所述待识别图像中的人物是否为所述预设人体局部特征数据所表示的人物。
可选的,所述方法还包括:
如果所述待识别图像的图像类型为人体整体图像,根据所述待识别图像的人体特征数据和预设人体特征数据,确定所述待识别图像中的人物是否为所述预设人体特征数据所表示的人物。
可选的,所述根据所述图像分割数据,确定所述待识别图像的图像类型,包括:
如果所述人物画面中属于人体上半身的像素点,在所述待识别图像中所占的比例大于或者等于第一预设阈值,且所述人物画面中属于人体下半身的像素点,在所述待识别图像中所占的比例小于第二预设阈值,则确定所述待识别图像的图像类型为上半身人体局部图像;
如果所述人物画面中属于人体上半身的像素点,在所述待识别图像中所占的比例小于所述第一预设阈值,且所述人物画面中属于人体下半身的像素点,在所述待识别图像中所占的比例大于或者等于所述第二预设阈值,则确定所述待识别图像的图像类型为下半身人体局部图像;
如果所述人物画面中属于人体上半身的像素点,在所述待识别图像中所占的比例大于或者等于所述第一预设阈值,且所述人物画面中属于人体下半身的像素点,在所述待识别图像中所占的比例大于或者等于所述第二预设阈值,则确定所述待识别图像的图像类型为人体整体图像。
第二方面,为了达到上述目的,本申请实施例公开了一种行人重识别装置,所述装置包括:
获取模块,用于获取包含有人物画面的待识别图像;
提取模块,用于对所述待识别图像进行人体特征提取,得到所述待识别图像的人体特征数据;
分割模块,用于对所述待识别图像进行图像分割,得到所述待识别图像的图像分割数据,其中,所述图像分割数据用于表示所述人物画面包含的像素点所属的人体部位;
确定模块,用于根据所述图像分割数据,确定所述待识别图像的图像类型;
第一处理模块,用于如果所述图像类型为人体局部图像,基于预先训练的所述图像类型对应的局部特征提取网络、所述图像分割数据和所述人体特征数据,得到所述待识别图像的人体局部特征数据;
识别模块,用于基于所述待识别图像的人体局部特征数据与预设人体局部特征数据的匹配结果,确定所述待识别图像中的人物是否为所述预设人体局部特征数据所表示的人物。
可选的,所述局部特征提取网络包括挤压和激励网络SeNet;
所述第一处理模块,具体用于将所述人体特征数据输入所述SeNet,得到所述SeNet的输出数据;
对所述SeNet的输出数据和所述图像分割数据进行特征融合,并对特征融合的结果进行卷积处理;
基于卷积处理的结果,对所述SeNet的输出数据进行加权处理,得到所述待识别图像的人体局部特征数据。
可选的,所述局部特征提取网络的损失函数包括预设网络模型输出的图像特征数据与所述局部特征提取网络输出的人体局部特征数据的差值,以及所述局部特征提取网络的实际输出结果与期望输出结果的差值,所述预设网络模型的训练样本包括与所述待识别图像具有相同图像类型的图像,所述预设网络模型用于获取与所述待识别图像具有相同图像类型的图像的人体局部特征数据。
可选的,所述识别模块,具体用于计算所述待识别图像的人体局部特征数据与预设人体局部特征数据的相似度;
根据得到的相似度,确定所述待识别图像中的人物是否为所述预设人体局部特征数据所表示的人物。
可选的,所述装置还包括:
第二处理模块,用于如果所述待识别图像的图像类型为人体整体图像,根据所述待识别图像的人体特征数据和预设人体特征数据,确定所述待识别图像中的人物是否为所述预设人体特征数据所表示的人物。
可选的,所述确定模块,具体用于如果所述人物画面中属于人体上半身的像素点,在所述待识别图像中所占的比例大于或者等于第一预设阈值,且所述人物画面中属于人体下半身的像素点,在所述待识别图像中所占的比例小于第二预设阈值,则确定所述待识别图像的图像类型为上半身人体局部图像;
如果所述人物画面中属于人体上半身的像素点,在所述待识别图像中所占的比例小于所述第一预设阈值,且所述人物画面中属于人体下半身的像素点,在所述待识别图像中所占的比例大于或者等于所述第二预设阈值,则确定所述待识别图像的图像类型为下半身人体局部图像;
如果所述人物画面中属于人体上半身的像素点,在所述待识别图像中所占的比例大于或者等于所述第一预设阈值,且所述人物画面中属于人体下半身的像素点,在所述待识别图像中所占的比例大于或者等于所述第二预设阈值,则确定所述待识别图像的图像类型为人体整体图像。
在本申请实施的另一方面,为了达到上述目的,本申请实施例还公开了一种电子设备,所述电子设备包括处理器、通信接口、存储器和通信总线,其中,所述处理器,所述通信接口,所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现如上述第一方面所述的行人重识别方法。
在本申请实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,实现如上述第一方面所述的行人重识别方法。
在本申请实施的又一方面,本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的行人重识别方法。
本申请实施例提供了一种行人重识别方法,如果待识别图像的图像类型为人体局部图像,则基于预先训练的图像类型对应的局部特征提取网络、待识别图像的图像分割数据和人体特征数据,得到待识别图像的人体局部特征数据,然后,基于待识别图像的人体局部特征数据与预设人体局部特征数据的匹配结果,确定待识别图像中的人物是否为预设人体局部特征数据所表示的人物。由于基于图像分割数据和人体特征数据,并通过局部特征提取网络获取的人体局部特征数据,能够有效地体现图像中人物的局部特征,因此,根据待识别图像的人体局部特征数据,以及预设人体局部特征数据进行行人重识别,相对于现有技术直接根据待识别图像的人体特征数据进行行人重识别,能够提高行人重识别结果的准确度。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种行人重识别方法的流程图;
图2为本申请实施例提供的一种行人重识别方法的流程图;
图3为本申请实施例提供的一种SeNet的结构图;
图4为本申请实施例提供的一种空间选择网络的结构图;
图5为本申请实施例提供的一种特征提取网络的架构图;
图6为本申请实施例提供的一种行人重识别方法示例的流程图;
图7为本申请实施例提供的一种行人重识别装置的结构图;
图8为本申请实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
现有技术中,如果待识别图像中显示的人物不完整,对待识别图像进行特征提取得到的人体特征数据,并不能有效地体现该人物的局部特征,进而,直接根据该人体特征数据进行行人重识别,可能会导致行人重识别结果的准确度较低。
为了解决上述问题,本申请实施例提供了一种行人重识别方法,该方法可以应用于电子设备,该电子设备可以为终端,也可以为服务器,该电子设备用于对待识别图像进行行人重识别。
在电子设备获取待识别图像后,电子设备可以对待识别图像进行图像分割,得到待识别图像的图像分割数据,并对待识别图像进行人体特征提取,得到待识别图像的人体特征数据。
然后,电子设备可以根据待识别图像的图像分割数据,确定待识别图像的图像类型。如果待识别图像的图像类型为人体局部图像,电子设备可以基于预先训练的该图像类型对应的局部特征提取网络、待识别图像的图像分割数据和人体特征数据,得到待识别图像的人体局部特征数据。
进而,电子设备可以基于待识别图像的人体局部特征数据与预设人体局部特征数据的匹配结果,确定待识别图像中的人物是否为预设人体局部特征数据所表示的人物。
基于图像分割数据和人体特征数据,并通过局部特征提取网络获取的人体局部特征数据,能够有效地体现图像中人物的局部特征,因此,电子设备根据待识别图像的人体局部特征数据,以及预设人体局部特征数据进行行人重识别,相对于现有技术直接根据待识别图像的人体特征数据进行行人重识别,能够提高行人重识别结果的准确度。
参见图1,图1为本申请实施例提供的一种行人重识别方法的流程图,该方法可以包括以下步骤:
S101:获取包含有人物画面的待识别图像。
其中,待识别图像中的人物画面可以为完整的人物画面,也可以是非完整的人物画面,例如,待识别图像中的人物画面可以为人物上半身的画面,或者,待识别图像中的人物画面也可以为人物下半身的画面。
待识别图像可以是一个,也可以是多个。例如,待识别图像可以是监控视频图像中的某一图像帧,或者,待识别图像也可以是监控视频图像中的多个图像帧。
在申请实施例中,当用户需要判断某一图像(即待识别图像)中显示的人物是否为特定人物时,该用户可以向电子设备输入该待识别图像。例如,该用户可以通过电子设备的输入部件向电子设备输入待识别图像。
相应的,电子设备则可以获取到待识别图像,进而,电子设备可以根据本申请实施例的行人重识别方法,判断待识别图像中的人物是否为特定人物。
如果待识别图像为一个图像帧,则电子设备可以根据本申请实施例的行人重识别方法对该待识别图像进行处理;如果待识别图像为多个图像帧,则电子设备可以根据本申请实施例的行人重识别方法,依次对每一待识别图像进行处理。
S102:对待识别图像进行人体特征提取,得到待识别图像的人体特征数据。
在申请实施例中,在电子设备获取待识别图像后,电子设备可以对待识别图像进行人体特征提取,进而,可以得到待识别图像的人体特征数据。
本步骤中,电子设备对待识别图像进行人体特征提取的方法,与现有技术中的方法一致。一种实现方式中,电子设备可以根据预先训练的人体特征提取网络对待识别图像进行处理,得到待识别图像的人体特征数据。人体特征提取网络可以是Resnet(ResidualNetwork,残差神经网络)50或其他神经网络。
S103:对待识别图像进行图像分割,得到待识别图像的图像分割数据。
其中,图像分割数据可以用于表示人物画面包含的像素点所属的人体部位。
在申请实施例中,在电子设备获取待识别图像后,电子设备还可以对待识别图像进行特征提取,进而,可以得到待识别图像的图像分割数据。
一种实现方式中,根据预设的图像分割方法,电子设备可以用标识A表示待识别图像中属于人体上半身的像素点,用标识B表示待识别图像中属于人体下半身的像素点,进而,可以得到待识别图像的图像分割数据。
另一种实现方式中,根据预设的图像分割方法,电子设备可以用标识C表示待识别图像中属于人体头部的像素点,用标识D表示待识别图像中属于人体躯干的像素点,用标识E表示待识别图像中属于人体四肢的像素点,得到待识别图像的图像分割数据。
电子设备对待识别图像进行图像分割的方式并不限于此,在实际操作中,电子设备对待识别图像进行图像分割的方式,可以由用户根据业务需求和经验确定。
S104:根据图像分割数据,确定待识别图像的图像类型。
其中,图像类型可以包括人体局部图像和人体整体图像。人体局部图像还可以分为上半身人体局部图像和下半身人体局部图像。
在申请实施例中,在电子设备获取待识别图像的图像分割数据后,电子设备可以根据待识别图像的图像分割数据,确定待识别图像的图像类型。
可选的,电子设备可以根据待识别图像中属于人体上半身的像素点的数目和属于人体下半身的像素点的数目,确定待识别图像的图像类型,即,S104可以包括以下三种情况:
情况一,如果人物画面中属于人体上半身的像素点,在待识别图像中所占的比例大于或者等于第一预设阈值,且人物画面中属于人体下半身的像素点,在待识别图像中所占的比例小于第二预设阈值,则确定待识别图像的图像类型为上半身人体局部图像。
情况二,如果人物画面中属于人体上半身的像素点,在待识别图像中所占的比例小于第一预设阈值,且人物画面中属于人体下半身的像素点,在待识别图像中所占的比例大于或者等于第二预设阈值,则确定待识别图像的图像类型为下半身人体局部图像。
情况三,如果人物画面中属于人体上半身的像素点,在待识别图像中所占的比例大于或者等于第一预设阈值,且人物画面中属于人体下半身的像素点,在待识别图像中所占的比例大于或者等于第二预设阈值,则确定待识别图像的图像类型为人体整体图像。
其中,第一预设阈值和第二预设阈值可以由用户根据经验进行设置。
一种实现方式中,电子设备可以根据待识别图像的图像分割数据,统计待识别图像中属于人体上半身的像素点的数目(可以称为第一数目)和属于人体下半身的像素点的数目(可以称为第二数目)。
如果第一数目与待识别图像中像素点的总数目的比值大于或者等于第一预设阈值,且第二数目与待识别图像中像素点的总数目的比值小于第二预设阈值,则电子设备可以确定待识别图像为上半身人体局部图像。
如果第一数目与待识别图像中像素点的总数目的比值小于第一预设阈值,且第二数目与待识别图像中像素点的总数目的比值大于或者等于第二预设阈值,则电子设备可以确定待识别图像为下半身人体局部图像。
如果第一数目与待识别图像中像素点的总数目的比值大于或者等于第一预设阈值,且第二数目与待识别图像中像素点的总数目的比值大于或者等于第二预设阈值,则电子设备可以确定待识别图像为人体整体图像。
S105:如果图像类型为人体局部图像,基于预先训练的图像类型对应的局部特征提取网络、图像分割数据和人体特征数据,得到待识别图像的人体局部特征数据。
在申请实施例中,在电子设备确定待识别图像为人体局部图像时,电子设备可以根据待识别图像的图像类型对应的局部特征提取网络,对待识别图像的图像分割数据和人体特征数据进行处理,得到待识别图像的人体局部特征数据。
可以理解的是,如果待识别图像为上半身人体局部图像,则电子设备可以根据上半身人体局部图像对应的局部特征提取网络(可以称为第一局部特征提取网络),对待识别图像的图像分割数据和人体特征数据进行处理,得到待识别图像的人体局部特征数据。得到的人体局部特征数据(可以称为上半身特征数据),能够有效地体现待识别图像中人物的上半身特征。
如果待识别图像为下半身人体局部图像,则电子设备可以根据下半身人体局部图像对应的局部特征提取网络(可以称为第二局部特征提取网络),对待识别图像的图像分割数据和人体特征数据进行处理,得到待识别图像的人体局部特征数据。得到的人体局部特征数据(可以称为下半身特征数据),能够有效地体现待识别图像中人物的下半身特征。
S106:基于待识别图像的人体局部特征数据与预设人体局部特征数据的匹配结果,确定待识别图像中的人物是否为预设人体局部特征数据所表示的人物。
其中,预设人体局部特征数据可以为特定人物图像的人体局部特征数据。特定人物图像可以是预设图库中的人物图像。
在申请实施例中,在电子设备获取待识别图像的人体局部特征数据后,电子设备可以对待识别图像的人体局部特征数据和预设人体局部特征数据进行匹配,并根据匹配结果,确定待识别图像中的人物是否为预设人体局部特征数据所表示的人物。
一种实现方式中,针对预设图库中的每一人物图像,电子设备可以对该人物图像进行人体特征提取,得到该人物图像的人体特征数据,并对该人物图像进行图像分割,得到该人物图像的图像分割数据。
然后,电子设备可以根据第一局部特征提取网络,对该人物图像的人体特征数据和图像分割数据进行处理,得到该人物图像的上半身特征数据,并根据第二局部特征提取网络,对该人物图像的人体特征数据和图像分割数据进行处理,得到该人物图像的下半身特征数据,进而,电子设备可以得到预设图库中各人物图像的上半身特征数据和下半身特征数据。
如果待识别图像为上半身人体局部图像,则电子设备可以对待识别图像的上半身特征数据和预设图库中各人物图像的上半身特征数据进行匹配,并根据匹配结果,确定待识别图像中的人物是否为预设图库中人物图像所属的人物。
如果待识别图像为下半身人体局部图像,则电子设备可以对待识别图像的下半身特征数据和预设图库中各人物图像的下半身特征数据进行匹配,并根据匹配结果,确定待识别图像中的人物是否为预设图库中人物图像所属的人物。
可选的,电子设备可以根据特征数据的相似度进行行人重识别,参见图2,S106可以包括以下步骤:
S1061:计算待识别图像的人体局部特征数据与预设人体局部特征数据的相似度。
在申请实施例中,在电子设备获取待识别图像的人体局部特征数据后,电子设备可以计算待识别图像的人体局部特征数据,与预设人体局部特征数据的相似度,以便进行后续处理。
本步骤中,电子设备可以根据预设相似度算法,计算待识别图像的人体局部特征数据,与预设人体局部特征数据的相似度。例如,电子设备可以计算待识别图像的人体局部特征数据,与预设人体局部特征数据的余弦相似性,作为计算待识别图像的人体局部特征数据,与预设人体局部特征数据的相似度。
一种实现方式中,如果待识别图像为上半身人体局部图像,则电子设备可以计算待识别图像的上半身特征数据,与预设图库中各人物图像的上半身特征数据的相似度(可以称为上半身相似度)。
如果待识别图像为下半身人体局部图像,则电子设备可以计算待识别图像的下半身特征数据,与预设图库中各人物图像的下半身特征数据的相似度(可以称为下半身相似度)。
S1062:根据得到的相似度,确定待识别图像中的人物是否为预设人体局部特征数据所表示的人物。
在申请实施例中,电子设备可以根据待识别图像的人体局部特征数据与预设人体局部特征数据的相似度,确定待识别图像中的人物是否为预设人体局部特征数据所表示的人物。
一种实现方式中,如果待识别图像为上半身人体局部图像,且计算得到的各上半身相似度中,存在大于第一预设相似度阈值的上半身相似度,则电子设备可以确定待识别图像中的人物为预设图库中人物图像所属的人物。另外,电子设备还可以确定预设图库中,与待识别图像的上半身特征数据的相似度最高的人物图像,并将待识别图像中的人物确定为该人物图像中的人物。
如果待识别图像为下半身人体局部图像,且计算得到的各下半身相似度中,存在大于第二预设相似度阈值的下半身相似度,则电子设备可以确定待识别图像中的人物为预设图库中人物图像所属的人物。另外,电子设备还可以确定预设图库中,与待识别图像的下半身特征数据的相似度最高的人物图像,并将待识别图像中的人物确定为该人物图像中的人物。
可选的,为了进一步提高行人重识别的准确度,局部特征提取网络可以包括SeNet(Squeeze-and-Excitation Networks,挤压和激励网络)。相应的,S105可以包括以下步骤:
步骤一,将人体特征数据输入SeNet,得到SeNet的输出数据。
在申请实施例中,电子设备可以将待识别图像的人体特征数据输入预先训练的SeNet,得到SeNet的输出数据。
SeNet的结构可以参见图3。待识别图像的人体特征数据可以包括C个特征图谱,每一特征图谱为H×W。其中,C可以表示对待识别图像进行人体特征提取的神经网络的通道数目,C的数值可以由用户根据经验进行设置。H为待识别图像的高度,W为待识别图像的宽度。
C个H×W的特征图谱经过全局池化,得到1×1×C的向量。1×1×C的向量经过全连接层(Fully Connected Layers,FC),得到1×1×C/r的向量,其中,r为预设系数,r的数值可以由用户根据经验进行设置。然后,1×1×C/r的向量经过修正线性单元(RectifiedLinear Unit,ReLU)和全连接层,得到1×1×C的向量。根据激活函数对得到的1×1×C的向量进行处理,仍旧得到1×1×C的向量。然后,可以根据激活函数得到的1×1×C的向量对待识别图像的人体特征数据进行加权(Scale)处理,得到加权处理后的C个H×W的特征图谱。其中,激活函数可以为Sigmoid(S形的)函数。
根据激活函数得到的1×1×C的向量中的C个数值可以分别表示C个H×W的特征图谱的加权权重。在进行加权处理时,可以将每一H×W的特征图谱与该H×W的特征图谱对应的加权权重相乘,进而,可以得到加权处理后的C个H×W的特征图谱。
由于人物不同的部位对不同通道的影响不同,因此,预先训练的SeNet得到的C个加权权重能够体现人体不同的部位对通道的影响程度,进而,针对人体不同的部位对特征图谱进行通道上的加权,加权处理后的C个H×W的特征图谱能够更有效地体现人体不同部位的特征。
步骤二,对SeNet的输出数据和图像分割数据进行特征融合,并对特征融合的结果进行卷积处理。
在申请实施例中,在电子设备得到SeNet的输出数据后,电子设备可以对SeNet的输出数据和待识别图像的图像分割数据进行特征融合,并对特征融合的结果进行卷积处理。
一种实现方式中,电子设备可以将SeNet的输出数据和待识别图像的图像分割数据输入至网络的融合(Concatenate)层,进行特征融合,然后,电子设备可以将特征融合的结果输入至网络的卷积(Convolution)层,以对特征融合的结果进行卷积处理,并得到卷积处理的结果。
步骤三,基于卷积处理的结果,对SeNet的输出数据进行加权处理,得到待识别图像的人体局部特征数据。
在申请实施例中,在得到卷积处理的结果后,电子设备可以基于卷积处理的结果,对SeNet的输出数据进行加权处理,得到待识别图像的人体局部特征数据。
可见,基于上述步骤二和步骤三,由于图像分割数据能够体现待识别图像中的不同图像区域(也可以称为待识别图像中的不同图像空间),电子设备根据神经网络对待识别图像的图像分割数据和人体特征数据进行处理,使得神经网络能够学习如何使用图像的图像分割数据和人体特征数据,针对人体的不同部位对特征图谱进行空间上的加权,得到的人体局部特征数据能够有效地体现人体的局部特征。
一种实现方式中,上述步骤二和步骤三对应的网络部分(可以称为空间选择网络)可以参见图4。此处的特征数据可以为上述步骤一得到的加权处理后的C个H×W的特征图谱,图像分割数据可以为H×W×1的向量。经过融合层和卷积层后,可以得到H×W×1的向量。得到的向量中的H×W个数值可以分别表示特征图谱中每一像素点的加权权重。
针对步骤一得到的每一特征图谱,电子设备可以将该特征图谱中每一像素的特征值与步骤二得到的H×W×1的向量中该像素点对应的加权权重相乘,进而,得到加权处理后的特征图谱。
然后,电子设备可以得到经过通道加权和空间加权的特征图谱,得到的特征图谱能够有效地体现人体的局部特征。
可以理解的是,在实际操作中,得到特征图谱后,电子设备还可以对特征图谱进行池化、特征编码等操作,得到相应的人物特征。
另外,为了进一步提高局部特征提取网络的准确度,电子设备还可以基于教师网络指导局部特征提取网络的训练过程。
可选的,局部特征提取网络的损失函数可以包括预设网络模型输出的图像特征数据与局部特征提取网络输出的人体局部特征数据的差值,以及局部特征提取网络的实际输出结果与期望输出结果的差值,预设网络模型的训练样本包括与待识别图像具有相同图像类型的图像,预设网络模型用于获取与待识别图像具有相同图像类型的图像的人体局部特征数据。
在申请实施例中,电子设备可以将预设网络模型的输出结果作为教师信号,用于指导局部特征提取网络的训练过程,预设网络模型的结构更为复杂,能够有效地提取人体局部特征数据。预设网络模型可以包括用于提取人体上半身特征数据的网络部分(可以称为上半身教师网络),以及用于提取人体下半身特征数据的网络部分(可以称为下半身教师网络)。
局部特征提取网络的期望输出结果可以为训练样本的样本标识,样本标识用于表示训练样本所属的人物。
电子设备可以获取预设网络模型输出的图像特征数据与局部特征提取网络输出的人体局部特征数据的差值(可以称为第一差值),以及局部特征提取网络的实际输出结果与期望输出结果的差值(可以称为第二差值),并根据第一差值和第二差值,对局部特征提取网络进行训练。一种实现方式中,上述第一差值可以用欧几里得度量(EuclideanDistance)表示,第二差值可以用softmax损失表示。
例如,电子设备可以训练上半身教师网络,计算上半身教师网络输出的图像特征数据与第一局部特征提取网络输出的人体局部特征数据的欧几里得度量,以及第一局部特征提取网络的实际输出结果与期望输出结果的softmax损失,并根据获得的欧几里得度量和softmax损失的和值,对第一局部特征提取网络进行训练。其中,上半身教师网络的输入数据可以为行人的上半身人体局部图像,输出数据可以为该行人的行人信息,上半身教师网络用于获取上半身特征数据。
电子设备可以训练下半身教师网络,计算下半身教师网络输出的图像特征数据与第二局部特征提取网络输出的人体局部特征数据的欧几里得度量,以及第一局部特征提取网络的实际输出结果与期望输出结果的softmax损失,并根据获得的欧几里得度量和softmax损失的和值,对第二局部特征提取网络进行训练。其中,下半身教师网络的输入数据可以为行人的下半身人体局部图像,输出数据可以为该行人的行人信息,下半身教师网络用于获取下半身特征数据。
基于上述处理,由于上半身教师网络能够有效地提取人体上半身的特征,用上半身教师网络指导第一局部特征提取网络进行训练,使得第一局部特征提取网络也能够有效地提取人体上半身的特征;同理,由于下半身教师网络能够有效地提取人体下半身的特征,用下半身教师网络指导第二局部特征提取网络进行训练,使得第二局部特征提取网络也能够有效地提取人体下半身的特征。
另外,电子设备还可以对人体整体进行行人重识别,可选的,该方法还可以包括以下步骤:
如果待识别图像的图像类型为人体整体图像,根据待识别图像的人体特征数据和预设人体特征数据,确定待识别图像中的人物是否为预设人体特征数据所表示的人物。
在申请实施例中,当电子设备判定待识别图像为人体整体图像时,电子设备可以根据待识别图像的人体特征数据和预设人体特征数据,确定待识别图像中的人物是否为预设人体特征数据所表示的人物。
一种实现方式中,电子设备可以计算待识别图像的人体特征数据,与预设图库中各人物图像的人体特征数据的相似度,进而,电子设备可以根据各相似度,确定待识别图像中的人物是否为预设图库中人物图像所属的人物。
电子设备根据各相似度,确定待识别图像中的人物是否为预设图库中人物图像所属的人物的方法,与步骤S1062类似,此处不再赘述。
另一种实现方式中,电子设备可以基于待识别图像的图像分割数据对待识别图像的人体特征数据进行加权处理,得到加权处理后的人体特征数据(可以称为第一人体特征数据),另外,针对预设图库中的每一人物画面,电子设备也可以基于该人物画面的图像分割数据对该人物画面的人体特征数据进行加权处理,得到加权处理后的人体特征数据(可以称为第二人体特征数据),然后,电子设备可以计算第一人体特征数据与每一第二人体特征数据的相似度,进而,电子设备可以根据各相似度,确定待识别图像中的人物是否为预设图库中人物图像所属的人物。
电子设备根据各相似度,确定待识别图像中的人物是否为预设图库中人物图像所属的人物的方法,与步骤S1062类似,此处不再赘述。
例如,待识别图像的人体特征数据可以包括C个特征图谱,每一特征图谱为H×W。H为待识别图像的高度,W为待识别图像的宽度。待识别图像的图像分割数据可以为H×W的向量,该向量中的H×W个数值可以分别表示特征图谱中每一像素点的加权权重。
针对每一特征图谱,电子设备可以将该特征图谱中每一像素的特征值与图像分割数据中该像素点对应的加权权重相乘,进而,得到加权处理后的整体特征数据(即第一人体特征数据)。
电子设备获取第二人体特征数据的方法,与获取第一人体特征数据的方法类似,此处不再赘述。
综合上述实施例,参见图5,图5为本申请实施例提供的一种特征提取网络的结构图。
主干网络可以对输入的图像进行人体特征提取,得到该图像的人体特征数据,可以为上述人体特征提取网络。
如果该图像为人体整体图像,则该图像的人体特征数据经过池化、特征编码,得到该图像中人物的全身特征。
如果该图像为上半身人体局部图像,则该图像的人体特征数据经过上半身通道选择处理,得到在通道上加权处理后的特征数据。上半身通道选择可以为上述实施例中的SeNet。
然后,可以对上半身通道选择的处理结果和该图像的图像分割数据,进行上半身空间选择处理,得到在空间上加权处理后的特征数据。上半身空间选择可以为上述实施例中图4的空间选择网络。同理,上半身空间选择的处理结果经过池化、特征编码,可以得到该图像中人物的上半身特征。
可以将上半身通道选择、上半身空间选择以及池化、特征编码构成的网络部分称为上半身特征提取网络。
图5中,获取该图像中人物的下半身特征的处理过程,与获取该图像中人物的上半身特征的处理过程类似,此处不再赘述。同理,可以将下半身通道选择、下半身空间选择以及池化、特征编码构成的网络部分称为下半身特征提取网络。
参见图6,图6为本申请实施例提供的一种行人重识别方法示例的流程图,该方法可以包括以下步骤:
S601:获取包含有人物画面的待识别图像。
S602:对待识别图像进行人体特征提取,得到待识别图像的人体特征数据。
S603:对待识别图像进行图像分割,得到待识别图像的图像分割数据。
其中,图像分割数据用于表示人物画面包含的像素点所属的人体部位。
S604:根据待识别图像的图像分割数据,确定待识别图像的图像类型。
其中,图像类型为上半身人体局部图像、下半身人体局部图像或人体整体图像。
S605:如果待识别图像为上半身人体局部图像,基于预先训练的上半身特征提取网络,对待识别图像的图像分割数据和人体特征数据进行处理,得到待识别图像中人物的上半身特征数据。
S606:计算待识别图像中人物的上半身特征数据,与预设上半身特征数据的相似度,并根据得到的相似度,确定待识别图像中的人物是否为预设上半身特征数据所表示的人物。
S607:如果待识别图像为下半身人体局部图像,基于预先训练的下半身特征提取网络,对待识别图像的图像分割数据和人体特征数据进行处理,得到待识别图像中人物的下半身特征数据。
S608:计算待识别图像的人物的下半身特征数据,与预设下半身特征数据的相似度,并根据得到的相似度,确定待识别图像中的人物是否为预设下半身特征数据所表示的人物。
S609:如果待识别图像为人体整体图像,计算待识别图像的人体特征数据,与预设人体特征数据的相似度,并根据得到的相似度,确定待识别图像中的人物是否为预设人体特征数据所表示的人物。
与图1的方法实施例相对应,参见图7,图7为本申请实施例提供的一种行人重识别装置的结构图,该装置可以包括:
获取模块701,用于获取包含有人物画面的待识别图像;
提取模块702,用于对所述待识别图像进行人体特征提取,得到所述待识别图像的人体特征数据;
分割模块703,用于对所述待识别图像进行图像分割,得到所述待识别图像的图像分割数据,其中,所述图像分割数据用于表示所述人物画面包含的像素点所属的人体部位;
确定模块704,用于根据所述图像分割数据,确定所述待识别图像的图像类型;
第一处理模块705,用于如果所述图像类型为人体局部图像,基于预先训练的所述图像类型对应的局部特征提取网络、所述图像分割数据和所述人体特征数据,得到所述待识别图像的人体局部特征数据;
识别模块706,用于基于所述待识别图像的人体局部特征数据与预设人体局部特征数据的匹配结果,确定所述待识别图像中的人物是否为所述预设人体局部特征数据所表示的人物。
可选的,所述局部特征提取网络包括挤压和激励网络SeNet;
所述第一处理模块705,具体用于将所述人体特征数据输入所述SeNet,得到所述SeNet的输出数据;
对所述SeNet的输出数据和所述图像分割数据进行特征融合,并对特征融合的结果进行卷积处理;
基于卷积处理的结果,对所述SeNet的输出数据进行加权处理,得到所述待识别图像的人体局部特征数据。
可选的,所述局部特征提取网络的损失函数包括预设网络模型输出的图像特征数据与所述局部特征提取网络输出的人体局部特征数据的差值,以及所述局部特征提取网络的实际输出结果与期望输出结果的差值,所述预设网络模型的训练样本包括与所述待识别图像具有相同图像类型的图像,所述预设网络模型用于获取与所述待识别图像具有相同图像类型的图像的人体局部特征数据。
可选的,所述识别模块706,具体用于计算所述待识别图像的人体局部特征数据与预设人体局部特征数据的相似度;
根据得到的相似度,确定所述待识别图像中的人物是否为所述预设人体局部特征数据所表示的人物。
可选的,所述装置还包括:
第二处理模块,用于如果所述待识别图像的图像类型为人体整体图像,根据所述待识别图像的人体特征数据和预设人体特征数据,确定所述待识别图像中的人物是否为所述预设人体特征数据所表示的人物。
可选的,所述确定模块704,具体用于如果所述人物画面中属于人体上半身的像素点,在所述待识别图像中所占的比例大于或者等于第一预设阈值,且所述人物画面中属于人体下半身的像素点,在所述待识别图像中所占的比例小于第二预设阈值,则确定所述待识别图像的图像类型为上半身人体局部图像;
如果所述人物画面中属于人体上半身的像素点,在所述待识别图像中所占的比例小于所述第一预设阈值,且所述人物画面中属于人体下半身的像素点,在所述待识别图像中所占的比例大于或者等于所述第二预设阈值,则确定所述待识别图像的图像类型为下半身人体局部图像;
如果所述人物画面中属于人体上半身的像素点,在所述待识别图像中所占的比例大于或者等于所述第一预设阈值,且所述人物画面中属于人体下半身的像素点,在所述待识别图像中所占的比例大于或者等于所述第二预设阈值,则确定所述待识别图像的图像类型为人体整体图像。
本申请实施例还提供了一种电子设备,如图8所示,包括处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信,
存储器803,用于存放计算机程序;
处理器801,用于执行存储器803上所存放的程序时,实现如下步骤:
获取包含有人物画面的待识别图像;
对所述待识别图像进行人体特征提取,得到所述待识别图像的人体特征数据;
对所述待识别图像进行图像分割,得到所述待识别图像的图像分割数据,其中,所述图像分割数据用于表示所述人物画面包含的像素点所属的人体部位;
根据所述图像分割数据,确定所述待识别图像的图像类型;
如果所述图像类型为人体局部图像,基于预先训练的所述图像类型对应的局部特征提取网络、所述图像分割数据和所述人体特征数据,得到所述待识别图像的人体局部特征数据;
基于所述待识别图像的人体局部特征数据与预设人体局部特征数据的匹配结果,确定所述待识别图像中的人物是否为所述预设人体局部特征数据所表示的人物。
上述电子设备提到的通信总线804可以是外设部件互连标准(PeripheralComponent Interconnect,简称PCI)总线或扩展工业标准结构(Extended IndustryStandard Architecture,简称EISA)总线等。该通信总线804可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口802用于上述电子设备与其他设备之间的通信。
存储器803可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器803还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器801可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例提供的电子设备,在进行行人重识别时,根据待识别图像的人体局部特征数据,以及预设人体局部特征数据进行行人重识别,相对于现有技术直接根据待识别图像的人体特征数据进行行人重识别,能够提高行人重识别结果的准确度。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行本申请实施例提供的行人重识别方法。
具体的,上述行人重识别方法,包括:
获取包含有人物画面的待识别图像;
对所述待识别图像进行人体特征提取,得到所述待识别图像的人体特征数据;
对所述待识别图像进行图像分割,得到所述待识别图像的图像分割数据,其中,所述图像分割数据用于表示所述人物画面包含的像素点所属的人体部位;
根据所述图像分割数据,确定所述待识别图像的图像类型;
如果所述图像类型为人体局部图像,基于预先训练的所述图像类型对应的局部特征提取网络、所述图像分割数据和所述人体特征数据,得到所述待识别图像的人体局部特征数据;
基于所述待识别图像的人体局部特征数据与预设人体局部特征数据的匹配结果,确定所述待识别图像中的人物是否为所述预设人体局部特征数据所表示的人物。
需要说明的是,上述行人重识别方法的其他实现方式与前述方法实施例部分相同,这里不再赘述。
通过运行本申请实施例提供的计算机可读存储介质中存储的指令,在进行行人重识别时,根据待识别图像的人体局部特征数据,以及预设人体局部特征数据进行行人重识别,相对于现有技术直接根据待识别图像的人体特征数据进行行人重识别,能够提高行人重识别结果的准确度。
本申请实施例还提供了另一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本申请实施例提供的行人重识别方法。
具体的,上述行人重识别方法,包括:
获取包含有人物画面的待识别图像;
对所述待识别图像进行人体特征提取,得到所述待识别图像的人体特征数据;
对所述待识别图像进行图像分割,得到所述待识别图像的图像分割数据,其中,所述图像分割数据用于表示所述人物画面包含的像素点所属的人体部位;
根据所述图像分割数据,确定所述待识别图像的图像类型;
如果所述图像类型为人体局部图像,基于预先训练的所述图像类型对应的局部特征提取网络、所述图像分割数据和所述人体特征数据,得到所述待识别图像的人体局部特征数据;
基于所述待识别图像的人体局部特征数据与预设人体局部特征数据的匹配结果,确定所述待识别图像中的人物是否为所述预设人体局部特征数据所表示的人物。
需要说明的是,上述行人重识别方法的其他实现方式与前述方法实施例部分相同,这里不再赘述。
通过运行本申请实施例提供的计算机程序产品,在进行行人重识别时,根据待识别图像的人体局部特征数据,以及预设人体局部特征数据进行行人重识别,相对于现有技术直接根据待识别图像的人体特征数据进行行人重识别,能够提高行人重识别结果的准确度。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备、计算机可读存储介质、计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (12)
1.一种行人重识别方法,其特征在于,所述方法包括:
获取包含有人物画面的待识别图像;
对所述待识别图像进行人体特征提取,得到所述待识别图像的人体特征数据;
对所述待识别图像进行图像分割,得到所述待识别图像的图像分割数据,其中,所述图像分割数据用于表示所述人物画面包含的像素点所属的人体部位;
根据所述图像分割数据,确定所述待识别图像的图像类型;
如果所述图像类型为人体局部图像,基于预先训练的所述图像类型对应的局部特征提取网络、所述图像分割数据和所述人体特征数据,得到所述待识别图像的人体局部特征数据;
基于所述待识别图像的人体局部特征数据与预设人体局部特征数据的匹配结果,确定所述待识别图像中的人物是否为所述预设人体局部特征数据所表示的人物;
所述局部特征提取网络包括挤压和激励网络SeNet;
所述基于预先训练的所述图像类型对应的局部特征提取网络、所述图像分割数据和所述人体特征数据,得到所述待识别图像的人体局部特征数据,包括:
将所述人体特征数据输入所述SeNet,得到所述SeNet的输出数据;
对所述SeNet的输出数据和所述图像分割数据进行特征融合,并对特征融合的结果进行卷积处理;
基于卷积处理的结果,对所述SeNet的输出数据进行加权处理,得到所述待识别图像的人体局部特征数据。
2.根据权利要求1所述的方法,其特征在于,所述局部特征提取网络的损失函数包括预设网络模型输出的图像特征数据与所述局部特征提取网络输出的人体局部特征数据的差值,以及所述局部特征提取网络的实际输出结果与期望输出结果的差值,所述预设网络模型的训练样本包括与所述待识别图像具有相同图像类型的图像,所述预设网络模型用于获取与所述待识别图像具有相同图像类型的图像的人体局部特征数据。
3.根据权利要求1所述的方法,其特征在于,所述基于所述待识别图像的人体局部特征数据与预设人体局部特征数据的匹配结果,确定所述待识别图像中的人物是否为所述预设人体局部特征数据所表示的人物,包括:
计算所述待识别图像的人体局部特征数据与预设人体局部特征数据的相似度;
根据得到的相似度,确定所述待识别图像中的人物是否为所述预设人体局部特征数据所表示的人物。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
如果所述待识别图像的图像类型为人体整体图像,根据所述待识别图像的人体特征数据和预设人体特征数据,确定所述待识别图像中的人物是否为所述预设人体特征数据所表示的人物。
5.根据权利要求1所述的方法,其特征在于,所述根据所述图像分割数据,确定所述待识别图像的图像类型,包括:
如果所述人物画面中属于人体上半身的像素点,在所述待识别图像中所占的比例大于或者等于第一预设阈值,且所述人物画面中属于人体下半身的像素点,在所述待识别图像中所占的比例小于第二预设阈值,则确定所述待识别图像的图像类型为上半身人体局部图像;
如果所述人物画面中属于人体上半身的像素点,在所述待识别图像中所占的比例小于所述第一预设阈值,且所述人物画面中属于人体下半身的像素点,在所述待识别图像中所占的比例大于或者等于所述第二预设阈值,则确定所述待识别图像的图像类型为下半身人体局部图像;
如果所述人物画面中属于人体上半身的像素点,在所述待识别图像中所占的比例大于或者等于所述第一预设阈值,且所述人物画面中属于人体下半身的像素点,在所述待识别图像中所占的比例大于或者等于所述第二预设阈值,则确定所述待识别图像的图像类型为人体整体图像。
6.一种行人重识别装置,其特征在于,所述装置包括:
获取模块,用于获取包含有人物画面的待识别图像;
提取模块,用于对所述待识别图像进行人体特征提取,得到所述待识别图像的人体特征数据;
分割模块,用于对所述待识别图像进行图像分割,得到所述待识别图像的图像分割数据,其中,所述图像分割数据用于表示所述人物画面包含的像素点所属的人体部位;
确定模块,用于根据所述图像分割数据,确定所述待识别图像的图像类型;
第一处理模块,用于如果所述图像类型为人体局部图像,基于预先训练的所述图像类型对应的局部特征提取网络、所述图像分割数据和所述人体特征数据,得到所述待识别图像的人体局部特征数据;
识别模块,用于基于所述待识别图像的人体局部特征数据与预设人体局部特征数据的匹配结果,确定所述待识别图像中的人物是否为所述预设人体局部特征数据所表示的人物;
所述局部特征提取网络包括挤压和激励网络SeNet;
所述第一处理模块,具体用于将所述人体特征数据输入所述SeNet,得到所述SeNet的输出数据;
对所述SeNet的输出数据和所述图像分割数据进行特征融合,并对特征融合的结果进行卷积处理;
基于卷积处理的结果,对所述SeNet的输出数据进行加权处理,得到所述待识别图像的人体局部特征数据。
7.根据权利要求6所述的装置,其特征在于,所述局部特征提取网络的损失函数包括预设网络模型输出的图像特征数据与所述局部特征提取网络输出的人体局部特征数据的差值,以及所述局部特征提取网络的实际输出结果与期望输出结果的差值,所述预设网络模型的训练样本包括与所述待识别图像具有相同图像类型的图像,所述预设网络模型用于获取与所述待识别图像具有相同图像类型的图像的人体局部特征数据。
8.根据权利要求6所述的装置,其特征在于,所述识别模块,具体用于计算所述待识别图像的人体局部特征数据与预设人体局部特征数据的相似度;
根据得到的相似度,确定所述待识别图像中的人物是否为所述预设人体局部特征数据所表示的人物。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第二处理模块,用于如果所述待识别图像的图像类型为人体整体图像,根据所述待识别图像的人体特征数据和预设人体特征数据,确定所述待识别图像中的人物是否为所述预设人体特征数据所表示的人物。
10.根据权利要求6所述的装置,其特征在于,所述确定模块,具体用于如果所述人物画面中属于人体上半身的像素点,在所述待识别图像中所占的比例大于或者等于第一预设阈值,且所述人物画面中属于人体下半身的像素点,在所述待识别图像中所占的比例小于第二预设阈值,则确定所述待识别图像的图像类型为上半身人体局部图像;
如果所述人物画面中属于人体上半身的像素点,在所述待识别图像中所占的比例小于所述第一预设阈值,且所述人物画面中属于人体下半身的像素点,在所述待识别图像中所占的比例大于或者等于所述第二预设阈值,则确定所述待识别图像的图像类型为下半身人体局部图像;
如果所述人物画面中属于人体上半身的像素点,在所述待识别图像中所占的比例大于或者等于所述第一预设阈值,且所述人物画面中属于人体下半身的像素点,在所述待识别图像中所占的比例大于或者等于所述第二预设阈值,则确定所述待识别图像的图像类型为人体整体图像。
11.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器,所述通信接口,所述存储器通过所述通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行所述存储器上所存放的程序时,实现权利要求1-5任一所述的方法步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910575126.4A CN112149470B (zh) | 2019-06-28 | 2019-06-28 | 一种行人重识别方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910575126.4A CN112149470B (zh) | 2019-06-28 | 2019-06-28 | 一种行人重识别方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112149470A CN112149470A (zh) | 2020-12-29 |
CN112149470B true CN112149470B (zh) | 2023-09-05 |
Family
ID=73869397
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910575126.4A Active CN112149470B (zh) | 2019-06-28 | 2019-06-28 | 一种行人重识别方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112149470B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5444821A (en) * | 1993-11-10 | 1995-08-22 | United Microelectronics Corp. | Artificial neuron element with electrically programmable synaptic weight for neural networks |
WO2017101434A1 (zh) * | 2015-12-16 | 2017-06-22 | 深圳大学 | 一种多摄像机间人体目标再识别的方法及*** |
CN109325412A (zh) * | 2018-08-17 | 2019-02-12 | 平安科技(深圳)有限公司 | 行人识别方法、装置、计算机设备及存储介质 |
CN109740541A (zh) * | 2019-01-04 | 2019-05-10 | 重庆大学 | 一种行人重识别***与方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3689740B2 (ja) * | 2002-05-27 | 2005-08-31 | 国立大学法人広島大学 | 画像分割処理方法、画像分割処理装置、リアルタイム画像処理方法、リアルタイム画像処理装置及び画像処理集積化回路 |
CN107644209A (zh) * | 2017-09-21 | 2018-01-30 | 百度在线网络技术(北京)有限公司 | 人脸检测方法和装置 |
-
2019
- 2019-06-28 CN CN201910575126.4A patent/CN112149470B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5444821A (en) * | 1993-11-10 | 1995-08-22 | United Microelectronics Corp. | Artificial neuron element with electrically programmable synaptic weight for neural networks |
WO2017101434A1 (zh) * | 2015-12-16 | 2017-06-22 | 深圳大学 | 一种多摄像机间人体目标再识别的方法及*** |
CN109325412A (zh) * | 2018-08-17 | 2019-02-12 | 平安科技(深圳)有限公司 | 行人识别方法、装置、计算机设备及存储介质 |
CN109740541A (zh) * | 2019-01-04 | 2019-05-10 | 重庆大学 | 一种行人重识别***与方法 |
Non-Patent Citations (1)
Title |
---|
基于特征融合和神经网络对步态识别仿真研究;张秋红;苏锦;杨新锋;;计算机仿真(第08期);235-237,245 * |
Also Published As
Publication number | Publication date |
---|---|
CN112149470A (zh) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yan et al. | Naturalness-aware deep no-reference image quality assessment | |
CN109325954B (zh) | 图像分割方法、装置及电子设备 | |
CN111950638B (zh) | 基于模型蒸馏的图像分类方法、装置和电子设备 | |
CN108615071B (zh) | 模型测试的方法及装置 | |
CN111814902A (zh) | 目标检测模型训练方法、目标识别方法、装置和介质 | |
CN106484837A (zh) | 相似视频文件的检测方法和装置 | |
CN111190939A (zh) | 一种用户画像构建方法及装置 | |
CN110956615B (zh) | 图像质量评估模型训练方法、装置、电子设备及存储介质 | |
CN109858327B (zh) | 一种基于深度学习的字符分割方法 | |
CN109685772B (zh) | 一种基于配准失真表示的无参照立体图像质量评估方法 | |
CN111666800A (zh) | 一种行人重识别模型训练方法及行人重识别方法 | |
CN111067522A (zh) | 大脑成瘾结构图谱评估方法及装置 | |
CN111626357B (zh) | 一种基于神经网络模型的图像识别方法 | |
CN109815902B (zh) | 一种行人属性区域信息获取方法、装置及设备 | |
CN113963295A (zh) | 视频片段中地标识别方法、装置、设备及存储介质 | |
CN111368602A (zh) | 人脸图像模糊程度评价方法、装置、可读存储介质及设备 | |
CN110659641A (zh) | 一种文字识别的方法、装置及电子设备 | |
CN112463999A (zh) | 视觉位置识别方法及装置、计算机设备及可读存储介质 | |
CN112149470B (zh) | 一种行人重识别方法和装置 | |
CN113838076A (zh) | 目标图像中的对象轮廓的标注方法及装置、存储介质 | |
CN114387524B (zh) | 基于多层级二阶表征的小样本学习的图像识别方法和*** | |
CN112508135B (zh) | 模型训练方法、行人属性预测方法、装置及设备 | |
CN114445916A (zh) | 一种活体检测方法、终端设备及存储介质 | |
CN112950652A (zh) | 机器人及其手部图像分割方法和装置 | |
CN112613341A (zh) | 训练方法及装置、指纹识别方法及装置、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |