CN108108754B - 重识别网络的训练、重识别方法、装置和*** - Google Patents

重识别网络的训练、重识别方法、装置和*** Download PDF

Info

Publication number
CN108108754B
CN108108754B CN201711360237.0A CN201711360237A CN108108754B CN 108108754 B CN108108754 B CN 108108754B CN 201711360237 A CN201711360237 A CN 201711360237A CN 108108754 B CN108108754 B CN 108108754B
Authority
CN
China
Prior art keywords
distance
picture
loss
training
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711360237.0A
Other languages
English (en)
Other versions
CN108108754A (zh
Inventor
罗浩
张弛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201711360237.0A priority Critical patent/CN108108754B/zh
Publication of CN108108754A publication Critical patent/CN108108754A/zh
Application granted granted Critical
Publication of CN108108754B publication Critical patent/CN108108754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了重识别网络的训练、重识别方法、装置和***,通过获取批处理训练数据;分别获取批处理训练数据中包括的N张图片对应的特征向量,根据每张图片分别对应的特征向量,计算特征向量两两之间的距离,并得到距离矩阵;依据计算得到的距离矩阵,选取距离最大的正样本对和距离最小的负样本对,利用选取的这两个边界样本对计算卷积神经网络的损失,从而训练模型,通过学习最难的正样本对和负样本对计算卷积神经网络的损失,可以增加卷积神经网络模型的泛化能力,提高识别精度。

Description

重识别网络的训练、重识别方法、装置和***
技术领域
本发明涉及图像识别技术领域,尤其是涉及重识别网络的训练、重识别方法、装置和***。
背景技术
对行人的重识别,在安防监控视频应用中是一个非常重要的问题。行人重识别,是指在检测某个摄像头中的某个行人是否曾经出现在其他的摄像头中。目前,主要是通过表征学习和度量学习两种方法来进行重识别的。表征学习是将每个行人作为一个类别,将行人重识别转化为图像分类问题。度量学习是提取每张行人图片的特征,计算两种图片的特征的距离,然后随机在训练样本中选择正样本对和负样本对,这种方法对于参与卷积神经网络的样本对来说,大部分是简单易区分的样本对,这样就限制了卷积神经网络的泛化能力。
发明内容
有鉴于此,本发明的目的在于提供重识别网络的训练、重识别方法、装置和***,可以增加卷积神经网络模型的泛化能力,提高识别精度。
第一方面,本发明实施例提供了重识别网络的训练方法,所述方法包括:
获取批处理训练数据,所述批处理训练数据包括N张图片,其中,N为正整数;
将每张图片分别通过卷积神经网络,得到所述每张图片分别对应的特征向量;
计算所述特征向量两两之间的距离,并根据所述距离得到距离矩阵;
根据所述距离矩阵得到正样本对距离和负样本对距离;
根据所述正样本对距离和所述负样本对距离得到所述卷积神经网络的损失,根据所述损失对所述卷积神经网络进行训练;
重新获取另一组批处理训练数据,并重复上述步骤对所述卷积神经网络进行训练,直至所述卷积神经网络的损失收敛。
进一步的,所述每张图片分别对应相应的训练标签,所述训练标签包括所述识别对象的标识符ID,所述根据所述距离矩阵得到正样本对距离和负样本对距离,包括:
从所述距离矩阵中选取所述标识符ID相同的距离和所述标识符ID不同的距离;
将所述标识符ID相同的距离进行重组,得到正样本距离矩阵;
将所述标识符ID不同的距离进行重组,得到负样本距离矩阵;
从所述正样本距离矩阵中选取最大的距离,作为所述正样本对距离;
从所述负样本距离矩阵中选取最小的距离,作为所述负样本对距离。
进一步的,所述根据所述正样本对距离和所述负样本对距离得到所述卷积神经网络的损失,包括:
根据所述正样本对距离和所述负样本对距离得到边界样本损失;
根据所述边界样本损失和分类损失的加权平均值,得到所述卷积神经网络的损失。
进一步的,所述根据所述正样本对距离和所述负样本对距离得到边界样本损失,包括:
根据下式计算所述边界样本损失:
Le={max(Mp)-min(MN)+α}+
其中,Le为所述边界样本损失,max(Mp)为所述正样本对距离,min(MN)为所述负样本对距离,α为人工设定的边界阈值。
进一步的,所述根据所述边界样本损失和分类损失的加权平均值,得到所述卷积神经网络的损失,包括:
根据下式计算所述卷积神经网络的损失:
Loss=λLID+(1-λ)Le
其中,Loss为所述卷积神经网络的损失,LID为所述N张图片的分类损失的加权平均值,Le为所述边界样本损失,λ为权重参数,λ∈(0,1)。
进一步的,所述计算所述特征向量两两之间的距离,并根据所述距离得到距离矩阵,包括:
对所述每张图片分别对应的特征向量进行正则化处理,得到所述每张图片分别对应的正则化的特征向量;
根据所述每张图片分别对应的正则化的特征向量分别计算所述每张图片与其他N-1张图片的距离,从而得到所述距离矩阵。
进一步的,所述根据所述每张图片分别对应的正则化的特征向量分别计算所述每张图片与其他N-1张图片的距离,从而得到所述距离矩阵,包括:
根据下式计算所述每张图片与所述其他N-1张图片的距离:
Figure BDA0001509386550000031
其中,d(图片1,图片2)为第一图片和第二图片的距离,fn1为所述第一图片正则化的特征向量,fn2为所述第二图片正则化的特征向量。
进一步的,所述批处理训练数据中的N张图片包括P个不同的行人,每个行人包括K张不同的图片,其中,所述每个行人对应的不同图片是连续放置的。
第二方面,本发明实施例还提供重识别方法,所述方法包括:
获取待查询图片和待搜索行人图片集;
将所述待查询图片和所述待搜索行人图片集中的至少一张图片通过训练的卷积神经网络,得到所述待查询图片的特征向量和所述待搜索行人图片集中至少一张图片的特征向量,其中,所述训练的卷积神经网络是通过上述重识别网络的训练方法得到;
计算所述待查询图片的特征向量和所述待搜索行人图片集中至少一张图片的特征向量之间的距离;
根据所述距离确定所述待查询图片中的行人的身份标识。
第三方面,本发明实施例还提供重识别网络的训练装置,所述装置包括:
批处理训练数据获取模块,用于获取批处理训练数据,所述批处理训练数据包括N张图片,其中,N为正整数;
第一特征向量获取模块,用于将每张图片分别通过卷积神经网络,得到所述每张图片分别对应的特征向量;
距离矩阵获取模块,用于计算所述特征向量两两之间的距离,并根据所述距离得到距离矩阵;
样本对距离获取模块,用于根据所述距离矩阵得到正样本对距离和负样本对距离;
训练模块,用于根据所述正样本对距离和所述负样本对距离得到所述卷积神经网络的损失,根据所述损失对所述卷积神经网络进行训练;重新获取另一组批处理训练数据,并重复对所述卷积神经网络进行训练,直至所述卷积神经网络的损失收敛。
第四方面,本发明实施例还提供重识别装置,所述装置包括:
图片获取模块,用于获取待查询图片和待搜索行人图片集;
第二特征向量获取模块,用于将所述待查询图片和所述待搜索行人图片集中的至少一张图片通过训练的卷积神经网络,得到所述待查询图片的特征向量和所述待搜索行人图片集中至少一张图片的特征向量,其中,所述训练的卷积神经网络是通过如上所述的重识别网络的训练方法得到;
距离计算模块,用于计算所述待查询图片的特征向量和所述待搜索行人图片集中至少一张图片的特征向量之间的距离;
确定模块,用于根据所述距离确定所述待查询图片中的行人的身份标识。
第五方面,本发明实施例还提供重识别网络的训练***,包括存储器和处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述重识别网络的训练方法的步骤。
第六方面,本发明实施例还提供重识别***,包括存储器和处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述重识别方法的步骤。
第七方面,本发明实施例还提供计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述的重识别网络的训练方法或者重识别方法的步骤。
本发明实施例提供了重识别网络的训练、重识别方法、装置和***,通过获取批处理训练数据;分别获取批处理训练数据中包括的N张图片对应的特征向量,根据每张图片分别对应的特征向量,计算特征向量两两之间的距离,并得到距离矩阵;依据计算得到的距离矩阵,选取距离最大的正样本对和欧式距离最小的负样本对,利用选取的这两个边界样本对计算卷积神经网络的损失,从而训练模型,通过学习最难的正样本对和负样本对计算卷积神经网络的损失,可以增加卷积神经网络模型的泛化能力,提高识别精度。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的电子设备的示意图;
图2为本发明实施例二提供的重识别网络的训练方法流程图;
图3为本发明实施例二提供的重识别网络的训练方法中步骤S103的流程图;
图4为本发明实施例二提供的重识别网络的训练方法中步骤S104的流程图;
图5为本发明实施例二提供的重识别网络的训练方法中步骤S105的流程图;
图6为本发明实施例三提供的重识别方法流程图;
图7为本发明实施例四提供的重识别网络的训练装置示意图;
图8为本发明实施例五提供的重识别装置示意图。
图标:
10-批处理训练数据获取模块;20-第一特征向量获取模块;30-距离矩阵获取模块;40-样本对距离获取模块;50-训练模块;70-图片获取模块;80-第二特征向量获取模块;90-距离计算模块;91-确定模块;100-电子设备;102-处理器;104-存储装置;106-输入装置;108-输出装置;110-图像采集装置;112-总线***。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为便于对本实施例进行理解,下面对本发明实施例进行详细介绍。
实施例一:
图1是本发明实施例一提供的电子设备的示意图。
参照图1,用于实现本发明实施例的重识别网络的训练、重识别方法、装置和***的示例电子设备100,包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110,这些组件通过总线***112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory,简称RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-Only Memory,简称ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地,用于实现根据本发明实施例提供的重识别网络的训练、重识别方法、装置和***的示例电子设备可以被实现为诸如智能手机、平板电脑等移动终端上。
实施例二:
图2为本发明实施例二提供的重识别网络的训练方法流程图。
参照图2,该方法包括以下步骤:
步骤S101,获取批处理训练数据,批处理训练数据包括N张图片,其中,N为正整数;
可选的,针对每次训练的批处理训练数据,批处理训练数据中包括N张图片,N=P×K,其中,P为不同行人的数量,K为每个行人对应的不同照片的数量,其中,每个行人对应的不同照片是连续放置的。这样可以使计算出来的距离矩阵对角线处为正样本距离,其他的为负样本距离。
卷积神经网络包括自定义的卷积神经网络和预训练卷积神经网络,如果采用的是自定义卷积神经网络,则根据实际需求选择是否对批处理训练数据进行预处理;如果采用的是预训练卷积神经网络,则需要对批处理训练数据进行预处理,例如采用预训练的残差网络,具体处理过程为:将图片大小变换为224*224像素图像,该图像为BGR通道格式,如公式(1)所示:
Figure BDA0001509386550000091
通过公式(1)使批处理训练数据在使用预训练卷积神经网络的情况下,对批处理训练数据进行的预处理,从而使批处理训练数据满足图片的格式要求。
为了防止卷积神经网络过拟合,需要对批处理训练数据进行数据增广,数据增广的方式包括水平翻转、模糊、随机剪切和光照变化等。
步骤S102,将每张图片分别通过卷积神经网络,得到每张图片分别对应的特征向量;
具体地,将每张图片输入到卷积神经网络中,经过卷积神经网络的前向传播算法,会输出该张图片的特征向量,从而将N张图片均输入到卷积神经网络中,从而计算不同图片的特征向量。
步骤S103,计算特征向量两两之间的距离,并根据距离得到距离矩阵;
这里,在计算出每张图片对应的特征向量后,再计算每张图片与其余N-1张图片的距离,从而得到不同图片的距离,再根据不同图片的距离得到N×N大小的距离矩阵M。需要说明的是,计算每张图片与其余N-1张图片的距离,可以为欧氏距离,也可以为余弦距离或马氏距离,在此不作限定。
步骤S104,根据距离矩阵得到正样本对距离和负样本对距离;
这里,通过计算得到的距离矩阵M,按照对应的训练标签,从正样本对里面挑选一对,从负样本对里面挑选一对,最终选出四张图片作为样本组,并计算边界样本损失。
步骤S105,根据正样本对距离和负样本对距离得到卷积神经网络的损失,根据损失对卷积神经网络进行训练;
步骤S106,重新获取另一组批处理训练数据,并重复上述步骤对卷积神经网络进行训练,直至卷积神经网络的损失收敛。
在本发明实施例中,通过获取批处理训练数据;分别获取批处理训练数据中包括的N张图片对应的特征向量,根据每张图片分别对应的特征向量,计算特征向量两两之间的距离,并得到距离矩阵;依据计算得到的距离矩阵,选取距离最大的正样本对和距离最小的负样本对,利用选取的这两个边界样本对计算卷积神经网络的损失,从而训练模型,通过学习最难的正样本对和负样本对计算卷积神经网络的损失,可以增加卷积神经网络模型的泛化能力,提高识别精度。
进一步的,参照图3,步骤S103包括以下步骤:
步骤S201,对每张图片分别对应的特征向量进行正则化处理,得到每张图片分别对应的正则化的特征向量;
具体地,计算每张图片分别对应的特征向量后,需要对提取的特征向量进行正则化处理。例如,第一图片和第二图片在经过卷积神经网络后,得到的特征向量分别为f1和f2,对特征向量进行正则化处理,由公式(2)可知:
Figure BDA0001509386550000111
其中,|f|为特征向量f的模,那么,f1和f2正则化的特征向量为fn1和fn2
步骤S202,根据每张图片分别对应的正则化的特征向量分别计算每张图片与其他N-1张图片的距离,从而得到距离矩阵。
进一步的,在步骤S202中,根据公式(3)计算不同图片的距离:
Figure BDA0001509386550000112
其中,d(图片1,图片2)为第一图片和第二图片的距离,fn1为第一图片正则化的特征向量,fn2为第二图片正则化的特征向量。
具体地,通过公式(3)可以分别计算出每张图片与其他N-1张图片的距离,再根据计算得出的距离得到N×N大小的距离矩阵M。公式(3)计算得出的可以为欧氏距离。
进一步的,每张图片分别对应相应的训练标签,训练标签包括识别对象的标识符ID,参照图4,步骤S104包括以下步骤:
步骤S301,从距离矩阵中选取标识符ID相同的欧式距离和标识符ID不同的距离;
可选地,训练数据中包括N张图片,每张图片都对应一个训练标签,训练标签表示识别对象的标识符ID,标识符ID可用非负整数表示。通过将非负整数转化为one-hot向量,one-hot向量中只有一个元素是1,其他元素为0,元素1代表的是第几个识别对象,即标识符ID。例如,第一图片对应第一训练标签,第一训练标签用one-hot向量表示为[1,0,0,…,0];第二图片对应第二训练标签,第二训练标签用one-hot向量表示为[0,1,0,…,0];第三图片对应第三训练标签,第三训练标签用one-hot向量表示为[0,0,1,…,0]其他图片依次类推,向量的维度等于标识符ID的总类别数,在此不作赘述。
步骤S302,将标识符ID相同的距离进行重组,得到正样本距离矩阵;
步骤S303,将标识符ID不同的距离进行重组,得到负样本距离矩阵;
步骤S304,从正样本距离矩阵中选取最大的距离,作为正样本对距离;
步骤S305,从负样本距离矩阵中选取最小的距离,作为负样本对距离。
具体地,利用计算得到的距离矩阵M,按照训练标签,将相同标识符ID的正样本对所对应的距离进行重组,得到正样本距离矩阵Mp,再将不同ID的负样本对所对应的距离进行重组,得到负样本距离矩阵MN,再从最不像的正样本距离矩阵中选取最大的距离max(MP)以及从最像的负样本距离矩阵中选取最小的距离min(MN),这样,从正样本对里面挑选一对,从负样本对里面挑选一对,最终选出四张图片作为样本组,并定义边界样本损失。
进一步的,参照图5,步骤S105包括以下步骤:
步骤S401,根据正样本对距离和负样本对距离得到边界样本损失;
步骤S402,根据边界样本损失和分类损失的加权平均值,得到卷积神经网络的损失。
这里,计算分类损失是图片分类结果与one-hot向量计算交叉熵。
进一步的,在步骤S401,根据公式(4)计算边界样本损失:
Le={max(Mp)-min(MN)+α}+ (4)
其中,Le为边界样本损失,max(Mp)为正样本对距离,min(MN)为负样本对距离,α为人工设定的边界阈值。
具体地,通过计算边界样本损失Le,可以将正样本和负样本在特征空间中分隔开来。
在计算卷积神经网络的损失时,通过四张图进行计算,而传统的方法是采用三元组进行计算,其中有一张图是共用的。本申请从正样本对里面挑选一对,从负样本对里面挑选一对,即选取最难的样本对进行计算。其中,α是大小0的边界阈值,可以设定为0.3,{a}+是max(0,a)的非线性函数,边界样本损失Le可以将正样本和负样本在特征空间中分隔开来。但是由于本申请选取了最难的样本对进行损失计算,所以这种方法容易在训练集上过拟合,并以LID作为约束,从而得到卷积神经网络的损失。
进一步的,在步骤S402中,根据公式(5)计算卷积神经网络的损失:
Loss=λLID+(1-λ)Le (5)
其中,Loss为卷积神经网络的损失,LID为N张图片的分类损失的加权平均值,Le为边界样本损失,λ为权重参数,λ∈(0,1)。λ可以设置为0.5。
实施例三:
图6为本发明实施例三提供的重识别网络的重识别方法流程图。
参照图6,该方法包括以下步骤:
步骤S501,获取待查询图片和待搜索行人图片集;
步骤S502,将待查询图片和待搜索行人图片集中的至少一张图片通过训练的卷积神经网络,得到待查询图片的特征向量和待搜索行人图片集中至少一张图片的特征向量,其中,训练的卷积神经网络是通过上述的重识别网络的训练方法得到;
步骤S503,计算待查询图片的特征向量和待搜索行人图片集中至少一张图片的特征向量之间的距离;
步骤S504,根据距离确定待查询图片中的行人的身份标识。
当通过重识别网络的训练方法训练完成后,可以通过重识别网络的重识别方法进行检测,通过计算待查询图片的特征向量和待搜索行人图片集中至少一张图片的特征向量之间的距离,在计算得到的距离中选取最小的距离,如果最小的距离小于设定的阈值,则将待搜索的行人图片集中对应的图片为最相似的图片,并与待查询的图片是同一个行人。
实施例四:
本发明实施例还提供重识别网络的训练装置,该重识别网络的训练装置主要用于执行本发明实施例上述内容所提供的重识别网络的训练方法,以下对本发明实施例提供的重识别网络的训练装置做具体介绍。
图7为本发明实施例四提供的重识别网络的训练装置示意图。
参照图7,该装置包括批处理训练数据获取模块10、第一特征向量获取模块20、距离矩阵获取模块30、样本对距离获取模块40和训练模块50。
批处理训练数据获取模块10,用于获取批处理训练数据,批处理训练数据包括N张图片,其中,N为正整数;
第一特征向量获取模块20,用于将每张图片分别通过卷积神经网络,得到每张图片分别对应的特征向量;
距离矩阵获取模块30,用于计算特征向量两两之间的距离,并根据距离得到距离矩阵;
样本对距离获取模块40,用于根据距离矩阵得到正样本对距离和负样本对距离;
训练模块50,用于根据正样本对距离和负样本对距离得到卷积神经网络的损失,根据损失对卷积神经网络进行训练;重新获取另一组批处理训练数据,并重复对卷积神经网络进行训练,直至卷积神经网络的损失收敛。
进一步的,每张图片分别对应相应的训练标签,训练标签包括识别对象的标识符ID,样本对距离获取模块40具体用于:
从距离矩阵中选取标识符ID相同的距离和标识符ID不同的距离;
将标识符ID相同的距离进行重组,得到正样本距离矩阵;
将标识符ID不同的距离进行重组,得到负样本距离矩阵;
从正样本距离矩阵中选取最大的距离,作为正样本对距离;
从负样本距离矩阵中选取最小的距离,作为负样本对距离。
进一步的,训练模块50具体用于:
根据正样本对距离和负样本对距离得到边界样本损失;
根据边界样本损失和分类损失的加权平均值,得到卷积神经网络的损失。
进一步的,训练模块50具体用于:
根据下式计算边界样本损失:
Le={max(Mp)-min(MN)+α}+
其中,Le为边界样本损失,max(Mp)为正样本对距离,min(MN)为负样本对距离,α为人工设定的边界阈值。
进一步的,训练模块50具体用于:
根据下式计算卷积神经网络的损失:
Loss=λLID+(1-λ)Le
其中,Loss为卷积神经网络的损失,LID为N张图片的分类损失的加权平均值,Le为边界样本损失,λ为权重参数,λ∈(0,1)。
进一步的,距离矩阵获取模块30具体用于:
对每张图片分别对应的特征向量进行正则化处理,得到每张图片分别对应的正则化的特征向量;
根据每张图片分别对应的正则化的特征向量分别计算每张图片与其他N-1张图片的距离,从而得到距离矩阵。
进一步的,距离矩阵获取模块30具体用于:
根据下式计算每张图片与其他N-1张图片的距离:
Figure BDA0001509386550000161
其中,d(图片1,图片2)为第一图片和第二图片的距离,fn1为第一图片正则化的特征向量,fn2为第二图片正则化的特征向量。
进一步的,批处理训练数据中的N张图片包括P个不同的行人,每个行人包括K张不同的图片,其中,每个行人对应的不同图片是连续放置的。
应理解,在一些实施例中,批处理训练数据获取模块10、第一特征向量获取模块20、距离矩阵获取模块30、样本对距离获取模块40和训练模块50还可以由图1所示电子设备100中的处理器102来实现。
本发明实施例提供的重识别网络的训练装置,与上述实施例提供的重识别网络的训练方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
实施例五:
本发明实施例还提供重识别装置,该重识别装置主要用于执行本发明实施例上述内容所提供的重识别方法,以下对本发明实施例提供的重识别装置做具体介绍。
图8为本发明实施例五提供的重识别装置示意图。
参照图8,该装置包括:图片获取模块70、第二特征向量获取模块80、距离计算模块90和确定模块91;
图片获取模块70,用于获取待查询图片和待搜索行人图片集;
第二特征向量获取模块80,用于将待查询图片和待搜索行人图片集中的至少一张图片通过训练的卷积神经网络,得到待查询图片的特征向量和待搜索行人图片集中至少一张图片的特征向量,其中,训练的卷积神经网络是通过重识别网络的训练方法得到;
距离计算模块90,用于计算待查询图片的特征向量和待搜索行人图片集中至少一张图片的特征向量之间的距离;
确定模块91,用于根据距离确定待查询图片中的行人的身份标识。
应理解,在一些实施例中,图片获取模块70、第二特征向量获取模块80、距离计算模块90和确定模块91还可以由图1所示电子设备100中的处理器102来实现。
本发明实施例提供的重识别装置,与上述实施例提供的重识别方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
本发明实施例所提供的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (12)

1.一种重识别网络的训练方法,其特征在于,所述方法包括:
获取批处理训练数据,所述批处理训练数据包括N张图片,其中,N为正整数;
将每张图片分别通过卷积神经网络,得到所述每张图片分别对应的特征向量;
计算所述特征向量两两之间的距离,并根据所述距离得到距离矩阵;
根据所述距离矩阵得到正样本对距离和负样本对距离;
根据所述正样本对距离和所述负样本对距离得到所述卷积神经网络的损失,根据所述损失对所述卷积神经网络进行训练;
重新获取另一组批处理训练数据,并重复上述步骤对所述卷积神经网络进行训练,直至所述卷积神经网络的损失收敛;
所述根据所述正样本对距离和所述负样本对距离得到所述卷积神经网络的损失,包括:
根据所述正样本对距离和所述负样本对距离得到边界样本损失;
根据所述边界样本损失和分类损失的加权平均值,得到所述卷积神经网络的损失;
所述根据所述正样本对距离和所述负样本对距离得到边界样本损失,包括:
根据下式计算所述边界样本损失:
Le={max(Mp)-min(MN)+α}+
其中,Le为所述边界样本损失,max(Mp)为所述正样本对距离,min(MN)为所述负样本对距离,α为人工设定的边界阈值。
2.根据权利要求1所述的重识别网络的训练方法,其特征在于,所述每张图片分别对应相应的训练标签,所述训练标签包括所述识别对象的标识符ID,所述根据所述距离矩阵得到正样本对距离和负样本对距离,包括:
从所述距离矩阵中选取所述标识符ID相同的距离和所述标识符ID不同的距离;
将所述标识符ID相同的距离进行重组,得到正样本距离矩阵;
将所述标识符ID不同的距离进行重组,得到负样本距离矩阵;
从所述正样本距离矩阵中选取最大的距离,作为所述正样本对距离;
从所述负样本距离矩阵中选取最小的距离,作为所述负样本对距离。
3.根据权利要求1所述的重识别网络的训练方法,其特征在于,所述根据所述边界样本损失和分类损失的加权平均值,得到所述卷积神经网络的损失,包括:
根据下式计算所述卷积神经网络的损失:
Loss=λLID+(1-λ)Le
其中,Loss为所述卷积神经网络的损失,LID为所述N张图片的分类损失的加权平均值,Le为所述边界样本损失,λ为权重参数,λ∈(0,1)。
4.根据权利要求1所述的重识别网络的训练方法,其特征在于,所述计算所述特征向量两两之间的距离,并根据所述距离得到距离矩阵,包括:
对所述每张图片分别对应的特征向量进行正则化处理,得到所述每张图片分别对应的正则化的特征向量;
根据所述每张图片分别对应的正则化的特征向量分别计算所述每张图片与其他N-1张图片的距离,从而得到所述距离矩阵。
5.根据权利要求4所述的重识别网络的训练方法,其特征在于,所述根据所述每张图片分别对应的正则化的特征向量分别计算所述每张图片与其他N-1张图片的距离,从而得到所述距离矩阵,包括:
根据下式计算所述每张图片与所述其他N-1张图片的距离:
Figure FDA0003473292940000031
其中,d(图片1,图片2)为第一图片和第二图片的距离,fn1为所述第一图片正则化的特征向量,fn2为所述第二图片正则化的特征向量。
6.根据权利要求1所述的重识别网络的训练方法,其特征在于,所述批处理训练数据中的N张图片包括P个不同的行人,每个行人包括K张不同的图片,其中,所述每个行人对应的不同图片是连续放置的。
7.一种重识别方法,其特征在于,所述方法包括:
获取待查询图片和待搜索行人图片集;
将所述待查询图片和所述待搜索行人图片集中的至少一张图片通过训练的卷积神经网络,得到所述待查询图片的特征向量和所述待搜索行人图片集中至少一张图片的特征向量,其中,所述训练的卷积神经网络是通过权利要求1至6任一项所述的重识别网络的训练方法得到;
计算所述待查询图片的特征向量和所述待搜索行人图片集中至少一张图片的特征向量之间的距离;
根据所述距离确定所述待查询图片中的行人的身份标识。
8.一种重识别网络的训练装置,其特征在于,所述装置包括:
批处理训练数据获取模块,用于获取批处理训练数据,所述批处理训练数据包括N张图片,其中,N为正整数;
第一特征向量获取模块,用于将每张图片分别通过卷积神经网络,得到所述每张图片分别对应的特征向量;
距离矩阵获取模块,用于计算所述特征向量两两之间的距离,并根据所述距离得到距离矩阵;
样本对距离获取模块,用于根据所述距离矩阵得到正样本对距离和负样本对距离;
训练模块,用于根据所述正样本对距离和所述负样本对距离得到所述卷积神经网络的损失,根据所述损失对所述卷积神经网络进行训练;重新获取另一组批处理训练数据,并重复对所述卷积神经网络进行训练,直至所述卷积神经网络的损失收敛;
所述训练模块还用于:
根据所述正样本对距离和所述负样本对距离得到边界样本损失;
根据所述边界样本损失和分类损失的加权平均值,得到所述卷积神经网络的损失;
根据下式计算所述边界样本损失:
Le={max(Mp)-min(MN)+α}+
其中,Le为所述边界样本损失,max(Mp)为所述正样本对距离,min(MN)为所述负样本对距离,α为人工设定的边界阈值。
9.一种重识别装置,其特征在于,所述装置包括:
图片获取模块,用于获取待查询图片和待搜索行人图片集;
第二特征向量获取模块,用于将所述待查询图片和所述待搜索行人图片集中的至少一张图片通过训练的卷积神经网络,得到所述待查询图片的特征向量和所述待搜索行人图片集中至少一张图片的特征向量,其中,所述训练的卷积神经网络是通过权利要求1至6任一项所述的重识别网络的训练方法得到;
距离计算模块,用于计算所述待查询图片的特征向量和所述待搜索行人图片集中至少一张图片的特征向量之间的距离;
确定模块,用于根据所述距离确定所述待查询图片中的行人的身份标识。
10.一种重识别网络的训练***,其特征在于,包括存储器和处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述权利要求1至6中任一项所述的方法的步骤。
11.一种重识别***,其特征在于,包括存储器和处理器,所述存储器中存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述权利要求7中所述的方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述权利要求1至6中任一项或者权利要求7所述的方法的步骤。
CN201711360237.0A 2017-12-15 2017-12-15 重识别网络的训练、重识别方法、装置和*** Active CN108108754B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711360237.0A CN108108754B (zh) 2017-12-15 2017-12-15 重识别网络的训练、重识别方法、装置和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711360237.0A CN108108754B (zh) 2017-12-15 2017-12-15 重识别网络的训练、重识别方法、装置和***

Publications (2)

Publication Number Publication Date
CN108108754A CN108108754A (zh) 2018-06-01
CN108108754B true CN108108754B (zh) 2022-07-22

Family

ID=62216607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711360237.0A Active CN108108754B (zh) 2017-12-15 2017-12-15 重识别网络的训练、重识别方法、装置和***

Country Status (1)

Country Link
CN (1) CN108108754B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109214271B (zh) * 2018-07-17 2022-10-18 北京迈格威科技有限公司 用于重识别的损失函数确定的方法及装置
CN109063607B (zh) * 2018-07-17 2022-11-25 北京迈格威科技有限公司 用于重识别的损失函数确定的方法及装置
CN109145766B (zh) * 2018-07-27 2021-03-23 北京旷视科技有限公司 模型训练方法、装置、识别方法、电子设备及存储介质
CN109063768B (zh) * 2018-08-01 2021-10-01 北京旷视科技有限公司 车辆重识别方法、装置及***
CN109063776B (zh) * 2018-08-07 2021-08-10 北京旷视科技有限公司 图像再识别网络训练方法、装置和图像再识别方法及装置
CN109165589B (zh) * 2018-08-14 2021-02-23 北京颂泽科技有限公司 基于深度学习的车辆重识别方法和装置
CN109344842A (zh) * 2018-08-15 2019-02-15 天津大学 一种基于语义区域表达的行人重识别方法
CN109034109B (zh) * 2018-08-16 2021-03-23 新智数字科技有限公司 一种基于聚类算法的行人重识别方法和装置
CN109145991B (zh) * 2018-08-24 2020-07-31 北京地平线机器人技术研发有限公司 图像组生成方法、图像组生成装置和电子设备
CN109242029A (zh) * 2018-09-19 2019-01-18 广东省智能制造研究所 识别分类模型训练方法和***
CN109063790B (zh) * 2018-09-27 2021-03-16 北京地平线机器人技术研发有限公司 对象识别模型优化方法、装置和电子设备
CN109472248B (zh) * 2018-11-22 2022-03-25 广东工业大学 一种行人重识别方法、***及电子设备和存储介质
CN109697457B (zh) * 2018-11-26 2021-01-08 北京图森智途科技有限公司 物体重识别***的训练方法、物体重识别方法及相关设备
CN109684950A (zh) * 2018-12-12 2019-04-26 联想(北京)有限公司 一种处理方法及电子设备
CN111027434B (zh) * 2018-12-29 2023-07-11 北京地平线机器人技术研发有限公司 一种行人识别模型的训练方法、装置及电子设备
CN109977822B (zh) * 2019-03-15 2023-05-09 广州市网星信息技术有限公司 数据供给方法、模型训练方法、装置、***、设备和介质
CN112085041B (zh) * 2019-06-12 2024-07-12 北京地平线机器人技术研发有限公司 神经网络的训练方法、训练装置和电子设备
CN110414550B (zh) * 2019-06-14 2022-07-29 北京迈格威科技有限公司 人脸识别模型的训练方法、装置、***和计算机可读介质
CN110414326B (zh) * 2019-06-18 2024-05-07 平安科技(深圳)有限公司 样本数据处理方法、装置、计算机装置及存储介质
CN112446270B (zh) * 2019-09-05 2024-05-14 华为云计算技术有限公司 行人再识别网络的训练方法、行人再识别方法和装置
CN112560880A (zh) * 2019-09-25 2021-03-26 中国电信股份有限公司 目标分类方法、目标分类装置及计算机可读存储介质
CN110765943A (zh) * 2019-10-23 2020-02-07 深圳市商汤科技有限公司 网络训练、识别方法及装置、电子设备和存储介质
CN112749565B (zh) * 2019-10-31 2024-07-16 华为终端有限公司 基于人工智能的语义识别方法、装置和语义识别设备
CN111178403B (zh) * 2019-12-16 2023-10-17 北京迈格威科技有限公司 训练属性识别模型的方法、装置、电子设备及存储介质
CN111488798B (zh) * 2020-03-11 2023-12-29 天津极豪科技有限公司 指纹识别方法、装置、电子设备及存储介质
CN111626212B (zh) * 2020-05-27 2023-09-26 腾讯科技(深圳)有限公司 图片中对象的识别方法和装置、存储介质及电子装置
CN112257553B (zh) * 2020-10-20 2022-09-27 大连理工大学 一种基于循环矩阵的行人重识别方法
CN112381147B (zh) * 2020-11-16 2024-04-26 虎博网络技术(上海)有限公司 动态图片相似度模型建立、相似度计算方法和装置
CN112613341A (zh) * 2020-11-25 2021-04-06 北京迈格威科技有限公司 训练方法及装置、指纹识别方法及装置、电子设备
CN113361568A (zh) * 2021-05-18 2021-09-07 北京迈格威科技有限公司 目标识别方法、装置和电子***

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778527A (zh) * 2016-11-28 2017-05-31 中通服公众信息产业股份有限公司 一种基于三重损失的改进的神经网络行人再识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8383345B2 (en) * 2008-09-12 2013-02-26 University Of Washington Sequence tag directed subassembly of short sequencing reads into long sequencing reads
US20130303085A1 (en) * 2012-05-11 2013-11-14 Research In Motion Limited Near field communication tag data management
CN105808732B (zh) * 2016-03-10 2019-05-17 北京大学 一种基于深度度量学习的一体化目标属性识别与精确检索方法
CN106803063B (zh) * 2016-12-21 2019-06-28 华中科技大学 一种行人重识别的度量学习方法
CN106919909B (zh) * 2017-02-10 2018-03-27 华中科技大学 一种行人重识别的度量学习方法和***
CN107038448B (zh) * 2017-03-01 2020-02-28 中科视语(北京)科技有限公司 目标检测模型构建方法
CN107103281A (zh) * 2017-03-10 2017-08-29 中山大学 基于聚集损失深度度量学习的人脸识别方法
CN107330396B (zh) * 2017-06-28 2020-05-19 华中科技大学 一种基于多属性和多策略融合学习的行人再识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778527A (zh) * 2016-11-28 2017-05-31 中通服公众信息产业股份有限公司 一种基于三重损失的改进的神经网络行人再识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Guangtao ZHAI等.Perceptual image quality assessment: a survey.《Science China(Information Sciences)》.2016,(第11期), *
Qi WANG等.Discriminative fine-grained network for vehicle re-identification using two-stage re-ranking.《Science China(Information Sciences)》.2016,(第11期), *
吕永强等.融合三元卷积神经网络与关系网络的小样本食品图像识别.《计算机科学》.2015,(第01期), *

Also Published As

Publication number Publication date
CN108108754A (zh) 2018-06-01

Similar Documents

Publication Publication Date Title
CN108108754B (zh) 重识别网络的训练、重识别方法、装置和***
CN108710847B (zh) 场景识别方法、装置及电子设备
CN109146892B (zh) 一种基于美学的图像裁剪方法及装置
US11062123B2 (en) Method, terminal, and storage medium for tracking facial critical area
US10726244B2 (en) Method and apparatus detecting a target
CN108520229B (zh) 图像检测方法、装置、电子设备和计算机可读介质
TWI686774B (zh) 人臉活體檢測方法和裝置
US8160309B1 (en) Method, apparatus, and system for object recognition and classification
CN107370942B (zh) 拍照方法、装置、存储介质及终端
US8463025B2 (en) Distributed artificial intelligence services on a cell phone
JP6309549B2 (ja) 変形可能な表現検出器
US9626552B2 (en) Calculating facial image similarity
JP6112801B2 (ja) 画像認識装置及び画像認識方法
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
US20150154471A1 (en) Image processing device and method, and computer readable medium
CN109063776B (zh) 图像再识别网络训练方法、装置和图像再识别方法及装置
US20210271857A1 (en) Method and apparatus for identity verification, electronic device, computer program, and storage medium
CN109963072B (zh) 对焦方法、装置、存储介质及电子设备
WO2020172870A1 (zh) 一种目标对象的移动轨迹确定方法和装置
Parde et al. Face and image representation in deep CNN features
JP5214679B2 (ja) 学習装置、方法及びプログラム
WO2016142285A1 (en) Method and apparatus for image search using sparsifying analysis operators
CN111476275A (zh) 基于图片识别的目标检测方法、服务器及存储介质
CN106874922B (zh) 一种确定业务参数的方法及装置
CN111382791B (zh) 深度学习任务处理方法、图像识别任务处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant