CN109214271A - 用于重识别的损失函数确定的方法及装置 - Google Patents

用于重识别的损失函数确定的方法及装置 Download PDF

Info

Publication number
CN109214271A
CN109214271A CN201810783973.5A CN201810783973A CN109214271A CN 109214271 A CN109214271 A CN 109214271A CN 201810783973 A CN201810783973 A CN 201810783973A CN 109214271 A CN109214271 A CN 109214271A
Authority
CN
China
Prior art keywords
picture
loss function
feature
anchor
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810783973.5A
Other languages
English (en)
Other versions
CN109214271B (zh
Inventor
金昊
周啸辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Maigewei Technology Co Ltd
Original Assignee
Beijing Maigewei Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Maigewei Technology Co Ltd filed Critical Beijing Maigewei Technology Co Ltd
Priority to CN201810783973.5A priority Critical patent/CN109214271B/zh
Publication of CN109214271A publication Critical patent/CN109214271A/zh
Application granted granted Critical
Publication of CN109214271B publication Critical patent/CN109214271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于重识别的损失函数确定的方法及装置。该方法包括：计算相同姿态图片的第一损失函数；计算不同姿态图片的第二损失函数；根据所述第一损失函数和所述第二损失函数，得到用于重识别的损失函数。由此可见，本发明实施例在确定用于重识别的损失函数时，考虑了不同姿态的特征空间差异，兼顾了相同姿态、不同姿态的图片的特征空间来确定损失函数，能够减小由于不同姿态导致的重识别的误差，进而能够保证重识别的精度。

Description

用于重识别的损失函数确定的方法及装置
技术领域
本发明涉及图像处理领域，更具体地涉及一种用于重识别的损失函数确定的方法及装置。
背景技术
在视频结构化的应用中，对具有相同标识(ID)的对象的重新识别(re-identification，ReID)是十分重要的。特别地，在实际应用中，同一对象可能在不同环境中以不同的姿态出现，以汽车为例，有些图像采集装置可能从前方拍摄，而有些图像采集装置可能从后方或者侧部拍摄，这会导致不同姿态特征空间的差异以及不同姿态相同特征的有限性。
在对用于重识别的网络进行训练时，一般地基于损失函数判断训练过程是否结束。由于不同姿态特征空间的差异，损失函数会有较大的误差，进而会导致重识别的精度。
发明内容
本发明提供了一种用于重识别的损失函数确定的方法及装置，能够减小由于不同姿态导致的重识别的误差，进而能够保证重识别的精度。
根据本发明的一方面，提供了一种用于重识别的损失函数确定的方法，所述方法包括：
计算相同姿态图片的第一损失函数；
计算不同姿态图片的第二损失函数；
根据所述第一损失函数和所述第二损失函数，得到用于重识别的损失函数。
在本发明的一种实现方式中，所述计算相同姿态图片的第一损失函数，包括：
针对每一锚图片，计算第一图片集中每一图片的特征并进而计算与所述锚图片对应的相同姿态损失函数，所述相同姿态损失函数是根据所述第一图片集中与所述锚图片具有相同ID的图片的特征与所述锚图片的特征之间的距离的最大值以及与所述锚图片具有不同ID的图片的特征与所述锚图片的特征之间的距离的最小值确定的，所述第一图片集包括与所述锚图片具有相同姿态的图片；
将所有锚图片的对应的相同姿态损失函数求和，得到所述第一损失函数。
在本发明的一种实现方式中，所述计算所述第一图片集中每一图片的特征并进而计算与所述锚图片对应的相同姿态损失函数，包括：
基于所述锚图片与第一类图片，计算第一子损失函数，所述第一子损失函数表示为所述第一类图片中每一图片的特征与所述锚图片的特征之间的距离的最大值，所述第一类图片为所述第一图片集中与所述锚图片具有相同ID的图片；
基于所述锚图片与第二类图片，计算第二子损失函数，所述第二子损失函数表示为所述第二类图片中每一图片的特征与所述锚图片的特征之间的距离的最小值，所述第二类图片为所述第一图片集中与所述锚图片具有不同ID的图片；
将所述第一子损失函数与所述第二子损失函数作差，得到与所述锚图片对应的相同姿态损失函数。
在本发明的一种实现方式中，
所述基于所述锚图片与所述第一类图片，计算第一子损失函数，包括：
确定所述第一子损失函数为pos0(A)＝maxk1∈S1dist(f(A),f(k1))；
所述基于所述锚图片与所述第二类图片，计算第二子损失函数，包括：
确定所述第二子损失函数为neg0(A)＝mink2∈D1dist(f(A),f(k2))，
其中，A表示所述锚图片，S1表示所述第一类图片的集合，dist(f(A),f(k1))表示A的特征f(A)与k1的特征f(k1)之间的距离，D1表示所述第二类图片的集合，dist(f(A),f(k2))表示A的特征f(A)与k2的特征f(k2)之间的距离。
在本发明的一种实现方式中，所述计算不同姿态图片的第二损失函数，包括：
针对每一锚图片，计算第二图片集中每一图片的特征并进而计算与所述锚图片对应的不同姿态损失函数，所述不同姿态损失函数是根据所述第二图片集中与所述锚图片具有相同ID的图片的特征与所述锚图片的特征之间的距离的最大值以及与所述锚图片具有不同ID的图片的特征与所述锚图片的特征之间的距离的最小值确定的，所述第二图片集包括与所述锚图片具有不同姿态的图片；
将所有锚图片的对应的不同姿态损失函数求和，得到所述第二损失函数。
在本发明的一种实现方式中，所述计算所述第二图片集中每一图片的特征并进而计算与所述锚图片对应的不同姿态损失函数，包括：
基于所述锚图片与第三类图片，计算第三子损失函数，所述第三子损失函数表示为所述第三类图片中每一图片的特征与所述锚图片的特征之间的距离的最大值，所述第三类图片为所述第二图片集中与所述锚图片具有相同ID的图片；
基于所述锚图片与第四类图片，计算第四子损失函数，所述第四子损失函数表示为所述第四类图片中每一图片的特征与所述锚图片的特征之间的距离的最小值，所述第四类图片为所述第二图片集中与所述锚图片具有不同ID的图片；
将所述第三子损失函数与所述第四子损失函数作差，得到与所述锚图片对应的不同姿态损失函数。
在本发明的一种实现方式中，所述基于所述锚图片与所述第三类图片，计算第三子损失函数，包括：
确定所述第三子损失函数为pos1(A)＝maxk3∈S2dist(f(A),f(k3))；
所述基于所述锚图片与所述第四类图片，计算第四子损失函数，包括：
确定所述第四子损失函数为neg1(A)＝mink4∈D2dist(f(A),f(k4))，
其中，A表示所述锚图片，S2表示所述第三类图片的集合，dist(f(A),f(k3))表示A的特征f(A)与k3的特征f(k3)之间的距离，D2表示所述第四类图片的集合，dist(f(A),f(k4))表示A的特征f(A)与k4的特征f(k4)之间的距离。
根据本发明的又一方面，提供了一种用于重识别的损失函数确定的装置，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述方面或任一实现方式所述的用于重识别的损失函数确定的方法的步骤。
根据本发明的再一方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方面或任一实现方式所述的用于重识别的损失函数确定的方法的步骤。
由此可见，本发明实施例在确定用于重识别的损失函数时，考虑了不同姿态的特征空间差异，兼顾了相同姿态、不同姿态的图片的特征空间来确定损失函数，能够减小由于不同姿态导致的重识别的误差，进而能够保证重识别的精度。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本发明实施例的电子设备的一个示意性框图；
图2是本发明实施例的用于重识别的损失函数确定的方法的一个示意性流程图；
图3是本发明实施例的用于确定第一损失函数的方法的示意性流程图；
图4是本发明实施例的用于确定第二损失函数的方法的示意性流程图；
图5是本发明实施例的用于重识别的损失函数确定的装置的一个示意性框图；
图6是是本发明实施例的用于重识别的损失函数确定的装置的另一个示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
本发明实施例可以应用于电子设备，图1所示为本发明实施例的电子设备的一个示意性框图。图1所示的电子设备10包括一个或更多个处理器102、一个或更多个存储装置104、输入装置106、输出装置108、图像传感器110以及一个或更多个非图像传感器114，这些组件通过总线***112和/或其它形式互连。应当注意，图1所示的电子设备10的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以包括中央处理单元(Central Processing Unit，CPU)1021和图形处理单元(Graphics Processing Unit，GPU)1022或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，例如现场可编程门阵列(Field－Programmable GateArray，FPGA)或进阶精简指令集机器(Advanced RISC(Reduced Instruction SetComputer)Machine，ARM)等，并且处理器102可以控制所述电子设备10中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或更多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器1041和/或非易失性存储器1042。所述易失性存储器1041例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器1042例如可以包括只读存储器(Read-Only Memory，ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或更多个计算机程序指令，处理器102可以运行所述程序指令，以实现各种期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或更多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或更多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
当注意，图1所示的电子设备10的组件和结构只是示例性的，尽管图1示出的电子设备10包括多个不同的装置，但是根据需要，其中的一些装置可以不是必须的，其中的一些装置的数量可以更多等等，本发明对此不限定。
重识别(ReID)也称为再识别，可以应用于安防、刑侦等相关领域，主要用于在一组图像中找到和目标最像的一张图像。其中的目标可以是各种对象，诸如行人、汽车等。同一个对象在不同的环境中可能会以不同的姿态出现，针对具有不同姿态的图像进行特征提取会存在较大的差异。
用于重识别的神经网络可以在训练集的基础上通过训练得到，具体地在训练过程中可以构建损失函数，并基于损失函数判断训练过程是否结束。可见，损失函数与用于重识别的神经网络的性能(诸如精度等)有直接的关系。由于损失函数是基于所提取的特征所构建的，因此可以理解，由于姿态不同所在成的特征差异会对损失函数，进而对网络性能，产生影响。
本发明实施例提供了一种用于重识别的损失函数的确定方法，其示意性流程图可以如图2所示。图2所示的方法可以由图1所示的电子设备10执行，具体地由处理器102执行。图2所示的方法可以包括：
S10，计算相同姿态图片的第一损失函数；
S20，计算不同姿态图片的第二损失函数；
S30，根据所述第一损失函数和所述第二损失函数，得到用于重识别的损失函数。
应注意，尽管图2中示出了S10至S30的顺序，但是本发明对执行顺序不作限定。例如，可以先执行S10再执行S20，或者可以先执行S20再执行S10，再或者S10和S20可以并行执行。
示例性地，如图3所示，S10可以包括：
S110，针对每一锚图片，计算第一图片集中每一图片的特征并进而计算与所述锚图片对应的相同姿态损失函数，所述相同姿态损失函数是根据所述第一图片集中与所述锚图片具有相同标识(ID)的图片的特征与所述锚图片的特征之间的距离的最大值以及与所述锚图片具有不同ID的图片的特征与所述锚图片的特征之间的距离的最小值确定的，所述第一图片集包括与所述锚图片具有相同姿态的图片。
S120，将所有锚图片的对应的相同姿态损失函数求和，得到所述第一损失函数。
锚图片的数量是预设值，例如可以根据硬件要求或者程序要求进行设定。
在针对某训练集计算用于重识别的损失函数时，可以首先选取该训练集中的任一图片作为锚图片(anchor)，进而该训练集中除锚图片之外的剩余图片可以按照姿态被分为第一图片集和第二图片集，其中，第一图片集中的任一图片均与锚图片具有相同姿态，第二图片集中的任一图片均与锚图片具有不同姿态。
这样，对任一锚图片，都存在与其对应的第一图片集和第二图片集。不失一般性，假设针对第一锚图片A1，与其对应的第一图片集和第二图片集分别表示为J11和J12；针对第二锚图片A2，与其对应的第一图片集和第二图片集分别表示为J21和J22。可理解，若A1与A2具有相同的姿态，则J11与J21不同(J11包括A2，而J21包括A1)，J12与J22相同。若A1与A2具有不同的姿态，则J11与J21不同，且J12与J22不同。
以下仅以一个锚图片为例进行阐述S110，为方便描述，将该锚图片表示为A，并假设锚图片A具有某种姿态。
可选地，S110可以包括：基于所述锚图片与第一类图片，计算第一子损失函数，所述第一子损失函数表示为所述第一类图片中每一图片的特征与所述锚图片的特征之间的距离的最大值，所述第一类图片为所述第一图片集中与所述锚图片具有相同ID的图片；基于所述锚图片与第二类图片，计算第二子损失函数，所述第二子损失函数表示为所述第二类图片中每一图片的特征与所述锚图片的特征之间的距离的最小值，所述第二类图片为所述第一图片集中与所述锚图片具有不同ID的图片；将所述第一子损失函数与所述第二子损失函数作差，得到与所述锚图片对应的相同姿态损失函数。
具体地，与锚图片A对应的第一图片集可以包括两个子集：第一类图片(表示为S1)和第二类图片(表示为D1)。其中，S1中每一图片均与A具有相同ID，D1中每一图片均与A具有不同ID。与A具有相同ID的图片和A是同一对象的图片，例如均为人脸a的图片。与A具有不同ID的图片和A是不同对象的图片，例如A为人脸a的图片，与A具有不同ID的图片是人脸b的图片。
可以确定第一子损失函数为pos0(A)＝maxk1∈S1dist(f(A),f(k1))，确定第二子损失函数为neg0(A)＝mink2∈D1dist(f(A),f(k2))。进而可以得到与锚图片对应的相同姿态损失函数为pos0(A)-neg0(A)。
其中，f(A)表示锚图片A的特征，f(k1)表示子集S1中的图片k1的特征，f(k2)表示子集D1中的图片k2的特征。f()可以表示特征提取算法，本发明实施例对此不限定。示例性地，所提取的特征可以是高维向量，如256维特征向量；或者所提取的初始特征也可以是其它维度的向量等，本发明对此不限定。
其中，dist(f(A),f(k1))表示A的特征f(A)与k1的特征f(k1)之间的距离，dist(f(A),f(k2))表示A的特征f(A)与k2的特征f(k2)之间的距离。应理解，本发明实施例所述的距离可以是两个特征之间的几何距离、欧式距离等等，也可以通过其他的方式计算两个特征之间的距离，本发明对此不限定。
如此，便在S110中得到了与锚图片A对应的相同姿态损失函数。类似地，可以得到训练集中每一锚图片对应的相同姿态损失函数。进一步地，可以在S120中通过求和得到第一损失函数为
可见，在计算第一损失函数loss0时，考虑了锚图片、与锚图片姿态相同且具有相同ID的特征距离最大的图片、与锚图片姿态相同且具有不同ID的特征距离最小的图片。
示例性地，如图4所示，S20可以包括：
S210，针对每一锚图片，计算第二图片集中每一图片的特征并进而计算与所述锚图片对应的不同姿态损失函数，所述不同姿态损失函数是根据所述第二图片集中与所述锚图片具有相同ID的图片的特征与所述锚图片的特征之间的距离的最大值以及与所述锚图片具有不同ID的图片的特征与所述锚图片的特征之间的距离的最小值确定的，所述第二图片集包括与所述锚图片具有不同姿态的图片。
S220，将所有锚图片的对应的不同姿态损失函数求和，得到所述第二损失函数。
如前所述，在针对某训练集计算用于重识别的损失函数时，可以首先选取该训练集中的任一图片作为锚图片(anchor)，进而该训练集中除锚图片之外的剩余图片可以按照姿态被分为第一图片集和第二图片集，其中，第一图片集中的任一图片均与锚图片具有相同姿态，第二图片集中的任一图片均与锚图片具有不同姿态。
这样，对任一锚图片，都存在与其对应的第一图片集和第二图片集。不失一般性，假设针对第一锚图片A1，与其对应的第一图片集和第二图片集分别表示为J11和J12；针对第二锚图片A2，与其对应的第一图片集和第二图片集分别表示为J21和J22。可理解，若A1与A2具有相同的姿态，则J11与J21不同(J11包括A2，而J21包括A1)，J12与J22相同。若A1与A2具有不同的姿态，则J11与J21不同，且J12与J22不同。
以下仅以一个锚图片为例进行阐述S210，为方便描述，将该锚图片表示为A，并假设锚图片A具有某种姿态。
可选地，S210可以包括：基于所述锚图片与第三类图片，计算第三子损失函数，所述第三子损失函数表示为所述第三类图片中每一图片的特征与所述锚图片的特征之间的距离的最大值，所述第三类图片为所述第二图片集中与所述锚图片具有相同ID的图片；基于所述锚图片与第四类图片，计算第四子损失函数，所述第四子损失函数表示为所述第四类图片中每一图片的特征与所述锚图片的特征之间的距离的最小值，所述第四类图片为所述第二图片集中与所述锚图片具有不同ID的图片；将所述第三子损失函数与所述第四子损失函数作差，得到与所述锚图片对应的不同姿态损失函数。
具体地，与锚图片A对应的第二图片集可以包括两个子集：第三类图片(表示为S2)和第四类图片(表示为D2)。其中，S2中每一图片均与A具有相同ID，D2中每一图片均与A具有不同ID。
可以确定第三子损失函数为pos1(A)＝maxk3∈S2dist(f(A),f(k3))，确定第四子损失函数为neg1(A)＝mink4∈D2dist(f(A),f(k4))。进而可以得到与锚图片对应的不同姿态损失函数为pos1(A)-neg1(A)。
其中，f(A)表示锚图片A的特征，f(k3)表示子集S2中的图片k3的特征，f(k4)表示子集D2中的图片k4的特征。f()可以表示特征提取算法，本发明实施例对此不限定。示例性地，所提取的特征可以是高维向量，如256维特征向量；或者所提取的初始特征也可以是其它维度的向量等，本发明对此不限定。
其中，dist(f(A),f(k3))表示A的特征f(A)与k3的特征f(k3)之间的距离，dist(f(A),f(k4))表示A的特征f(A)与k4的特征f(k4)之间的距离。应理解，本发明实施例所述的距离可以是两个特征之间的几何距离、欧式距离等等，也可以通过其他的方式计算两个特征之间的距离，本发明对此不限定。
如此，便在S210中得到了与锚图片A对应的不同姿态损失函数。类似地，可以得到训练集中每一锚图片对应的不同姿态损失函数。进一步地，可以在S220中通过求和得到第二损失函数为
可见，在计算第二损失函数loss1时，考虑了锚图片、与锚图片姿态不同且具有相同ID的特征距离最大的图片、与锚图片姿态不同且具有不同ID的特征距离最小的图片。
S30中可以得到用于重识别的损失函数为：
可见，在计算损失函数loss时，考虑了锚图片、与锚图片姿态相同且具有相同ID的特征距离最大的图片、与锚图片姿态相同且具有不同ID的特征距离最小的图片、与锚图片姿态不同且具有相同ID的特征距离最大的图片、与锚图片姿态不同且具有不同ID的特征距离最小的图片。这五张图片为该损失函数的主要组成部分，因此S30得到的用于重识别的损失函数可以被称为五元损失函数。
在基于本发明实施例得到的损失函数对用于重识别的神经网络进行训练时，一般对损失函数进行最小化。其中对loss0的最小化意味着：姿态相同且ID相同的图片的特征之间的距离减小，姿态相同且ID不同的图片的特征之间的距离增大，以及姿态相同且ID相同的图片的特征之间的距离得以小于姿态相同且ID不同的图片的特征之间的距离。其中对loss1的最小化意味着：姿态不同且ID相同的图片的特征之间的距离减小，姿态不同且ID不同的图片的特征之间的距离增大，以及姿态不同且ID相同的图片的特征之间的距离得以小于姿态不同且ID不同的图片的特征之间的距离。由此可知，对五元损失函数loss的最小化兼顾了相同姿态、不同姿态的图片的特征空间的不同，能够有效地提高重识别的准确率。
另外，基于以上的描述，所得到的用于重识别的损失函数也可以为：
根据上述表达式，可以先计算针对每一锚图片的损失函数pos0(A)-neg0(A)+pos1(A)-neg1(A)，再将所有锚图片的损失函数求和得到用于重识别的损失函数loss。
其中，针对每一锚图片的损失函数包括相同姿态损失函数pos0(A)-neg0(A)与不同姿态损失函数pos1(A)-neg1(A)。通过对两者求和，可以得到针对锚图片A的损失函数。
或者，针对每一锚图片的损失函数包括相同ID损失函数pos0(A)+pos1(A)与不同ID损失函数neg0(A)+neg1(A)。通过对两者求差，可以得到针对锚图片A的损失函数。
也就是说，在针对某一锚图片A计算的过程中，本发明实施例对得到第一子损失函数、第二子损失函数、第三子损失函数和第四子损失函数的顺序以及求和或作差的顺序不作限定。
图5是本发明实施例的用于重识别的损失函数确定的装置的一个示意性框图。图5所示的装置50可以包括第一计算模块501、第二计算模块502和确定模块503。
第一计算模块501，用于计算相同姿态图片的第一损失函数；
第二计算模块502，用于计算不同姿态图片的第二损失函数；
确定模块503，用于根据所述第一损失函数和所述第二损失函数，得到用于重识别的损失函数。
示例性地，第一计算模块501可以包括第一计算单元和第一确定单元。第一计算单元用于针对每一锚图片，计算第一图片集中每一图片的特征并进而计算与所述锚图片对应的相同姿态损失函数，所述相同姿态损失函数是根据所述第一图片集中与所述锚图片具有相同ID的图片的特征与所述锚图片的特征之间的距离的最大值以及与所述锚图片具有不同ID的图片的特征与所述锚图片的特征之间的距离的最小值确定的，所述第一图片集包括与所述锚图片具有相同姿态的图片。第一确定单元用于将所有锚图片的对应的相同姿态损失函数求和，得到所述第一损失函数。
具体地，第一计算单元可以具体用于：基于所述锚图片与第一类图片，计算第一子损失函数，所述第一子损失函数表示为所述第一类图片中每一图片的特征与所述锚图片的特征之间的距离的最大值，所述第一类图片为所述第一图片集中与所述锚图片具有相同ID的图片；基于所述锚图片与第二类图片，计算第二子损失函数，所述第二子损失函数表示为所述第二类图片中每一图片的特征与所述锚图片的特征之间的距离的最小值，所述第二类图片为所述第一图片集中与所述锚图片具有不同ID的图片；将所述第一子损失函数与所述第二子损失函数作差，得到与所述锚图片对应的相同姿态损失函数。
第一计算单元可以确定所述第一子损失函数为：
pos0(A)＝maxk1∈S1dist(f(A),f(k1))。
其中，A表示所述锚图片，S1表示所述第一类图片的集合，dist(f(A),f(k1))表示A的特征f(A)与k1的特征f(k1)之间的距离。
第一计算单元可以确定所述第二子损失函数为：
neg0(A)＝mink2∈D1dist(f(A),f(k2))。
其中，A表示所述锚图片，D1表示所述第二类图片的集合，dist(f(A),f(k2))表示A的特征f(A)与k2的特征f(k2)之间的距离。
示例性地，第二计算模块502可以包括第二计算单元和第二确定单元。第二计算单元用于针对每一锚图片，计算第二图片集中每一图片的特征并进而计算与所述锚图片对应的不同姿态损失函数，所述不同姿态损失函数是根据所述第二图片集中与所述锚图片具有相同ID的图片的特征与所述锚图片的特征之间的距离的最大值以及与所述锚图片具有不同ID的图片的特征与所述锚图片的特征之间的距离的最小值确定的，所述第二图片集包括与所述锚图片具有不同姿态的图片。第二确定单元用于将所有锚图片的对应的不同姿态损失函数求和，得到所述第二损失函数。
具体地，第二计算单元可以具体用于：基于所述锚图片与第三类图片，计算第三子损失函数，所述第三子损失函数表示为所述第三类图片中每一图片的特征与所述锚图片的特征之间的距离的最大值，所述第三类图片为所述第二图片集中与所述锚图片具有相同ID的图片；基于所述锚图片与第四类图片，计算第四子损失函数，所述第四子损失函数表示为所述第四类图片中每一图片的特征与所述锚图片的特征之间的距离的最小值，所述第四类图片为所述第二图片集中与所述锚图片具有不同ID的图片；将所述第三子损失函数与所述第四子损失函数作差，得到与所述锚图片对应的不同姿态损失函数。
第二计算单元可以确定所述第三子损失函数为：
pos1(A)＝maxk3∈S2dist(f(A),f(k3))。
其中，A表示所述锚图片，S2表示所述第三类图片的集合，dist(f(A),f(k3))表示A的特征f(A)与k3的特征f(k3)之间的距离。
第二计算单元可以确定所述第四子损失函数为：
neg1(A)＝mink4∈D2dist(f(A),f(k4))。
其中，A表示所述锚图片，D2表示所述第四类图片的集合，dist(f(A),f(k4))表示A的特征f(A)与k4的特征f(k4)之间的距离。
图5所示的装置50能够实现前述图2至图4所示的用于重识别的损失函数确定的方法，为避免重复，这里不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
另外，本发明实施例还提供了另一种用于重识别的损失函数确定的装置，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，处理器执行所述程序时实现前述图2至图4所示的用于重识别的损失函数确定的方法的步骤。
如图6所示，该装置60可以包括存储器610和处理器620。
存储器610存储用于实现根据本发明实施例的用于重识别的损失函数确定的方法中的相应步骤的计算机程序代码。
处理器620用于运行存储器610中存储的计算机程序代码，以执行根据本发明实施例的用于重识别的损失函数确定的方法的相应步骤，并且用于实现根据本发明实施例的用于重识别的损失函数确定的装置中的第一计算模块501、第二计算模块502和确定模块503。
示例性地，在所述计算机程序代码被处理器620运行时执行以下步骤：计算相同姿态图片的第一损失函数；计算不同姿态图片的第二损失函数；根据所述第一损失函数和所述第二损失函数，得到用于重识别的损失函数。
另外，本发明实施例还提供了一种电子设备，该电子设备可以包括图5所示的装置50。该电子设备可以实现前述图2至图4所示的用于重识别的损失函数确定的方法。
另外，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序。当所述计算机程序由处理器执行时，可以实现前述图2至图4所示的用于重识别的损失函数确定的方法的步骤。例如，该计算机存储介质为计算机可读存储介质。
计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
由此可见，本发明实施例在确定用于重识别的损失函数时，考虑了不同姿态的特征空间差异，兼顾了相同姿态、不同姿态的图片的特征空间来确定损失函数，能够减小由于不同姿态导致的重识别的误差，进而能够保证重识别的精度。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(Digital Signal Processing，DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种用于重识别的损失函数确定的方法，其特征在于，所述方法包括：
计算相同姿态图片的第一损失函数；
计算不同姿态图片的第二损失函数；
根据所述第一损失函数和所述第二损失函数，得到用于重识别的损失函数。
2.根据权利要求1所述的方法，其特征在于，所述计算相同姿态图片的第一损失函数，包括：
针对每一锚图片，计算第一图片集中每一图片的特征并进而计算与所述锚图片对应的相同姿态损失函数，所述相同姿态损失函数是根据所述第一图片集中与所述锚图片具有相同标识ID的图片的特征与所述锚图片的特征之间的距离的最大值以及与所述锚图片具有不同ID的图片的特征与所述锚图片的特征之间的距离的最小值确定的，所述第一图片集包括与所述锚图片具有相同姿态的图片；
将所有锚图片的对应的相同姿态损失函数求和，得到所述第一损失函数。
3.根据权利要求2所述的方法，其特征在于，所述计算所述第一图片集中每一图片的特征并进而计算与所述锚图片对应的相同姿态损失函数，包括：
基于所述锚图片与第一类图片，计算第一子损失函数，所述第一子损失函数表示为所述第一类图片中每一图片的特征与所述锚图片的特征之间的距离的最大值，所述第一类图片为所述第一图片集中与所述锚图片具有相同ID的图片；
基于所述锚图片与第二类图片，计算第二子损失函数，所述第二子损失函数表示为所述第二类图片中每一图片的特征与所述锚图片的特征之间的距离的最小值，所述第二类图片为所述第一图片集中与所述锚图片具有不同ID的图片；
将所述第一子损失函数与所述第二子损失函数作差，得到与所述锚图片对应的相同姿态损失函数。
4.根据权利要求3所述的方法，其特征在于，
所述基于所述锚图片与所述第一类图片，计算第一子损失函数，包括：
确定所述第一子损失函数为pos0(A)＝maxk1∈S1dist(f(A),f(k1))；
所述基于所述锚图片与所述第二类图片，计算第二子损失函数，包括：
确定所述第二子损失函数为neg0(A)＝mink2∈D1dist(f(A),f(k2))，
其中，A表示所述锚图片，S1表示所述第一类图片的集合，dist(f(A),f(k1))表示A的特征f(A)与k1的特征f(k1)之间的距离，D1表示所述第二类图片的集合，dist(f(A),f(k2))表示A的特征f(A)与k2的特征f(k2)之间的距离。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述计算不同姿态图片的第二损失函数，包括：
针对每一锚图片，计算第二图片集中每一图片的特征并进而计算与所述锚图片对应的不同姿态损失函数，所述不同姿态损失函数是根据所述第二图片集中与所述锚图片具有相同ID的图片的特征与所述锚图片的特征之间的距离的最大值以及与所述锚图片具有不同ID的图片的特征与所述锚图片的特征之间的距离的最小值确定的，所述第二图片集包括与所述锚图片具有不同姿态的图片；
将所有锚图片的对应的不同姿态损失函数求和，得到所述第二损失函数。
6.根据权利要求5所述的方法，其特征在于，所述计算所述第二图片集中每一图片的特征并进而计算与所述锚图片对应的不同姿态损失函数，包括：
基于所述锚图片与第三类图片，计算第三子损失函数，所述第三子损失函数表示为所述第三类图片中每一图片的特征与所述锚图片的特征之间的距离的最大值，所述第三类图片为所述第二图片集中与所述锚图片具有相同ID的图片；
基于所述锚图片与第四类图片，计算第四子损失函数，所述第四子损失函数表示为所述第四类图片中每一图片的特征与所述锚图片的特征之间的距离的最小值，所述第四类图片为所述第二图片集中与所述锚图片具有不同ID的图片；
将所述第三子损失函数与所述第四子损失函数作差，得到与所述锚图片对应的不同姿态损失函数。
7.根据权利要求6所述的方法，其特征在于，
所述基于所述锚图片与所述第三类图片，计算第三子损失函数，包括：
确定所述第三子损失函数为pos1(A)＝maxk3∈S2dist(f(A),f(k3))；
所述基于所述锚图片与所述第四类图片，计算第四子损失函数，包括：
确定所述第四子损失函数为neg1(A)＝mink4∈D2dist(f(A),f(k4))，
其中，A表示所述锚图片，S2表示所述第三类图片的集合，dist(f(A),f(k3))表示A的特征f(A)与k3的特征f(k3)之间的距离，D2表示所述第四类图片的集合，dist(f(A),f(k4))表示A的特征f(A)与k4的特征f(k4)之间的距离。
8.一种用于重识别的损失函数确定的装置，其特征在于，所述装置用于实现权利要求1至7中任一项所述方法的步骤，所述装置包括：
第一计算模块，用于计算相同姿态图片的第一损失函数；
第二计算模块，用于计算不同姿态图片的第二损失函数；
确定模块，用于根据所述第一损失函数和所述第二损失函数，得到用于重识别的损失函数。
9.一种用于重识别的损失函数确定的***，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN201810783973.5A 2018-07-17 2018-07-17 用于重识别的损失函数确定的方法及装置 Active CN109214271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810783973.5A CN109214271B (zh) 2018-07-17 2018-07-17 用于重识别的损失函数确定的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810783973.5A CN109214271B (zh) 2018-07-17 2018-07-17 用于重识别的损失函数确定的方法及装置

Publications (2)

Publication Number Publication Date
CN109214271A true CN109214271A (zh) 2019-01-15
CN109214271B CN109214271B (zh) 2022-10-18

Family

ID=64990113

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810783973.5A Active CN109214271B (zh) 2018-07-17 2018-07-17 用于重识别的损失函数确定的方法及装置

Country Status (1)

Country Link
CN (1) CN109214271B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929242A (zh) * 2019-11-20 2020-03-27 上海交通大学 基于无线信号进行姿态无关的连续用户认证方法及***
CN111597876A (zh) * 2020-04-01 2020-08-28 浙江工业大学 一种基于困难五元组的跨模态行人重识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682734A (zh) * 2016-12-30 2017-05-17 中国科学院深圳先进技术研究院 一种提升卷积神经网络泛化能力的方法及装置
US20170300811A1 (en) * 2016-04-14 2017-10-19 Linkedin Corporation Dynamic loss function based on statistics in loss layer of deep convolutional neural network
CN107506717A (zh) * 2017-08-17 2017-12-22 南京东方网信网络科技有限公司 无约束场景中基于深度变换学习的人脸识别方法
CN107704838A (zh) * 2017-10-19 2018-02-16 北京旷视科技有限公司 目标对象的属性识别方法及装置
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN108108754A (zh) * 2017-12-15 2018-06-01 北京迈格威科技有限公司 重识别网络的训练、重识别方法、装置和***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170300811A1 (en) * 2016-04-14 2017-10-19 Linkedin Corporation Dynamic loss function based on statistics in loss layer of deep convolutional neural network
CN106682734A (zh) * 2016-12-30 2017-05-17 中国科学院深圳先进技术研究院 一种提升卷积神经网络泛化能力的方法及装置
CN107506717A (zh) * 2017-08-17 2017-12-22 南京东方网信网络科技有限公司 无约束场景中基于深度变换学习的人脸识别方法
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN107704838A (zh) * 2017-10-19 2018-02-16 北京旷视科技有限公司 目标对象的属性识别方法及装置
CN108108754A (zh) * 2017-12-15 2018-06-01 北京迈格威科技有限公司 重识别网络的训练、重识别方法、装置和***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘璐等: "结合类内和类间距离的可能聚类分割算法", 《中国图象图形学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929242A (zh) * 2019-11-20 2020-03-27 上海交通大学 基于无线信号进行姿态无关的连续用户认证方法及***
CN110929242B (zh) * 2019-11-20 2020-07-10 上海交通大学 基于无线信号进行姿态无关的连续用户认证方法及***
CN111597876A (zh) * 2020-04-01 2020-08-28 浙江工业大学 一种基于困难五元组的跨模态行人重识别方法

Also Published As

Publication number Publication date
CN109214271B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN108229555B (zh) 样本权重分配方法、模型训练方法、电子设备及存储介质
CN108875522B (zh) 人脸聚类方法、装置和***及存储介质
CN108875524B (zh) 视线估计方法、装置、***和存储介质
CN108595585B (zh) 样本数据分类方法、模型训练方法、电子设备及存储介质
CN110298249A (zh) 人脸识别方法、装置、终端及存储介质
CN109948397A (zh) 一种人脸图像校正方法、***及终端设备
JP2006011978A5 (zh)
CN108875517B (zh) 视频处理方法、装置和***及存储介质
CN108875767A (zh) 图像识别的方法、装置、***及计算机存储介质
CN111814990B (zh) 阈值确定方法、***、存储介质及终端
CN108875493A (zh) 人脸识别中相似度阈值的确定方法以及确定装置
CN105447483B (zh) 活体检测方法及装置
CN108985190A (zh) 目标识别方法和装置、电子设备、存储介质、程序产品
CN109063776A (zh) 图像再识别网络训练方法、装置和图像再识别方法及装置
CN113159273B (zh) 一种神经网络的训练方法及相关设备
CN113505256B (zh) 特征提取网络训练方法、图像处理方法及装置
CN109214271A (zh) 用于重识别的损失函数确定的方法及装置
CN108875509A (zh) 活体检测方法、装置和***及存储介质
CN109948521A (zh) 图像纠偏方法和装置、设备及存储介质
CN103927529B (zh) 一种最终分类器的获得方法及应用方法、***
CN109948666A (zh) 图像相似性识别方法、装置、设备及存储介质
CN108229494A (zh) 网络训练方法、处理方法、装置、存储介质和电子设备
CN110222651A (zh) 一种人脸姿态检测方法、装置、终端设备及可读存储介质
CN108961164A (zh) 基于几何不变量的图像配准拼接方法和装置及计算机设备
CN109726756A (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method and device for determining loss function for re identification

Effective date of registration: 20230404

Granted publication date: 20221018

Pledgee: Shanghai Yunxin Venture Capital Co.,Ltd.

Pledgor: MEGVII (BEIJING) TECHNOLOGY Co.,Ltd.

Registration number: Y2023990000192