CN114782999A - 基于辅助域分类和二阶信息瓶颈的行人再识别方法和*** - Google Patents

基于辅助域分类和二阶信息瓶颈的行人再识别方法和*** Download PDF

Info

Publication number
CN114782999A
CN114782999A CN202210606674.0A CN202210606674A CN114782999A CN 114782999 A CN114782999 A CN 114782999A CN 202210606674 A CN202210606674 A CN 202210606674A CN 114782999 A CN114782999 A CN 114782999A
Authority
CN
China
Prior art keywords
pedestrian
pedestrians
order information
layer
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210606674.0A
Other languages
English (en)
Inventor
吴俊毅
张安国
高志鹏
赵建强
杜新胜
张辉极
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Meiya Pico Information Co Ltd
Original Assignee
Xiamen Meiya Pico Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Meiya Pico Information Co Ltd filed Critical Xiamen Meiya Pico Information Co Ltd
Priority to CN202210606674.0A priority Critical patent/CN114782999A/zh
Publication of CN114782999A publication Critical patent/CN114782999A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明给出了一种基于辅助域分类和二阶信息瓶颈的行人再识别方法和***，包括将非行人数据集和行人再识别数据集作为粗粒度到细粒度模块的输入，分类出行人和非行人；利用二阶信息瓶颈层压缩将行人的图片的信息冗余和噪声；将分类的行人的图片和行人再识别数据集的特征进行级联，获取行人更细粒度的特征；将行人更细粒度的特征送入二阶信息瓶颈层，经过分类层，在三元组损失函数的约束下进行训练行人再识别模型。该行人再识别方法显著降低了类内人物图像的神经网络输出方差，具有优于目前方法的性能。

Description

基于辅助域分类和二阶信息瓶颈的行人再识别方法和***
技术领域
本发明涉及计算机视觉的技术领域，尤其是基于辅助域分类和二阶信息瓶颈的行人再识别方法和***。
背景技术
行人再识别是将被不同摄像头捕捉到的特定的人进行检索，对安全监控和行人行为分析具有重要意义。然而，由于一个人在不同相机之间的类内变化很大，例如遮挡、照明，视角，因此行人再识别仍然是计算机视觉领域的一个具有挑战性的任务。
基于图像的人员再识别技术旨在从不同摄像机拍摄的大量人员图像中检索出特定的人员。由于其在公共安全监控、行人行为分析等方面的重要应用，近年来受到越来越多的关注。尽管已有大量的研究进展，但由于背景、光照、视点和人体姿态的变化，不同相机拍摄的人的图像存在显著的类内差异，因此，行人再识别仍然是一项具有挑战性的任务。
针对类内变化学***数据不确定性的影响。现有模型的复杂性通常会增加推理阶段的计算开销。
发明内容
为了解决现有技术中由于行人的图像可能会被各种背景严重污染。此外，类内的变化也使得行人特征容易受到低水平数据不确定性的影响。现有模型的复杂性通常会增加推理阶段的计算开销等技术问题，本发明提出了一种基于辅助域分类和二阶信息瓶颈的行人再识别方法和***，以解决上述技术问题。
根据本发明的第一方面，提出了一种基于辅助域分类和二阶信息瓶颈的行人再识别方法，其特征在于，包括：
S1：将非行人数据集和行人再识别数据集作为粗粒度到细粒度模块的输入，分类出行人和非行人；
S2：利用二阶信息瓶颈层压缩将行人的图片的信息冗余和噪声；
S3：将分类的行人的图片和行人再识别数据集的特征进行级联，获取行人更细粒度的特征；
S4：将行人更细粒度的特征送入二阶信息瓶颈层，经过分类层，在三元组损失函数的约束下进行训练行人再识别模型。
在一些具体的实施例中，S1中具体为将非行人数据集和行人再识别数据集作为粗粒度到细粒度模块的输入，经过全局平均池化层、二阶信息瓶颈层和全连接层，分类出行人和非行人，损失函数为交叉熵损失函数。
在一些具体的实施例中，二阶信息瓶颈层表达式为IB(T)＝H2(Y|T)+βI2(X；T)，其中，β为用于平衡压缩和预测的超参数且β>0，X定义为二阶信息瓶颈层的输入，Y定义为目标输出，T定义为二阶信息瓶颈的变量。
在一些具体的实施例中，S4中三元组损失函数为：
Figure BDA0003671616770000021
Figure BDA0003671616770000022
其中P代表不同行人身份的数量，K0代表每个行人选择K0张不同的图像，对于每张训练图像xa，在和xa相同身份的图像中选择一张相似度距离最大的图像xp作为正样本，在和xa不同身份的图像中选择一张相似度距离最小的图像xn作为负样本，
Figure BDA0003671616770000023
为认为设定的阈值，d(·,·)定义为欧式距离。
在一些具体的实施例中，全连接层只保留表征为行人的神经元节点，舍弃表征为非行人的节点和连接权值。
根据本发明的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述任一项的方法。
根据本发明的第三方面，提出了一种基于辅助域分类和二阶信息瓶颈的行人再识别***，其特征在于，***包括：
粗粒度到细粒度模块：配置用于将非行人数据集和行人再识别数据集作为粗粒度到细粒度模块的输入，分类出行人和非行人；
二阶信息瓶颈模块：配置用于利用二阶信息瓶颈层压缩将行人的图片的信息冗余和噪声；
特征提取模块：配置用于将分类的行人的图片和行人再识别数据集的特征进行级联，获取行人更细粒度的特征；
训练模块：配置用于将行人更细粒度的特征送入二阶信息瓶颈层，经过分类层，在三元组损失函数的约束下进行训练行人再识别模型。
在一些具体的实施例中，粗粒度到细粒度模块具体配置用于将非行人数据集和行人再识别数据集作为粗粒度到细粒度模块的输入，经过全局平均池化层、二阶信息瓶颈层和全连接层，分类出行人和非行人，损失函数为交叉熵损失函数。粗粒度到细粒度模块是用来从非行人数据集和行人数据集中学习如何识别人，以及什么样的特征可以描述行人。这个模块可以帮助模型从原始图像中滤除背景噪声和重复信息。
在一些具体的实施例中，二阶信息瓶颈层表达式为IB(T)＝H2(Y|T)+βI2(X；T)，其中，β为用于平衡压缩和预测的超参数且β>0，X定义为二阶信息瓶颈层的输入，Y定义为目标输出，T定义为二阶信息瓶颈的变量。二阶信息瓶颈模块可以进一步提高网络特征表示的稳定性，克服图像非本质变化带来的不确定性，使模型更具鲁棒性和可泛化性。
在一些具体的实施例中，三元组损失函数为：
Figure BDA0003671616770000031
Figure BDA0003671616770000032
其中P代表不同行人身份的数量，K0代表每个行人选择K0张不同的图像，对于每张训练图像xa，在和xa相同身份的图像中选择一张相似度距离最大的图像xp作为正样本，在和xa不同身份的图像中选择一张相似度距离最小的图像xn作为负样本，
Figure BDA0003671616770000033
为认为设定的阈值，d(·,·)定义为欧式距离。
在一些具体的实施例中，全连接层只保留表征为行人的神经元节点，舍弃表征为非行人的节点和连接权值。
本发明提出了一种基于辅助域分类和二阶信息瓶颈的行人再识别方法和***，针对行人类内差异的问题，提出了一种逐渐细粒度的行人再识别框架，并嵌入了辅助域分类模块和二阶信息瓶颈模块，特别地，作为一个辅助任务，引入辅助域分类模块来提取粗粒度的基本特征，以将人从各种背景中区分出来，从而实现行人再识别的有效粗粒度和细粒度特征表示；另一方面，为了应对由于类内变化而导致的行人再识别特征中包含的冗余、不相关性和噪声，将二阶信息瓶颈模块集成到网络中对特征进行压缩和优化，而不会增加推理时的额外计算开销。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例的一种基于辅助域分类和二阶信息瓶颈的行人再识别方法的流程图；
图2是本申请的一个具体的实施例的一种基于辅助域分类和二阶信息瓶颈的行人再识别算法框架图；
图3是本申请的一个实施例的一种基于辅助域分类和二阶信息瓶颈的行人再识别***的框架图；
图4是适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本申请的一个实施例的一种基于辅助域分类和二阶信息瓶颈的行人再识别方法，图1示出了根据本申请的实施例的一种基于辅助域分类和二阶信息瓶颈的行人再识别方法的流程图。如图1所示，该方法包括：
S101：将非行人数据集和行人再识别数据集作为粗粒度到细粒度模块的输入，分类出行人和非行人。在粗粒度到细粒度模块的输入之后进过全局平均池化层、二阶信息瓶颈层、分类层，分类出行人和非行人两类，损失函数为交叉熵损失函数。
S102：利用二阶信息瓶颈层压缩将行人的图片的信息冗余和噪声。同时尽可能保证压缩后的信息和期望输出相关性最大。
S103：将分类的行人的图片和行人再识别数据集的特征进行级联，获取行人更细粒度的特征。
在具体的实施例中，将步骤S101中的分类层输出为行人的图片送入特征提取模块，而最初的行人数据集也直接送入特征提取模块，两中特征经过特征级联操作，将特征级联在一起。
S104：将行人更细粒度的特征送入二阶信息瓶颈层，经过分类层，在三元组损失函数的约束下进行训练行人再识别模型。
在具体的实施例中，对于步骤S101中粗粒度到细粒度模块的分类层(也称为全连接层)，在推理过程只保留表征为行人的神经元节点，丢弃其余表示非行人的节点和连接权值；二阶信息瓶颈层在训练过程中引入了额外的计算和存储，但是在推理过程中，相应的连接和节点可以由通用的全连接层完全替换，大大简化了计算开销。
在具体的实施例中，为了缓解行人再识别类内变化的影响，本发明提出了一种端到端的分层粗细化深度学习框架。图2示出了根据本申请的一个具体的实施例的一种基于辅助域分类和二阶信息瓶颈的行人再识别算法框架图，如图2所示，在粗化阶段，利用辅助域分类模块任务，借助外域数据集获得对象级特征表示；具体来说，在行人再识别数据集和外域数据集上训练的分类任务可以提高模型更准确地提取人物特征的能力。在此基础上，只使用行人再识别数据集在三元组损失函数的约束下进行训练，以此来获取行人的细粒度特征。此外，为了进一步解决行人类内变化，提出了二阶信息瓶颈模块，并将其应用于分类层和嵌入输出层之前。二阶信息瓶颈模块只保留与目标输出最相关的信息，并能获得可以容忍类内差异的特征表示。图2中的粗粒度到细粒度模块是用来从非行人数据集和行人数据集中学习如何识别人，以及什么样的特征可以描述行人，该模块可以帮助模型从原始图像中滤除背景噪声和重复信息。在此基础上，特征细粒度模块用于行人再识别任务，学习如何区分不同的行人。二阶信息瓶颈模块可以进一步提高网络特征表示的稳定性，克服图像非本质变化带来的不确定性，使模型更具鲁棒性和可泛化性。该算法的具体步骤包括：
步骤S1：将非行人数据集(例如：汽车、鸟类、鱼类等)和行人再识别数据集作为粗粒度到细粒度模块的输入，然后进过全局平均池化层、二阶信息瓶颈层、分类层，分类出行人和非行人两类，将输出是行人的图片送入下一个阶段(行人再识别任务)，损失函数为交叉熵损失函数。
步骤S2：二阶信息瓶颈模块用于压缩输入行人图像的信息冗余和噪声，同时尽可能保证压缩后的信息和期望输出相关性最大。二阶信息瓶颈层表达式如下：
IB(T)＝H2(Y|T)+βI2(X；T)
其中β>0,是个超参数，用于平衡压缩和预测的参数；X定义为二阶信息瓶颈模块的输入，Y定义为目标输出，T定义为二阶信息瓶颈的变量。
步骤S3：将图1中第一个分类层输出为行人的图片送入特征提取模块，而最初的行人数据集也直接送入特征提取模块，两种特征经过特征级联操作，将特征级联在一起。
步骤S4：将级联后的特征送入特征细粒度模块，获取行人更细粒度的特征，紧着送入二阶信息瓶颈模块，并送入分类层，在三元组损失函数的约束下进行训练行人再识别模型，三元组损失函数如下所示：
Figure BDA0003671616770000061
其中P代表不同行人身份的数量，K0代表每个行人选择K0张不同的图像。对于每张训练图像xa，在和xa相同身份的图像中选择一张相似度距离最大的图像xp作为正样本，在和xa不同身份的图像中选择一张相似度距离最小的图像xn作为负样本，
Figure BDA0003671616770000062
为认为设定的阈值，d(·,·)定义为欧式距离。
步骤S5：对于粗粒度到细粒度模块的分类层(也称为全连接层)，在推理过程只保留表征为行人的神经元节点，丢弃其余表示非行人的节点和连接权值；二阶信息瓶颈模块在训练过程中引入了额外的计算和存储，但是在推理过程中，相应的连接和节点可以由通用的全连接层完全替换，大大简化了计算开销。
针对行人类内差异的问题，本申请提出了一种逐渐细粒度的行人再识别框架，并嵌入了辅助域分类模块和二阶信息瓶颈模块。特别地，作为一个辅助任务，引入辅助域分类模块来提取粗粒度的基本特征，以将人从各种背景中区分出来，从而实现行人再识别的有效粗粒度和细粒度特征表示。另一方面，为了应对由于类内变化而导致的行人再识别特征中包含的冗余、不相关性和噪声，将二阶信息瓶颈模块集成到网络中对特征进行压缩和优化，而不会增加推理时的额外计算开销。对于行人的图像，本发明提出的框架首先能够使得模型回答什么是人，怎么样的特征可以表征行人；紧接着通过后续的特征提取模块和细粒度模块去区分不同的行人，进行行人再识别任务。本发明二阶信息瓶颈模块用于压缩输入行人图像的信息冗余和噪声，同时尽可能保证压缩后的信息和期望输出相关性最大。本申请发明人通过对该方法进行实验验证，该方法显著降低了类内人物图像的神经网络输出方差，并取得了优于目前最先进方法的性能。
继续参考图3，图3示出了根据本申请的实施例的一种基于辅助域分类和二阶信息瓶颈的行人再识别***的框架图。该***具体包括粗粒度到细粒度模块301、二阶信息瓶颈模块302、特征提取模块303和训练模块304。其中粗粒度到细粒度模块301配置用于将非行人数据集和行人再识别数据集作为粗粒度到细粒度模块的输入，分类出行人和非行人；二阶信息瓶颈模块302配置用于利用二阶信息瓶颈层压缩将行人的图片的信息冗余和噪声；特征提取模块303配置用于将分类的行人的图片和行人再识别数据集的特征进行级联，获取行人更细粒度的特征；训练模块304配置用于将行人更细粒度的特征送入二阶信息瓶颈层，经过分类层，在三元组损失函数的约束下进行训练行人再识别模型。
下面参考图4，其示出了适于用来实现本申请实施例的电子设备的计算机***400的结构示意图。图4示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，计算机***400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有***400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：将非行人数据集和行人再识别数据集作为粗粒度到细粒度模块的输入，分类出行人和非行人；利用二阶信息瓶颈层压缩将行人的图片的信息冗余和噪声；将分类的行人的图片和行人再识别数据集的特征进行级联，获取行人更细粒度的特征；将行人更细粒度的特征送入二阶信息瓶颈层，经过分类层，在三元组损失函数的约束下进行训练行人再识别模型。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (11)

1.基于辅助域分类和二阶信息瓶颈的行人再识别方法，其特征在于，包括：
S1：将非行人数据集和行人再识别数据集作为粗粒度到细粒度模块的输入，分类出行人和非行人；
S2：利用二阶信息瓶颈层压缩将所述行人的图片的信息冗余和噪声；
S3：将分类的所述行人的图片和所述行人再识别数据集的特征进行级联，获取行人更细粒度的特征；
S4：将所述行人更细粒度的特征送入所述二阶信息瓶颈层，经过分类层，在三元组损失函数的约束下进行训练行人再识别模型。
2.根据权利要求1所述的行人再识别方法，其特征在于，所述S1中具体为将所述非行人数据集和所述行人再识别数据集作为所述粗粒度到细粒度模块的输入，经过全局平均池化层、二阶信息瓶颈层和全连接层，分类出行人和非行人，损失函数为交叉熵损失函数。
3.根据权利要求2所述的行人再识别方法，其特征在于，所述二阶信息瓶颈层表达式为IB(T)＝H2(Y|T)+βI2(X；T)，其中，β为用于平衡压缩和预测的超参数且β＞0，X定义为二阶信息瓶颈层的输入，Y定义为目标输出，T定义为二阶信息瓶颈的变量。
4.根据权利要求1所述的行人再识别方法，其特征在于，所述S4中三元组损失函数为：
Figure FDA0003671616760000011
其中P代表不同行人身份的数量，K0代表每个行人选择K0张不同的图像，对于每张训练图像xa，在和xa相同身份的图像中选择一张相似度距离最大的图像xp作为正样本，在和xa不同身份的图像中选择一张相似度距离最小的图像xn作为负样本，
Figure FDA0003671616760000012
为认为设定的阈值，d(·，·)定义为欧式距离。
5.根据权利要求2所述的行人再识别方法，其特征在于，所述全连接层只保留表征为行人的神经元节点，含弃表征为非行人的节点和连接权值。
6.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至5中任一项所述的方法。
7.基于辅助域分类和二阶信息瓶颈的行人再识别***，其特征在于，所述***包括：
粗粒度到细粒度模块：配置用于将非行人数据集和行人再识别数据集作为粗粒度到细粒度模块的输入，分类出行人和非行人；
二阶信息瓶颈模块：配置用于利用二阶信息瓶颈层压缩将所述行人的图片的信息冗余和噪声；
特征提取模块：配置用于将分类的所述行人的图片和所述行人再识别数据集的特征进行级联，获取行人更细粒度的特征；
训练模块：配置用于将所述行人更细粒度的特征送入所述二阶信息瓶颈层，经过分类层，在三元组损失函数的约束下进行训练行人再识别模型。
8.根据权利要求7所述的行人再识别***，其特征在于，所述粗粒度到细粒度模块具体配置用于将所述非行人数据集和所述行人再识别数据集作为所述粗粒度到细粒度模块的输入，经过全局平均池化层、二阶信息瓶颈层和全连接层，分类出行人和非行人，损失函数为交叉熵损失函数。
9.根据权利要求8所述的行人再识别***，其特征在于，所述二阶信息瓶颈层表达式为IB(T)＝H2(Y|T)+βI2(X；T)，其中，β为用于平衡压缩和预测的超参数且β＞0，X定义为二阶信息瓶颈层的输入，Y定义为目标输出，T定义为二阶信息瓶颈的变量。
10.根据权利要求7所述的行人再识别***，其特征在于，所述三元组损失函数为：
Figure FDA0003671616760000021
其中P代表不同行人身份的数量，K0代表每个行人选择K0张不同的图像，对于每张训练图像xa，在和xa相同身份的图像中选择一张相似度距离最大的图像xp作为正样本，在和xa不同身份的图像中选择一张相似度距离最小的图像xn作为负样本，
Figure FDA0003671616760000022
为认为设定的阈值，d(·，·)定义为欧式距离。
11.根据权利要求8所述的行人再识别***，其特征在于，所述全连接层只保留表征为行人的神经元节点，含弃表征为非行人的节点和连接权值。
CN202210606674.0A 2022-05-31 2022-05-31 基于辅助域分类和二阶信息瓶颈的行人再识别方法和*** Pending CN114782999A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210606674.0A CN114782999A (zh) 2022-05-31 2022-05-31 基于辅助域分类和二阶信息瓶颈的行人再识别方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210606674.0A CN114782999A (zh) 2022-05-31 2022-05-31 基于辅助域分类和二阶信息瓶颈的行人再识别方法和***

Publications (1)

Publication Number Publication Date
CN114782999A true CN114782999A (zh) 2022-07-22

Family

ID=82421742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210606674.0A Pending CN114782999A (zh) 2022-05-31 2022-05-31 基于辅助域分类和二阶信息瓶颈的行人再识别方法和***

Country Status (1)

Country Link
CN (1) CN114782999A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115436239A (zh) * 2022-11-07 2022-12-06 四川亿欣新材料有限公司 一种碳酸钙颗粒度检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598654A (zh) * 2019-09-18 2019-12-20 合肥工业大学 多粒度交叉模态特征融合行人再识别方法和再识别***
CN110796026A (zh) * 2019-10-10 2020-02-14 湖北工业大学 一种基于全局特征拼接的行人重识别方法
CN112784728A (zh) * 2021-01-18 2021-05-11 山东省人工智能研究院 基于衣物脱敏网络的多粒度换衣行人重识别方法
CN114529946A (zh) * 2022-02-23 2022-05-24 厦门市美亚柏科信息股份有限公司 基于自监督学习的行人重识别方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598654A (zh) * 2019-09-18 2019-12-20 合肥工业大学 多粒度交叉模态特征融合行人再识别方法和再识别***
CN110796026A (zh) * 2019-10-10 2020-02-14 湖北工业大学 一种基于全局特征拼接的行人重识别方法
CN112784728A (zh) * 2021-01-18 2021-05-11 山东省人工智能研究院 基于衣物脱敏网络的多粒度换衣行人重识别方法
CN114529946A (zh) * 2022-02-23 2022-05-24 厦门市美亚柏科信息股份有限公司 基于自监督学习的行人重识别方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANGUO ZHANG: "Coarse-to-fine person re-identification with auxiliary-domain classification and second-order information bottleneck", 《PROCEEDINGS OF THE IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, 31 December 2021 (2021-12-31), pages 598 - 607 *
ANGUO ZHANG: "Second-order information bottleneck based spiking neural networks for sEMG recognition", 《INFORMATION SCIENCES》, vol. 585, 31 March 2022 (2022-03-31), pages 543 - 558, XP086992339, DOI: 10.1016/j.ins.2021.11.065 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115436239A (zh) * 2022-11-07 2022-12-06 四川亿欣新材料有限公司 一种碳酸钙颗粒度检测方法

Similar Documents

Publication Publication Date Title
CN110543841A (zh) 行人重识别方法、***、电子设备及介质
US20180336469A1 (en) Sigma-delta position derivative networks
CN114973049B (zh) 一种统一卷积与自注意力的轻量视频分类方法
Li et al. Skeleton graph scattering networks for 3d skeleton-based human motion prediction
CN114663798B (zh) 一种基于强化学习的单步视频内容识别方法
Alphonse et al. Novel directional patterns and a Generalized Supervised Dimension Reduction System (GSDRS) for facial emotion recognition
US11475684B1 (en) Methods and systems for performing noise-resistant computer vision techniques
CN114495916B (zh) 背景音乐的***时间点确定方法、装置、设备和存储介质
Liu et al. Synthesis of spatio-temporal descriptors for dynamic hand gesture recognition using genetic programming
CN113838092A (zh) 一种行人跟踪方法及***
CN114782999A (zh) 基于辅助域分类和二阶信息瓶颈的行人再识别方法和***
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
US10621471B2 (en) Signal classification using sparse representation
CN117115900B (zh) 一种图像分割方法、装置、设备及存储介质
Choudhury et al. An adaptive thresholding-based movement epenthesis detection technique using hybrid feature set for continuous fingerspelling recognition
S. Kumar Robust multi‐view videos face recognition based on particle filter with immune genetic algorithm
CN116704433A (zh) 基于上下文感知关系预测编码的自监督群体行为识别方法
CN113627241B (zh) 一种用于行人重识别的背景抑制方法与***
CN111753583A (zh) 一种识别方法及装置
WO2022048336A1 (en) Coarse-to-fine attention networks for light signal detection and recognition
CN114463810A (zh) 一种人脸识别模型的训练方法和装置
Lee et al. SGNet: Design of optimized DCNN for real-time face detection
CN117407557B (zh) 零样本实例分割方法、***、可读存储介质及计算机
CN117095329A (zh) 一种减缓行人属性识别类内变化的方法和***
CN115578714A (zh) 一种基于浅层特征信息增强的车辆颜色识别方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination