CN113723356B - 异质特征关系互补的车辆重识别方法和装置 - Google Patents

异质特征关系互补的车辆重识别方法和装置 Download PDF

Info

Publication number
CN113723356B
CN113723356B CN202111078976.7A CN202111078976A CN113723356B CN 113723356 B CN113723356 B CN 113723356B CN 202111078976 A CN202111078976 A CN 202111078976A CN 113723356 B CN113723356 B CN 113723356B
Authority
CN
China
Prior art keywords
heterogeneous
features
complementary
layer
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111078976.7A
Other languages
English (en)
Other versions
CN113723356A (zh
Inventor
李甲
赵佳健
赵一凡
郭鑫
赵沁平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202111078976.7A priority Critical patent/CN113723356B/zh
Publication of CN113723356A publication Critical patent/CN113723356A/zh
Application granted granted Critical
Publication of CN113723356B publication Critical patent/CN113723356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了异质特征关系互补的车辆重识别方法和装置，包括：获取车辆图像，将车辆图像输入卷积神经网络，提取得到多个不同层次的异质特征；构建图关系互补模块，利用图关系互补模块对多个不同层次的异质特征进行自低层次向高层次并基于关系地融合，得到跨层互补特征；通过渐进式中心池化操作，提取车辆图像的局部特征，利用图关系互补模块，将局部特征与跨层互补特征中的最高层次的互补特征进行异质关系融合，得到异质互补特征；拼接跨层互补特征和异质互补特征，得到包括多层语义信息和多层局部区域信息的车辆图像表征特征。本发明能够广泛应用于城市交通、公共安全、自动驾驶等领域的计算机视觉***。

Description

异质特征关系互补的车辆重识别方法和装置
技术领域
本发明涉及计算机视觉与多媒体分析领域，具体涉及异质特征关系互补的车辆重识别方法和装置。
背景技术
给定一张车辆图像，车辆重识别的目的是能够在车辆数据库中找出来自不同摄像头拍摄的该车辆的图像。车辆重识别因为在城市公共安全和智能交通***有着广泛的应用前景，因此获得了越来越多的研究人员的关注。近年来随着众多数据集的公开和深度学习的应用，车辆重识别取得了显著的进步。
发明内容
根据上述实际需求和关键问题，本发明的目的在于：提出一种异质特征关系互补的车辆重识别方法，输入查询的车辆图像，通过深度网络提取不同的异质特征，再使用图关系互补模块，实现特征之间基于关系进行互补，最后输出车辆的表征特征。
本发明包含如下4个步骤：
步骤S100，获取车辆图像，将车辆图像输入卷积神经网络ResNet，提取得到多个不同层次的异质特征，其中，多个不同层次的异质特征是由低层次到高层次的异质特征；
步骤S200，构建图关系互补模块，利用图关系互补模块对多个不同层次的异质特征进行自低层次向高层次并基于关系地融合，得到跨层互补特征，其中，跨层互补特征是由低层次到高层次的多层互补特征；
步骤S300，通过渐进式中心池化操作，提取车辆图像的局部特征，利用图关系互补模块，将局部特征与跨层互补特征中的最高层次的互补特征进行异质关系融合，得到异质互补特征，其中，局部特征包括局部区域信息；
步骤S400，拼接跨层互补特征和异质互补特征，得到包括多层语义信息和多层局部区域信息的车辆图像表征特征，其中，在步骤S100到步骤S400的训练阶段中，采用三元组损失函数和交叉熵损失函数进行监督优化网络。
车辆重识别的最大难点在于不同角度下拍摄的同一车辆图像特征存在明显不同，例如车的前部和车的尾部有着巨大外形差异。针对这个难点，当前的深度学习方法可以分为两种：数据驱动型和特征互补型。数据驱动型方法认为解决该难点要依靠足够的数据，然而考虑现实中的真实数据获取成本太高，为此，该类方法使用三维(3D)渲染模型或者对抗学习方式生成大量的合成数据。而当前的特征互补方法主要采用区分度高的局部区域特征来增补全局特征。为了能够准确地定位到高识别度的局部区域，当前的方法采用关键点定位标签、检测框标签和部件分割标签等额外的标注信息，来协助网络学习对应的局部特征。
根据发明公开的方法属于利用深度网络提取出来的异质特征，进行特征互补的车辆重识别方法，相比上述特征互补网络，具有两个有益的特点：1)无需依赖额外的图像标注信息，节省了人力开销，提高了方法的实用性；2)既有关键的局部区域特征的增补，也有不同层次语义信息的互补。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1是本发明异质特征关系互补的车辆重识别方法实施的总框架图；
图2是本发明异质特征关系互补的车辆重识别方法的一些实施例的流程图；
图3是本发明异质特征关系互补的车辆重识别方法S200和S300中图关系互补模块图；
图4是本发明异质特征关系互补的车辆重识别方法S200步骤流程图；
图5是本发明异质特征关系互补的车辆重识别方法S300步骤流程图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
下面将参考附图并结合实施例来详细说明本公开。
图2是本发明异质特征关系互补的车辆重识别方法的一些实施例的流程图。
步骤S100，获取车辆图像，将车辆图像输入卷积神经网络ResNet，提取得到多个不同层次的异质特征。
在一些实施例中，异质特征关系互补的车辆重识别方法的执行主体可以获取车辆图像，将车辆图像输入卷积神经网络ResNet，提取得到多个不同层次的异质特征。其中，多个不同层次的异质特征是由低层次到高层次的异质特征。ResNet是一个包括4个阶段的特征提取器。针对卷积神经网络ResNet，上述执行主体选择提取后3个阶段中的多个网络块(多个网络块的数量可根据具体情况动态调整)的最后一层的输出特征，作为多个不同层次的异质特征。针对该设计，可以采用不同架构的ResNet以及多种变体网络(例如ResNeXt，SE-Net等等)，提取对应阶段对应网络块的最后一层特征即可。
作为示例，上述执行主体可以选择提取后3个阶段可以是图1中S2、S3和S4。S2表示第二阶段。S3表示第三阶段。S4表示第四阶段。
步骤S200，构建图关系互补模块，利用图关系互补模块对多个不同层次的异质特征进行自低层次向高层次并基于关系地融合，得到跨层互补特征。
图4是本发明异质特征关系互补的车辆重识别方法S200步骤流程图。S200的步骤流程如下：
步骤S210，对ResNet内S2阶段中的特征进行图关系互补。上述执行主体构建图关系互补模块，利用图关系互补模块对多个不同层次的异质特征进行自低层次向高层次并基于关系地融合，得到跨层互补特征。其中，跨层互补特征是由低层次到高层次的多层互补特征。可以包括以下步骤：
第一步，通过对异质特征向量V两两之间进行点乘操作和预定阈值α的限制，利用以下公式得到异质特征向量的关系系数矩阵A：
其中，A表示关系系数矩阵。Aij表示关于Vi和Vj的关系系数矩阵。V表示异质特征向量。Vi表示第i个异质特征向量。i表示序号。Vj表示第j个异质特征向量。j表示序号。表示第j个异质特征向量的转置。α表示预定阈值。
第二步，将关系系数矩阵A进行正则化，得到正则化后的关系系数矩阵。
第三步，将正则化后的关系系数矩阵乘以异质特征向量V，进行基于关系的特征互补，得到跨层互补特征。
作为示例，将ResNet内S2中提取的特征图通过全局平均池化函数(GAP，globalaverage pooling)压缩成向量v，并使用1×1卷积层，来降低特征向量的维度。然后用拼接操作C()，将所有的异质特征向量拼接成一个异质特征向量V：
V＝C(W1V1，...，WkVk)。
其中，V表示异质特征向量。C()表示拼接操作。W表示1×1卷积层中的可学习的参数矩阵。W1表示第1个可学习的参数矩阵。V1表示第1个异质特征向量。Wk表示第k个可学习的参数矩阵。k表示序号。Vk表示第k个异质特征向量。
接着通过图关系互补模块，各个特征向量融合了其他向量的基于关系的互补信息。在图关系互补模块中，通过对异质特征向量V两两之间进行点乘操作和预定阈值α的限制，得到异质特征向量的关系系数矩阵A。之后，对关系系数矩阵A进行L1正则，即L1范数正则化，L1范数正则化是通过向成本函数中添加L1范数，可以使得学习得到的结果满足稀疏化，从而便于提取特征。约束关系矩阵中每一行的单个值在(0,1)之间。然后进行图正则化(2016年，TN Kipf and MWelling)，使得关系矩阵近似拉普拉斯矩阵，将正则化后的关系系数矩阵乘以异质特征矩阵V，进行基于关系的特征互补，得到跨层互补特征。
在一些实施例的一些可选的实现方式中，上述利用图关系互补模块对多个不同层次的异质特征进行自低层次向高层次并基于关系地融合，得到跨层互补特征，还可以包括以下步骤：
将跨层互补特征乘以可学习的参数矩阵W，并通过神经元去除层dropout、批量正则化层Batch Norm和激活函数ReLU处理，如图3所示。利用以下公式使得跨层互补特征得到进一步的增强。同时为了防止梯度消失，方法加入一个残差连接：
其中，表示特征维度不变的跨层互补特征。ReLU()表示激活函数。BN()表示批量正则化层操作。Dropout()表示神经元去除层操作。A表示关系系数矩阵。V表示异质特征向量。Wa表示第一可学习的参数矩阵。Wb表示第二可学习的参数矩阵。/>表示特征维度压缩的跨层互补特征。
在图关系互补模块中，使用两次可学习参数矩阵，第一次使用参数矩阵的作用是不改变特征向量维度，用于保留跨层互补特征的原有性质。第二次使用参数矩阵的作用是减小异质特征向量的维度，用于降低后续操作的复杂性。
可选的，上述构建图关系互补模块，利用图关系互补模块对多个不同层次的异质特征进行自低层次向高层次并基于关系地融合，得到跨层互补特征，可以包括以下步骤：
第一步，将低层次的异质特征通过图关系互补模块进行语义信息的互补，通过以下公式得到互补后的异质特征：
其中，表示互补后的异质特征。G()表示图关系互补模块处理。C()表示拼接操作。W表示可学习的参数矩阵。W1表示第1个可学习的参数矩阵。V1表示第1个异质特征向量。Wk表示第k个可学习的参数矩阵。k表示序号。Vk表示第k个异质特征向量。
第二步，将互补后的异质特征拼接成一个特征向量输入到下一层中，与更高层次的异质特征进行特征融合，通过以下公式得到下一层中互补后的异质特征：
其中，V′表示下一层中互补后的异质特征。C()表示拼接操作。W′1表示下一层中第1个可学习的参数矩阵。V′1表示下一层中第1个异质特征向量。W′u表示下一层中第u个可学习的参数矩阵。u表示序号。V′u表示下一层中第u个异质特征向量。W′u+1表示下一层中第u+1个可学习的参数矩阵。表示互补后的异质特征。
步骤S220，对S3阶段中的特征与步骤S210的互补特征进行图关系互补。将ResNet内S3中提取的特征图通过与步骤S210相同操作后生成特征向量，S3阶段的所有特征向量与步骤S210中输出的互补后的异质特征一同拼接生成下一层(例如，S4)中互补后的异质特征V′。接着通过图关系互补模块，各个特征向量融合了其他向量的基于关系的互补信息，并作为一个互补向量，传入S4。
步骤S230，对S4阶段中的特征与步骤S220的互补特征进行关系互补，并分离拼接特征，将最高层次的互补特征传入S300中。将ResNet内S3中提取的特征图通过与步骤S220相同操作后，获得一个融合了不同层次语义信息的互补特征向量，然后通过一个分离操作，分离出代表不同层次信息的特征向量，代表最高层信息的特征向量传入步骤S300中，与局部区域特征展开进一步的特征互补；而其它向量则传入步骤S400，成为最终特征的一部分。
步骤S300，通过渐进式中心池化操作，提取车辆图像的局部特征，利用图关系互补模块，将局部特征与跨层互补特征中的最高层次的互补特征进行异质关系融合，得到异质互补特征。
在一些实施例中，上述执行主体可以通过渐进式中心池化操作，提取车辆图像的局部特征，利用图关系互补模块，将局部特征与跨层互补特征中的最高层次的互补特征进行异质关系融合，可以通过以下步骤得到异质互补特征，其中，局部特征包括局部区域信息。
基于跨层互补特征中的最高层次的互补特征，将局部特征与最高层次的互补特征在图关系互补模块下进行信息互补，使得融合了低层次语义信息的最高层次的互补特征获得局部区域信息的互补，得到异质互补特征。
图5是本发明异质特征关系互补的车辆重识别方法S300步骤流程图。S300的步骤流程如下：
步骤S310，采用渐进式中心池化操作和映射操作，获取局部区域特征。上述渐进式中心池化操作可以包括以下步骤：
第一步，基于先验知识，采用渐进式中心池化操作，以大小为X×Y的图像的中心作为定点，逐渐扩大感受区域，提取S个不同大小的基于图像中心的局部区域的掩码张量M。其中，先验知识是在车辆重识别中，车辆位于图像的中间位置，通过以下公式提取S个不同大小的基于图像中心的局部区域的掩码张量M：
其中，M表示掩码张量。表示第k个掩码张量。x表示图像中像素点的位置坐标的横坐标。y表示图像中像素点的位置坐标的纵坐标。k表示序号。X表示图像的宽。Y表示图像的高。/>表示第k个局部区域的半径的平方。R表示局部区域的半径。Rk表示第k个局部区域的半径。R的取值范围为/>且/>k的取值范围为k≤S；
第二步，考虑到卷积神经网络的位置不变性，通过映射操作和全局池化操作，从全局特征中提取出对应的区域特征图，并通过可学习的参数矩阵和可学习偏置向量进行线性变化，利用以下公式得到局部特征图Fr：
其中，表示第k个局部特征图。Fr表示局部特征图。W表示可学习的参数矩阵。Wk表示第k个可学习的参数矩阵。φ表示全局池化操作。P()表示映射操作。Fg表示全局特征图。Mk表示第k个掩码张量。Bk表示第k个可学习偏置向量。B表示可学习偏置向量。k表示序号。S表示掩码张量的总数量。
步骤S320，局部特征与S230中最高层次特征进行关系互补，并传入步骤S400。各个局部特征通过与S210相同操作后形成特征向量，然后所有特征向量与S230中输出的代表最高层信息的特征向量一起拼接成向量矩阵，接着通过图关系互补模块，各个特征向量进行基于关系的融合互补，形成一个包括局部关键信息的互补向量，然后传入S400。
步骤S400，拼接跨层互补特征和异质互补特征，得到包括多层语义信息和多层局部区域信息的车辆图像表征特征。
在一些实施例中，上述执行主体可以拼接跨层互补特征和异质互补特征，得到包括多层语义信息和多层局部区域信息的车辆图像表征特征。其中，在步骤S100到步骤S400的训练阶段中，采用三元组损失函数和交叉熵损失函数进行监督优化网络。
作为示例，对所有的跨层互补特征和局部区域互补特征按照其重要性进行特征维度压缩，越高层的特征维度越高，蕴含越大区域信息的特征维度越高，然后拼接成一个最终特征向量，在训练阶段，采用三元组损失函数和交叉熵损失函数进行监督优化网络。
可以理解的是，一种异质特征关系互补的车辆重识别装置中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于一种异质特征关系互补的车辆重识别装置及其中包含的单元，在此不再赘述。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (6)

1.一种异质特征关系互补的车辆重识别方法，包括：
步骤S100，获取车辆图像，将车辆图像输入卷积神经网络ResNet，提取得到多个不同层次的异质特征，其中，多个不同层次的异质特征是由低层次到高层次的异质特征；
步骤S200，构建图关系互补模块，利用图关系互补模块对多个不同层次的异质特征进行自低层次向高层次并基于关系地融合，得到跨层互补特征，其中，跨层互补特征是由低层次到高层次的多层互补特征；
步骤S300，通过渐进式中心池化操作，提取车辆图像的局部特征，利用图关系互补模块，将局部特征与跨层互补特征中的最高层次的互补特征进行异质关系融合，得到异质互补特征，其中，局部特征包括局部区域信息；
步骤S400，拼接跨层互补特征和异质互补特征，得到包括多层语义信息和多层局部区域信息的车辆图像表征特征，其中，在步骤S100到步骤S400的训练阶段中，采用三元组损失函数和交叉熵损失函数进行监督优化网络；
所述渐进式中心池化操作包括以下步骤：
基于先验知识，采用渐进式中心池化操作，以大小为X×Y的图像的中心作为定点，逐渐扩大感受区域，提取S个不同大小的基于图像中心的局部区域的掩码张量M，其中，先验知识是在车辆重识别中，车辆位于图像的中间位置，通过以下公式提取S个不同大小的基于图像中心的局部区域的掩码张量M：
其中，M表示掩码张量，表示第k个掩码张量，x表示图像中像素点的位置坐标的横坐标，y表示图像中像素点的位置坐标的纵坐标，k表示序号，X表示图像的宽，Y表示图像的高，/>表示第k个局部区域的半径的平方，R表示局部区域的半径，Rk表示第k个局部区域的半径，R的取值范围为/>且/>k的取值范围为k≤S；
考虑到卷积神经网络的位置不变性，通过映射操作和全局池化操作，从全局特征中提取出对应的区域特征图，并通过可学习的参数矩阵和可学习偏置向量进行线性变化，利用以下公式得到局部特征图Fr：
其中，表示第k个局部特征图，Fr表示局部特征图，W表示可学习的参数矩阵，Wk表示第k个可学习的参数矩阵，φ表示全局池化操作，P()表示映射操作，Fg表示全局特征图，Mk表示第k个掩码张量，Bk表示第k个可学习偏置向量，B表示可学习偏置向量，k表示序号，S表示掩码张量的总数量。
2.根据权利要求1所述的方法，其中，所述利用图关系互补模块对多个不同层次的异质特征进行自低层次向高层次并基于关系地融合，得到跨层互补特征，包括：
通过对异质特征向量V两两之间进行点乘操作和预定阈值α的限制，利用以下公式得到异质特征向量的关系系数矩阵A：
其中，A表示关系系数矩阵，Aij表示关于Vi和Vj的关系系数矩阵，V表示异质特征向量，Vi表示第i个异质特征向量，i表示序号，Vj表示第j个异质特征向量，j表示序号，表示第j个异质特征向量的转置，α表示预定阈值；
将关系系数矩阵A进行正则化，得到正则化后的关系系数矩阵；
将正则化后的关系系数矩阵乘以异质特征向量V，进行基于关系的特征互补，得到跨层互补特征。
3.根据权利要求2所述的方法，其中，所述利用图关系互补模块对多个不同层次的异质特征进行自低层次向高层次并基于关系地融合，得到跨层互补特征，还包括：
将跨层互补特征乘以可学习的参数矩阵W，并通过神经元去除层dropout、批量正则化层Batch Norm和激活函数ReLU处理，利用以下公式使得跨层互补特征得到进一步的增强：
其中，表示特征维度不变的跨层互补特征，ReLU()表示激活函数，BN()表示批量正则化层操作，Dropout()表示神经元去除层操作，A表示关系系数矩阵，V表示异质特征向量，Wa表示第一可学习的参数矩阵，Wb表示第二可学习的参数矩阵，/>表示特征维度压缩的跨层互补特征。
4.根据权利要求3所述的方法，其中，所述构建图关系互补模块，利用图关系互补模块对多个不同层次的异质特征进行自低层次向高层次并基于关系地融合，得到跨层互补特征，包括：
将低层次的异质特征通过图关系互补模块进行语义信息的互补，通过以下公式得到互补后的异质特征：
其中，表示互补后的异质特征，G()表示图关系互补模块处理，C( )表示拼接操作，W表示可学习的参数矩阵，W1表示第1个可学习的参数矩阵，V1表示第1个异质特征向量，Wk表示第k个可学习的参数矩阵，k表示序号，Vk表示第k个异质特征向量；
将互补后的异质特征拼接成一个特征向量输入到下一层中，与更高层次的异质特征进行特征融合，通过以下公式得到下一层中互补后的异质特征：
其中，V′表示下一层中互补后的异质特征，C()表示拼接操作，W′1表示下一层中第1个可学习的参数矩阵，V′1表示下一层中第1个异质特征向量，W′u表示下一层中第u个可学习的参数矩阵，u表示序号，V′u表示下一层中第u个异质特征向量，W′u+1表示下一层中第u+1个可学习的参数矩阵，表示互补后的异质特征。
5.根据权利要求4所述的方法，其中，所述利用图关系互补模块，将局部特征与跨层互补特征中的最高层次的互补特征进行异质关系融合，得到异质互补特征，包括：
基于跨层互补特征中的最高层次的互补特征，将局部特征与最高层次的互补特征在图关系互补模块下进行信息互补，使得融合了低层次语义信息的最高层次的互补特征获得局部区域信息的互补，得到异质互补特征。
6.一种异质特征关系互补的车辆重识别装置，包括：
步骤S100，获取单元，被配置成获取车辆图像，将车辆图像输入卷积神经网络ResNet，提取得到多个不同层次的异质特征，其中，多个不同层次的异质特征是由低层次到高层次的异质特征；
步骤S200，融合单元，被配置成构建图关系互补模块，利用图关系互补模块对多个不同层次的异质特征进行自低层次向高层次并基于关系地融合，得到跨层互补特征，其中，跨层互补特征是由低层次到高层次的多层互补特征；
步骤S300，异质关系融合单元，被配置成通过渐进式中心池化操作，提取车辆图像的局部特征，利用图关系互补模块，将局部特征与跨层互补特征中的最高层次的互补特征进行异质关系融合，得到异质互补特征，其中，局部特征包括局部区域信息；
步骤S400，拼接单元，被配置成拼接跨层互补特征和异质互补特征，得到包括多层语义信息和多层局部区域信息的车辆图像表征特征，其中，在步骤S100到步骤S400的训练阶段中，采用三元组损失函数和交叉熵损失函数进行监督优化网络；
所述渐进式中心池化操作包括以下步骤：
基于先验知识，采用渐进式中心池化操作，以大小为X×Y的图像的中心作为定点，逐渐扩大感受区域，提取S个不同大小的基于图像中心的局部区域的掩码张量M，其中，先验知识是在车辆重识别中，车辆位于图像的中间位置，通过以下公式提取S个不同大小的基于图像中心的局部区域的掩码张量M：
其中，M表示掩码张量，表示第k个掩码张量，x表示图像中像素点的位置坐标的横坐标，y表示图像中像素点的位置坐标的纵坐标，k表示序号，X表示图像的宽，Y表示图像的高，/>表示第k个局部区域的半径的平方，R表示局部区域的半径，Rk表示第k个局部区域的半径，R的取值范围为/>且/>k的取值范围为k≤S；
考虑到卷积神经网络的位置不变性，通过映射操作和全局池化操作，从全局特征中提取出对应的区域特征图，并通过可学习的参数矩阵和可学习偏置向量进行线性变化，利用以下公式得到局部特征图Fr：
其中，表示第k个局部特征图，Fr表示局部特征图，W表示可学习的参数矩阵，Wk表示第k个可学习的参数矩阵，φ表示全局池化操作，P( )表示映射操作，Fg表示全局特征图，Mk表示第k个掩码张量，Bk表示第k个可学习偏置向量，B表示可学习偏置向量，k表示序号，S表示掩码张量的总数量。
CN202111078976.7A 2021-09-15 2021-09-15 异质特征关系互补的车辆重识别方法和装置 Active CN113723356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111078976.7A CN113723356B (zh) 2021-09-15 2021-09-15 异质特征关系互补的车辆重识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111078976.7A CN113723356B (zh) 2021-09-15 2021-09-15 异质特征关系互补的车辆重识别方法和装置

Publications (2)

Publication Number Publication Date
CN113723356A CN113723356A (zh) 2021-11-30
CN113723356B true CN113723356B (zh) 2023-09-19

Family

ID=78683911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111078976.7A Active CN113723356B (zh) 2021-09-15 2021-09-15 异质特征关系互补的车辆重识别方法和装置

Country Status (1)

Country Link
CN (1) CN113723356B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495571B (zh) * 2022-04-18 2022-07-26 科大天工智能装备技术（天津）有限公司 基于跨层耦合网络的车位状态检测方法、装置及存储介质
CN115984948B (zh) * 2023-03-20 2023-05-26 广东广新信息产业股份有限公司 应用于温度感测的人脸识别方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836677A (zh) * 2021-03-02 2021-05-25 西安建筑科技大学 一种利用深度学习的弱监督车辆重识别方法
WO2021114809A1 (zh) * 2020-05-27 2021-06-17 平安科技（深圳）有限公司 车辆损伤特征检测方法、装置、计算机设备及存储介质
CN113343974A (zh) * 2021-07-06 2021-09-03 国网天津市电力公司 考虑模态间语义距离度量的多模态融合分类优化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021114809A1 (zh) * 2020-05-27 2021-06-17 平安科技（深圳）有限公司 车辆损伤特征检测方法、装置、计算机设备及存储介质
CN112836677A (zh) * 2021-03-02 2021-05-25 西安建筑科技大学 一种利用深度学习的弱监督车辆重识别方法
CN113343974A (zh) * 2021-07-06 2021-09-03 国网天津市电力公司 考虑模态间语义距离度量的多模态融合分类优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于高置信局部特征的车辆重识别优化算法;窦鑫泽;盛浩;吕凯;刘洋;张洋;吴玉彬;柯韦;;北京航空航天大学学报(第09期);全文 *

Also Published As

Publication number Publication date
CN113723356A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110298404B (zh) 一种基于三重孪生哈希网络学习的目标跟踪方法
CN108229468B (zh) 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备
CN104268594B (zh) 一种视频异常事件检测方法及装置
CN113723356B (zh) 异质特征关系互补的车辆重识别方法和装置
CN109389057B (zh) 一种基于多尺度高级语义融合网络的物体检测方法
CN107239730B (zh) 智能汽车交通标志识别的四元数深度神经网络模型方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN112581409B (zh) 一种基于端到端的多重信息蒸馏网络的图像去雾方法
CN110147707B (zh) 一种高精度车辆识别方法及***
CN108595558B (zh) 一种数据均衡策略和多特征融合的图像标注方法
CN113269054B (zh) 一种基于时空2d卷积神经网络的航拍视频分析方法
CN107622280B (zh) 基于场景分类的模块化处方式图像显著性检测方法
CN108921850B (zh) 一种基于图像分割技术的图像局部特征的提取方法
CN113034506B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN111461006B (zh) 一种基于深度迁移学习的光学遥感图像杆塔位置检测方法
CN113269224A (zh) 一种场景图像分类方法、***及存储介质
CN109325435B (zh) 基于级联神经网络的视频动作识别及定位方法
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
CN115661090A (zh) 纺织面料的智能化加工工艺及其***
CN117197763A (zh) 基于交叉注意引导特征对齐网络的道路裂缝检测方法和***
CN113221770A (zh) 基于多特征混合学习的跨域行人重识别方法及***
CN112070010A (zh) 一种联合多损失动态训练策略增强局部特征学习的行人重识别方法
CN116342536A (zh) 基于轻量化模型的铝带材表面缺陷检测方法、***及设备
CN112115871A (zh) 适用于行人目标检测的高低频交织边缘特征增强方法及构建增强网络的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant