CN112766281A - 车辆重识别方法、电子设备及相关产品 - Google Patents

车辆重识别方法、电子设备及相关产品 Download PDF

Info

Publication number
CN112766281A
CN112766281A CN202110063645.XA CN202110063645A CN112766281A CN 112766281 A CN112766281 A CN 112766281A CN 202110063645 A CN202110063645 A CN 202110063645A CN 112766281 A CN112766281 A CN 112766281A
Authority
CN
China
Prior art keywords
image
feature extraction
training data
vehicle
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110063645.XA
Other languages
English (en)
Inventor
范艳
张鹏
贺武
吴伟华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN HARZONE TECHNOLOGY CO LTD
Original Assignee
SHENZHEN HARZONE TECHNOLOGY CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN HARZONE TECHNOLOGY CO LTD filed Critical SHENZHEN HARZONE TECHNOLOGY CO LTD
Priority to CN202110063645.XA priority Critical patent/CN112766281A/zh
Publication of CN112766281A publication Critical patent/CN112766281A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种车辆重识别方法、电子设备及相关产品，应用于电子设备，该方法包括：分别将第一查询图像和第一底库图像输入到预设风格转换模型，得到第二查询图像和第二底库图像；将第一车辆训练数据输入到预设风格转换模型，得到第二车辆训练数据；通过第一车辆训练数据和第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络；将第二查询图像输入到第二特征提取网络进行特征提取，得到查询图像特征；将第二底库图像输入到第二特征提取网络进行特征提取，得到底库图像特征；将查询图像特征和底库图像特征进行匹配，得到匹配结果，展示匹配结果。采用本申请实施例可以提升车辆重识别准确率。

Description

车辆重识别方法、电子设备及相关产品
技术领域
本申请涉及图像处理技术领域，具体涉及一种车辆重识别方法、电子设备及相关产品。
背景技术
车辆重识别是指给定一张车辆图像，识别出车辆图像数据库中的同一车辆，在真实交通监控***中，车辆重识别可以起到对目标车辆进行定位、监管、刑侦的作用。车辆重识别任务中通常会有多个摄像头，并且由于各种因素(环境，光线等)，同一辆车的每个摄像头拍摄的图像风格通常会有所不同。此外，由于时间(早晨，中午，下午等)的不同，即使是同一台摄像机也会拍摄不同风格的图像。因此，图像的风格会发生变化，这对最终车辆重识别任务的结果有很大影响。另外，摄像头与车辆之间相对位置的变化，会导致同一车辆在不同图像中呈现不同的角度，车辆的外观存在着显著的变化，此外，由于具有不同身份的车辆可以具有相同的品牌，型号和颜色，提取具有判别力的特征对车辆重识别的任务非常的关键，进而，如何提升真实交通监控场景中车辆重识别的准确率问题亟待解决。
发明内容
本申请实施例提供了一种车辆重识别方法及相关产品，能够提升车辆重识别准确率。
第一方面，本申请实施例提供一种车辆重识别方法，应用于电子设备，所述方法包括：
获取第一查询图像、第一底库图像和第一车辆训练数据；
分别将所述第一查询图像和所述第一底库图像输入到预设风格转换模型，得到第二查询图像和第二底库图像，所述预设风格转换模型用于将输入数据转化为风格统一的输出数据；
将所述第一车辆训练数据输入到所述预设风格转换模型，得到第二车辆训练数据；
通过所述第一车辆训练数据和所述第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络；
将所述第二查询图像输入到所述第二特征提取网络进行特征提取，得到查询图像特征；
将所述第二底库图像输入到所述第二特征提取网络进行特征提取，得到底库图像特征；
将所述查询图像特征和所述底库图像特征进行匹配，得到匹配结果，展示所述匹配结果。
第二方面，本申请实施例提供一种车辆重识别装置，应用于电子设备，所述装置包括：获取单元、转换单元、训练单元、提取单元和展示单元，其中，
所述获取单元，用于获取第一查询图像、第一底库图像和第一车辆训练数据；
所述转换单元，用于分别将所述第一查询图像和所述第一底库图像输入到预设风格转换模型，得到第二查询图像和第二底库图像，所述预设风格转换模型用于将输入数据转化为风格统一的输出数据；
所述转换单元，还用于将所述第一车辆训练数据输入到所述预设风格转换模型，得到第二车辆训练数据；
所述训练单元，用于通过所述第一车辆训练数据和所述第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络；
所述提取单元，用于将所述第二查询图像输入到所述第二特征提取网络进行特征提取，得到查询图像特征；
所述提取单元，还用于将所述第二底库图像输入到所述第二特征提取网络进行特征提取，得到底库图像特征；
所述展示单元，用于将所述查询图像特征和所述底库图像特征进行匹配，得到匹配结果，展示所述匹配结果。
第三方面，本申请实施例提供了一种电子设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例，具备如下有益效果：
可以看出，本申请实施例中所描述的车辆重识别方法、电子设备及相关产品，应用于电子设备，获取第一查询图像、第一底库图像和第一车辆训练数据，分别将第一查询图像和第一底库图像输入到预设风格转换模型，得到第二查询图像和第二底库图像，预设风格转换模型用于将输入数据转化为风格统一的输出数据，将第一车辆训练数据输入到预设风格转换模型，得到第二车辆训练数据，通过第一车辆训练数据和第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络，将第二查询图像输入到第二特征提取网络进行特征提取，得到查询图像特征，将第二底库图像输入到第二特征提取网络进行特征提取，得到底库图像特征，将查询图像特征和底库图像特征进行匹配，得到匹配结果，展示匹配结果，可以消除不同图片的风格差异，使得query and gallery间达成更优匹配，还能够提取特定于车辆的具有判别力特征，以及整个过程可以显著提高车辆重识别的正确率，特别是对车辆图像风格、车辆角度有较大差异的图像和品牌、型号、颜色等相似的图像，有助于提升车辆重识别准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子设备的结构示意图；
图1B是本申请实施例提供的一种车辆重识别方法的流程示意图；
图1C是本申请实施例提供的一种特征提取网络的结构示意图；
图1D是本申请实施例提供的另一种特征提取网络的结构示意图；
图1E是本申请实施例提供的另一种特征提取网络的结构示意图；
图1F是本申请实施例提供的另一种车辆重识别方法的流程示意图；
图2是本申请实施例提供的另一种车辆重识别方法的流程示意图；
图3是本申请实施例提供的另一种电子设备的结构示意图；
图4是本申请实施例提供的一种车辆重识别装置的功能单元组成框图。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是在一个可能地示例中还包括没有列出的步骤或单元，或在一个可能地示例中还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例所涉及到的电子设备可以是包括各种图像处理信功能的手持设备、智能机器人、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(UserEquipment，UE)，移动台(MobileStation，MS)，终端设备(terminal device)等等，电子设备还可以为服务器或者智能家居设备。
本申请实施例中，智能家居设备可以为以下至少一种：冰箱、洗衣机、电饭煲、智能窗帘、智能灯、智能床、智能垃圾桶、微波炉、烤箱、蒸箱、空调、油烟机、服务器、智能门、智能窗户、窗门衣柜、智能音箱、智能家居、智能椅、智能晾衣架、智能淋浴、饮水机、***、空气净化器、门铃、监控***、智能车库、电视机、投影仪、智能餐桌、智能沙发、按摩椅、跑步机等等，当然，还可以包括其他设备。
如图1A所示，图1A是本申请实施例提供的一种电子设备的结构示意图。该电子设备包括处理器、存储器、信号处理器、收发器、显示屏、扬声器、麦克风、随机存取存储器(Random Access Memory，RAM)、摄像头、传感器和网络模块等等。其中，存储器、信号处理器DSP、扬声器、麦克风、RAM、摄像头、传感器、网络模块与处理器连接，收发器与信号处理器连接。
其中，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器内的软体程序和/或模块，以及调用存储在存储器内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控，处理器可以为中央处理器(Central Processing Unit/Processor，CPU)、图形处理器(GraphicsProcessing Unit，GPU)或者网络处理器(Neural-network Processing Unit，NPU)。
进一步地，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
其中，存储器用于存储软体程序和/或模块，处理器通过运行存储在存储器的软件程序和/或模块，从而执行电子设备的各种功能应用以及车辆重识别。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的软体程序等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，传感器包括以下至少一种：光感传感器、陀螺仪、红外接近传感器、振动检测传感器，压力传感器等等。其中，光感传感器，也称为环境光传感器，用于检测环境光亮度。光线传感器可以包括光敏元件和模数转换器。其中，光敏元件用于将采集的光信号转换为电信号，模数转换器用于将上述电信号转换为数字信号。可选的，光线传感器还可以包括信号放大器，信号放大器可以将光敏元件转换的电信号进行放大后输出至模数转换器。上述光敏元件可以包括光电二极管、光电三极管、光敏电阻、硅光电池中的至少一种。
其中，该摄像头可以是可见光摄像头(一般视角摄像头、广角摄像头)、也可以是红外摄像头，还可以为双摄像头(具备测距功能)，在此不作限定。
网络模块可以为以下至少一种：蓝牙模块、无线保真(wireless fidelity，Wi-Fi)等等，在此不做限定。
基于上述图1A所描述的电子设备，能够执行如下车辆重识别方法，具体步骤如下：
获取第一查询图像、第一底库图像和第一车辆训练数据；
分别将所述第一查询图像和所述第一底库图像输入到预设风格转换模型，得到第二查询图像和第二底库图像，所述预设风格转换模型用于将输入数据转化为风格统一的输出数据；
将所述第一车辆训练数据输入到所述预设风格转换模型，得到第二车辆训练数据；
通过所述第一车辆训练数据和所述第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络；
将所述第二查询图像输入到所述第二特征提取网络进行特征提取，得到查询图像特征；
将所述第二底库图像输入到所述第二特征提取网络进行特征提取，得到底库图像特征；
将所述查询图像特征和所述底库图像特征进行匹配，得到匹配结果，展示所述匹配结果。
可以看出，本申请实施例中所描述的电子设备，获取第一查询图像、第一底库图像和第一车辆训练数据，分别将第一查询图像和第一底库图像输入到预设风格转换模型，得到第二查询图像和第二底库图像，预设风格转换模型用于将输入数据转化为风格统一的输出数据，将第一车辆训练数据输入到预设风格转换模型，得到第二车辆训练数据，通过第一车辆训练数据和第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络，将第二查询图像输入到第二特征提取网络进行特征提取，得到查询图像特征，将第二底库图像输入到第二特征提取网络进行特征提取，得到底库图像特征，将查询图像特征和底库图像特征进行匹配，得到匹配结果，展示匹配结果，可以消除不同图片的风格差异，使得queryand gallery间达成更优匹配，还能够提取特定于车辆的具有判别力特征，以及整个过程可以显著提高车辆重识别的正确率，特别是对车辆图像风格、车辆角度有较大差异的图像和品牌、型号、颜色等相似的图像，有助于提升车辆重识别准确率。
本申请实施例，提供了一种统一风格转换的方法，消除不同摄像机之间的风格差异，即通过风格转换模型，将不同风格的车辆图像生成具有统一相机风格的车辆图像。由于摄像头与车辆之间相对位置的变化，会导致同一车辆在不同图像中呈现不同的角度，车辆的外观存在着显著的变化，此外，由于具有不同身份的车辆可以具有相同的品牌，型号和颜色，因此如何提取具有判别力的特征，对车辆重识别的任务非常的关键。
请参阅图1B，图1B是本申请实施例提供的一种车辆重识别方法的流程示意图，如图所示，应用于如图1A所示的电子设备，本车辆重识别方法包括：
101、获取第一查询图像、第一底库图像和第一车辆训练数据。
其中，第一查询图像可以为车辆图像，第一底库图像可以为车辆图像，第一车辆训练数据可以为车辆图像。
102、分别将所述第一查询图像和所述第一底库图像输入到预设风格转换模型，得到第二查询图像和第二底库图像，所述预设风格转换模型用于将输入数据转化为风格统一的输出数据。
其中，预设风格转换模型可以预先存储在电子设备中，预设风格转换模型用于将输入数据转化为风格统一的输出数据，本申请实施例中，预设风格转换模型的目的在于消除不同图片的风格差异，生成形状稳定风格统一的图像。
103、将所述第一车辆训练数据输入到所述预设风格转换模型，得到第二车辆训练数据。
其中，电子设备可以将第一车辆训练数据输入到预设风格转换模型，以进行风格统一，进而，可以得到第二车辆训练数据。
可选地，上述步骤101之前，还可以包括如下步骤：5、根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
A1、获取初始训练数据以及对应的标签数据，所述初始训练数据来自于多个摄像头；
A2、获取生成式对抗网络的风格转换网络，所述风格转换网络的生成式对抗网络的生成器预先设置有风格注意力模块，所述风格注意力模块用于实现将浅层图像特征获取与风格相关的注意力特征；
A3、将所述初始训练数据以及对应的标签数据用于训练所述风格转换网络，得到所述预设风格转换模型。
具体实现中，电子设备可以获取生成式对抗网络，并且获取初始训练数据以及对应的标签数据，初始训练数据来自于多个摄像头，获取生成式对抗网络的风格转换网络，该风格转换网络的生成式对抗网络的生成器预先设置有风格注意力模块，该风格注意力模块用于实现将浅层图像特征获取与风格相关的注意力特征，本申请实施例中，为了生成形状稳定风格统一的图像，在该风格转换网络的生成器添加一个风格注意力模块，浅层图像特征通过此模块可获得与风格相关的注意力特征，将训练集中的每个摄像机和所有摄像机数据作为一个组进行训练风格转换网络，得到所述预设风格转换模型，即将初始训练数据以及对应的标签数据用于训练风格转换网络，得到预设风格转换模型。
本申请实施例中，预设风格转换模型可以基于生成式对抗网络(GAN,GenerativeAdversarial Networks)实现，为了确保该风格转换模型可以生成形状稳定风格统一的图像，具体实现中，可以将风格注意力模块添加到该风格转换模型的生成器，即由浅层图像特征通过此模块可获得与风格相关的注意力特征。
定义公式如下：
A(x)＝Sigmoid(Astyle(G1(x)))
其中，Astyle为风格注意力模块，G1为预设风格转换模型的生成器输出的浅层图像特征，x为输入图像。从而，还可以获得整个风格转换模型的损失函数：
Figure BDA0002903338750000081
其中，Loss表示整个风格转换模型的损失函数，L为摄像头机总数，c为摄像机序号，
Figure BDA0002903338750000082
为第c个摄像机拍摄的第i个数据的风格注意力响应，LU是由标准GAN损失、特征匹配损失、身份映射损失和循环重建损失组成的联合损失函数。举例说明下，训练的时候，选某个相机拍的一个数据(例如，相机c＝1)，和所有相机拍的数据各取一个组成一个组(c＝1、c＝2等等)，所以，y有上标c，就是任取一个相机的一个数据(x)和所有相机各一个数据(y)。
具体实现中，在训练阶段，可以将训练集中的图像以每个摄像机和所有摄像机作为一个组进行训练，例如，可以将所有图像调整为320×320，训练好的风格转换模型可以生成风格统一的图像。
104、通过所述第一车辆训练数据和所述第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络。
其中，电子设备可以通过第一车辆训练数据和第二车辆训练数据训练第一特征提取网络，进而，可以提升特征提取网络的性能，得到第二特征提取网络。可以将注意力集中在有判别力特征的区域上(如车辆年检标、摆件、挂件、喷字、撞痕等)，以提高对方向的鲁棒性和细粒度细节的识别力。
可选地，所述第一特征提取网络包括可变自动编码器模块和深度特征提取模块，上述步骤104，通过所述第一车辆训练数据和所述第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络，可以包括如下步骤：
41、通过所述可变自动编码器模块对训练数据i进重建处理，得到重建图像，所述训练数据i为所述第一车辆训练数据或者所述第二车辆训练数据训练中的任一训练数据；
42、通过所述训练数据i和所述重建图像确定残差图像；
43、根据所述重建图像和所述残差图像确定组合图像；
44、通过所述深度特征提取模块对所述组合图像进行特征提取，得到训练特征；
45、通过所述训练特征和预设损失函数调整所述第一特征提取网络的模型参数，得到所述第二特征提取网络。
其中，预设损失函数可以预先设置或者***默认，例如，预设损失函数可以为三元组损失函数。具体实现中，如图1C所示，以训练数据i为例，训练数据i为第一车辆训练数据或者第二车辆训练数据训练中的任一训练数据，电子设备可以通过可变自动编码器模块VAE对训练数据i进重建处理，得到重建图像，还可以进一步确定通过训练数据i和重建图像确定残差图像，以及根据重建图像和残差图像确定组合图像，深度特征提取模块的主干网络可以为ResNet-50主干。再通过深度特征提取模块对组合图像进行特征提取，得到训练特征，最后通过训练特征和预设损失函数调整第一特征提取网络的模型参数，得到第二特征提取网络。
本申请实施例中，特征提取网络可以由两个模块组成：自监督残差生成模块和深度特征提取。具体实现中，输入图像可以通过基于VAE的重建模块传递，以移除特定于车辆的细节，接下来，从输入图像中减去重建图像，以形成包含车辆特定细节的残差图像。随后，计算输入和残差的凸组合(具有可训练的参数α)，并将其通过re-id主干进行深度特征提取。整个网络通过三元组和交叉熵损失进行训练，并通过批归一化层(BN Neck)进行分隔。
基于上述本申请实施例，电子设备可以基于自监督注意力的车辆特征提取方法流程，输入图像通过基于可变自动编码器(VAE)的重建模块传递，创建车辆图像的整体形状和结构，同时模糊区分性细节，以生成不含制造商徽标，挡风玻璃贴纸，车轮图案以及格栅，保险杠和前/尾灯设计的车辆图像模板。还可以从输入图像中减去重建图像，进而能够突出显示显着区域并消除背景干扰物，以形成包含车辆特定细节的残差图像，随后，计算原始输入图像和残差的凸组合(具有可训练的参数α)，并将其输入到ResNet-50主干进行深度特征提取。以生成鲁棒的判别特征。
进一步地，可选地，上述步骤43，根据所述重建图像和所述残差图像确定组合图像，可以包括如下步骤：
431、确定所述重建图像的第一特征点分布密度；
432、确定所述训练数据i的第二特征点分布密度；
433、确定所述第一特征点分布密度和所述第二特征点分布密度之间的比值；
434、将所述重建图像划分为多个区域，确定所述多个区域中每一特征点分布密度，得到多个特征点分布密度；
435、依据所述多个特征点分布密度确定目标均方差；
436、按照预设的均方差与微调系数之间的映射关系，确定所述目标均方差对应的目标微调系数；
437、依据所述目标微调系数对所述比值进行微调，得到凸参数；
438、根据所述凸参数所述重建图像和所述残差图像确定所述组合图像。
具体实现中，电子设备可以确定重建图像的第一特征点分布密度，具体地，可以确定重建图像的特征点总数，以及图像面积，将特征点总数与图像面积之间的比值作为特征点分布密度。同理，电子设备还可以确定训练数据i的第二特征点分布密度，进而确定第一特征点分布密度和第二特征点分布密度之间的比值，比值＝第一特征点分布密度/第二特征点分布密度。
进一步地，还可以将重建图像划分为多个区域，确定多个区域中每一特征点分布密度，得到多个特征点分布密度，以及依据多个特征点分布密度确定目标均方差，均方差反映了区域之间的关联性，即反映了图像邻域与邻域之间的变化差异，电子设备中还可以预先存储预设的均方差与微调系数之间的映射关系，进而，可以按照预设的均方差与微调系数之间的映射关系，确定目标均方差对应的目标微调系数，再依据目标微调系数对比值进行微调，得到凸参数，具体计算公式如下：
凸参数＝(1+目标微调系数)*比值
最后，电子设备可以根据凸参数、重建图像和残差图像确定组合图像，即组合图像＝凸参数*重建图像+残差图像。
105、将所述第二查询图像输入到所述第二特征提取网络进行特征提取，得到查询图像特征。
具体实现中，特征提取的目的在于学习强大而有判别力的车辆特征，以适应不同摄像机之间较大的视点变化和区分相似车辆之间的细粒度细节。
本申请实施例中，基于上述自监督注意力的车辆特征提取方法，可以自动突出显示车辆图像中的显著区域，这些特定于车辆的显著区域带有关键细节，这些细节对于识别视角变化较大的车辆和区分两个视觉相似的车辆至关重要。具体来说，由于设计了一种可变自动编码器(VAE)，可以生成不含制造商徽标，挡风玻璃贴纸，车轮图案以及格栅，保险杠和前/尾灯设计的车辆图像模板，并且利用获得的粗略模版及其与原始图像的像素差异，构造了残差图像，该残差图像包含了重识别所需的关键细节，并用作突出显示图像中区分区域的伪显着性或伪注意图。另外，受益于自监督的注意力生成，不需要任何额外的特征点、属性等标签。
可选地，上述步骤105，将所述第二查询图像输入到所述第二特征提取网络进行特征提取，得到查询图像特征，可以包括如下步骤：
51、将所述第二查询图像输入到主干网络进行特征提取，得到特征图；
52、对所述特征图进行全局特征提取，得到全局特征，所述全局特征为车辆最显著的全局外观表示；
53、对所述第二查询图像进行局部区域检测，得到感兴趣区域；
54、将所述全局特征划分为S×S个网格，S为大于1的整数；
55、将所述感兴趣区域投影到所述S×S个网格，使用局部平均池化提取每个被投影网格的局部特征向量，得到局部特征，所述局部特征为车辆特定区域的细节特征；所述局部特征在反向传播过程中反过来优化所述全局特征表示；
56、将所述全局特征和所述局部特征进行聚合操作，得到所述查询图像特征。
其中，具体实现中，电子设备可以将第二查询图像输入到主干网络进行特征提取，得到特征图，还可以对特征图进行全局特征提取，得到全局特征，以及对特征图进行局部特征提取，得到局部特征，再将全局特征和局部特征进行聚合操作，得到查询图像特征。
具体地，如图1D所示，整个特征提取网络可以由两个模块组成，一个是全局特征提取模块，用于提取车辆最显著的全局外观表示，另一个是局部特征提取模块，用于提取车辆特定区域的细节特征。其中，局部特征由全局特征引出，在反向传播过程中局部特征反过来会优化全局特征表示，从而，使全局特征和局部区域特征表示相互增强。最后，将提取的全局特征和和局部特征进行特征聚合，得到最终包含车辆全局特征和局部区域特征的车辆特征。
进一步地，如图1E所示，输入图像可以经过局部区域检测，得到车辆目标的特定感兴趣区域ROI(车窗、车牌和车标)，再将局部检测模块生成的ROI投影到全局特征图，设全局特征图的的空间大小为S×S，S为大于1的整数，将输入图像划分为S×S网格，与ROI重叠的每个网格单元都将被标记为与ROI对应的部分，然后使用局部平均池化提取每个ROI投影区域的局部特征向量，得到局部特征。
106、将所述第二底库图像输入到所述第二特征提取网络进行特征提取，得到底库图像特征。
其中，电子设备还可以将第二底库图像输入到第二特征提取网络进行特征提取，得到底库图像特征。其具体描述可以参照步骤105，在此不再赘述。
107、将所述查询图像特征和所述底库图像特征进行匹配，得到匹配结果，展示所述匹配结果。
具体实现中，电子设备可以将查询图像特征与底库图像特征进行匹配，得到多个匹配值，选取排名考前的K个匹配值，将其作为匹配结果，还可以展示该匹配结果，K为正整数。
举例说明下，如图1F所示，电子设备可以将查询图像query和底库图像gallery分别输入风格转换模型，生成风格统一的查询图像和底库图像，从而，使原本和query图像风格不一样的gallery图片变成了和query一样风格的图片；进而，可以将统一风格后的查询图像和底库图像分别输入特征提取网络，得到具有判别力的查询图像特征和底库图像特征；再将查询图像特征分别和底库中图像特征进行匹配，计算特征相似度并排序，返回在底库中相似度最高的topK个车辆图像，不仅可以消除不同图片的风格差异，使得query andgallery间达成更优匹配，整个过程可以显著提高车辆重识别的正确率，特别是对车辆图像风格、车辆角度有较大差异的图像和品牌、型号、颜色相似的图像。
在一个可能地示例中，上述步骤101-步骤102之间，还可以包括如下步骤：
B1、获取目标人脸图像；
B2、对所述目标人脸图像进行图像质量评价，得到人脸图像质量评价值；
B3、在所述人脸图像质量评价值大于预设图像质量评价值时，执行步骤102。
其中，本申请实施例中，预设图像质量评价值可以预先保存在电子设备，其可以由用户自行设置或者***默认。
具体实现中，电子设备可以采用至少一个图像质量评价指标对目标人脸图像进行图像质量评价，得到人脸图像质量评价值，图像质量评价指标可以为以下至少一种：人脸偏差度、人脸完整度、清晰度、特征点分布密度、平均梯度、信息熵、信噪比等等，在此不作限定。其中，人脸偏差度为图像中人脸角度与正脸的人脸角度之间的偏差度，人脸完整度为图像中人脸的面积与完整人脸面积之间的比值。
在一个可能地示例中，上述步骤B2，对所述目标人脸图像进行图像质量评价，得到人脸图像质量评价值，可以包括如下步骤：
B21、获取目标人脸图像的目标人脸偏差度、所述目标人脸图像的目标人脸完整度、所述目标人脸图像的目标特征点分布密度和目标信息熵；
B22、在所述目标人脸偏差度大于预设偏差度且所述目标人脸完整度大于预设完整度时，按照预设的人脸偏差度与第一参考评价值之间的映射关系，确定所述目标人脸偏差度对应的目标第一参考评价值；
B23、按照预设的人脸完整度与第二参考评价值之间的映射关系，确定所述目标人脸完整度对应的目标第二参考评价值；
B24、按照预设的特征点分布密度与权值对之间的映射关系，确定所述目标特征点分布密度对应的目标权值对，所述目标权值对包括目标第一权值和目标第二权值，所述目标第一权值为所述第一参考评价值对应的权值，所述目标第二权值为所述第二参考评价值对应的权值；
B25、依据所述目标第一权值、所述目标第二权值、所述目标第一参考评价值和所述目标第二参考评价值进行加权运算，得到第一参考评价值；
B26、按照预设的特征点分布密度与图像质量评价值之间的映射关系，确定所述目标特征点分布密度对应的第一图像质量评价值；
B27、按照预设的信息熵与图像质量偏差值之间的映射关系，确定所述目标信息熵对应的目标图像质量偏差值；
B28、获取所述目标人脸图像的第一拍摄参数；
B29、按照预设的拍摄参数与优化系数之间的映射关系，确定所述第一拍摄参数对应的目标优化系数；
B30、依据所述目标优化系数、所述目标图像质量偏差值对所述第一图像质量评价值进行调整，得到第二参考评价值；
B31、获取所述目标人脸图像对应的目标环境参数；
B32、按照预设的环境参数与权重系数对之间的映射关系，确定所述目标环境参数对应的目标权重系数对，所述目标权重系数对包括目标第一权重系数和目标第二权重系数，所述目标第一权重系数为所述第一参考评价值对应的权重系数，所述目标第二权重系数为所述第二参考评价值对应的权重系数；
B33、依据所述目标第一权重系数、所述目标第二权重系数、所述第一参考评价值和所述第二参考评价值进行加权运算，得到所述目标人脸图像的人脸图像质量评价值。
其中，本申请实施例中，预设偏差度、预设完整度均可以由用户自行设置或者***默认，两者只有均处于一定范围才可能被人脸识别成功。电子设备中可以预先存储预设的人脸偏差度与第一参考评价值之间的映射关系、预设的人脸完整度与第二参考评价值之间的映射关系、预设的特征点分布密度与权值对之间的映射关系，该权值对可以包括第一权值和第二权值，第一权值与第二权值之和为1，第一权值为第一参考评价值对应的权值，第二权值为第二参考评价值对应的权值。电子设备中还可以预先存储预设的特征点分布密度与图像质量评价值之间的映射关系、预设的信息熵与图像质量偏差值之间的映射关系、预设的拍摄参数与优化系数之间的映射关系以及预设的环境参数与权重系数对之间的映射关系。其中，权重系数对可以包括第一权重系数和第二权重系数，第一权重系数为第一参考评价值对应的权重系数，第二权重系数为第二参考评价值对应的权重系数，第一权重系数与第二权重系数之和为1。
其中，图像质量评价值的取值范围可以为0～1，或者，也可以为0～100。图像质量偏差值可以为正实数，例如，0～1，或者，也可以大于1。优化系数的取值范围可以为-1～1之间，例如，优化系数可以为-0.1～0.1。本申请实施例中，拍摄参数可以为以下至少一种：曝光时长、拍摄模式、感光度ISO、白平衡参数、焦距、焦点、感兴趣区域等等，在此不做限定。环境参数可以为以下至少一种：环境亮度、环境温度、环境湿度、天气、大气压、磁场干扰强度等等，在此不作限定。
具体实现中，电子设备可以获取目标人脸图像的目标人脸偏差度、目标人脸图像的目标人脸完整度、目标人脸图像的目标特征点分布密度和目标信息熵，其中，目标特征点分布密度可以为目标人脸图像的特征点总数与该目标人脸图像的面积之间的比值。
进而，在目标人脸偏差度大于预设偏差度且目标人脸完整度大于预设完整度时，电子设备可以按照预设的人脸偏差度与第一参考评价值之间的映射关系，确定目标人脸偏差度对应的目标第一参考评价值，还可以按照预设的人脸完整度与第二参考评价值之间的映射关系，确定目标人脸完整度对应的目标第二参考评价值，以及按照预设的特征点分布密度与权值对之间的映射关系，确定目标特征点分布密度对应的目标权值对，目标权值对包括目标第一权值和目标第二权值，目标第一权值为第一参考评价值对应的权值，目标第二权值为第二参考评价值对应的权值，接着，可以依据目标第一权值、目标第二权值、目标第一参考评价值和目标第二参考评价值进行加权运算，得到第一参考评价值，具体计算公式如下：
第一参考评价值＝目标第一参考评价值*目标第一权值+目标第二参考评价值*目标第二权值
进而，可以从人脸角度以及人脸完整度方面，整体评价图像的质量。
进一步地，电子设备可以按照预设的特征点分布密度与图像质量评价值之间的映射关系，确定目标特征点分布密度对应的第一图像质量评价值，以及按照预设的信息熵与图像质量偏差值之间的映射关系，确定目标信息熵对应的目标图像质量偏差值。电子设备可以按照预设的信息熵与图像质量偏差值之间的映射关系，确定目标信息熵对应的目标图像质量偏差值，由于在生成图像的时候，由于外部(天气、光线、角度、抖动等)或者内部(***、GPU)原因，产生一些噪声，这些噪声对图像质量会带来一些影响，因此，可以对图像质量进行一定程度调节，以保证对图像质量进行客观评价。
进一步地，电子设备还可以获取目标人脸图像的第一拍摄参数，按照预设的拍摄参数与优化系数之间的映射关系，确定第一拍摄参数对应的目标优化系数，拍摄的参数设置也可能对图像质量评价带来一定的影响，因此，需要确定拍摄参数对图像质量的影响成分，最后，依据目标优化系数、目标图像质量偏差值对第一图像质量评价值进行调整，得到第二参考评价值，其中，第二参考评价值可以按照如下公式得到：
在图像质量评价值为百分制的情况下，具体计算公式如下：
第二参考评价值＝(第一图像质量评价值+目标图像质量偏差值)*(1+目标优化系数)
在图像质量评价值为百分比的情况下，具体计算公式如下：
第二参考评价值＝第一图像质量评价值*(1+目标图像质量偏差值)*(1+目标优化系数)
进一步地，电子设备可以获取目标人脸图像对应的目标环境参数，且按照预设的环境参数与权重系数对之间的映射关系，确定目标环境参数对应的目标权重系数对，目标权重系数对包括目标第一权重系数和目标第二权重系数，目标第一权重系数为第一参考评价值对应的权重系数，目标第二权重系数为第二参考评价值对应的权重系数，进而，可以依据目标第一权重系数、目标第二权重系数、第一参考评价值和第二参考评价值进行加权运算，得到目标人脸图像的人脸图像质量评价值，具体计算公式如下：
目标人脸图像的人脸图像质量评价值＝第一参考评价值*目标第一权重系数+第二参考评价值＊目标第二权重系数
如此，可以结合内部、外部环境因素、拍摄设置因素以及人脸角度以及完整度等影响，对图像质量进行客观评价，有助于提升人脸图像质量评价精准度。
可以看出，本申请实施例中所描述的车辆重识别方法，应用于电子设备，获取第一查询图像、第一底库图像和第一车辆训练数据，分别将第一查询图像和第一底库图像输入到预设风格转换模型，得到第二查询图像和第二底库图像，预设风格转换模型用于将输入数据转化为风格统一的输出数据，将第一车辆训练数据输入到预设风格转换模型，得到第二车辆训练数据，通过第一车辆训练数据和第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络，将第二查询图像输入到第二特征提取网络进行特征提取，得到查询图像特征，将第二底库图像输入到第二特征提取网络进行特征提取，得到底库图像特征，将查询图像特征和底库图像特征进行匹配，得到匹配结果，展示匹配结果，可以消除不同图片的风格差异，使得query and gallery间达成更优匹配，还能够提取特定于车辆的具有判别力特征，以及整个过程可以显著提高车辆重识别的正确率，特别是对车辆图像风格、车辆角度有较大差异的图像和品牌、型号、颜色等相似的图像，有助于提升车辆重识别准确率。
与上述图1B所示的实施例一致地，请参阅图2，图2是本申请实施例提供的一种车辆重识别方法的流程示意图，应用于如图1A所示的电子设备，本车辆重识别方法包括：
201、获取初始训练数据以及对应的标签数据，所述初始训练数据来自于多个摄像头。
202、获取生成式对抗网络的风格转换网络，所述风格转换网络的生成式对抗网络的生成器预先设置有风格注意力模块，所述风格注意力模块用于实现将浅层图像特征获取与风格相关的注意力特征。
203、将所述初始训练数据以及对应的标签数据用于训练所述风格转换网络，得到预设风格转换模型。
204、获取第一查询图像、第一底库图像和第一车辆训练数据。
205、分别将所述第一查询图像和所述第一底库图像输入到所述预设风格转换模型，得到第二查询图像和第二底库图像，所述预设风格转换模型用于将输入数据转化为风格统一的输出数据。
206、将所述第一车辆训练数据输入到所述预设风格转换模型，得到第二车辆训练数据。
207、通过所述第一车辆训练数据和所述第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络。
208、将所述第二查询图像输入到所述第二特征提取网络进行特征提取，得到查询图像特征。
209、将所述第二底库图像输入到所述第二特征提取网络进行特征提取，得到底库图像特征。
210、将所述查询图像特征和所述底库图像特征进行匹配，得到匹配结果，展示所述匹配结果。
其中，上述步骤201-步骤210的具体描述可以参照上述图1B所描述的车辆重识别方法的相应步骤，在此不再赘述。
可以看出，本申请实施例中所描述的车辆重识别装置，应用于电子设备，可以消除不同图片的风格差异，使得query and gallery间达成更优匹配，还能够提取特定于车辆的具有判别力特征，以及整个过程可以显著提高车辆重识别的正确率，特别是对车辆图像风格、车辆角度有较大差异的图像和品牌、型号、颜色等相似的图像，有助于提升车辆重识别准确率。
与上述实施例一致地，请参阅图3，图3是本申请实施例提供的一种电子设备的结构示意图，如图所示，该包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，本申请实施例中，上述程序包括用于执行以下步骤的指令：
获取第一查询图像、第一底库图像和第一车辆训练数据；
分别将所述第一查询图像和所述第一底库图像输入到预设风格转换模型，得到第二查询图像和第二底库图像，所述预设风格转换模型用于将输入数据转化为风格统一的输出数据；
将所述第一车辆训练数据输入到所述预设风格转换模型，得到第二车辆训练数据；
通过所述第一车辆训练数据和所述第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络；
将所述第二查询图像输入到所述第二特征提取网络进行特征提取，得到查询图像特征；
将所述第二底库图像输入到所述第二特征提取网络进行特征提取，得到底库图像特征；
将所述查询图像特征和所述底库图像特征进行匹配，得到匹配结果，展示所述匹配结果。
可以看出，本申请实施例中所描述的电子设备，获取第一查询图像、第一底库图像和第一车辆训练数据，分别将第一查询图像和第一底库图像输入到预设风格转换模型，得到第二查询图像和第二底库图像，预设风格转换模型用于将输入数据转化为风格统一的输出数据，将第一车辆训练数据输入到预设风格转换模型，得到第二车辆训练数据，通过第一车辆训练数据和第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络，将第二查询图像输入到第二特征提取网络进行特征提取，得到查询图像特征，将第二底库图像输入到第二特征提取网络进行特征提取，得到底库图像特征，将查询图像特征和底库图像特征进行匹配，得到匹配结果，展示匹配结果，可以消除不同图片的风格差异，使得queryand gallery间达成更优匹配，还能够提取特定于车辆的具有判别力特征，以及整个过程可以显著提高车辆重识别的正确率，特别是对车辆图像风格、车辆角度有较大差异的图像和品牌、型号、颜色等相似的图像，有助于提升车辆重识别准确率。
可选地，所述第一特征提取网络包括可变自动编码器模块和深度特征提取模块，在所述通过所述第一车辆训练数据和所述第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络方面，上述程序包括用于执行以下步骤的指令：
通过所述可变自动编码器模块对训练数据i进重建处理，得到重建图像，所述训练数据i为所述第一车辆训练数据或者所述第二车辆训练数据训练中的任一训练数据；
通过所述训练数据i和所述重建图像确定残差图像；
根据所述重建图像和所述残差图像确定组合图像；
通过所述深度特征提取模块对所述组合图像进行特征提取，得到训练特征；
通过所述训练特征和预设损失函数调整所述第一特征提取网络的模型参数，得到所述第二特征提取网络。
可选地，在所述根据所述重建图像和所述残差图像确定组合图像方面，上述程序包括用于执行以下步骤的指令：
确定所述重建图像的第一特征点分布密度；
确定所述训练数据i的第二特征点分布密度；
确定所述第一特征点分布密度和所述第二特征点分布密度之间的比值；
将所述重建图像划分为多个区域，确定所述多个区域中每一特征点分布密度，得到多个特征点分布密度；
依据所述多个特征点分布密度确定目标均方差；
按照预设的均方差与微调系数之间的映射关系，确定所述目标均方差对应的目标微调系数；
依据所述目标微调系数对所述比值进行微调，得到凸参数；
根据所述凸参数所述重建图像和所述残差图像确定所述组合图像。
可选地，在所述将所述第二查询图像输入到所述第二特征提取网络进行特征提取，得到查询图像特征方面，上述程序包括用于执行以下步骤的指令：
将所述第二查询图像输入到主干网络进行特征提取，得到特征图；
对所述特征图进行全局特征提取，得到全局特征，所述全局特征为车辆最显著的全局外观表示；
对所述第二查询图像进行局部区域检测，得到感兴趣区域；
将所述全局特征划分为S×S个网格，S为大于1的整数；
将所述感兴趣区域投影到所述S×S个网格，使用局部平均池化提取每个被投影网格的局部特征向量，得到局部特征，所述局部特征为车辆特定区域的细节特征；所述局部特征在反向传播过程中反过来优化所述全局特征表示；
将所述全局特征和所述局部特征进行聚合操作，得到所述查询图像特征。
可选地，上述程序还包括用于执行以下步骤的指令：
获取初始训练数据以及对应的标签数据，所述初始训练数据来自于多个摄像头；
获取生成式对抗网络的风格转换网络，所述风格转换网络的生成式对抗网络的生成器预先设置有风格注意力模块，所述风格注意力模块用于实现将浅层图像特征获取与风格相关的注意力特征；
将所述初始训练数据以及对应的标签数据用于训练所述风格转换网络，得到所述预设风格转换模型。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图4是本申请实施例中所涉及的车辆重识别装置400的功能单元组成框图，该装置400，应用于电子设备，所述装置400包括：获取单元401、转换单元402、训练单元403、提取单元404和展示单元405，其中，
所述获取单元401，用于获取第一查询图像、第一底库图像和第一车辆训练数据；
所述转换单元402，用于分别将所述第一查询图像和所述第一底库图像输入到预设风格转换模型，得到第二查询图像和第二底库图像，所述预设风格转换模型用于将输入数据转化为风格统一的输出数据；
所述转换单元402，还用于将所述第一车辆训练数据输入到所述预设风格转换模型，得到第二车辆训练数据；
所述训练单元403，用于通过所述第一车辆训练数据和所述第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络；
所述提取单元404，用于将所述第二查询图像输入到所述第二特征提取网络进行特征提取，得到查询图像特征；
所述提取单元404，还用于将所述第二底库图像输入到所述第二特征提取网络进行特征提取，得到底库图像特征；
所述展示单元405，用于将所述查询图像特征和所述底库图像特征进行匹配，得到匹配结果，展示所述匹配结果。
可以看出，本申请实施例中所描述的车辆重识别装置，应用于电子设备，获取第一查询图像、第一底库图像和第一车辆训练数据，分别将第一查询图像和第一底库图像输入到预设风格转换模型，得到第二查询图像和第二底库图像，预设风格转换模型用于将输入数据转化为风格统一的输出数据，将第一车辆训练数据输入到预设风格转换模型，得到第二车辆训练数据，通过第一车辆训练数据和第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络，将第二查询图像输入到第二特征提取网络进行特征提取，得到查询图像特征，将第二底库图像输入到第二特征提取网络进行特征提取，得到底库图像特征，将查询图像特征和底库图像特征进行匹配，得到匹配结果，展示匹配结果，可以消除不同图片的风格差异，使得query and gallery间达成更优匹配，还能够提取特定于车辆的具有判别力特征，以及整个过程可以显著提高车辆重识别的正确率，特别是对车辆图像风格、车辆角度有较大差异的图像和品牌、型号、颜色等相似的图像，有助于提升车辆重识别准确率。
可选地，所述第一特征提取网络包括可变自动编码器模块和深度特征提取模块，在所述通过所述第一车辆训练数据和所述第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络方面，所述训练单元403具体用于：
通过所述可变自动编码器模块对训练数据i进重建处理，得到重建图像，所述训练数据i为所述第一车辆训练数据或者所述第二车辆训练数据训练中的任一训练数据；
通过所述训练数据i和所述重建图像确定残差图像；
根据所述重建图像和所述残差图像确定组合图像；
通过所述深度特征提取模块对所述组合图像进行特征提取，得到训练特征；
通过所述训练特征和预设损失函数调整所述第一特征提取网络的模型参数，得到所述第二特征提取网络。
可选地，在所述根据所述重建图像和所述残差图像确定组合图像方面，所述训练单元403具体用于：
确定所述重建图像的第一特征点分布密度；
确定所述训练数据i的第二特征点分布密度；
确定所述第一特征点分布密度和所述第二特征点分布密度之间的比值；
将所述重建图像划分为多个区域，确定所述多个区域中每一特征点分布密度，得到多个特征点分布密度；
依据所述多个特征点分布密度确定目标均方差；
按照预设的均方差与微调系数之间的映射关系，确定所述目标均方差对应的目标微调系数；
依据所述目标微调系数对所述比值进行微调，得到凸参数；
根据所述凸参数所述重建图像和所述残差图像确定所述组合图像。
可选地，在所述将所述第二查询图像输入到所述第二特征提取网络进行特征提取，得到查询图像特征方面，所述提取单元404具体用于：
将所述第二查询图像输入到主干网络进行特征提取，得到特征图；
对所述特征图进行全局特征提取，得到全局特征，所述全局特征为车辆最显著的全局外观表示；
对所述第二查询图像进行局部区域检测，得到感兴趣区域；
将所述全局特征划分为S×S个网格，S为大于1的整数；
将所述感兴趣区域投影到所述S×S个网格，使用局部平均池化提取每个被投影网格的局部特征向量，得到局部特征，所述局部特征为车辆特定区域的细节特征；所述局部特征在反向传播过程中反过来优化所述全局特征表示；
将所述全局特征和所述局部特征进行聚合操作，得到所述查询图像特征。
可选地，所述装置400还具体用于：
获取初始训练数据以及对应的标签数据，所述初始训练数据来自于多个摄像头；
获取生成式对抗网络的风格转换网络，所述风格转换网络的生成式对抗网络的生成器预先设置有风格注意力模块，所述风格注意力模块用于实现将浅层图像特征获取与风格相关的注意力特征；
将所述初始训练数据以及对应的标签数据用于训练所述风格转换网络，得到所述预设风格转换模型。
可以理解的是，本实施例的车辆重识别装置的各程序模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种车辆重识别方法，其特征在于，应用于电子设备，所述方法包括：
获取第一查询图像、第一底库图像和第一车辆训练数据；
分别将所述第一查询图像和所述第一底库图像输入到预设风格转换模型，得到第二查询图像和第二底库图像，所述预设风格转换模型用于将输入数据转化为风格统一的输出数据；
将所述第一车辆训练数据输入到所述预设风格转换模型，得到第二车辆训练数据；
通过所述第一车辆训练数据和所述第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络；
将所述第二查询图像输入到所述第二特征提取网络进行特征提取，得到查询图像特征；
将所述第二底库图像输入到所述第二特征提取网络进行特征提取，得到底库图像特征；
将所述查询图像特征和所述底库图像特征进行匹配，得到匹配结果，展示所述匹配结果。
2.根据权利要求1所述的方法，其特征在于，所述第一特征提取网络包括可变自动编码器模块和深度特征提取模块，所述通过所述第一车辆训练数据和所述第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络，包括：
通过所述可变自动编码器模块对训练数据i进重建处理，得到重建图像，所述训练数据i为所述第一车辆训练数据或者所述第二车辆训练数据训练中的任一训练数据；
通过所述训练数据i和所述重建图像确定残差图像；
根据所述重建图像和所述残差图像确定组合图像；
通过所述深度特征提取模块对所述组合图像进行特征提取，得到训练特征；
通过所述训练特征和预设损失函数调整所述第一特征提取网络的模型参数，得到所述第二特征提取网络。
3.根据权利要求2所述的方法，其特征在于，所述根据所述重建图像和所述残差图像确定组合图像，包括：
确定所述重建图像的第一特征点分布密度；
确定所述训练数据i的第二特征点分布密度；
确定所述第一特征点分布密度和所述第二特征点分布密度之间的比值；
将所述重建图像划分为多个区域，确定所述多个区域中每一特征点分布密度，得到多个特征点分布密度；
依据所述多个特征点分布密度确定目标均方差；
按照预设的均方差与微调系数之间的映射关系，确定所述目标均方差对应的目标微调系数；
依据所述目标微调系数对所述比值进行微调，得到凸参数；
根据所述凸参数所述重建图像和所述残差图像确定所述组合图像。
4.根据权利要求1所述的方法，其特征在于，所述将所述第二查询图像输入到所述第二特征提取网络进行特征提取，得到查询图像特征，包括：
将所述第二查询图像输入到主干网络进行特征提取，得到特征图；
对所述特征图进行全局特征提取，得到全局特征，所述全局特征为车辆最显著的全局外观表示；
对所述第二查询图像进行局部区域检测，得到感兴趣区域；
将所述全局特征划分为S×S个网格，S为大于1的整数；
将所述感兴趣区域投影到所述S×S个网格，使用局部平均池化提取每个被投影网格的局部特征向量，得到局部特征，所述局部特征为车辆特定区域的细节特征；所述局部特征在反向传播过程中反过来优化所述全局特征表示；
将所述全局特征和所述局部特征进行聚合操作，得到所述查询图像特征。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
获取初始训练数据以及对应的标签数据，所述初始训练数据来自于多个摄像头；
获取生成式对抗网络的风格转换网络，所述风格转换网络的生成式对抗网络的生成器预先设置有风格注意力模块，所述风格注意力模块用于实现将浅层图像特征获取与风格相关的注意力特征；
将所述初始训练数据以及对应的标签数据用于训练所述风格转换网络，得到所述预设风格转换模型。
6.一种车辆重识别装置，其特征在于，应用于电子设备，所述装置包括：获取单元、转换单元、训练单元、提取单元和展示单元，其中，
所述获取单元，用于获取第一查询图像、第一底库图像和第一车辆训练数据；
所述转换单元，用于分别将所述第一查询图像和所述第一底库图像输入到预设风格转换模型，得到第二查询图像和第二底库图像，所述预设风格转换模型用于将输入数据转化为风格统一的输出数据；
所述转换单元，还用于将所述第一车辆训练数据输入到所述预设风格转换模型，得到第二车辆训练数据；
所述训练单元，用于通过所述第一车辆训练数据和所述第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络；
所述提取单元，用于将所述第二查询图像输入到所述第二特征提取网络进行特征提取，得到查询图像特征；
所述提取单元，还用于将所述第二底库图像输入到所述第二特征提取网络进行特征提取，得到底库图像特征；
所述展示单元，用于将所述查询图像特征和所述底库图像特征进行匹配，得到匹配结果，展示所述匹配结果。
7.根据权利要求6所述的装置，其特征在于，所述第一特征提取网络包括可变自动编码器模块和深度特征提取模块，在所述通过所述第一车辆训练数据和所述第二车辆训练数据训练第一特征提取网络，得到第二特征提取网络方面，所述训练单元具体用于：
通过所述可变自动编码器模块对训练数据i进重建处理，得到重建图像，所述训练数据i为所述第一车辆训练数据或者所述第二车辆训练数据训练中的任一训练数据；
通过所述训练数据i和所述重建图像确定残差图像；
根据所述重建图像和所述残差图像确定组合图像；
通过所述深度特征提取模块对所述组合图像进行特征提取，得到训练特征；
通过所述训练特征和预设损失函数调整所述第一特征提取网络的模型参数，得到所述第二特征提取网络。
8.根据权利要求7所述的装置，其特征在于，在所述根据所述重建图像和所述残差图像确定组合图像方面，所述训练单元具体用于：
确定所述重建图像的第一特征点分布密度；
确定所述训练数据i的第二特征点分布密度；
确定所述第一特征点分布密度和所述第二特征点分布密度之间的比值；
将所述重建图像划分为多个区域，确定所述多个区域中每一特征点分布密度，得到多个特征点分布密度；
依据所述多个特征点分布密度确定目标均方差；
按照预设的均方差与微调系数之间的映射关系，确定所述目标均方差对应的目标微调系数；
依据所述目标微调系数对所述比值进行微调，得到凸参数；
根据所述凸参数所述重建图像和所述残差图像确定所述组合图像。
9.一种电子设备，其特征在于，包括处理器、存储器，所述存储器用于存储一个或多个程序，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
CN202110063645.XA 2021-01-18 2021-01-18 车辆重识别方法、电子设备及相关产品 Pending CN112766281A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110063645.XA CN112766281A (zh) 2021-01-18 2021-01-18 车辆重识别方法、电子设备及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110063645.XA CN112766281A (zh) 2021-01-18 2021-01-18 车辆重识别方法、电子设备及相关产品

Publications (1)

Publication Number Publication Date
CN112766281A true CN112766281A (zh) 2021-05-07

Family

ID=75702812

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110063645.XA Pending CN112766281A (zh) 2021-01-18 2021-01-18 车辆重识别方法、电子设备及相关产品

Country Status (1)

Country Link
CN (1) CN112766281A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469102A (zh) * 2021-07-13 2021-10-01 浙江大华技术股份有限公司 目标对象的重识别方法及装置、存储介质、电子装置
CN113989597A (zh) * 2021-12-28 2022-01-28 中科视语(北京)科技有限公司 车辆重识别方法、装置、电子设备及存储介质
CN114022869A (zh) * 2022-01-05 2022-02-08 中科视语(北京)科技有限公司 一种基于级联网络的车辆重识别方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469102A (zh) * 2021-07-13 2021-10-01 浙江大华技术股份有限公司 目标对象的重识别方法及装置、存储介质、电子装置
CN113989597A (zh) * 2021-12-28 2022-01-28 中科视语(北京)科技有限公司 车辆重识别方法、装置、电子设备及存储介质
CN113989597B (zh) * 2021-12-28 2022-04-05 中科视语(北京)科技有限公司 车辆重识别方法、装置、电子设备及存储介质
CN114022869A (zh) * 2022-01-05 2022-02-08 中科视语(北京)科技有限公司 一种基于级联网络的车辆重识别方法及装置

Similar Documents

Publication Publication Date Title
CN112766281A (zh) 车辆重识别方法、电子设备及相关产品
Jegham et al. Vision-based human action recognition: An overview and real world challenges
CN107358241B (zh) 图像处理方法、装置、存储介质及电子设备
CN112699808B (zh) 密集目标检测方法、电子设备及相关产品
WO2019177732A1 (en) Real-to-synthetic image domain transfer
CN110956060A (zh) 动作识别、驾驶动作分析方法和装置及电子设备
CN103020992B (zh) 一种基于运动颜色关联的视频图像显著性检测方法
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
CN112767443A (zh) 目标跟踪方法、电子设备及相关产品
CN112765381A (zh) 图像检索方法、电子设备及相关产品
WO2017043332A1 (ja) 画像処理装置および方法
CN112818732B (zh) 一种图像处理方法、装置、计算机设备和存储介质
US10769909B1 (en) Using sensor data to detect events
US11948280B2 (en) System and method for multi-frame contextual attention for multi-frame image and video processing using deep neural networks
US10893594B2 (en) Method of identifying light sources and a corresponding system and product
US20240169687A1 (en) Model training method, scene recognition method, and related device
US10791607B1 (en) Configuring and controlling light emitters
CN113808277B (zh) 一种图像处理方法及相关装置
US9558406B2 (en) Image processing apparatus including an object setting section, image processing method, and program using the same
CN112215861A (zh) 一种足球检测方法、装置、计算机可读存储介质及机器人
CN112489036A (zh) 图像评价方法、图像评价装置、存储介质与电子设备
CN110321801B (zh) 一种基于自编码网络的换衣行人重识别方法及***
CN102013101A (zh) 一种经过模糊后处理的置换篡改图像盲检测方法
CN112861745A (zh) 智能家居及其控制方法、模组、计算机可读介质
CN108668061A (zh) 智能照相机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination