CN108596277A - 一种车辆身份识别方法、装置和存储介质 - Google Patents

Abstract

本发明实施例公开了一种车辆身份识别方法、装置和存储介质；本发明实施例在需要对待识别车辆图像进行识别时，可以获取至少一张参考车辆图像，然后，计算该待识别车辆图像和参考车辆图像的相似度，得到全局相似度；以及分别从该待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像，并根据预设孪生神经网络模型计算该待识别局部图像和参考局部图像的相似度，得到局部相似度，再然后，获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息；该方案可以大大提高识别的有效性和准确性。

Description

一种车辆身份识别方法、装置和存储介质

技术领域

本发明涉及通信技术领域，具体涉及一种车辆身份识别方法、装置和存储介质。

背景技术

近年来，随着经济技术的发展，车辆的数量也发生了大幅增长，与此同时，与车辆相关的各类违规违法案件也逐年增多，基于车辆的实名登记特性，准确地对车辆进行身份识别，对于侦察案件，保障社会治安有着积极的意义。

在现有技术中，一般都是通过对车牌信息进行识别来确定车辆的身份，比如，具体可以获取车辆图像，从车辆图像中提取车牌信息并识别该车牌信息，然后基于识别结果来确定车辆的身份，等等。但是，在对现有技术的研究和实践过程中，本发明的发明人发现，在一些场景下，车牌信息也可能存在造假、缺失、模糊、或难以识别的情况，比如，现有多数嫌疑车辆，往往会采用套牌的方式来隐藏车辆的真实身份，等等，因此，现有方案识别的有效性和准确性均不太理想。

发明内容

本发明实施例提供一种车辆身份识别方法、装置和存储介质，可以提高识别的有效性和准确性。

本发明实施例提供一种车辆身份识别方法，包括：

获取待识别车辆图像、以及至少一张参考车辆图像；

计算所述待识别车辆图像和参考车辆图像的相似度，得到全局相似度；

分别从所述待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像；

根据预设孪生神经网络模型计算所述待识别局部图像和参考局部图像的相似度，得到局部相似度；

获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息。

相应的，本发明实施例还提供一种车辆身份识别装置，包括：

获取单元，用于获取待识别车辆图像、以及至少一张参考车辆图像；

全局计算单元，用于计算所述待识别车辆图像和参考车辆图像的相似度，得到全局相似度；

提取单元，用于分别从所述待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像；

局部计算单元，用于根据预设孪生神经网络模型计算所述待识别局部图像和参考局部图像的相似度，得到局部相似度；

识别单元，用于获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息。

可选的，在一些实施例中，所述识别单元可以包括运算子单元和确定子单元，如下：

所述运算子单元，可以用于对所述全局相似度和对应的局部相似度进行加权运算，得到综合相似度；

所述确定子单元，可以用于获取综合相似度满足预设第二条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息。

可选的，在一些实施例中，所述车辆身份识别装置还可以包括设置单元，如下：

所述设置单元，可以用于获取每一参考车辆图像所对应的参考车辆真实的身份信息，所述身份信息包括车牌信息和车主信息，建立每一参考车辆图像和其对应的身份信息的映射关系，并保存所述映射关系；

则此时，所述确定子单元，具体可以用于将综合相似度满足预设第二条件的参考车辆图像作为目标车辆图像，根据所述映射关系获取目标车辆图像对应的身份信息，作为待识别车辆的身份信息。

可选的，在一些实施例中，所述提取单元，具体可以用于获取预设标志物信息；根据所述预设标志物信息确定标志物在所述待识别车辆图像的第一位置信息，根据所述第一位置信息从所述待识别车辆图像中截取预设标志物所在区域的图像块，得到待识别局部图像；根据所述预设标志物信息确定标志物在所述参考车辆图像的第二位置信息，根据所述第二位置信息从所述参考车辆图像中截取预设标志物所在区域的图像块，得到参考局部图像。

可选的，在一些实施例中，所述获取单元，具体可以用于获取待识别车辆图像，以及获取候选集，所述候选集包括多张参考车辆图像；将候选集中的参考车辆图像与待识别车辆图像进行匹配；对匹配度小于设定值的参考车辆图像进行过滤，得到过滤后候选集；从所述过滤后候选集中获取至少一张参考车辆图像。

可选的，在一些实施例中，所述车辆身份识别装置还可以包括采集单元、组合单元、合并单元和训练单元，如下：

所述采集单元，可以用于采集多张车辆样本图像，所述车辆样本图像具有真实的身份信息；

所述组合单元，可以用于对所述多张车辆样本图像进行两两组合，以建立样本对；

所述合并单元，可以用于将每个样本对合并为一张多通道图像后，添加至训练样本集中；

所述训练单元，可以用于根据训练样本集对预设初始孪生模型进行训练，得到孪生神经网络模型。

可选的，在一些实施例中，所述样本对包括正样本对和负样本对，所述组合单元，具体可以用于从所述多张车辆样本图像中选择属于同一车辆的车辆样本图像，将所述属于同一车辆的车辆样本图像进行两两组合，以建立正样本对；以及从所述多张车辆样本图像中选择不属于同一车辆的车辆样本图像，将所述不属于同一车辆的车辆样本图像进行两两组合，以建立负样本对。

可选的，在一些实施例中，所述合并单元，具体可以用于确定每个样本对中的车辆样本图像的颜色通道，将所述颜色通道进行相加，得到每个样本对对应的一张多通道图像，将得到的多通道图像添加至训练样本集中。

可选的，在一些实施例中，所述训练单元可以包括训练子单元和收敛子单元，如下：

所述训练子单元，可以用于根据所述训练样本集分别对预设初始孪生模型的上半分支网络和下半分支网络中进行训练，得到所述训练样本集中每张多通道图像对应的样本对的相似度预测值；

所述收敛子单元，可以用于获取每个样本对的相似度真实值，对所述相似度真实值和相似度预测值进行收敛，得到孪生神经网络模型。

可选的，在一些实施例中，所述训练子单元，具体可以用于从所述训练样本集中选择一张多通道图像，作为当前训练样本；将当前训练样本分别导入预设初始孪生模型的上半分支网络和下半分支网络中进行训练，得到上半分支网络输出向量和下半分支网络输出向量；对上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算，得到当前训练样本对应的样本对的相似度预测值；返回执行从所述训练样本集中选择一张多通道图像，作为当前训练样本的步骤，直至所述训练样本集中的多通道图像均训练完毕。

此外，本发明实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种车辆身份识别方法中的步骤。

本发明实施例在需要对待识别车辆图像进行识别时，可以获取至少一张参考车辆图像，然后，一方面计算该待识别车辆图像和参考车辆图像的相似度，得到全局相似度；另一方面，分别从该待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像，并根据预设孪生神经网络模型计算该待识别局部图像和参考局部图像的相似度，得到局部相似度，再然后，获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息；由于该方案可以通过计算全局相似度和局部相似度来自动匹配出与待识别车辆最相似的具有真实身份信息的车辆，进而识别出该待识别车辆的身份，因此，相对于现有只能通过车牌信息来进行身份识别的方案而言，可以避免由于车牌信息造假、缺失或模糊等情况所导致的识别不出或识别错误的情况的发生，可以降低对待识别车辆车牌信息的依赖性，大大提高识别的有效性和准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a是本发明实施例提供的车辆身份识别方法的场景示意图；

图1b是本发明实施例提供的车辆身份识别方法的流程图；

图1c是本发明实施例提供的孪生神经网络模型的结构示意图；

图2a是本发明实施例提供的CNN的训练流程架构图；

图2b是本发明实施例提供的车辆识别方法中训练样本集的建立示意图；

图2c是本发明实施例提供的孪生神经网络模型的训练流程架构图；

图2d是本发明实施例提供的车辆身份识别方法的另一流程示意图；

图2e是本发明实施例提供的车辆身份识别方法中车辆局部特征提取示意图；

图2f是本发明实施例提供的孪生神经网络模型的识别流程架构图；

图3a是本发明实施例提供的车辆身份识别装置的结构示意图；

图3b是本发明实施例提供的车辆身份识别装置的另一结构示意图；

图4是本发明实施例提供的网络设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种车辆身份识别方法、装置和存储介质。

本车辆身份识别装置具体可以集成在网络设备，比如终端或服务器等设备中。

例如，参见图1a，当用户在需要对待识别车辆的身份进行识别时，可以将该待识别车辆的图像(即待识别车辆图像)提供给网络设备，与此同时，网络设备可以获取至少一张参考车辆图像，然后，计算该待识别车辆图像和参考车辆图像的相似度，得到全局相似度，比如可以采用卷积神经网络模型计算该待识别车辆图像和参考车辆图像的相似度，得到全局相似度等；以及分别从该待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像，并根据预设孪生神经网络模型计算该待识别局部图像和参考局部图像的相似度，得到局部相似度，再然后，获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息，进而达到识别车辆身份的目的。

以下分别进行详细说明。需说明的是，以下实施例的顺序不作为对实施例优选顺序的限定。

实施例一、

在本实施例中，将从车辆身份识别装置的角度进行描述，该车辆识别装置具体可以集成在网络设备，比如终端或服务器等设备中。

本发明实施例提供一种车辆身份识别方法，包括：获取待识别车辆图像、以及至少一张参考车辆图像，计算该待识别车辆图像和参考车辆图像的相似度，得到全局相似度，以及分别从该待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像，根据预设孪生神经网络模型计算该待识别局部图像和参考局部图像的相似度，得到局部相似度，获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息。

如图1b所示，该车辆身份识别方法的具体流程可以如下：

101、获取待识别车辆图像、以及至少一张参考车辆图像。

在本发明实施例中，该参考车辆主要指已确认车主真实身份的车辆，比如车牌信息显示正常的车辆，而该待识别车辆主要指需要进行身份识别的车辆，譬如是未确认车主身份的车辆，如无车牌信息或车牌信息显示不正常的车辆等。

该参考车辆图像指的是包含参考车辆的图像，而待识别车辆图像指的是包含待识别车辆的图像。该参考车辆图像可以是包含该参考车辆整体的图像，也可以是包含该参考车辆预设局部区域的图像，同理，该待识别车辆图像可以是包含该待识别车辆整体的图像，也可以是包含该待识别车辆预设局部区域的图像；该局部区域可以是车上某个指定物体所在的区域，该指定物体需要具有鲜明个体特征，比如黏贴在车窗玻璃上的年检标志、车内的挂件和装饰等，在本发明实施例中，将该指定物体称为“预设标志物”，主要指年检标志。所谓年检标志，指的是车辆在规定期限内顺利通过相关部门检测时所取得的合格证明，该年检标志上注明了下次年检时间。通常，车辆的首次年检时间取决于牌照领取时间，之后需定期检查，不同车型检查周期不同，比如营运载客汽车5年以内每年检验1次，超过5年的，每6个月检验1次。载货汽车和大型、中型非营运载客汽车10年以内每年检验1次，超过10年的，每6个月检验1次，等等，不同车辆年检标志上的年检时间通常不同。

其中，获取待识别车辆图像、以及至少一张参考车辆图像的方式可以有多种，例如，具体可以接收用户触发的车辆身份识别请求，其中，该车辆身份识别请求中携带待识别车辆图像，然后，根据该车辆身份识别请求获取至少一张参考车辆图像。

其中，具体可以通过对参考车辆进行拍摄、从监控录像中截取或从其他图库进行提取等途径来获取该参考车辆图像。

可选的，为了减少后续的计算量，提高处理效率，在获取参考车辆图像时，还可以对这些参考车辆图像进行初步筛选，以过滤掉与待识别车辆明显不一致的图像，即步骤“获取至少一张参考车辆图像”可以包括：

获取候选集，该候选集包括多张参考车辆图像，将候选集中的参考车辆图像与待识别车辆图像进行匹配，对匹配度小于设定值的参考车辆图像进行过滤，得到过滤后候选集，从该过滤后候选集中获取至少一张参考车辆图像。

其中，匹配方式可以根据实际应用的需求进行设置，比如，可以从车辆内的挂饰、内饰、车辆正面、和/或车辆背面等信息进行比对，并将得到的相似度作为匹配度。其中，车辆内的挂饰和内饰等信息可以通过检测手段得到，而车辆的正面和车辆背面可以通过检测车辆关键点来得到，具体的检测方式可以有多种，在此不作赘述。

102、计算该待识别车辆图像和参考车辆图像的相似度，得到全局相似度。

其中，计算该待识别车辆图像和参考车辆图像相似度的方式可以有多种，例如，可以采用普通的卷积神经网络(CNN，Convolutional Neural Network)来计算，即步骤“计算该待识别车辆图像和参考车辆图像的相似度，得到全局相似度”可以包括：

采用预设CNN计算该待识别车辆图像和参考车辆图像相似度，得到全局相似度。

可选的，也可以采用另一个孪生神经网络模型来计算该全局相似度。即步骤“计算该待识别车辆图像和参考车辆图像的相似度，得到全局相似度”可以包括：

采用预设孪生神经网络模型计算该待识别车辆图像和参考车辆图像相似度，得到全局相似度。

其中，该另一个孪生神经网络模型的训练方法与本发明实施例所提供的用于计算局部相似度的孪生神经网络模型类似，比如，可以采集大量的车辆整体图像作为车辆样本图像，然后对该多张车辆样本图像进行两两组合，以建立样本对，比如将属于同一车辆的车辆样本图像作为正样本对，将属于不同车辆的车辆样本图像作为负样本对，再然后，利用该正样本对和负样本对预设初始孪生模型进行训练，得到用于计算全局相似度的孪生神经网络模型，之后，便可以将待识别车辆图像和参考车辆图像作为一“图像对”(即图像组合，与样本对类似)，将该“图像对”输入至该用于计算全局相似度的孪生神经网络模型中，以计算该待识别车辆图像和参考车辆图像的全局相似度，后续将进行详细说明，在此不作赘述。

103、分别从该待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像。

例如，具体可以获取预设标志物信息，根据该预设标志物信息确定标志物在该待识别车辆图像的第一位置信息，根据该第一位置信息从该待识别车辆图像中截取预设标志物所在区域的图像块，得到待识别局部图像；以及根据该预设标志物信息确定标志物在该参考车辆图像的第二位置信息，根据该第二位置信息从该参考车辆图像中截取预设标志物所在区域的图像块，得到参考局部图像。

其中，该预设标志物可以根据实际应用的需求而定，该预设标志物一般需要具有鲜明个体特征，比如黏贴在车窗玻璃上的年检标志、车内的挂件和装饰等，为了描述方便，在本发明实施中，将均以该标志物为年检标志为例进行说明。

其中，该第一位置信息和第二位置信息具体可以坐标信息。

104、根据预设孪生神经网络模型计算该待识别局部图像和参考局部图像的相似度，得到局部相似度。

例如，具体可以将该待识别局部图像和参考局部图像进行两两组合，得到多个图像对，将每一图像对中的该待识别局部图像和参考局部图像合并为一多通道图像，比如6通道的图像，然后，分别将该多通道图像输入该孪生神经网络模型的上半分支网络和下半分支网络，得到上半分支网络输出向量和下半分支网络输出向量，此后，可以计算上半分支网络输出向量和下半分支网络输出向量之间的曼哈顿距离，并根据计算得到的曼哈顿距离进行一维度全连接运算，得到该多通道图像对应的图像对的相似度，该相似度即为该待识别局部图像和参考局部图像的相似度，即局部相似度。

可选的，在将多通道图像输入下半分支网络时，还可以进行预处理，比如，进行剪裁、下采样和/或旋转等操作，以得到一个数据增强的较小尺度的多通道图像，如较小尺度的图像，然后，才将该较小尺度的多通道图像如较小尺度的图像导入该孪生神经网络模型的下半分支网络中进行计算。也就是说，上半分支网络可以处理原尺度的多通道图像，而下半分支网络可以处理较小尺度的多通道图像。

其中，该孪生神经网络模型可以由运维人员预先进行建立，也可以由该车辆身份识别装置自行进行建立，即在步骤“根据预设孪生神经网络模型计算该待识别局部图像和参考局部图像的相似度，得到局部相似度”之前，该车辆身份识别装置还可以包括：

(1)采集多张车辆样本图像，该车辆样本图像具有真实的身份信息，比如具有正常的车牌信息、以及真实的车主信息等。

例如，具体可以通过拍摄大量的车辆的图像、以及拍摄同一车辆的多张图像等途径来采集多张车辆样本图像；或者，也可以通过在互联网上搜索或者从车辆图片数据库中来获取多张车辆样本图像，等等。

其中，该多张车辆样本图像包括多张不同车辆的图像，也包括同一车辆的不同图像(比如在不同地点、不同时间或不同角度拍摄的图像)，该图像可以是车辆的整体图像，也可以是车辆局部区域的图像，由于在该步骤中，主要是为了训练关于局部特征的孪生神经网络模型，因此，在此主要以车辆局部区域的图像为例进行说明，需说明的是，若采集到的图像为车辆的整体图像，则可以通过裁剪来获取车辆局部区域的图像。该局部区域可以是车上某个预设标志物所在的区域，该标志物需要具有鲜明个体特征，比如黏贴在车窗玻璃上的年检标志、车内的挂件和装饰等，在本发明实施例中，主要可以指年检标志。

(2)对该多张车辆样本图像进行两两组合，以建立样本对。

其中，样本对指的是两张车辆样本图像所组合成的集合，该样本对可以是正样本对，也可以是负样本对，正样本对指的是属于同一车辆的车辆样本图像，比如可以是通过对同一车辆的年检标志拍摄得到的两张图像，而负样本对指的是属于不同车辆的车辆样本图像，比如可以通过对不同车辆的年检标志拍摄得到的两张图像，等等。

若该样本对包括正样本对和负样本对，则步骤“对该多张车辆样本图像进行两两组合，以建立样本对”，可以包括：

从该多张车辆样本图像中选择属于同一车辆的车辆样本图像，将该属于同一车辆的车辆样本图像进行两两组合，以建立正样本对；从该多张车辆样本图像中选择不属于同一车辆的车辆样本图像，将该不属于同一车辆的车辆样本图像进行两两组合，以建立负样本对。

(3)将每个样本对合并为一张多通道图像后，添加至训练样本集中；例如，具体可以如下：

确定每个样本对中的车辆样本图像的颜色通道，将该颜色通道进行相加，得到每个样本对对应的一张多通道图像，将得到的多通道图像添加至训练样本集中。

比如，若每个样本对中包括车辆样本图像A和B，其中，车辆样本图像A和B的颜色通道均为3通道，即红色通道(R，Red)、绿色通道(G，Green)和蓝色通道(B，Blue)，则可以将车辆样本图像A和B合并为一张6通道的图像，即合并为一张包括两个红色通道、两个绿色通道和两个蓝色通道的图像，然后，将该6通道的图像添加至训练样本集中。

由于将每个样本对合并为一张多通道图像，因此，后续在训练模型时，其计算量和所需的计算资源也会大大减少，可以提高训练模型的效率。

(4)根据训练样本集对预设初始孪生模型进行训练，得到孪生神经网络模型。

其中，该对预设初始孪生模型可以根据实际应用的需求进行设定，比如，如图1c所示，该预设初始孪生模型可以包括上半分支网络和下半分支网络，其中，上半分支网络和下半分支网络结构相同但不共享权重。

以该结构为卷积神经网络为例，则如图1c所示，该结构可以包括四个卷积层(Convolution)和一个全连接层(FC，Fully Connected Layers)，如下：

卷积层：主要用于对输入的图像(比如训练样本或需要识别的图像)进行特征提取，其中，卷积核大小可以根据实际应用而定，比如，从第一层卷积层至第四层卷积层的卷积核大小依次可以为(7，7)，(5，5)，(3，3)，(3，3)；可选的，为了降低计算的复杂度，提高计算效率，这四层卷积层的卷积核大小也可以都设置为(3，3)；可选的，为了提高模型的表达能力，还可以通过加入激活函数来加入非线性因素，在本发明实施例中，该激活函数均为“relu(线性整流函数，Rectified Linear Unit)”，而填充(padding，指属性定义元素边框与元素内容之间的空间)方式均为“same”，“same”填充方式可以简单理解为以0填充边缘，左边(上边)补0的个数和右边(下边)补0的个数一样或少一个；可选的，为了进一步减少计算量，还可以在第二至第四层卷积层中的所有层或任意1～2层进行下采样(pooling)操作，该下采样操作与卷积的操作基本相同，只不过下采样的卷积核为只取对应位置的最大值(max pooling)或平均值(average pooling)等，为了描述方便，在本发明实施例中，将均以在第二层卷积层和第三次卷积层中进行下采样操作，且该下采样操作具体为max pooling为例进行说明。

需说明的是，为了描述方便，在本发明实施例中，将激活函数所在层和下采样层(也称为池化层)均归入卷积层中，应当理解的是，也可以认为该结构包括卷积层、激活函数所在层、下采样层(即池化层)和全连接层，当然，还可以包括用于输入数据的输入层和用于输出数据的输出层，在此不作赘述。

全连接层：可以将学到的特征映射到样本标记空间，其在整个卷积神经网络中主要起到“分类器”的作用，全连接层的每一个结点都与上一层(如卷积层中的下采样层)输出的所有结点相连，其中，全连接层的一个结点即称为全连接层中的一个神经元，全连接层中神经元的数量可以根据实际应用的需求而定，比如，在该孪生神经网络模型的上半分支网络和下半分支网络中，全连接层的神经元数量可以均设置为512个，或者，也可以均设置为128个，等等。与卷积层类似，可选的，在全连接层中，也可以通过加入激活函数来加入非线性因素，比如，可以加入激活函数sigmoid(S型函数)。

由于该初始孪生模型的上半分支网络和下半分支网络均可以输出多个向量，且向量的数量与神经元的数量一致，比如，若上半分支网络和下半分支网络的全连接层的神经元数量均设置为512个，则上半分支网络和下半分支网络可以分别输出512个向量；又比如，若上半分支网络和下半分支网络的全连接层的神经元数量均设置为128个，则上半分支网络和下半分支网络可以分别输出128个向量，等等，因此，如图1c所示，还可以设置一个一维度的全连接层，以便对上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算(即通过全连接将这些输出向量映射为一维的数据)，得到输入图像对应的相似度，比如某训练样本对应的样本对之间的相似度，等等。

基于上述预设初始孪生模型的结构，步骤“根据训练样本集对预设初始孪生模型进行训练，得到孪生神经网络模型”具体可以如下：

S1、根据该训练样本集分别对预设初始孪生模型的上半分支网络和下半分支网络中进行训练，得到该训练样本集中每张多通道图像对应的样本对的相似度预测值。

例如，具体可以从该训练样本集中选择一张多通道图像，作为当前训练样本(即该当前训练样本为一张多通道图像，而该多通道图像对应一个样本对，也就是说，该多通道图像对应两张车辆样本图像)，将当前训练样本分别导入预设初始孪生模型的上半分支网络和下半分支网络中进行训练，得到上半分支网络输出向量和下半分支网络输出向量，对上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算，得到当前训练样本对应的样本对的相似度预测值，返回执行从该训练样本集中选择一张多通道图像，作为当前训练样本的步骤，直至该训练样本集中的多通道图像均训练完毕。

比如，具体可以将当前训练样本导入预设孪生神经网络模型的上半分支网络中进行训练，得到上半分支网络输出向量，以及对当前训练样本进行预设处理，将处理后当前训练样本导入预设孪生神经网络模型的下半分支网络中进行训练，得到下半分支网络输出向量，其中，该预设处理可以根据实际应用的需求而定，比如，可以对当前训练样本进行剪裁、下采样和/或旋转等操作，以得到一个数据增强的较小尺度的当前训练样本，也就是说，上半分支网络可以处理原尺度的训练样本，而下半分支网络可以处理较小尺度的训练样本。此后，可以计算上半分支网络输出向量和下半分支网络输出向量之间的曼哈顿距离，并根据计算得到的曼哈顿距离进行一维度全连接运算，得到当前训练样本对应的样本对的相似度预测值。

可选的，还可以采用激活函数对该一维度全连接运算结果进行处理，即在得到上半分支网络输出向量和下半分支网络输出向量之后，可以计算上半分支网络输出向量和下半分支网络输出向量之间的曼哈顿距离(L₁距离)，并根据计算得到的曼哈顿距离进行一维度全连接运算，采用预设激活函数对一维度全连接运算的结果进行计算，得到当前训练样本对应的样本对的相似度预测值。

其中，该预设的激活函数可以根据实际应用的需求而定，比如，具体可以为sigmoid。

S2、获取每个样本对的相似度真实值，对该相似度真实值和相似度预测值进行收敛，得到孪生神经网络模型。

例如，具体可以采用预设损失函数对该相似度真实值和相似度预测值进行收敛，得到孪生神经网络模型。

其中，该损失函数可以根据实际应用需求进行灵活设置，比如，损失函数J可以选为交叉熵，如下：

其中，C为类别数目，C＝2，k∈(1,2)，k的不同取值代表是否属于同一辆车，为输出的相似度预测值，y_k为相似度真实值。通过降低网络相似度预测值和相似度真实值之间的误差，进行不断训练，以调整权重至合适数值，便可得到该孪生神经网络模型。

105、获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息。

其中，该第一条件可以根据实际应用的需求进行设置，比如，可以将全局相似度和局部相似度按照一定的比例进行融合后，基于该融合结果来筛选合适的参考车辆图像作为目标车辆图像，即例如，步骤“获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息”具体可以如下：

(1)对该全局相似度和对应的局部相似度进行加权运算，得到综合相似度。例如，用公式表示即可以如下：

sim＝(1-μ)sim_global+μsim_local；

其中，sim为综合相似度，sim_global为全局相似度，sim_local为局部相似度，μ为权重，μ在(0，1)范围内，μ的具体取值可以根据实际应用的需求而定，在此不再赘述。

(2)获取综合相似度满足预设第二条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息，即，将综合相似度满足预设第二条件的参考车辆图像作为目标车辆图像，并将目标车辆图像所对应的身份信息作为待识别车辆的身份信息。

其中，该预设第二条件可以为“高于预设阈值”，也可以是“综合相似度最高的前N个”，该预设阈值和N的取值可以根据实际应用的需求而定，N为正整数，比如，以N为10为例，则可以将得到的多个综合相似度进行排序，然后，选择综合相似度较高的前10个参考车辆图像作为目标车辆图像，等等，在此不作赘述。

其中，参考车辆图像所对应的身份信息，可以基于预设映射关系(参考车辆图像和参考车辆真实的身份信息之间的映射关系)来得到，即可选的，在获取综合相似度满足预设第二条件的参考车辆图像所对应的身份信息作为待识别车辆的身份信息之前，该车辆身份识别方法还可以包括：

获取每一参考车辆图像所对应的参考车辆真实的身份信息，该身份信息可以包括车牌信息和车主信息等；建立每一参考车辆图像和其对应的身份信息的映射关系，并保存该映射关系。

则此时，步骤“获取综合相似度满足预设第二条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息”，具体可以为：将综合相似度满足预设第二条件的参考车辆图像作为目标车辆图像，根据该映射关系获取目标车辆图像对应的身份信息，作为待识别车辆的身份信息。

由上可知，本实施例在需要对待识别车辆图像进行识别时，可以获取至少一张参考车辆图像，然后，一方面计算该待识别车辆图像和参考车辆图像的相似度，得到全局相似度；另一方面，分别从该待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像，并根据预设孪生神经网络模型计算该待识别局部图像和参考局部图像的相似度，得到局部相似度，再然后，获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息；由于该方案可以通过计算全局相似度和局部相似度来自动匹配出与待识别车辆最相似的具有真实身份信息的车辆，进而识别出该待识别车辆的身份，因此，相对于现有只能通过车牌信息来进行身份识别的方案而言，可以避免由于车牌信息造假、缺失或模糊等情况所导致的识别不出或识别错误的情况的发生，可以降低对待识别车辆车牌信息的依赖性，大大提高识别的有效性和准确性。

实施例二、

根据前面实施例所描述的方法，以下将举例作进一步详细说明。

在本实施例中，将以该车辆识别装置具体集成在网络设备中，且通过普通的CNN来计算待识别车辆图像和参考车辆图像的全局相似度为例进行说明。

(一)模型的训练。

譬如，首先，网络设备可以通过多个途径采集大量的车辆样本图像，该多张车辆样本图像可以包括多张不同车辆的图像，也包括同一车辆的不同图像，比如在不同地点、不同时间或不同角度对同一车辆拍摄所得到的图像，该图像可以是车辆的整体图像，也可以是车辆局部区域的图像，若采集到的图像为车辆的整体图像，则可以通过裁剪来获取车辆局部区域的图像，比如可以从中提取出年检标志所在区域的局部图像(通常在前挡风玻璃的右上角)，等等。

其次，可以利用这些车辆的整体图像来训练该普通的CNN(用于进行全局相似度计算)，而利用车辆局部区域的图像来训练该孪生神经网络模型(用于进行局部相似度计算)，具体可以如下：

(1)普通的CNN的训练；

网络设备将多张包含车辆整体的车辆样本图像进行筛选后，比如进行去重、或去掉一些显示模糊的车辆样本图像后，将剩余的车辆样本图像添加至该CNN的训练样本集中，然后，网络设备便可以根据该训练样本集对预设初始模型进行训练，得到CNN。

其中，该预设初始模型(初始的CNN)可以包括四个卷积层和一个全连接层。为了降低计算的复杂度，提高计算效率，在本实施例中，这四层卷积层的卷积核大小可以都设置为(3，3)，激活函数均采用“relu”，而padding方式均设置为“same”。

可选的，为了进一步减少计算量，还可以在第二层卷积层和第三次卷积层中进行下采样操作，比如maxpooling。

在进行maxpooling操作之后，可以通过全连接层对maxpooling操作后的输出进行映射，全连接层的神经元数量均可以设置为512个(或均设置为128个，等等)，且均可以采用sigmoid作为激活函数。

在需要进行模型训练时，网络设备可以从该训练样本集中选择两张车辆样本图像作为当前训练样本；然后，如图2a所示，将该当前训练样本导入该初始模式，得到当前训练样本对应的相似度预测值，获取该当前训练样本的相似度真实值，并采用预设损失函数对该相似度真实值和相似度预测值进行收敛，以调整该孪生神经网络模型中的各个参数至合适数值，再然后，可以返回执行从该训练样本集中选择两张车辆样本图像作为当前训练样本的步骤，以对训练样本集中的其他车辆样本图像之间的相似度预测值进行计算和收敛，直至该训练样本集中的所有车辆样本图像均计算和收敛完毕，即可得到所需的CNN。

其中，该损失函数可以根据实际应用的需求而定，在此不作限定。

(2)孪生神经网络模型的训练；

网络设备可以对多张包含车辆局部区域的车辆样本图像进行两两组合，以建立样本对，比如，可以将属于同一车辆的车辆样本图像(包含车辆局部区域)作为正样本对，将属于不同车辆的车辆样本图像(包含车辆局部区域)作为负样本对，然后，确定每个样本对中的车辆样本图像的颜色通道，将该颜色通道进行相加，得到每个样本对对应的一张多通道图像，并将得到的多通道图像添加至孪生神经网络模型的训练样本集中。

比如，参见图2b，若车辆样本图像A1、车辆样本图像A2和车辆样本图像A3等为车辆A的不同图像，车辆样本图像B1、……、以及车辆样本图像Bn为车辆B的不同图像，车辆样本图像C为车辆C的图像，且这些车辆样本图像均为3通道(颜色通道为RGB)的图像，则网络设备可以对这些车辆样本图像作出如下组合和合并：

将车辆样本图像A1和车辆样本图像A2进行组合，作为正样本对，并合并为6通道(两个红色通道、两个绿色通道和两个蓝色通道)的多通道图像1，并将得到的多通道图像1添加至孪生神经网络模型的训练样本集中；

将车辆样本图像A1和车辆样本图像A3进行组合，作为正样本对，并合并为6通道(两个红色通道、两个绿色通道和两个蓝色通道)的多通道图像2，并将得到的多通道图像2添加至孪生神经网络模型的训练样本集中；

将车辆样本图像A1和车辆样本图像B1进行组合，作为负样本对，并合并为6通道(两个红色通道、两个绿色通道和两个蓝色通道)的多通道图像3，并将得到的多通道图像3添加至孪生神经网络模型的训练样本集中；

……

将车辆样本图像A2和车辆样本图像Bn进行组合，作为负样本对，并合并为6通道(两个红色通道、两个绿色通道和两个蓝色通道)的多通道图像n-1，并将得到的多通道图像n-1添加至孪生神经网络模型的训练样本集中；

将车辆样本图像A2和车辆样本图像C进行组合，作为负样本对，并合并为6通道(两个红色通道、两个绿色通道和两个蓝色通道)的多通道图像n，并将得到的多通道图像n添加至孪生神经网络模型的训练样本集中。

在得到孪生神经网络模型的训练样本集后，网络设备便可以根据该训练样本集对预设初始孪生模型进行训练，得到孪生神经网络模型。

其中，该预设初始孪生模型(即初始的孪生神经网络模型)可以包括上半分支网络和下半分支网络，该上半分支网络和下半分支网络可以采用结构相同的CNN，但不共享权重，也就是说，该孪生神经网络模型中包括两个CNN，其中，每个CNN可以包括四个卷积层和一个全连接层。为了降低计算的复杂度，提高计算效率，在本实施例中，这四层卷积层的卷积核大小可以都设置为(3，3)，激活函数均采用“relu”，而padding方式均设置为“same”；可选的，为了进一步减少计算量，还可以在第二层卷积层和第三次卷积层中进行下采样操作，比如maxpooling。在进行maxpooling操作之后，可以通过全连接层对maxpooling操作后的输出进行映射，其中，在本实施例中，不管是上半分支网络还是下半分支网络，其全连接层的神经元数量均可以设置为512个(或均设置为128个，等等)，且均可以采用sigmoid作为激活函数。

此外，如图2c所示，该预设初始孪生模型除了可以包括上半分支网络和下半分支网络之外，还可以包括一个一维度的全连接层，用于将上半分支网络和下半分支网络的输出向量映射为一维的数据；其中，该一维度的全连接层的神经元数量为1，激活函数可以采用sigmoid。

在需要进行模型训练时，网络设备可以从该孪生神经网络模型的训练样本集中选择一张多通道图像(一张多通道图像对应一个样本对，即对应两张车辆样本图像)，作为当前训练样本；然后，如图2c所示，一方面，可以将该当前训练样本按照原有尺度大小导入预设初始孪生模型的上半分支网络，得到上半分支网络输出向量，另一方面，可以对当前训练样本进行剪裁、下采样和/或旋转等操作，以得到一个数据增强的较小尺度的训练样本，然后，将该较小尺度的训练样本导入预设初始孪生模型的下半分支网络中进行训练，得到下半分支网络输出向量；此后，可以计算上半分支网络输出向量和下半分支网络输出向量之间的曼哈顿距离(L1距离)，根据计算得到的曼哈顿距离进行一维度全连接运算(即全连接一个神经元)，并采用激活函数sigmoid对一维度全连接运算的结果进行计算，得到当前训练样本对应的样本对的相似度预测值，获取该样本对的相似度真实值，并采用预设损失函数对该相似度真实值和相似度预测值进行收敛，以调整该初始孪生模型中的各个参数至合适数值，再然后，可以返回执行从该训练样本集中选择一张多通道图像作为当前训练样本的步骤，以对训练样本集中的其他多通道图像的相似度预测值进行计算和收敛，直至该训练样本集中的所有多通道图像均计算和收敛完毕，即可得到训练后的模型，即所需的孪生神经网络模型。

其中，该损失函数J可以选为交叉熵，如下：

其中，C为类别数目，C＝2，k∈(1,2)，k的不同取值代表是否属于同一辆车，为输出的相似度预测值，为相似度真实值。

需说明的是，实际训练时，该初始孪生模型可以不进行预训练，直接正态分布初始化权重，由于层数较浅，收敛速度较快，比如，大约40个epoch后收敛，也就是说，本发明实施例所提供的该孪生神经网络模型不仅占用计算资源较少(轻量级)，而且识别速度快，效率较高。

此外，还需说明的是，为了保证该普通的CNN和孪生神经网络模型识别的准确性，除了可以离线对该CNN和孪生神经网络模型进行训练之外，还可以定时采集新的车辆样本图像，以对各个训练样本集中的训练样本进行更新，并基于更新后训练样本集对该CNN和孪生神经网络模型进行更新，即使得该CNN和孪生神经网络模型可以不断进行学习。

(二)建立参考车辆身份信息库。

采集多张参考车辆图像，建立候选集，此外，网络设备还可以获取每一参考车辆图像所对应的参考车辆真实的身份信息，比如车牌信息和车主信息等；然后，建立每一参考车辆图像和其对应的身份信息的映射关系，并将该映射关系保存至参考车辆身份信息库中。

例如，网络设备具体可以通过对参考车辆进行拍摄，或从车管所等登记数据库提取等途径来获取参考车辆图像，其中，参考车辆主要指已确认车主真实身份的车辆，比如车牌信息显示正常的车辆。

(三)车辆身份识别。

如图2d所示，基于上述训练后模型，该车辆识别方法的具体流程可以如下：

201、网络设备获取车辆身份识别请求，其中，该车辆身份识别请求中携带待识别车辆图像。

例如，具体可以由用户通过对待识别车辆进行拍摄或从其他图库进行提取等途径来获取该待识别车辆图像，并提供给该网络设备。

其中，待识别车辆主要指需要识别身份的车辆，比如是监控录像中未确认车主身份的车辆，如无车牌信息或车牌信息显示不正常的车辆等。

202、网络设备在接收到该车辆身份识别请求后，可以获取候选集，其中，该候选集可以包括多张参考车辆图像，然后执行步骤203。

其中，参考车辆图像指的是包含参考车辆的图像，参考车辆主要指已确认车主真实身份的车辆，比如车牌信息显示正常的车辆。

203、网络设备将候选集中的参考车辆图像与待识别车辆图像进行匹配，对候选集中匹配度小于设定值的参考车辆图像进行过滤，得到过滤后候选集，然后执行步骤204。

其中，设定值以根据实际应用的需求进行设置，匹配方式也可以根据实际应用的需求进行设置，比如，可以从车辆内的挂饰、内饰、车辆正面、和/或车辆背面等信息进行比对，并将得到的相似度作为匹配度，即可以将明显不相似的参考车辆图像过滤掉。其中，车辆内的挂饰和内饰等信息可以通过检测手段得到，而车辆的正面和车辆背面可以通过检测车辆关键点来得到，具体的检测方式可以有多种，在此不作赘述。

204、网络设备从该过滤后候选集中确定当前需要处理的参考车辆图像。

205、网络设备利用训练后的CNN计算待识别车辆图像和该当前需要处理的参考车辆图像的相似度，得到全局相似度。

206、网络设备从待识别车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像，以及从参考车辆图像中提取出预设标志物所在区域的图像块，得到参考局部图像，然后执行步骤207。

例如，网络设备具体可以获取预设标志物信息，根据该预设标志物信息确定标志物在该待识别车辆图像的第一位置信息，根据该第一位置信息从该待识别车辆图像中截取预设标志物所在区域的图像块，得到待识别局部图像；以及根据该预设标志物信息确定标志物在该参考车辆图像的第二位置信息，根据该第二位置信息从该参考车辆图像中截取预设标志物所在区域的图像块，得到参考局部图像，等等。

其中，该预设标志物可以根据实际应用的需求而定，该预设标志物一般需要具有鲜明个体特征，比如黏贴在车窗玻璃上的年检标志、车内的挂件和装饰等，在本实施例中，主要以该预设标志物具体为年检标志为例进行说明。

譬如，请参见图2e，该年检标志正面包括一个‘检’字，检字下面或上面显示有下一次检车的年份(如2010)，检字的周围是1-12的***数字，其中一个会被打孔，打了孔的那个***数字就代表下一次检车的月份(比如图2e中打孔的数字为4)，其一般位于车辆前挡风玻璃右上角，且由于80×80像素值(pixels)的尺寸足以覆盖一个完整的年检标志，故提取的图像块大小一般可以设置为不超过80*80pixels，当然，该提取区域的大小可以根据实际应用场景灵活进行调整，在此不作限定。

可选的，由于全局相似度越大，代表目标车辆与待识别车辆在外观上越相像，因此，为了减小局部特征匹配(也即年检标志匹配，即步骤207)的数据处理量，可以只选全局相似度最高的前M个参考车辆图像进行年检标志图像提取，从而确保用于年检标志图像提取的参考车辆图像中的参考车辆与待识别车辆外观大致相同，比如都属于同一车型、同一颜色、同一品牌等。其中，M为正整数，具体取值可以根据实际应用的需求而定。

其中，步骤205和206的执行可以不分先后。

207、网络设备根据该孪生神经网络模型(即由(一)模型训练部分所训练得到的孪生神经网络模型)计算该待识别局部图像和参考局部图像的相似度，得到局部相似度。

例如，如图2f所示，该待识别局部图像和参考局部图像的相似度的计算方法具体可以如下：

首先，网络设备可以将该待识别局部图像和参考局部图像进行组合，作为一“图像对”，并将“图像对”中的该待识别局部图像和参考局部图像合并为一多通道图像，比如6通道的图像K。

其次，一方面，网络设备可以将该多通道图像如原有尺度大小的图像K输入该孪生神经网络模型的上半分支网络中进行计算，得到上半分支网络向量，另一方面，对该多通道图像进行剪裁、下采样和/或旋转等操作，以得到一个数据增强的较小尺度的多通道图像，如较小尺度的图像K，然后，将该较小尺度的多通道图像如较小尺度的图像K导入该孪生神经网络模型的下半分支网络中进行计算，得到下半分支网络输出向量。

此后，网络设备可以计算上半分支网络输出向量和下半分支网络输出向量之间的曼哈顿距离(L₁距离)，根据计算得到的曼哈顿距离进行一维度全连接运算(即全连接一个神经元)，并采用激活函数sigmoid对一维度全连接运算的结果进行计算，得到该“图像对”的相似度预测值，其中，该“图像对”的相似度预测值即为该待识别车辆图像和参考车辆图像的局部相似度。

以此类推，根据上述方式便可得到待识别车辆图像与其他参考车辆图像的局部相似度。

208、网络设备对步骤205中所得到的全局相似度和步骤207中所得到的局部相似度进行加权运算，得到综合相似度，然后执行步骤209。例如，用公式表示即可以如下：

sim＝(1-μ)sim_global+μsim_local；

其中，sim为综合相似度，sim_global为全局相似度，sim_local为局部相似度，μ为权重，μ在(0，1)范围内，μ的具体取值可以根据实际应用的需求而定，在此不再赘述。

209、网络设备将综合相似度满足预设第二条件的参考车辆图像作为目标车辆图像，然后执行步骤210。

其中，该预设第二条件可以为“高于预设阈值”，也可以是“综合相似度最高的前N个”，该预设阈值和N的取值可以根据实际应用的需求而定，N为正整数，比如，以N为2为例，则可以将得到的多个综合相似度进行排序，然后，选择综合相似度较高的前2个参考车辆图像作为目标车辆图像，以此类推，等等。

210、网络设备从参考车辆身份信息库获取目标车辆图像对应的身份信息，比如获取目标车辆图像对应的车牌信息和车主信息等，作为待识别车辆的身份信息。

例如，若该目标车辆图像为参考车辆图像A，其对应的车牌信息为“粤B0000”，车主为“张三”；则此时，可以确定该待识别车辆的身份信息可能为“粤B0000”，且车主为“张三”。

又例如，若该目标车辆图像为参考车辆图像B和参考车辆图像C。其中，参考车辆图像B对应的车牌信息为“粤B0001”，车主为“李四”；参考车辆图像C对应的车牌信息为“粤B0002”，车主为“王五”；则此时，可以确定该待识别车辆的身份信息可能为“粤B0001”，且车主为“李四”，以及，也可能为“粤B0002”，车主为“王五”，进而再通过其他方式，比如人工筛选来确定最终的车辆身份信息。

可选的，在提供所识别出的待识别车辆的身份信息之外，还可以提供相应的综合相似度的数值，或者，还可以提供相应的全局相似度、局部相似度和综合相似度的各个数值，以便用户据此来判断该识别结果的可信度，进而还可以由人工基于该识别结果作进一步筛选，在此不作赘述。

由上可知，本实施例在需要对待识别车辆图像进行识别时，可以获取至少一张参考车辆图像，然后，一方面计算该待识别车辆图像和参考车辆图像的相似度，得到全局相似度；另一方面，分别从该待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像，并根据预设孪生神经网络模型计算该待识别局部图像和参考局部图像的相似度，得到局部相似度，再然后，对全局相似度和局部相似度进行加权运算，以得到综合相似度，并将综合相似度满足预设第二条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息；由于该方案可以通过计算全局相似度和局部相似度来快速且准确地匹配出与待识别车辆最相似的具有真实身份信息的车辆，进而识别出该待识别车辆的身份，比如车牌是多少，车主是谁，等等，因此，相对于现有只能通过车牌信息来进行身份识别的方案而言，可以避免由于车牌信息造假、缺失或模糊等情况所导致的识别不出或识别错误的情况的发生，可以降低对待识别车辆车牌信息的依赖性，大大提高识别的有效性和准确性。

实施例三、

为了更好地实施以上方法，本发明实施例还提供一种车辆身份识别装置，该车辆识别装置具体可以集成在网络设备，比如终端或服务器等设备中。

例如，如图3a所示，该车辆身份识别装置，包括获取单元301、全局计算单元302、提取单元303、局部计算单元304和识别单元305，如下：

(1)获取单元301；

获取单元301，用于获取待识别车辆图像、以及至少一张参考车辆图像。

例如，获取单元301，具体可以用于接收用户触发的车辆身份识别请求，其中，该车辆身份识别请求中携带待识别车辆图像，然后，根据该车辆身份识别请求获取至少一张参考车辆图像。

其中，具体可以通过对参考车辆进行拍摄、从监控录像中截取或从其他图库进行提取等途径来获取该参考车辆图像。

可选的，为了减少后续的计算量，提高处理效率，在获取参考车辆图像时，还可以对这些参考车辆图像进行初步筛选，以过滤掉与待识别车辆明显不一致的图像，即：

该获取单元301，具体可以用于获取待识别车辆图像，以及获取候选集，该候选集包括多张参考车辆图像，将候选集中的参考车辆图像与待识别车辆图像进行匹配，对匹配度小于设定值的参考车辆图像进行过滤，得到过滤后候选集，从该过滤后候选集中获取至少一张参考车辆图像。

其中，匹配方式可以根据实际应用的需求进行设置，比如，可以从车辆内的挂饰、内饰、车辆正面、和/或车辆背面等信息进行比对，并将得到的相似度作为匹配度。其中，车辆内的挂饰和内饰等信息可以通过检测手段得到，而车辆的正面和车辆背面可以通过检测车辆关键点来得到，具体的检测方式可以有多种，在此不作赘述。

(2)全局计算单元302；

全局计算单元302，用于计算该待识别车辆图像和参考车辆图像的相似度，得到全局相似度。

其中，计算该待识别车辆图像和参考车辆图像相似度的方式可以有多种，例如，可以采用普通的CNN来计算，即：

全局计算单元302，具体可以用于采用预设CNN计算该待识别车辆图像和参考车辆图像相似度，得到全局相似度。

可选的，也可以采用另一个孪生神经网络模型来计算该全局相似度。即:

全局计算单元302，具体可以用于采用预设孪生神经网络模型计算该待识别车辆图像和参考车辆图像相似度，得到全局相似度。

其中，该孪生神经网络模型具体可以参见前面的实施例，在此不再赘述。

(3)提取单元303；

提取单元303，用于分别从该待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像；

例如，该提取单元303，具体可以用于获取预设标志物信息，根据该预设标志物信息确定标志物在该待识别车辆图像的第一位置信息，根据该第一位置信息从该待识别车辆图像中截取预设标志物所在区域的图像块，得到待识别局部图像；根据该预设标志物信息确定标志物在该参考车辆图像的第二位置信息，根据该第二位置信息从该参考车辆图像中截取预设标志物所在区域的图像块，得到参考局部图像。

其中，该预设标志物可以根据实际应用的需求而定，该预设标志物一般需要具有鲜明个体特征，比如黏贴在车窗玻璃上的年检标志、车内的挂件和装饰等，而该第一位置信息和第二位置信息则具体可以坐标信息。

(4)局部计算单元304；

局部计算单元304，用于根据预设孪生神经网络模型计算该待识别局部图像和参考局部图像的相似度，得到局部相似度。

例如，该局部计算单元304，具体可以用于将该待识别局部图像和参考局部图像进行两两组合，得到多个图像对，将每一图像对中的该待识别局部图像和参考局部图像合并为一多通道图像，分别将该多通道图像输入该孪生神经网络模型的上半分支网络和下半分支网络，得到上半分支网络输出向量和下半分支网络输出向量，计算上半分支网络输出向量和下半分支网络输出向量之间的曼哈顿距离，并根据计算得到的曼哈顿距离进行一维度全连接运算，得到局部相似度，具体可参见前面的实施例，在此不再赘述。

(5)识别单元305；

识别单元305，用于获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息。

例如，该识别单元305可以包括运算子单元和确定子单元，如下：

该运算子单元，用于对该全局相似度和对应的局部相似度进行加权运算，得到综合相似度。例如，用公式表示即可以如下：

sim＝(1-μ)sim_global+μsim_local；

其中，sim为综合相似度，sim_global为全局相似度，sim_local为局部相似度，μ为权重，μ在(0，1)范围内，μ的具体取值可以根据实际应用的需求而定，在此不再赘述。

该确定子单元，用于获取综合相似度满足预设第二条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息。

其中，该预设第二条件可以为“高于预设阈值”，也可以是“综合相似度最高的前N个”，该预设阈值和N的取值可以根据实际应用的需求而定，N为正整数，比如，以N为10为例，则可以将得到的多个综合相似度进行排序，然后，选择综合相似度较高的前10个参考车辆图像作为目标车辆图像，等等，在此不作赘述。

其中，参考车辆图像所对应的身份信息，可以基于预设映射关系(参考车辆图像和参考车辆真实的身份信息之间的映射关系)来得到，即如图3b所示，该车辆身份识别装置还可以包括设置单元306，如下：

该设置单元306，可以用于获取每一参考车辆图像所对应的参考车辆真实的身份信息，该身份信息包括车牌信息和车主信息，建立每一参考车辆图像和其对应的身份信息的映射关系，并保存该映射关系。

则此时，该确定子单元，具体可以用于将综合相似度满足预设第二条件的参考车辆图像作为目标车辆图像，根据该映射关系获取目标车辆图像对应的身份信息，作为待识别车辆的身份信息。

其中，该孪生神经网络模型可以由运维人员预先进行建立，也可以由该车辆身份识别装置自行进行建立，即如图3b所示，该车辆身份识别装置还可以包括采集单元307、组合单元308、合并单元309和训练单元310，如下：

该采集单元307，可以用于采集多张车辆样本图像，该车辆样本图像具有真实的身份信息。

该组合单元308，可以用于对该多张车辆样本图像进行两两组合，以建立样本对。

其中，样本对指的是两张车辆样本图像所组合成的集合，该样本对可以是正样本对，也可以是负样本对，正样本对指的是属于同一车辆的车辆样本图像，比如可以是通过对同一车辆的年检标志拍摄得到的两张图像，而负样本对指的是属于不同车辆的车辆样本图像，比如可以通过对不同车辆的年检标志拍摄得到的两张图像，等等。

若该样本对包括正样本对和负样本对，则该组合单元308，具体可以用于从该多张车辆样本图像中选择属于同一车辆的车辆样本图像，将该属于同一车辆的车辆样本图像进行两两组合，以建立正样本对；从该多张车辆样本图像中选择不属于同一车辆的车辆样本图像，将该不属于同一车辆的车辆样本图像进行两两组合，以建立负样本对。

该合并单元309，可以用于将每个样本对合并为一张多通道图像后，添加至训练样本集中。

比如，该合并单元309，具体可以用于确定每个样本对中的车辆样本图像的颜色通道，将该颜色通道进行相加，得到每个样本对对应的一张多通道图像，将得到的多通道图像添加至训练样本集中。

该训练单元310，可以用于根据训练样本集对预设初始孪生模型进行训练，得到孪生神经网络模型。

例如，该训练单元310可以包括训练子单元和收敛子单元，如下：

该训练子单元，可以用于根据该训练样本集分别对预设初始孪生模型的上半分支网络和下半分支网络中进行训练，得到该训练样本集中每张多通道图像对应的样本对的相似度预测值。

比如，该训练子单元，具体可以用于从该训练样本集中选择一张多通道图像，作为当前训练样本；将当前训练样本分别导入预设初始孪生模型的上半分支网络和下半分支网络中进行训练，得到上半分支网络输出向量和下半分支网络输出向量；对上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算，得到当前训练样本对应的样本对的相似度预测值；返回执行从该训练样本集中选择一张多通道图像，作为当前训练样本的步骤，直至该训练样本集中的多通道图像均训练完毕。

该收敛子单元，可以用于获取每个样本对的相似度真实值，对该相似度真实值和相似度预测值进行收敛，得到孪生神经网络模型。

比如，该收敛子单元，具体可以用于采用预设损失函数对该相似度真实值和相似度预测值进行收敛，得到孪生神经网络模型。

其中，该损失函数具体可根据实际应用的需求而定，在此不作赘述。

具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。

由上可知，本实施例的车辆身份识别装置在需要对待识别车辆图像进行识别时，可以由获取单元301获取至少一张参考车辆图像，然后，一方面由全局计算单元302计算该待识别车辆图像和参考车辆图像的相似度，得到全局相似度；另一方面，由提取单元303分别从该待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像，并由局部计算单元304根据预设孪生神经网络模型计算该待识别局部图像和参考局部图像的相似度，得到局部相似度，再然后，由识别单元305获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息；由于该方案可以通过计算全局相似度和局部相似度来自动匹配出与待识别车辆最相似的具有真实身份信息的车辆，进而识别出该待识别车辆的身份，因此，相对于现有只能通过车牌信息来进行身份识别的方案而言，可以避免由于车牌信息造假、缺失或模糊等情况所导致的识别不出或识别错误的情况的发生，可以降低对待识别车辆车牌信息的依赖性，大大提高识别的有效性和准确性。

实施例四、

本发明实施例还提供一种网络设备，该网络设备可以为服务器或终端等设备，其集成了本发明实施例所提供的任一种车辆身份识别装置。如图4所示，其示出了本发明实施例所涉及的网络设备的结构示意图，具体来讲：

该网络设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的网络设备结构并不构成对网络设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器401是该网络设备的控制中心，利用各种接口和线路连接整个网络设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行网络设备的各种功能和处理数据，从而对网络设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据网络设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。

网络设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理***与处理器401逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该网络设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，网络设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，网络设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：

获取待识别车辆图像、以及至少一张参考车辆图像，计算该待识别车辆图像和参考车辆图像的相似度，得到全局相似度，以及分别从该待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像，根据预设孪生神经网络模型计算该待识别局部图像和参考局部图像的相似度，得到局部相似度，获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息。

其中，该孪生神经网络模型可以由运维人员预先进行建立，也可以由该车辆身份识别装置自行进行建立，即处理器401还可以运行存储在存储器402中的应用程序，从而实现如下功能：

采集多张车辆样本图像，该车辆样本图像具有真实的身份信息，比如具有正常的车牌信息、以及真实的车主信息等；对该多张车辆样本图像进行两两组合，以建立样本对；将每个样本对合并为一张多通道图像后，添加至训练样本集中；根据训练样本集对预设初始孪生模型进行训练，得到孪生神经网络模型。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

由上可知，本实施例的网络设备在需要对待识别车辆图像进行识别时，可以获取至少一张参考车辆图像，然后，一方面计算该待识别车辆图像和参考车辆图像的相似度，得到全局相似度；另一方面，分别从该待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像，并根据预设孪生神经网络模型计算该待识别局部图像和参考局部图像的相似度，得到局部相似度，再然后，获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息；由于该方案可以通过计算全局相似度和局部相似度来自动匹配出与待识别车辆最相似的具有真实身份信息的车辆，进而识别出该待识别车辆的身份，因此，相对于现有只能通过车牌信息来进行身份识别的方案而言，可以避免由于车牌信息造假、缺失或模糊等情况所导致的识别不出或识别错误的情况的发生，可以降低对待识别车辆车牌信息的依赖性，大大提高识别的有效性和准确性。

实施例五、

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种车辆身份识别方法中的步骤。例如，该指令可以执行如下步骤：

获取待识别车辆图像、以及至少一张参考车辆图像，计算该待识别车辆图像和参考车辆图像的相似度，得到全局相似度，以及分别从该待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像，根据预设孪生神经网络模型计算该待识别局部图像和参考局部图像的相似度，得到局部相似度，获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息。

其中，该孪生神经网络模型可以由运维人员预先进行建立，也可以由该车辆身份识别装置自行进行建立，具体建立方法可参见前面的实施例。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种车辆身份识别方法中的步骤，因此，可以实现本发明实施例所提供的任一种车辆身份识别方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本发明实施例所提供的一种车辆身份识别方法、装置和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种车辆身份识别方法，其特征在于，包括：

获取待识别车辆图像、以及至少一张参考车辆图像；

计算所述待识别车辆图像和参考车辆图像的相似度，得到全局相似度；

分别从所述待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像；

根据预设孪生神经网络模型计算所述待识别局部图像和参考局部图像的相似度，得到局部相似度；

获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息。

2.根据权利要求1所述的方法，其特征在于，所述获取全局相似度和局部相似度满足预设条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息，包括：

对所述全局相似度和对应的局部相似度进行加权运算，得到综合相似度；

获取综合相似度满足预设第二条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息。

3.根据权利要求2所述的方法，其特征在于，所述获取综合相似度满足预设第二条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息之前，还包括：

获取每一参考车辆图像所对应的参考车辆真实的身份信息，所述身份信息包括车牌信息和车主信息；

建立每一参考车辆图像和其对应的身份信息的映射关系，并保存所述映射关系；

所述获取综合相似度满足预设第二条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息，具体为：将综合相似度满足预设第二条件的参考车辆图像作为目标车辆图像，根据所述映射关系获取目标车辆图像对应的身份信息，作为待识别车辆的身份信息。

4.根据权利要求1所述的方法，其特征在于，所述分别从所述待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像，包括：

获取预设标志物信息；

根据所述预设标志物信息确定标志物在所述待识别车辆图像的第一位置信息，根据所述第一位置信息从所述待识别车辆图像中截取预设标志物所在区域的图像块，得到待识别局部图像；

根据所述预设标志物信息确定标志物在所述参考车辆图像的第二位置信息，根据所述第二位置信息从所述参考车辆图像中截取预设标志物所在区域的图像块，得到参考局部图像。

5.根据权利要求1至4任一项所述的方法，其特征在于，获取至少一张参考车辆图像，包括：

获取候选集，所述候选集包括多张参考车辆图像；

将候选集中的参考车辆图像与待识别车辆图像进行匹配；

对匹配度小于设定值的参考车辆图像进行过滤，得到过滤后候选集；

从所述过滤后候选集中获取至少一张参考车辆图像。

6.根据权利要求1至4任一项所述的方法，其特征在于，所述根据预设孪生神经网络模型计算所述待识别局部图像和参考局部图像的相似度，得到局部相似度之前，还包括：

采集多张车辆样本图像，所述车辆样本图像具有真实的身份信息；

对所述多张车辆样本图像进行两两组合，以建立样本对；

将每个样本对合并为一张多通道图像后，添加至训练样本集中；

根据训练样本集对预设初始孪生模型进行训练，得到孪生神经网络模型。

7.根据权利要求6所述的方法，其特征在于，所述样本对包括正样本对和负样本对，所述对所述多张车辆样本图像进行两两组合，以建立样本对，包括：

从所述多张车辆样本图像中选择属于同一车辆的车辆样本图像，将所述属于同一车辆的车辆样本图像进行两两组合，以建立正样本对；

从所述多张车辆样本图像中选择不属于同一车辆的车辆样本图像，将所述不属于同一车辆的车辆样本图像进行两两组合，以建立负样本对。

8.根据权利要求6所述的方法，其特征在于，所述将每个样本对合并为一张多通道图像后，添加至训练样本集中，包括：

确定每个样本对中的车辆样本图像的颜色通道；

将所述颜色通道进行相加，得到每个样本对对应的一张多通道图像；

将得到的多通道图像添加至训练样本集中。

9.根据权利要求6所述的方法，其特征在于，所述根据训练样本集对预设初始孪生模型进行训练，得到孪生神经网络模型，包括：

根据所述训练样本集分别对预设初始孪生模型的上半分支网络和下半分支网络中进行训练，得到所述训练样本集中每张多通道图像对应的样本对的相似度预测值；

获取每个样本对的相似度真实值，对所述相似度真实值和相似度预测值进行收敛，得到孪生神经网络模型。

10.根据权利要求9所述的方法，其特征在于，所述根据所述训练样本集分别对预设初始孪生模型的上半分支网络和下半分支网络中进行训练，得到所述训练样本集中每张多通道图像对应的样本对的相似度预测值，包括：

从所述训练样本集中选择一张多通道图像，作为当前训练样本；

将当前训练样本分别导入预设初始孪生模型的上半分支网络和下半分支网络中进行训练，得到上半分支网络输出向量和下半分支网络输出向量；

对上半分支网络输出向量和下半分支网络输出向量进行一维度全连接运算，得到当前训练样本对应的样本对的相似度预测值；

返回执行从所述训练样本集中选择一张多通道图像，作为当前训练样本的步骤，直至所述训练样本集中的多通道图像均训练完毕。

11.一种车辆身份识别装置，其特征在于，包括：

获取单元，用于获取待识别车辆图像、以及至少一张参考车辆图像；

全局计算单元，用于计算所述待识别车辆图像和参考车辆图像的相似度，得到全局相似度；

提取单元，用于分别从所述待识别车辆图像和参考车辆图像中提取出预设标志物所在区域的图像块，得到待识别局部图像和参考局部图像；

局部计算单元，用于根据预设孪生神经网络模型计算所述待识别局部图像和参考局部图像的相似度，得到局部相似度；

识别单元，用于获取全局相似度和局部相似度满足预设第一条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息。

12.根据权利要求11所述的装置，其特征在于，所述识别单元包括运算子单元和确定子单元；

所述运算子单元，用于对所述全局相似度和对应的局部相似度进行加权运算，得到综合相似度；

所述确定子单元，用于获取综合相似度满足预设第二条件的参考车辆图像所对应的身份信息，作为待识别车辆的身份信息。

13.根据权利要求12所述的装置，其特征在于，还包括设置单元；

所述设置单元，用于获取每一参考车辆图像所对应的参考车辆真实的身份信息，所述身份信息包括车牌信息和车主信息，建立每一参考车辆图像和其对应的身份信息的映射关系，并保存所述映射关系；

所述确定子单元，具体用于将综合相似度满足预设第二条件的参考车辆图像作为目标车辆图像，根据所述映射关系获取目标车辆图像对应的身份信息，作为待识别车辆的身份信息。

14.根据权利要求11至13任一项所述的装置，其特征在于，还包括采集单元、组合单元、合并单元和训练单元；

所述采集单元，用于采集多张车辆样本图像，所述车辆样本图像具有真实的身份信息；

所述组合单元，用于对所述多张车辆样本图像进行两两组合，以建立样本对；

所述合并单元，用于将每个样本对合并为一张多通道图像后，添加至训练样本集中；

所述训练单元，用于根据训练样本集对预设初始孪生模型进行训练，得到孪生神经网络模型。

15.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至10任一项所述的车辆身份识别方法中的步骤。