CN114639078A - 一种车型识别方法、装置和*** - Google Patents

Abstract

本发明涉及车型识别，尤其涉及一种车型识别方法、装置和***。一种车型识别方法，包括：获取车辆的车头图像、车身图像和车尾图像；获取车辆的宽高长数据；所述宽高长数据包括第一宽高数据、第二宽高数据、第三宽高数据；获取车辆的车型数据；所述车型数据包括车型信息、车轴信息；整合所述宽高长数据和所述车型数据，输出车型识别数据。在得到车头图像、车身图像、车尾图像后，通过进行车牌检测，进而根据车牌图像尺寸以及车牌物理尺寸得到第一比例系数，进而得到精准的车头的第一宽高数据、车尾的第二宽高数据、车身的第三宽高数据，同时对车型以及车轴类型进行精准识别，能够准确得到经过车辆的车型识别数据，提高识别准确度。

Description

一种车型识别方法、装置和***

技术领域

本发明涉及车型识别，尤其涉及一种车型识别方法、装置和***。

背景技术

车辆的长宽高度、车辆轮轴数、车辆轴型、车牌类型、车牌颜色、车牌号、车辆外形等信息是车辆类型分类的重要依据，车型作为机动车辆的重要信息，在车辆自动驾驶、公安刑侦判案、交警道路管理、道路交通计费等应用中起到重要的作用。由于车辆类型分类依据的信息项多且相互补充，单一的单目摄像机、双目摄像机、称重、激光扫描、红外扫描等传感器装置，均不能全面、准确地获取相关信息，因此、车辆类型分类在识别精度上难以获得高的准确率。

专利CN111783638A提出了一种检测车辆轮轴数及车型识别的***、方法，该***包括测距传感装置、高频并行信号采集设备、计算处理设备，通过测距传感装置，可以获得车轮深度图和车身深度图的数据序列，实现车辆轮轴数检测，并根据采集设备的车牌信息获得车型识别结果，但依据的信息项只有车辆轮轴数、车牌信息，不足以实现车型的精准识别。

专利CN111523579A提出了一种基于改进深度学习的车型识别方法及***，该方法基于深度学习方法，需要大量交通卡口车辆图像数据集进行切割、整理、分类、训练，实现车型的分类识别，仅利用了车辆图像的外形信息，车型识别准确率难以保证。

因而现有的车型识别技术还存在不足，还有待改进和提高。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种车型识别方法、装置和***，能够提高针对车辆识别的长宽高度的准确性，同时针对车型进行全面识别，综合提高车型的识别准确度。

为了达到上述目的，本发明采取了以下技术方案：

一方面，本发明提供一种车型识别方法，包括：

获取车辆的车头图像、车身图像和车尾图像；

获取车辆的宽高长数据；所述宽高长数据包括第一宽高数据、第二宽高数据、第三宽高数据；其中，对所述车头图像和所述车尾图像进行车牌检测，得到车牌图像尺寸与车牌物理尺寸之间的第一比例系数，进而根据车头图像尺寸、车尾图像尺寸分别得到车头的第一宽高数据和车尾的第二宽高数据；将车头图像和/或车尾图像与所述车身图像进行特征值提取与匹配，根据所述第一比例系数和车身图像尺寸得到车身的第三宽高数据；

获取车辆的车型数据；所述车型数据包括车型信息、车轴信息；其中，通过第一识别模型对所述车头图像进行识别得到所述车型信息；通过第二识别模型对所述车身图像进行识别得到所述车轴信息；

整合所述宽高长数据和所述车型数据，输出车型识别数据。

优选的，所述第一宽高数据或所述第二宽高的获取步骤包括：

通过第三识别模型对第一图像进行车牌图像识别，得到车牌位置数据和车牌类型数据；所述第一图像为所述车头图像或所述车尾图像；

通过仿射变换将车牌图像的宽高比调整为与对应车牌类型的实际物理宽高比相同，并基于相同的调整比例同步调整所述第一图像的宽高比得到第一调整图像；

获取车牌图像的图像尺寸与车牌的物理尺寸之间的第一比例系数；

获取第一调整图像的图像尺寸，基于所述第一比例系数得到第一宽高数据或第二宽高数据。

优选的，获取所述比例系数具体包括：

获取车牌图像中每个字符的字符图像尺寸；

根据车牌的字符物理尺寸，得到所述第一比例系数。

优选的，所述第三宽高数据的获取步骤为：

获取第一调整图像和车身图像的特征匹配点，进而得到对应的第二比例系数；

根据所述第二比例系数将所述车身图像进行归一化处理，得到第一归一化图像；

获取所述第一归一化图像的图像尺寸，基于所述第一比例系数得到第三宽高数据。

优选的，所述第一调整图像包括车头调整图像和车尾调整图像；

所述第三宽高数据的获取步骤为：

获取车头调整图像和车身图像的特征匹配点，进而得到对应的第三比例系数；

根据所述第三比例系数将所述车身图像进行归一化处理，得到第二归一化图像；

获取车尾调整图像和车身图像的特征匹配点，进而得到对应的第四比例系数；

根据所述第四比例系数将所述车身图像进行归一化处理，得到第三归一化图像；

获取所述第二归一化图像的图像尺寸，基于所述第一比例系数得到第一车身宽高数据；

获取所述第三归一化图像的图像尺寸，基于所述第一比例系数得到第二车身宽高数据；

基于所述第一车身宽高数据和第二车身宽高数据进行加权计算，得到所述第三宽高数据。

优选的，所述车轴信息包括车轴数、车轴类型；

所述车型识别数据还包括：所述车头图像、所述车身图像、所述车尾图像、车牌类型数据。

优选的，所述车头图像或所述车尾图像获取步骤包括：

获取第二图像，使用第四识别模型对第二图像进行车头或车尾识别，得到粗略矩形框位置信息；所述第二图像为具有车头特征或车尾特征的图像；

对所述粗略矩形框进行图像边缘检测，得到车头图像或车尾图像。

优选的，所述车身图像的获取步骤包括：

获取连续生成的多帧第三图像；所述第三图像为具有车身特征的图像；

计算毎帧所述第三图像的特征向量，并分别计算与前一帧所述第三图像的匹配相似度，进而得到对应的偏移量；

将多帧所述第三图像根据对应所述偏移量进行平移变换拼接，得到所述车身图像。

另一方面，本发明提供一种车型识别装置，包括：

获取模块，用于获取车辆的车头图像、车身图像和车尾图像；

处理模块，用于获取车辆的宽高长数据；所述宽高长数据包括第一宽高数据、第二宽高数据、第三宽高数据；其中，对所述车头图像和所述车尾图像进行车牌检测，得到车牌图像尺寸与车牌物理尺寸之间的第一比例系数，进而根据车头图像尺寸、车尾图像尺寸分别得到车头的第一宽高数据和车尾的第二宽高数据；将车头图像和/或车尾图像与所述车身图像进行特征值提取与匹配，根据所述第一比例系数和车身图像尺寸得到车身的第三宽高数据；获取车辆的车型数据；所述车型数据包括车型信息、车轴信息；其中，通过第一识别模型对所述车头图像进行识别得到所述车型信息；通过第二识别模型对所述车身图像进行识别得到所述车轴信息；整合所述宽高长数据和所述车型数据，输出车型识别数据。

另一方面，本发明提供一种车型识别***，包括：

多目摄像机，具有多个朝向不同的摄像头；

车型识别装置，与所述多目摄像机连接，用于接收多个摄像头传输的图像，进而得到车辆的车头图像、车身图像和车尾图像；并获取车辆的宽高长数据；所述宽高长数据包括第一宽高数据、第二宽高数据、第三宽高数据；其中，对所述车头图像和所述车尾图像进行车牌检测，得到车牌图像尺寸与车牌物理尺寸之间的第一比例系数，进而根据车头图像尺寸、车尾图像尺寸分别得到车头的第一宽高数据和车尾的第二宽高数据；将车头图像和/或车尾图像与所述车身图像进行特征值提取与匹配，根据所述第一比例系数和车身图像尺寸得到车身的第三宽高数据；获取车辆的车型数据；所述车型数据包括车型信息、车轴信息；其中，通过第一识别模型对所述车头图像进行识别得到所述车型信息；通过第二识别模型对所述车身图像进行识别得到所述车轴信息；整合所述宽高长数据和所述车型数据，输出车型识别数据。

相较于现有技术，本发明提供的一种车型识别方法、装置和***，具有以下有益效果：

使用本发明提供车型识别方法，在得到车头图像、车身图像、车尾图像后，通过进行车牌检测，进而根据车牌图像尺寸以及车牌物理尺寸得到第一比例系数，进而得到精准的车头的第一宽高数据、车尾的第二宽高数据、车身的第三宽高数据，同时对车型以及车轴类型进行精准识别，能够准确得到经过车辆的车型识别数据，提高识别准确度。

附图说明

图1是本发明提供的车型识别方法的流程图。

图2是本发明提供的多目摄像机装设示意图。

图3是本发明提供的车头或车尾宽高数据获取步骤流程图。

图4是本发明提供的第一比例系数另一实施例获取步骤流程图。

图5是本发明提供的第三宽高数据的一种获取方式流程图。

图6是本发明提供的第三宽高数据的另一种获取方式流程图。

图7是本发明提供的车身图像获取步骤流程图。

图8是本发明提供的车身图像获取示意图。

图9是本发明提供的车型识别方法的一种实施例流程图。

图10是本发明提供的车型识别装置的结构框图。

图11是本发明提供的车型识别***的结构框图。

具体实施方式

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本领域技术人员应当理解，前面的一般描述和下面的详细描述是本发明的示例性和说明性的具体实施例，不意图限制本发明。

本文中术语“包括”，“包含”或其任何其他变体旨在覆盖非排他性包括，使得包括步骤列表的过程或方法不仅包括那些步骤，而且可以包括未明确列出或此类过程或方法固有的其他步骤。同样，在没有更多限制的情况下，以“包含...一个”开头的一个或多个设备或子***，元素或结构或组件也不会没有更多限制，排除存在其他设备或其他子***或其他元素或其他结构或其他组件或其他设备或其他子***或其他元素或其他结构或其他组件。在整个说明书中，短语“在一个实施例中”，“在另一个实施例中”的出现和类似的语言可以但不一定都指相同的实施例。

除非另有定义，否则本文中使用的所有技术和科学术语具有与本发明所属领域的普通技术人员通常所理解的相同含义。

请一并参阅图1、图2和图9，本发明提供一种车型识别方法，应用于车型识别装置，与多目摄像机连接。本实施例中，根据实际应用场景，所述多目摄像机安装在道路旁侧的位置1或位置2(如图2所示)，所述多目摄像机至少具有多个摄像头，每个摄像头朝向不同的方向，分别获取不同方向上道路的图像数据。

进一步的优选方案中，所述摄像头的数量为3个，面对道路各自的朝向分别为正对道路(获取用于生成车身图像的第二图像)、车辆驶来方向(获取用于生成车头图像的图像)、车辆驶离方向(获取用于生成车尾图像的图像)。在进一步优选的方案中，所述摄像头的数量超过3个，在每个方向上的摄像头数量为一个或多个，这样针对同一车辆可以选择其中优选的图像数据生成对应的车头图像、车尾图像、车身图像。摄像头装设的要求如图所示：1)摄像机1和摄像机2、摄像机2和摄像机3之间的视场角存在一定程度重合；2)各摄像机可以上下、左右调整角度；3)车辆驶过摄像机组时，摄像机1能完整采集到车辆车头图像、摄像机2能完整采集到车身全身高度图像且图像画面尽量确保水平平行于路面、摄像机3能完整采集到车辆车尾图像，从而能够方便的进行图像之间的特征点匹配。

进一步，多目摄像机的多个摄像头之间的工作过程优选为：车辆进入区域1时，摄像机1采集车辆车头图像序列，处理模块根据图像序列，检测识别车头图像，并同步图像采集信号给摄像机2；车辆进入区域2时，摄像头2采集车身图像序列，同时同步图像采集信号给摄像机3；车辆进入区域3时，摄像头3采集车尾图像序列，从而获得车辆经过区域1-区域3的所有图像序列，进而得到车头图像、车身图像、车尾图像，摄像头依次获取图像，可以有效节约电能、存储资源和计算资源等。

所述车型识别方法包括：

S1、获取车辆的车头图像、车身图像和车尾图像；在本实施例中，所述车头图像、所述车身图像、所述车尾图像，均是通过摄像机拍摄图像序列进而生成，当然，在使用一些具有自动识别功能并能够获取清洗的目标图像的摄像机时，可以直接通过该种摄像机传输的图像进行使用。

S2、获取车辆的宽高长数据；所述宽高长数据包括第一宽高数据、第二宽高数据、第三宽高数据；其中，对所述车头图像和所述车尾图像进行车牌检测，得到车牌图像尺寸与车牌物理尺寸之间的第一比例系数，进而根据车头图像尺寸、车尾图像尺寸分别得到车头的第一宽高数据和车尾的第二宽高数据；将车头图像和/或车尾图像与所述车身图像进行特征值提取与匹配，根据所述第一比例系数和车身图像尺寸得到车身的第三宽高数据；在本实施例中，所述第一比例系数包括第一宽度比例系数和第一高度比例系数，二者分别进行简单计算，例如车牌图像尺寸为400*150像素，车牌的物理尺寸为440mm×140mm，则第一宽度比例系数为0.91像素/mm，第一高度比例系数为1.07像素/mm，然后得到车头图像尺寸或车尾图像尺寸后，进行第一宽高数据和第二宽高数据的快速计算，同理可计算得到第三宽高数据。

S3、获取车辆的车型数据；所述车型数据包括车型信息、车轴信息；其中，通过第一识别模型对所述车头图像进行识别得到所述车型信息；通过第二识别模型对所述车身图像进行识别得到所述车轴信息；具体的，所述第一识别模型和第二识别模型均基于深度神经网络模型得到。

具体的，所述第第一识别模型的训练过程包括：

获取第一训练集，所述第一训练集包括若干第一训练图像，所述第一训练图像为具有车型特征的图像，并标注了各种车辆类型的标签；所述车辆类型包括大型汽车、挂车小型汽车、警用汽车等。

使用第一训练集对初始化的神经网络模型进行训练得到所述第一识别模型。

所述第二识别模型的训练过程包括：

获取第二训练集，所述第二训练集包括若干第二训练图像，所述第二训练图像为具有车轴特征的图像，并标注了各种车轴类型的标签；

使用第二训练集对初始化的神经网络模型进行训练得到所述第二识别模型。

S4、整合所述宽高长数据和所述车型数据，输出车型识别数据。具体的，整合数据过程即将识别得到的数据进行融合处理，得到针对该车辆的车型信息的准确识别。

使用本发明提供车型识别方法，在得到车头图像、车身图像、车尾图像后，通过进行车牌检测，进而根据车牌图像尺寸以及车牌物理尺寸得到第一比例系数，进而得到精准的车头的第一宽高数据、车尾的第二宽高数据、车身的第三宽高数据，同时对车型以及车轴类型进行精准识别，能够准确得到经过车辆的车型识别数据，提高识别准确度。

进一步的，请参阅图3，作为优选方案，本实施例中，所述第一宽高数据或所述第二宽高的获取步骤包括：

S21、通过第三识别模型对第一图像进行车牌图像识别，得到车牌位置数据和车牌类型数据；所述第一图像为所述车头图像或所述车尾图像；具体的，所述第三识别模型基于神经网络模型训练得到，可以自动对第一图像进行识别，快速得到对应的识别结果，同时保证准确性。

具体的，所述车牌类型包括：1、大型汽车号牌-前：440mm×140mm-后：440mm×220mm-黄底黑字黑框线；2、挂车号牌-440mm×220mm-黄底黑字黑框线；3、小型汽车号牌-440mm×140mm-蓝底白字白框线；4、使馆汽车号牌-440mm×140mm-黑底白字，红“使”、“领”字白框线；5、领馆汽车号牌-440mm×140mm-黑底白字，红“使”、“领”字白框线；6、港澳入出境车号牌-440mm×140mm-黑底白字，白“港”、“澳”字白框线；7、教练汽车号牌-440mm×140mm-黄底黑字，黑“学”字黑框线；8、警用汽车号牌-440mm×140mm-白底黑字，红“警”字黑框线。

所述第三识别模型的训练过程包括：

获取第三训练集，所述第三训练集包括若干第三训练图像，所述第三训练图像为具有车牌特征的图像，并标注了各种车牌类型的标签；

使用第三训练集对初始化的神经网络模型进行训练得到所述第三识别模型。

S22、通过仿射变换将车牌图像的宽高比调整为与对应车牌类型的实际物理宽高比相同，并基于相同的调整比例同步调整所述第一图像的宽高比得到第一调整图像；

S23、获取车牌图像的图像尺寸与车牌的物理尺寸之间的第一比例系数；

S24、获取第一调整图像的图像尺寸，基于所述第一比例系数得到第一宽高数据或第二宽高数据。

本实施例主要对车头图像或车尾图像进行车牌的检测、定位、校正、类型分类、字符分割和识别处理。

在进一步的实施例中，在得到车牌位置数据后，车牌矩形框的4顶点位置由目标检测和特征点提取的方法得到，同时，所述第三识别模型还能够得到车牌颜色和车牌类型数据，然后结合车牌类型信息通过仿射变换得到与实际物理车牌宽高比一致的车牌图像，再结合语义分割的方法得到各个字符的精确矩形框位置，最后识别出车牌号码信息，即可快速获知车牌的基础信息，包括号码、颜色、类型等。

进一步的，请参阅图4，作为优选方案，本实施例中，获取所述比例系数具体包括：

获取车牌图像中每个字符的字符图像尺寸；

根据车牌的字符物理尺寸，得到所述第一比例系数。即使用每个字符的物理尺寸与图像尺寸生成所述第一比例系数，则会更加准确，以使在计算车头或车尾的宽高数据时更加准确。实现针对车牌字符物理尺寸的准确估算，从而准确估算出车辆高、宽、长度物理尺寸。

具体实施过程中，在仿射变换后，首先获取变换参数M(M为3x3矩阵)，并结合车头精确位置信息，通过仿射变换的方法得到车头的正面图像，得到车头图像的图像尺寸为W_{img_h}*H_{img_h}。

得到各个字符精确矩形框位置，由变换参数M通过仿射变换的方法得到各个字符的图像尺寸W_{img_h_ch_i}*H_{img_h_ch_i}(其中i为字符序号)。

根据字符的图像尺寸并结合各字符成像情况，通过聚类分析的方法剔除字符“1”或其他由于污损等原因导致字符图像尺寸过大或过小的数据，然后计算得到字符的平均图像尺寸：

其中N₁为宽度图像尺寸有效的字符个数，N₂为高度图像尺寸有效的字符个数。

结合《中华人民共和国机动车号牌》最新行业标准规定的单字符物理尺寸W_{phy_ch}*H_{phy_h}，计算得到字符物理尺寸和图像尺寸的比例系数(即第一比例系数，其中第一比例系数包括第一宽度比例系数、第一高度比例系数)：

第一宽度比例系数为

第一高度比例系数为

结合摄像头图像等比例成像特性，可以计算得到车头的物理宽度和高度(即车头的第一宽高数据)：

在进一步的实施例中，在获取所述第一比例系数前，对第一图像进行畸变校正，使图像更加接近车头的实际形状。

进一步的，请参阅图5，作为优选方案，本实施例中，所述第三宽高数据的获取步骤为：

获取第一调整图像和车身图像的特征匹配点，进而得到对应的第二比例系数；所述第一调整图像为车头图像的第一调整图像或车尾图像的第一调整图像。

根据所述第二比例系数将所述车身图像进行归一化处理，得到第一归一化图像；

获取所述第一归一化图像的图像尺寸，基于所述第一比例系数得到第三宽高数据。在本实施例中，仅使用车头图像或车尾图像对车身图像进行归一化调整，使车身图像的图像尺寸与调整后的车头图像或车尾图像做适应性调整，进而得到与第一调整图像相适应的归一化图像，能够进一步提高车身的宽高计算精度。

进一步的，请参阅图6，作为优选方案，本实施例中，所述第一调整图像包括车头调整图像和车尾调整图像；

所述第三宽高数据的获取步骤为：

获取车头调整图像和车身图像的特征匹配点，进而得到对应的第三比例系数；

根据所述第三比例系数将所述车身图像进行归一化处理，得到第二归一化图像；

获取车尾调整图像和车身图像的特征匹配点，进而得到对应的第四比例系数；

根据所述第四比例系数将所述车身图像进行归一化处理，得到第三归一化图像；

获取所述第二归一化图像的图像尺寸，基于所述第一比例系数得到第一车身宽高数据；

获取所述第三归一化图像的图像尺寸，基于所述第一比例系数得到第二车身宽高数据；

基于所述第一车身宽高数据和第二车身宽高数据进行加权计算，得到所述第三宽高数据。在本实施例中，所述车身图像与车头调整图像或车尾调整图像进行特征点匹配后，可以得到车辆的三维立体图像。同时使用车头图像和车尾图像对车身图像进行匹配处理，可以有效提高车身的第三宽高数据的计算精度。

具体实施中，通过车头正面完整图像和车身图像，计算两图像的特征匹配点，并求出两图像高度变换的第三比例系数f₁：

其中H_{img_s}为车身图像高度，H_{img_h}为车头图像高度，F_s(y_i)为车头图像特征点y坐标，F_h(y_i)为车身图像特征点y坐标，K为特征点对数目；

根据所述第三比例系数计算第二归一化图像，得到车身侧面完整图像的归一化长W_{img0_s}和高H_{img0_s}：

W_{img0_s}＝f₁*W_{img_s}，其中W_{img_s}为车身图像长度，

H_{img0_s}＝f₁*H_{img_s}，其中H_{img_s}为车身图像高度

根据第一比例系数，结合摄像头图像等比例成像特性，则可以估算车身的第一车身宽高数据的长度和高度信息：

同理，使用车尾调整图像和车身图像的特征点匹配和车尾高度信息，可以得到车身的第二车身宽高数据的长度W"_{phy_s}和高度H"_{phy_s}信息；

为更准确地估算车身的第三宽高数据，则使用第一车身宽高数据和第二车身宽高数据，求加权值，作为车身的第三宽高数据中长度和高度信息：

W_{phy_s}＝W'_{phy_s}*α+W"_{phy_s}*β，其中α∈(0,1)和β∈(0,1)为权值，α+β＝1；

其中δ∈(0,1)和

为权值，

一般地，取α＝0.5,β＝0.5,δ＝0.5,

即求平均值。

进一步的，请参阅图7和图8，作为优选方案，本实施例中，所述车轴信息包括车轴数、车轴类型；

所述车型识别数据还包括：所述车头图像、所述车身图像、所述车尾图像、车牌类型数据。具体的，在进行多数据信息融合处理后，能够获取完整车头、车身和车尾3个面的正视图图像，以及对应的三维立体图像，融合计算得到车辆的长宽高度、车辆轮轴数、车辆轴型、车牌类型、车牌颜色、车牌号、车辆外形等信息，实现车型准确识别。

综合上述所有步骤得到的信息，采用多数据信息融合处理的方法，获取完整车头、车身和车尾3个面的正视图图像，融合计算得到车辆的长宽高度、车辆轮轴数、车辆轴型、车牌类型、车牌颜色、车牌号、车辆外形等信息，实现车型准确识别。

进一步的，作为优选方案，本实施例中，所述车头图像或所述车尾图像获取步骤包括：

获取第二图像，使用第四识别模型对第二图像进行车头或车尾识别，得到粗略矩形框位置信息；所述第二图像为具有车头特征或车尾特征的图像；优选的，所述第四识别模型为通过对初始化的神经网络模型进行训练得到。具有所述车头特征或车尾特征的图像通过预设的第一摄像头(例如摄像头1或摄像头3)拍摄得到，该第一摄像头装设在道路一侧，与道路边缘乘一定角度(非90°)，当摄像头的视野中出现车辆时，所拍摄的照片即具有所述车头特征或车尾特征。

对所述粗略矩形框进行图像边缘检测，得到车头图像或车尾图像。使用基于神经网络的识别模型进行车头或车尾的识别，可以快速确定第二图像中是否有车头或车尾图像，并快速进行标注，同时还保证准确性。

基于深度学习目标检测的方法得到车辆车头或车尾的粗略矩形框位置信息，并结合图像边缘检测方法得到车头图像的边缘图像，然后根据边缘信息确定车头左右和上下精确位置，实现车头的精确定位，再结合检测置信度和车头的精确位置信息实现车头完整图像的抓拍。

所述第四识别模型的训练过程包括：

获取第四训练集，所述第四训练集包括若干第四训练图像，所述第四训练图像为具有车头特征或车尾特征的图像，并标注了车头或车尾的标签；

使用第四训练集对初始化的神经网络模型进行训练得到所述第四识别模型。

进一步的，作为优选方案，本实施例中，所述车身图像的获取步骤包括：

获取连续生成的多帧第三图像；所述第三图像为具有车身特征的图像；优选的，连续生成的多帧第三图像可以是单位时间内的一段视频进行图像筛选得到。具有所述车身特征的图像为通过预设的第二摄像头(例如摄像头2)拍摄得到，该第二摄像头的拍摄方向与道路边缘垂直，当视野中出现车辆时，所拍摄的照片即具有车身特征。

计算毎帧所述第三图像的特征向量，并分别计算与前一帧所述第三图像的匹配相似度，进而得到对应的偏移量；

将多帧所述第三图像根据对应所述偏移量进行平移变换拼接，得到所述车身图像。本实施例，无论是小车还是大车(特别是车辆超长、超宽的车辆)，均能够获取完整的车辆图像。

具体在实施中，请参阅图8，根据车身图像序列形成的多帧第三图像，检测车辆(车身)是否出现在摄像头视场范围区域2位置，是则记录为flag＝1，拼接开始。

计算当前第i帧第三图像的特征点集合

其中i为第三图像帧序号，j为特征点序号，N为有效特征点数目，(x_j,y_j)为特征点对应的图像位置，则上一帧即第i-1帧第三图像对应的匹配特征点集合为

根据第i帧第三图像的特征点集合

和上一帧i-1第三图像的特征点集合

计算特征点的匹配相似度，通过阈值过滤掉匹配失败的点，则分别计算匹配特征对的平均(x_i0,y_i0)位移量，即第i帧第三图像与第i-1帧第三图像车身目标为平移变换，其偏移量：

其中M为有效特征对数目；

结合车辆正常行驶经过摄像头2区域2位置的实际情况，车辆车身图像的垂直位移量y_i0近似为零，可忽略不计，因此，可以根据车辆车身图像的水平位移量x_i0计算第i帧第三图像与第i-1帧第三图像车身目标的拼接图，如图8所示。

将每一帧第三图像均按照前述步骤操作，直到车辆(车身)消失摄像头视场范围区域2位置，即flag＝0，最后一张第三图像处理完毕，则车辆的完整车身图像拼接完成，进入下一辆车辆的拼接准备阶段。

请参阅图10，本发明还提供一种车型识别装置，包括：

获取模块，用于获取车辆的车头图像、车身图像和车尾图像；

处理模块，用于获取车辆的宽高长数据；所述宽高长数据包括第一宽高数据、第二宽高数据、第三宽高数据；其中，对所述车头图像和所述车尾图像进行车牌检测，得到车牌图像尺寸与车牌物理尺寸之间的第一比例系数，进而根据车头图像尺寸、车尾图像尺寸分别得到车头的第一宽高数据和车尾的第二宽高数据；将车头图像和/或车尾图像与所述车身图像进行特征值提取与匹配，根据所述第一比例系数和车身图像尺寸得到车身的第三宽高数据；获取车辆的车型数据；所述车型数据包括车型信息、车轴信息；其中，通过第一识别模型对所述车头图像进行识别得到所述车型信息；通过第二识别模型对所述车身图像进行识别得到所述车轴信息；整合所述宽高长数据和所述车型数据，输出车型识别数据。

请参阅图11，本发明还提供一种车型识别***，包括：

多目摄像机，具有多个朝向不同的摄像头；

车型识别装置，与所述多目摄像机连接，用于接收多个摄像头传输的图像，进而得到车辆的车头图像、车身图像和车尾图像；并获取车辆的宽高长数据；所述宽高长数据包括第一宽高数据、第二宽高数据、第三宽高数据；其中，对所述车头图像和所述车尾图像进行车牌检测，得到车牌图像尺寸与车牌物理尺寸之间的第一比例系数，进而根据车头图像尺寸、车尾图像尺寸分别得到车头的第一宽高数据和车尾的第二宽高数据；将车头图像和/或车尾图像与所述车身图像进行特征值提取与匹配，根据所述第一比例系数和车身图像尺寸得到车身的第三宽高数据；获取车辆的车型数据；所述车型数据包括车型信息、车轴信息；其中，通过第一识别模型对所述车头图像进行识别得到所述车型信息；通过第二识别模型对所述车身图像进行识别得到所述车轴信息；整合所述宽高长数据和所述车型数据，输出车型识别数据。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种车型识别方法，其特征在于，包括：

获取车辆的车头图像、车身图像和车尾图像；

获取车辆的宽高长数据；所述宽高长数据包括第一宽高数据、第二宽高数据、第三宽高数据；其中，对所述车头图像和所述车尾图像进行车牌检测，得到车牌图像尺寸与车牌物理尺寸之间的第一比例系数，进而根据车头图像尺寸、车尾图像尺寸分别得到车头的第一宽高数据和车尾的第二宽高数据；将车头图像和/或车尾图像与所述车身图像进行特征值提取与匹配，根据所述第一比例系数和车身图像尺寸得到车身的第三宽高数据；

获取车辆的车型数据；所述车型数据包括车型信息、车轴信息；其中，通过第一识别模型对所述车头图像进行识别得到所述车型信息；通过第二识别模型对所述车身图像进行识别得到所述车轴信息；

整合所述宽高长数据和所述车型数据，输出车型识别数据。

2.根据权利要求1所述的车型识别方法，其特征在于，所述第一宽高数据或所述第二宽高的获取步骤包括：

通过第三识别模型对第一图像进行车牌图像识别，得到车牌位置数据和车牌类型数据；所述第一图像为所述车头图像或所述车尾图像；

通过仿射变换将车牌图像的宽高比调整为与对应车牌类型的实际物理宽高比相同，并基于相同的调整比例同步调整所述第一图像的宽高比得到第一调整图像；

获取车牌图像的图像尺寸与车牌的物理尺寸之间的第一比例系数；

获取第一调整图像的图像尺寸，基于所述第一比例系数得到第一宽高数据或第二宽高数据。

3.根据权利要求2所述的车型识别方法，其特征在于，获取所述比例系数具体包括：

获取车牌图像中每个字符的字符图像尺寸；

根据车牌的字符物理尺寸，得到所述第一比例系数。

4.根据权利要求2所述的车型识别方法，其特征在于，所述第三宽高数据的获取步骤为：

获取第一调整图像和车身图像的特征匹配点，进而得到对应的第二比例系数；

根据所述第二比例系数将所述车身图像进行归一化处理，得到第一归一化图像；

获取所述第一归一化图像的图像尺寸，基于所述第一比例系数得到第三宽高数据。

5.根据权利要求2所述的车型识别方法，其特征在于，所述第一调整图像包括车头调整图像和车尾调整图像；

所述第三宽高数据的获取步骤为：

获取车头调整图像和车身图像的特征匹配点，进而得到对应的第三比例系数；

根据所述第三比例系数将所述车身图像进行归一化处理，得到第二归一化图像；

获取车尾调整图像和车身图像的特征匹配点，进而得到对应的第四比例系数；

根据所述第四比例系数将所述车身图像进行归一化处理，得到第三归一化图像；

获取所述第二归一化图像的图像尺寸，基于所述第一比例系数得到第一车身宽高数据；

获取所述第三归一化图像的图像尺寸，基于所述第一比例系数得到第二车身宽高数据；

基于所述第一车身宽高数据和第二车身宽高数据进行加权计算，得到所述第三宽高数据。

6.根据权利要求2所述的车型识别方法，其特征在于，所述车轴信息包括车轴数、车轴类型；

所述车型识别数据还包括：所述车头图像、所述车身图像、所述车尾图像、车牌类型数据。

7.根据权利要求1所述的车型识别方法，其特征在于，所述车头图像或所述车尾图像获取步骤包括：

获取第二图像，使用第四识别模型对第二图像进行车头或车尾识别，得到粗略矩形框位置信息；所述第二图像为具有车头特征或车尾特征的图像；

对所述粗略矩形框进行图像边缘检测，得到车头图像或车尾图像。

8.根据权利要求1所述的车型识别方法，其特征在于，所述车身图像的获取步骤包括：

获取连续生成的多帧第三图像；所述第三图像为具有车身特征的图像；

计算毎帧所述第三图像的特征向量，并分别计算与前一帧所述第三图像的匹配相似度，进而得到对应的偏移量；

将多帧所述第三图像根据对应所述偏移量进行平移变换拼接，得到所述车身图像。

9.一种车型识别装置，其特征在于，包括：

获取模块，用于获取车辆的车头图像、车身图像和车尾图像；

处理模块，用于获取车辆的宽高长数据；所述宽高长数据包括第一宽高数据、第二宽高数据、第三宽高数据；其中，对所述车头图像和所述车尾图像进行车牌检测，得到车牌图像尺寸与车牌物理尺寸之间的第一比例系数，进而根据车头图像尺寸、车尾图像尺寸分别得到车头的第一宽高数据和车尾的第二宽高数据；将车头图像和/或车尾图像与所述车身图像进行特征值提取与匹配，根据所述第一比例系数和车身图像尺寸得到车身的第三宽高数据；获取车辆的车型数据；所述车型数据包括车型信息、车轴信息；其中，通过第一识别模型对所述车头图像进行识别得到所述车型信息；通过第二识别模型对所述车身图像进行识别得到所述车轴信息；整合所述宽高长数据和所述车型数据，输出车型识别数据。

10.一种车型识别***，其特征在于，包括：

多目摄像机，具有多个朝向不同的摄像头；

车型识别装置，与所述多目摄像机连接，用于接收多个摄像头传输的图像，进而得到车辆的车头图像、车身图像和车尾图像；并获取车辆的宽高长数据；所述宽高长数据包括第一宽高数据、第二宽高数据、第三宽高数据；其中，对所述车头图像和所述车尾图像进行车牌检测，得到车牌图像尺寸与车牌物理尺寸之间的第一比例系数，进而根据车头图像尺寸、车尾图像尺寸分别得到车头的第一宽高数据和车尾的第二宽高数据；将车头图像和/或车尾图像与所述车身图像进行特征值提取与匹配，根据所述第一比例系数和车身图像尺寸得到车身的第三宽高数据；获取车辆的车型数据；所述车型数据包括车型信息、车轴信息；其中，通过第一识别模型对所述车头图像进行识别得到所述车型信息；通过第二识别模型对所述车身图像进行识别得到所述车轴信息；整合所述宽高长数据和所述车型数据，输出车型识别数据。

Images