CN112115737B - 一种车辆朝向的确定方法、装置及车载终端 - Google Patents

一种车辆朝向的确定方法、装置及车载终端 Download PDF

Info

Publication number
CN112115737B
CN112115737B CN201910530086.1A CN201910530086A CN112115737B CN 112115737 B CN112115737 B CN 112115737B CN 201910530086 A CN201910530086 A CN 201910530086A CN 112115737 B CN112115737 B CN 112115737B
Authority
CN
China
Prior art keywords
vehicle
detected
determining
image
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910530086.1A
Other languages
English (en)
Other versions
CN112115737A (zh
Inventor
李亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN201910530086.1A priority Critical patent/CN112115737B/zh
Publication of CN112115737A publication Critical patent/CN112115737A/zh
Application granted granted Critical
Publication of CN112115737B publication Critical patent/CN112115737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开一种车辆朝向的确定方法、装置及车载终端。该方法包括：通过车辆检测模型，确定道路图像中待检测车辆所在的车辆区域和车牌区域；根据车辆区域和车牌区域之间的相对位置关系，确定待检测车辆的宽高尺寸比例；基于宽高尺寸比例，通过车辆结构线检测模型，从车辆区域中确定待检测车辆的结构线信息；根据预设的朝向信息与结构线信息的对应关系，确定所述结构线信息对应的朝向信息，作为所述待检测车辆的朝向信息；其中，车辆结构线检测模型用于根据预先训练的模型参数和待检测车辆的宽高尺寸比例，从车辆区域中确定待检测车辆的结构线信息。应用本发明实施例提供的方案，能够更准确地确定车辆的朝向信息。

Description

一种车辆朝向的确定方法、装置及车载终端
技术领域
本发明涉及智能驾驶技术领域，具体而言，涉及一种车辆朝向的确定方法、装置及车载终端。
背景技术
随着科学技术的发展，智能驾驶、无人车等新兴概念应运而生。高精度车辆探测识别、跟踪估计是道路场景分析与环境感知中的重要元素，也是智能驾驶领域一个不可或缺的部分。对周围车辆的车辆朝向的估计是感知技术中的重要一环。除了智能驾驶领域会确定周围车辆的车辆朝向以外，在其他领域，比如道路监控领域等也会有此应用。
相关技术中，通常根据图像采集设备采集包括待检测车辆的道路图像，并根据传统的图像形态学进行去噪、平滑滤波以及二值化阈值分割等预处理，获得二值化黑白图像，通过轮廓提取和跟踪监测车辆边缘线，根据车辆边缘线确定车辆朝向信息。但是这种确定车辆朝向的方法容易受到背景信息干扰而无法精准地提取车辆边缘线，导致确定的车辆朝向不够准确。
发明内容
本发明提供了一种车辆朝向的确定方法、装置及车载终端，以更准确地确定车辆的朝向信息。具体的技术方案如下。
第一方面，本发明实施例公开了一种车辆朝向的确定方法，包括：
获取包含待检测车辆的道路图像；
通过车辆检测模型，确定所述道路图像中所述待检测车辆所在的车辆区域和车牌区域；
根据所述车辆区域和车牌区域之间的相对位置关系，确定所述待检测车辆的宽高尺寸比例；
基于所述宽高尺寸比例，通过车辆结构线检测模型，从所述车辆区域中确定所述待检测车辆的结构线信息；其中，所述车辆结构线检测模型用于根据预先训练的模型参数和待检测车辆的宽高尺寸比例，从车辆区域中确定待检测车辆的结构线信息；
根据预设的朝向信息与结构线信息的对应关系，确定所述结构线信息对应的朝向信息，作为所述待检测车辆的朝向信息。
可选的，所述根据所述车辆区域和车牌区域之间的相对位置关系，确定所述待检测车辆的宽高尺寸比例的步骤，包括：
根据所述车辆区域在高度方向上的像素数量，确定所述待检测车辆的虚拟高度信息；
确定所述车牌区域边界框在宽度方向上与所述车辆区域边界框之间的两个像素数量；
根据所述两个像素数量中较小的一个像素数量，确定所述待检测车辆的虚拟宽度信息；
根据所述虚拟高度信息和所述虚拟宽度信息，确定所述待检测车辆的宽高尺寸比例。
可选的，所述车辆结构线检测模型包括特征提取层和回归层；所述基于所述宽高尺寸比例，通过车辆结构线检测模型，从所述车辆区域中确定所述待检测车辆的结构线信息的步骤，包括：
通过所述特征提取层的第一模型参数，提取所述车辆区域的特征向量；
通过所述回归层的第二模型参数和所述宽高尺寸比例，对所述特征向量进行回归，得到所述待检测车辆的结构线信息。
可选的，采用以下方式训练所述车辆结构线检测模型：
获取多个样本车辆图像和每个样本车辆图像中的样本车辆的样本宽高尺寸比例，以及每个样本车辆图像对应的标准结构线信息；
将所述样本车辆图像输入所述车辆结构线检测模型；
通过所述特征提取层的第一模型参数，提取所述样本车辆图像的样本特征向量；
通过所述回归层的第二模型参数和所述样本车辆图像对应的样本宽高尺寸比例，对所述样本特征向量进行回归，得到所述样本车辆图像中的样本车辆的参考结构线信息；
计算所述参考结构线信息与对应的标准结构线信息之间的差异；
当所述差异大于预设差异阈值时，根据所述差异调整所述第一模型参数和第二模型参数，返回执行所述将所述样本车辆图像输入所述车辆结构线检测模型的步骤；
当所述差异小于所述预设差异阈值时，确定所述车辆结构线检测模型训练完成。
可选的，所述结构线信息与朝向信息的对应关系为：多个朝向分类与结构线特征范围的对应关系；其中，每个朝向分类是从设定的中心点向周围区域的连续朝向中选择的特定朝向；
所述根据预设的朝向信息与结构线信息的对应关系，确定所述结构线信息对应的朝向信息的步骤，包括：
确定所述结构线信息对应的结构线特征范围，根据确定的结构线特征范围对应的朝向分类，确定所述结构线信息对应的朝向信息。
可选的，所述获取包含待检测车辆的道路图像的步骤，包括：
获取图像采集设备采集的包含待检测车辆的初始道路图像；
根据所述初始道路图像中待检测车辆的多个车辆关键点，对所述初始道路图像进行透视变换，将变换后的图像作为所述道路图像；其中，所述道路图像对应的模拟相机的光轴穿过所述待检测车辆，所述模拟相机对应的模拟相机坐标系与各个车辆关键点之间存在预设定义关系。
可选的，所述根据所述初始道路图像中待检测车辆的多个车辆关键点，对所述初始道路图像进行透视变换，将变换后的图像作为所述道路图像的步骤，包括：
根据图像坐标系与相机坐标系之间的转换关系，确定所述初始道路图像中待检测车辆的多个车辆关键点在所述相机坐标系中的坐标；其中，所述相机坐标系为所述图像采集设备所在的三维坐标系；
根据各个车辆关键点在所述相机坐标系中的坐标，以及预设的模拟相机坐标系与各个车辆关键点之间的预设定义关系，确定所述初始道路图像中各个车辆关键点定义的所述目标模拟相机坐标系；
根据所述目标模拟相机坐标系与所述相机坐标系之间的转换关系，以及预设的模拟相机的内参矩阵和所述图像采集设备的内参矩阵，将所述初始道路图像转换至所述目标模拟相机坐标系对应的二维成像平面，得到变换后的图像。
可选的，所述根据各个车辆关键点在所述相机坐标系中的坐标，以及预设的模拟相机坐标系与各个车辆关键点之间的预设定义关系，确定所述初始道路图像中各个车辆关键点定义的目标模拟相机坐标系的步骤，包括：
采用以下预设的模拟相机坐标系与各个车辆关键点之间的预设定义关系，确定所述初始道路图像中各个车辆关键点定义的目标模拟相机坐标系：
Figure BDA0002099469140000041
Figure BDA0002099469140000042
Figure BDA0002099469140000043
其中，
Figure BDA0002099469140000044
所述P1、P2和P3取各个车辆关键点在所述相机坐标系中的坐标，所述
Figure BDA0002099469140000045
和
Figure BDA0002099469140000046
分别为目标模拟相机坐标系的各个坐标轴的坐标向量，所述×为叉乘符号。
可选的，所述根据所述目标模拟相机坐标系与所述相机坐标系之间的转换关系，以及预设的模拟相机的内参矩阵和所述图像采集设备的内参矩阵，将所述初始道路图像转换至所述目标模拟相机坐标系对应的二维成像平面，得到变换后的图像的步骤，包括：
根据所述图像采集设备的内参矩阵，将所述初始道路图像转换至所述相机坐标系下，得到第一图像数据；
根据所述目标模拟相机坐标系和所述相机坐标系之间的转换关系，将所述第一图像数据转换至所述目标模拟相机坐标系下，得到第二图像数据；
将预设的模拟相机的内参矩阵作为所述目标模拟相机坐标系对应的模拟相机的内参矩阵，根据所述目标模拟相机坐标系对应的模拟相机的内参矩阵，将所述第二图像数据转换至所述目标模拟相机坐标系对应的二维成像平面，得到变换后的图像。
第二方面，本发明实施例公开了一种车辆朝向的确定装置，包括：
图像获取模块，被配置为获取包含待检测车辆的道路图像；
区域确定模块，被配置为通过车辆检测模型，确定所述道路图像中所述待检测车辆所在的车辆区域和车牌区域；
比例确定模块，被配置为根据所述车辆区域和车牌区域之间的相对位置关系，确定所述待检测车辆的宽高尺寸比例；
结构线确定模块，被配置为基于所述宽高尺寸比例，通过车辆结构线检测模型，从所述车辆区域中确定所述待检测车辆的结构线信息；其中，所述车辆结构线检测模型用于根据预先训练的模型参数和待检测车辆的宽高尺寸比例，从车辆区域中确定待检测车辆的结构线信息；
朝向确定模块，被配置为根据预设的朝向信息与结构线信息的对应关系，确定所述结构线信息对应的朝向信息，作为所述待检测车辆的朝向信息。
第三方面，本发明实施例公开了一种车载终端，包括：处理器和图像采集设备；所述处理器包括：图像获取模块、区域确定模块、比例确定模块、结构线确定模块、朝向确定模块；
图像获取模块，用于获取所述图像采集设备采集的包含待检测车辆的道路图像；
区域确定模块，用于通过车辆检测模型，确定所述道路图像中所述待检测车辆所在的车辆区域和车牌区域；
比例确定模块，用于根据所述车辆区域和车牌区域之间的相对位置关系，确定所述待检测车辆的宽高尺寸比例；
结构线确定模块，用于基于所述宽高尺寸比例，通过车辆结构线检测模型，从所述车辆区域中确定所述待检测车辆的结构线信息；其中，所述车辆结构线检测模型用于根据预先训练的模型参数和待检测车辆的宽高尺寸比例，从车辆区域中确定待检测车辆的结构线信息；
朝向确定模块，用于根据预设的朝向信息与结构线信息的对应关系，确定所述结构线信息对应的朝向信息，作为所述待检测车辆的朝向信息。
由上述内容可知，本发明实施例提供的车辆朝向的确定方法、装置及车载终端，可以根据道路图像中车辆区域和车牌区域之间的相对位置关系，确定待检测车辆的宽高尺寸比例，并基于宽高尺寸比例，通过车辆结构线检测模型从车辆区域中确定待检测车辆的结构线信息。车辆的宽高比例能够表征车辆不同平面之间的结构，根据车辆的宽高尺寸比例能够使得车辆结构线检测模型更准确地确定车辆的结构线信息。相比于相关技术中通过提取的车辆的边缘线确定车辆朝向，本发明实施例能够更准确地确定车辆结构线，根据车辆结构线更准确地确定车辆的朝向信息。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
本发明实施例的创新点包括：
1、同时从道路图像中确定车辆区域和车牌区域，并根据车辆区域和车牌区域的相对位置关系能够更快速地确定车辆的宽高尺寸比例。根据车辆的宽高尺寸比例，能够更准确地确定车辆结构线，进而更准确地确定车辆的朝向。
2、将连续的朝向转变为不连续的朝向，即分成多个朝向分类，根据结构线信息确定车辆属于哪个朝向分类，能够简化车辆朝向的处理过程，提高处理效率。
3、对图像进行透视变换，使得变换后图像对应的相机光轴均穿过待检测车辆，对初始道路图像进行了归一化，这样使得根据车辆的结构线所确定的待检测车辆的朝向更准确。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的车辆朝向的确定方法的一种流程示意图；
图2为本发明实施例提供的车辆区域和车牌区域的相对位置关系参考图；
图3为本发明实施例提供的车辆结构线的一种示意图；
图4为本发明实施例提供的8朝向分类的一种示意图；
图5为本发明实施例提供的相机坐标系与模拟相机坐标系之间的旋转关系的一种示意图；
图6为本发明实施例提供的车辆朝向的确定装置的一种结构示意图；
图7为本发明实施例提供的车载终端的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
本发明实施例公开了一种车辆朝向的确定方法、装置及车载终端，能够更准确地确定车辆的朝向信息。下面对本发明实施例进行详细说明。
图1为本发明实施例提供的车辆朝向的确定方法的一种流程示意图。该方法应用于电子设备。该电子设备可以为普通计算机、服务器、移动终端、车载终端等。该方法具体包括以下步骤。
S110：获取包含待检测车辆的道路图像。
其中，道路图像中除了包含待检测车辆，还可以包括各种背景，例如交通标识牌、路灯杆、树木、建筑、行人等背景。
道路图像可以包括但不限于当前车辆中的图像采集设备采集的图像。图像采集设备可以位于当前车辆的前挡风玻璃内部附近，或者位于后挡风玻璃内部附近。上述道路图像也可以为图像采集设备实时采集的图像，这样能够通过本实施例实时地确定当前车辆周围的待检测车辆的朝向。
本实施例中，为了确定待检测车辆的朝向信息，可以继续执行以下步骤。其中待检测车辆的朝向，可以为待检测车辆相对于当前车辆的朝向，或者相对于图像采集设备的朝向，也可以是相对于选定点的朝向。
S120：通过车辆检测模型，确定道路图像中待检测车辆所在的车辆区域和车牌区域。
其中，车辆区域可以为包含待检测车辆的所有像素点的区域，车牌区域为包含待检测车辆的车牌的所有像素点的区域。车辆区域和车牌区域为一一对应的，并且车牌区域位于车辆区域内部。车辆区域和车牌区域均可以采用矩形框包围的区域表示，具体可以采用矩形对角点的坐标进行表示。
车辆检测模型用于根据预先训练好的模型参数确定道路图像中待检测车辆所在的车辆区域和车牌区域。车辆检测模型可以为预先根据大量样本车辆图像和标注的车辆区域和车牌区域训练得到。车辆检测模型可以采用卷积神经网络进行训练。由于卷积神经网络中的卷积层局部连接和权值共享的特征，使得需要训练的模型参数大大减少，进而能够简化模型的训练过程，能够提高训练效率。
在另一种实施方式中，也可以通过设置车辆区域的像素数量，从道路图像中确定像素数量大于预设阈值的车辆区域和对应的车牌区域。这样能够从道路图像中筛选出距离当前车辆比较近的待检测车辆，确定该部分待检测车辆的朝向。
参见图2所示，为道路图像中的车辆区域和车牌区域的一种参考图。其中，大黑框内的区域为车辆区域，小黑框内的区域为车牌区域。
S130：根据车辆区域和车牌区域之间的相对位置关系，确定待检测车辆的宽高尺寸比例。
其中，宽高尺寸比例，可以理解为待检测车辆的宽度与高度之间的比例。
本步骤具体可以包括：确定车辆区域和车牌区域之间的相对位置关系，根据确定的相对位置关系，确定待检测车辆的宽高尺寸比例。采用车辆区域和车牌区域之间的相对位置关系确定待检测车辆的宽高尺寸比例，能够比较快速而准确地确定车辆宽高尺寸比例。
车辆区域和车牌区域之间的相对位置关系，可以为车辆区域的中心点与车牌区域的中心点之间的相对位置关系，也可以为车辆区域的边界框与车牌区域的边界框之间的相对位置关系。
根据相对位置关系确定待检测车辆的宽高尺寸比例时，具体可以包括：判断车牌区域是否位于车辆区域的中心位置，如果是，则直接根据车辆区域的宽度和高度确定待检测车辆的宽高尺寸比例；如果否，则可以根据车牌区域的边界框与车辆区域的边界框之间的相对距离确定待检测车辆的宽高尺寸比例。
在判断车牌区域是否位于车辆区域的中心位置时，可以判断车辆区域的中心点是否与车牌区域的中心点重合，如果重合，则确定车牌区域位于车辆区域的中心位置。
S140：基于宽高尺寸比例，通过车辆结构线检测模型，从车辆区域中确定待检测车辆的结构线信息。
其中，车辆的结构线可以包括车辆不同平面之间的分界线以及车辆的边界线。结构线信息可以理解为车辆的各个结构线所组合成的图形信息。
例如，图3所示为车辆结构线的示意图。其中，车辆的结构线采用黑色或者白色的线表示。车辆的各个结构线之间存在一定的角度和长度比例，结构线信息可以包括结构线之间的角度和长度比例等信息。
车辆结构线检测模型用于根据预先训练的模型参数和待检测车辆的宽高尺寸比例，从车辆区域中确定待检测车辆的结构线信息。车辆结构线检测模型可以预先采用大量样本车辆图像和标注的标准结构线信息对神经网络模型进行训练得到。
在一种具体实施方式中，车辆结构线检测模型可以包括特征提取层和回归层。基于所述宽高尺寸比例，通过车辆结构线检测模型，从所述车辆区域中确定所述待检测车辆的结构线信息的步骤，可以包括：
通过特征提取层的第一模型参数，提取所述车辆区域的特征向量；通过回归层的第二模型参数和宽高尺寸比例，对特征向量进行回归，得到待检测车辆的结构线信息。
其中，第一模型参数和第二模型参数都是车辆结构线检测模型的模型参数，是通过对样本进行训练得到的。
车辆的宽高尺寸比例能够表征车辆不同平面之间的结构，根据宽高尺寸比例能够更准确地区分车辆的后平面和侧平面，进而能够更准确地将后平面与侧平面之间的结构线区分开。
S150：根据预设的朝向信息与结构线信息的对应关系，确定结构线信息对应的朝向信息，作为待检测车辆的朝向信息。
其中，朝向信息与结构线信息的对应关系，可以通过预先对大量样本车辆图像和对应的标准朝向信息进行分析后确定。
由上述内容可知，本实施例可以根据道路图像中车辆区域和车牌区域之间的相对位置关系，确定待检测车辆的宽高尺寸比例，并基于宽高尺寸比例，通过车辆结构线检测模型从车辆区域中确定待检测车辆的结构线信息。车辆的宽高比例能够表征车辆不同平面之间的结构，根据车辆的宽高尺寸比例能够使得车辆结构线检测模型更准确地确定车辆的结构线信息。相比于相关技术中通过提取的车辆的边缘线确定车辆朝向，本实施例能够更准确地确定车辆结构线，进而能够根据车辆结构线更准确地确定车辆的朝向信息。
在本发明的另一实施例中，基于图1所示实施例，步骤S130，根据车辆区域和车牌区域之间的相对位置关系，确定待检测车辆的宽高尺寸比例的步骤，可以包括以下步骤1a～4a。
步骤1a：根据车辆区域在高度方向上的像素数量，确定待检测车辆的虚拟高度信息。具体的，可以直接将车辆区域在高度方向上的像素数量确定为待检测车辆的虚拟高度信息。
步骤2a：确定车牌区域边界框在宽度方向上与车辆区域边界框之间的两个像素数量。
车牌区域位于车辆区域内部，可以计算车牌区域左边界框与车辆区域左边界框之间的像素数量，计算车牌区域右边界框与车辆区域右边界框之间的像素数量。在计算边界框之间的像素数量时，可以将边界框之间垂直连线上的像素数量作为边界框之间的像素数量。
两个像素数量分别包括左边界框之间的像素数量和右边界框之间的像素数量。
步骤3a：根据两个像素数量中较小的一个像素数量，确定待检测车辆的虚拟宽度信息。具体的，可以直接将两个像素数量中较小的一个像素数量，确定为待检测车辆的虚拟宽度信息。
步骤4a：根据虚拟高度信息和虚拟宽度信息，确定待检测车辆的宽高尺寸比例。
其中，可以将虚拟高度信息与虚拟宽度信息之间的比值，或者虚拟宽度信息与虚拟高度信息之间的比值，确定为待检测车辆的宽高尺寸比例。
综上，本实施例提供了一种确定待检测车辆的宽高尺寸比例的实施方式，在满足一定精度要求的基础上，这种实施方式能够更加高效地确定宽高尺寸比例。
在本发明的另一实施例中，基于图1所示实施例，可以采用以下步骤1b～6b训练车辆结构线检测模型。
步骤1b：获取多个样本车辆图像和每个样本车辆图像中的样本车辆的样本宽高尺寸比例，以及每个样本车辆图像对应的标准结构线信息。
步骤2b：将样本车辆图像输入车辆结构线检测模型。
步骤3b：通过特征提取层的第一模型参数，提取样本车辆图像的样本特征向量；通过回归层的第二模型参数和样本车辆图像对应的样本宽高尺寸比例，对样本特征向量进行回归，得到样本车辆图像中的样本车辆的参考结构线信息。
步骤4b：计算参考结构线信息与对应的标准结构线信息之间的差异。
具体的，可以采用损失函数计算参考结构线信息与对应的标准结构线信息之间的差异。
步骤5b：当差异大于预设差异阈值时，根据上述差异调整第一模型参数和第二模型参数，返回执行步骤2b，将其他的样本车辆图像输入车辆结构线检测模型。
步骤6b：当差异小于预设差异阈值时，确定车辆结构线检测模型训练完成。
当差异等于预设差异阈值时，可以根据上述差异调整第一模型参数和第二模型参数，也可以确定车辆结构线检测模型训练完成。
第一模型参数和第二模型参数的初始值可以是预设的。根据第一模型参数和第二模型参数确定的参考结构信息可能与标准结构线信息之间存在一定的差异，可以根据该差异不断地修正第一模型参数和第二模型参数，直至参考结构信息与标准结构线信息非常相似。
为了使得模型的训练快速地收敛，可以选择已经在图像检测领域训练过的神经网络模型作为车辆结构线检测模型，在该车辆结构线检测模型的基础上，不断地调整模型参数，直至模型训练完成。
综上，本实施例提供了训练车辆结构线检测模型的一种具体实施方式。采用大量的样本车辆图像和样本宽高尺寸比例和对应的标准结构线信息，同不断地调整模型参数，能够使得训练得到的模型在检测结构线时准确性更高。
在本发明的另一实施例中，基于图1所示实施例，结构线信息与朝向信息的对应关系可以为：多个朝向分类与结构线特征范围的对应关系。其中，每个朝向分类是从设定的中心点向周围区域的连续朝向中选择的特定朝向。中心点也可以为相机的光心，也可以为预先设置的其他点。每个朝向分类可以对应一个朝向范围，该朝向范围包括多种结构线特征，该多个结构线特征组成对应的结构线特征范围。
例如，可以将以设定的中心点的周围区域设置为8个朝向分类。图4为8朝向分类的一种示意图。其中，以A车中的相机为中心点，可以将周围的360度区域划分为8个朝向，其中每个朝向分类采用一条黑线的方向表示。B车朝向属于与其朝向相同的朝向分类。
步骤S150，根据预设的朝向信息与结构线信息的对应关系，确定结构线信息对应的朝向信息的步骤，具体可以包括：
确定结构线信息对应的结构线特征范围，根据确定的结构线特征范围对应的朝向分类，确定结构线信息对应的朝向信息。
其中，结构线特征范围可以包括结构线信息对应的朝向向量区间。
在一种实施方式中，可以预先训练基于多个朝向分类的分类模型，将结构线信息输入该分类模型。该分类模型可以根据训练得到的多个朝向分类与结构线特征范围的对应关系，确定输入的结构线信息对应的朝向分类。在训练该分类模型时，可以采用预先获取的大量样本车辆图像和对应标注的车辆朝向对神经网络模型进行训练。
在划分朝向分类时，可以从0度开始，每隔45度为一个方向类别，总计8个类别。在进行车辆朝向的数据标注时，如样本车辆图像中车辆朝向不是恰好落在8个类别之中，则选择与车辆朝向方向夹角最小的类别作为车辆朝向类别。
当待检测车辆位于不同的车道时，结构线之间的角度和结构线的绝对长度和比例都会相应发生变化。针对同一车道中不同朝向的车辆，其结构线信息也是完全不同的。结构线信息可以包含能确定不同车道的车辆朝向的信息。
本实施例中的分类模型可以选用经过剪枝的双重路径网络(Dual Path Network，DPN)作为分类器，对图片进行分类。DPN网络具有较高的参数效率，相较于其他卷积神经网络在同等规模下可以取得较好的精度。
综上，本实施例中，车辆的朝向信息实际上可以为一连续变量，但是在大多数实际应用场景下，并不需要特别高的朝向精度，将连续的朝向划分为多个朝向分类，能够满足大多数应用场景，并简化车辆朝向的处理过程，避免不必要的计算量，提高处理效率。
在本发明的另一实施例中，基于图1所示实施例，步骤S110，获取包含待检测车辆的道路图像的步骤，具体可以包括以下步骤：
获取图像采集设备采集的包含待检测车辆的初始道路图像，根据初始道路图像中待检测车辆的多个车辆关键点，对初始道路图像进行透视变换，将变换后的图像作为道路图像。
其中，道路图像对应的模拟相机的光轴穿过待检测车辆，模拟相机对应的模拟相机坐标系与各个车辆关键点之间存在预设定义关系。
车辆关键点可以包括车灯、车轮胎、车牌、车窗等部分中设定位置的点。
在一种应用场景中，当图像采集设备位于当前车辆中时，为了确定当前车辆周围的其他车辆相对于当前车辆的朝向，可以对初始道路图像进行透视变换，使得变换后图像对应的图像采集设备(相机)的光轴穿过待检测车辆，即实现对图像的归一化。
在根据朝向信息与结构线信息的对应关系确定结构线信息的朝向信息时，由于道路图像都是经过归一化处理的，减少了相机的光轴与待检测车辆位置不同时确定朝向信息而存在的误差。
综上，本实施例对图像进行透视变换，使得变换后图像对应的相机光轴均穿过待检测车辆，对初始道路图像进行了归一化，这样使得根据车辆的结构线所确定的待检测车辆的朝向更准确。
在本发明的另一实施例中，基于上述实施例，根据初始道路图像中待检测车辆的多个车辆关键点，对初始道路图像进行透视变换，将变换后的图像作为所述道路图像的步骤，具体可以包括以下步骤：
步骤1c：根据图像坐标系与相机坐标系之间的转换关系，确定初始道路图像中待检测车辆的多个车辆关键点在相机坐标系中的坐标。
其中，相机坐标系为图像采集设备所在的三维坐标系。图像坐标系为与初始道路图像对应的二维坐标系。
图像坐标系与相机坐标系之间的转换关系，可以预先根据图像采集设备的内参矩阵确定。初始道路图像中待检测车辆的多个车辆关键点是以图像坐标系中的坐标表示。
具体可以根据以下公式，将多个车辆关键点变换到相机坐标系下：
Figure BDA0002099469140000141
其中，xy为图像坐标系中的坐标轴，XYZ为相机坐标系中的坐标轴，f为图像采集设备的焦距。以上假设图像坐标系为理想坐标系，图像坐标系与相机坐标系之间的变换只与焦距有关。
步骤2c：根据各个车辆关键点在相机坐标系中的坐标，以及预设的模拟相机坐标系与各个车辆关键点之间的预设定义关系，确定初始道路图像中各个车辆关键点定义的目标模拟相机坐标系。
其中，模拟相机坐标系与各个车辆关键点之间的预设定义关系，可以理解为以不同车辆关键点之间的连线作为坐标轴的定义关系。设模拟相机坐标系的坐标轴包括X0、Y0、Z0轴。例如，可以以两个车灯中心点的连线作为X0′轴，以车牌中心点与上述图像采集设备的坐标原点的连线作为Z0轴，以Z0轴和X0′轴按照右手规则确定Y0轴，然后再以Z0轴和Y0轴确定X0轴。虽然Z0轴和X0′轴可能是不垂直的，经过上述定义后确定的Z0轴、Y0轴、X0轴即是相互垂直的。上述定义模拟相机坐标系的方式，可以将模拟相机的光轴旋转至车辆区域，消除相机与车辆区域之间的侧移。
本步骤，具体可以采用以下预设的模拟相机坐标系与各个车辆关键点之间的预设定义关系，确定初始道路图像中各个车辆关键点定义的目标模拟相机坐标系：
Figure BDA0002099469140000142
Figure BDA0002099469140000143
Figure BDA0002099469140000151
其中，
Figure BDA0002099469140000152
P1、P2和P3取各个车辆关键点在相机坐标系中的坐标，
Figure BDA0002099469140000153
和
Figure BDA0002099469140000154
分别为目标模拟相机坐标系的各个坐标轴的坐标向量，×为叉乘符号。例如P1、P2可以为两个车灯中心点，P3可以为车牌中心点等。
参见图5，该图5为相机坐标系与模拟相机坐标系之间的旋转关系的一种示意图。其中，O-XYZ为相机坐标系的原点和坐标轴，P1、P2和P3分别为相机坐标系下的两个车灯中心点和车牌中心点，P1和P2确定
Figure BDA0002099469140000155
P3和相机坐标系的原点的连线构成Z0向量
Figure BDA0002099469140000156
叉乘
Figure BDA0002099469140000157
得到Y0向量，Y0向量叉乘Z0向量得到X0向量。
步骤3c：根据目标模拟相机坐标系与相机坐标系之间的转换关系，以及预设的模拟相机的内参矩阵和图像采集设备的内参矩阵，将初始道路图像转换至目标模拟相机坐标系对应的二维成像平面，得到变换后的图像。
其中，模拟相机的内参矩阵可以根据需求预先设置，例如可以设置模拟相机的二维成像平面所成图像的尺寸，以及模拟相机的焦距等参量。预设的模拟相机的内参矩阵可以作为目标模拟相机坐标系对应的模拟相机的内参矩阵。
综上，本实施例可以根据从初始道路图像中确定的待检测车辆的各个车辆关键点在相机坐标系中的坐标，以及预设定义关系，确定该初始道路图像中待检测车辆的各个车辆关键点定义的目标模拟相机坐标系，并对初始道路图像进行转换，实现了对初始道路图像的透视变换。
在本发明的另一实施例中，基于上述实施例，步骤3c，根据目标模拟相机坐标系与相机坐标系之间的转换关系，以及预设的模拟相机的内参矩阵和所述图像采集设备的内参矩阵，将初始道路图像转换至目标模拟相机坐标系对应的二维成像平面，得到变换后的图像的步骤，具体可以包括以下步骤3c-1～3c-3。
步骤3c-1：根据图像采集设备的内参矩阵，将初始道路图像转换至相机坐标系下，得到第一图像数据。
本步骤，具体可以包括：根据以下公式，将初始道路图像Q转换至相机坐标系下，得到第一图像数据Q1：
Figure BDA0002099469140000161
其中，Cr为图像采集设备的内参矩阵。
步骤3c-2：根据目标模拟相机坐标系和相机坐标系之间的转换关系，将所述第一图像数据转换至所述目标模拟相机坐标系下，得到第二图像数据。
其中，根据步骤2c可知，目标模拟相机坐标系可以采用相机坐标系中点的坐标来表示，根据目标模拟相机坐标系的表达式，可以得到目标模拟相机坐标系和相机坐标系之间的转换关系。例如，目标模拟相机坐标系和相机坐标系之间的转换关系Rc可以为：
Figure BDA0002099469140000162
本步骤具体可以包括：根据以下公式，将第一图像数据Q1转换至目标模拟相机坐标系下，得到第二图像数据Q2：
Q2＝RcQ1
其中，Rc为目标模拟相机坐标系和相机坐标系之间的转换关系，T为转置符号，Rc为矩阵。
步骤3c-3：将预设的模拟相机的内参矩阵作为目标模拟相机坐标系对应的模拟相机的内参矩阵，根据目标模拟相机坐标系对应的模拟相机的内参矩阵，将第二图像数据转换至目标模拟相机坐标系对应的二维成像平面，得到变换后的图像。
本步骤具体可以包括：根据以下公式，将第二图像数据Q2转换至目标模拟相机坐标系对应的二维成像平面，得到处理后的图像Q′：
Q′＝Cs*Sc*Q2
其中，Cs为目标模拟相机坐标系对应的模拟相机的内参矩阵，
Figure BDA0002099469140000163
scale为根据初始道路图像中各个车辆关键点之间的相对位置确定的缩放系数，即变换后的图像在Z轴方向上的缩放系数。当scale设置为1时，不改变图像的大小。
上述步骤3c-1～3c-3对初始道路图像进行变换的过程可以简化为：
根据以下公式，将初始道路图像Q转换至目标模拟相机坐标系对应的二维成像平面，得到变换后图像Q′：
Q′＝WQ
Figure BDA0002099469140000171
其中，W可以称为透视变换矩阵。通过对模拟相机的内参矩阵等参数进行调整，即可获得合适的透视变换矩阵，通过该透视变换矩阵对初始道路图像进行透视变换，便可得到归一化后的图像。
通过设置模拟相机的内参矩阵中的参量，可以改变图像视野的大小，以及图像中心点的位置。
综上，本实施例中，在将初始道路图像转换至目标模拟相机坐标系下的过程中，首先将初始道路图像转换至真实的相机坐标系，然后从相机坐标系下转换至目标模拟相机坐标系下，最后从目标模拟相机坐标系下转换至对应的二维成像平面，得到的变换后图像为二维图像，这为图像的处理过程提供了具体的实施方式，并且能够使得图像的处理过程更加准确，减少对图像中信息的影响。
图6为本发明实施例提供的车辆朝向的确定装置的一种结构示意图。该装置应用于电子设备。该实施例与图1所示方法实施例相对应。该装置包括：
图像获取模块610，被配置为获取包含待检测车辆的道路图像；
区域确定模块620，被配置为通过车辆检测模型，确定道路图像中待检测车辆所在的车辆区域和车牌区域；
比例确定模块630，被配置为根据车辆区域和车牌区域之间的相对位置关系，确定待检测车辆的宽高尺寸比例；
结构线确定模块640，被配置为基于宽高尺寸比例，通过车辆结构线检测模型，从车辆区域中确定待检测车辆的结构线信息；其中，车辆结构线检测模型用于根据预先训练的模型参数和待检测车辆的宽高尺寸比例，从车辆区域中确定待检测车辆的结构线信息；
朝向确定模块650，被配置为根据预设的朝向信息与结构线信息的对应关系，确定结构线信息对应的朝向信息，作为待检测车辆的朝向信息。
在本发明的另一实施例中，基于图6所示实施例，比例确定模块630，具体被配置为：
根据车辆区域在高度方向上的像素数量，确定待检测车辆的虚拟高度信息；
确定车牌区域边界框在宽度方向上与车辆区域边界框之间的两个像素数量；
根据两个像素数量中较小的一个像素数量，确定待检测车辆的虚拟宽度信息；
根据虚拟高度信息和虚拟宽度信息，确定待检测车辆的宽高尺寸比例。
在本发明的另一实施例中，基于图6所示实施例，车辆结构线检测模型包括特征提取层和回归层；结构线确定模块640，具体被配置为：
通过特征提取层的第一模型参数，提取车辆区域的特征向量；
通过回归层的第二模型参数和宽高尺寸比例，对特征向量进行回归，得到待检测车辆的结构线信息。
在本发明的另一实施例中，基于图6所示实施例，装置还包括模型训练模块(图中未示出)；模型训练模块采用以下操作训练车辆结构线检测模型：
获取多个样本车辆图像和每个样本车辆图像中的样本车辆的样本宽高尺寸比例，以及每个样本车辆图像对应的标准结构线信息；
将样本车辆图像输入车辆结构线检测模型；
通过特征提取层的第一模型参数，提取样本车辆图像的样本特征向量；
通过回归层的第二模型参数和样本车辆图像对应的样本宽高尺寸比例，对样本特征向量进行回归，得到样本车辆图像中的样本车辆的参考结构线信息；
计算参考结构线信息与对应的标准结构线信息之间的差异；
当差异大于预设差异阈值时，根据差异调整第一模型参数和第二模型参数，返回将样本车辆图像输入车辆结构线检测模型；
当差异小于预设差异阈值时，确定车辆结构线检测模型训练完成。
在本发明的另一实施例中，基于图6所示实施例，结构线信息与朝向信息的对应关系为：多个朝向分类与结构线特征范围的对应关系；其中，每个朝向分类是从设定的中心点向周围区域的连续朝向中选择的特定朝向；
朝向确定模块650，具体被配置为：
确定结构线信息对应的结构线特征范围，根据确定的结构线特征范围对应的朝向分类，确定结构线信息对应的朝向信息。
在本发明的另一实施例中，基于图6所示实施例，图像获取模块610，具体被配置为：
获取图像采集设备采集的包含待检测车辆的初始道路图像；
根据初始道路图像中待检测车辆的多个车辆关键点，对初始道路图像进行透视变换，将变换后的图像作为道路图像；其中，道路图像对应的模拟相机的光轴穿过待检测车辆，模拟相机对应的模拟相机坐标系与各个车辆关键点之间存在预设定义关系。
在本发明的另一实施例中，基于图6所示实施例，图像获取模块610，根据初始道路图像中待检测车辆的多个车辆关键点，对初始道路图像进行透视变换，将变换后的图像作为道路图像时，包括：
根据图像坐标系与相机坐标系之间的转换关系，确定初始道路图像中待检测车辆的多个车辆关键点在相机坐标系中的坐标；其中，相机坐标系为图像采集设备所在的三维坐标系；
根据各个车辆关键点在相机坐标系中的坐标，以及预设的模拟相机坐标系与各个车辆关键点之间的预设定义关系，确定初始道路图像中各个车辆关键点定义的目标模拟相机坐标系；
根据目标模拟相机坐标系与相机坐标系之间的转换关系，以及预设的模拟相机的内参矩阵和图像采集设备的内参矩阵，将初始道路图像转换至目标模拟相机坐标系对应的二维成像平面，得到变换后的图像。
在本发明的另一实施例中，基于图6所示实施例，图像获取模块610，根据各个车辆关键点在相机坐标系中的坐标，以及预设的模拟相机坐标系与各个车辆关键点之间的预设定义关系，确定初始道路图像中各个车辆关键点定义的目标模拟相机坐标系时，包括：
采用以下预设的模拟相机坐标系与各个车辆关键点之间的预设定义关系，确定初始道路图像中各个车辆关键点定义的目标模拟相机坐标系：
Figure BDA0002099469140000191
Figure BDA0002099469140000201
Figure BDA0002099469140000202
其中，
Figure BDA0002099469140000203
P1、P2和P3取各个车辆关键点在相机坐标系中的坐标，
Figure BDA0002099469140000204
和
Figure BDA0002099469140000205
分别为目标模拟相机坐标系的各个坐标轴的坐标向量，×为叉乘符号。
在本发明的另一实施例中，基于图6所示实施例，图像获取模块610，根据目标模拟相机坐标系与相机坐标系之间的转换关系，以及预设的模拟相机的内参矩阵和图像采集设备的内参矩阵，将初始道路图像转换至目标模拟相机坐标系对应的二维成像平面，得到变换后的图像时，包括：
根据图像采集设备的内参矩阵，将初始道路图像转换至相机坐标系下，得到第一图像数据；
根据目标模拟相机坐标系和相机坐标系之间的转换关系，将第一图像数据转换至目标模拟相机坐标系下，得到第二图像数据；
将预设的模拟相机的内参矩阵作为目标模拟相机坐标系对应的模拟相机的内参矩阵，根据目标模拟相机坐标系对应的模拟相机的内参矩阵，将第二图像数据转换至目标模拟相机坐标系对应的二维成像平面，得到变换后的图像。
上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。
图7为本发明实施例提供的车载终端的一种结构示意图。该车载终端包括：处理器710和图像采集设备720。处理器包括：图像获取模块、区域确定模块、比例确定模块、结构线确定模块、朝向确定模块(图中未示出)。
图像获取模块，用于获取图像采集设备720采集的包含待检测车辆的道路图像；
区域确定模块，用于通过车辆检测模型，确定道路图像中待检测车辆所在的车辆区域和车牌区域；
比例确定模块，用于根据车辆区域和车牌区域之间的相对位置关系，确定待检测车辆的宽高尺寸比例；
结构线确定模块，用于基于宽高尺寸比例，通过车辆结构线检测模型，从车辆区域中确定待检测车辆的结构线信息；其中，车辆结构线检测模型用于根据预先训练的模型参数和待检测车辆的宽高尺寸比例，从车辆区域中确定待检测车辆的结构线信息；
朝向确定模块，用于根据预设的朝向信息与结构线信息的对应关系，确定结构线信息对应的朝向信息，作为待检测车辆的朝向信息。
在本发明的另一实施例中，基于图7所示实施例，比例确定模块，具体被配置为：
根据车辆区域在高度方向上的像素数量，确定待检测车辆的虚拟高度信息；
确定车牌区域边界框在宽度方向上与车辆区域边界框之间的两个像素数量；
根据两个像素数量中较小的一个像素数量，确定待检测车辆的虚拟宽度信息；
根据虚拟高度信息和虚拟宽度信息，确定待检测车辆的宽高尺寸比例。
在本发明的另一实施例中，基于图7所示实施例，车辆结构线检测模型包括特征提取层和回归层；结构线确定模块，具体被配置为：
通过特征提取层的第一模型参数，提取车辆区域的特征向量；
通过回归层的第二模型参数和宽高尺寸比例，对特征向量进行回归，得到待检测车辆的结构线信息。
在本发明的另一实施例中，基于图7所示实施例，处理器710还包括模型训练模块(图中未示出)；模型训练模块采用以下操作训练车辆结构线检测模型：
获取多个样本车辆图像和每个样本车辆图像中的样本车辆的样本宽高尺寸比例，以及每个样本车辆图像对应的标准结构线信息；
将样本车辆图像输入车辆结构线检测模型；
通过特征提取层的第一模型参数，提取样本车辆图像的样本特征向量；
通过回归层的第二模型参数和样本车辆图像对应的样本宽高尺寸比例，对样本特征向量进行回归，得到样本车辆图像中的样本车辆的参考结构线信息；
计算参考结构线信息与对应的标准结构线信息之间的差异；
当差异大于预设差异阈值时，根据差异调整第一模型参数和第二模型参数，返回将样本车辆图像输入车辆结构线检测模型；
当差异小于预设差异阈值时，确定车辆结构线检测模型训练完成。
在本发明的另一实施例中，基于图7所示实施例，结构线信息与朝向信息的对应关系为：多个朝向分类与结构线特征范围的对应关系；其中，每个朝向分类是从设定的中心点向周围区域的连续朝向中选择的特定朝向；
朝向确定模块，具体被配置为：
确定结构线信息对应的结构线特征范围，根据确定的结构线特征范围对应的朝向分类，确定结构线信息对应的朝向信息。
在本发明的另一实施例中，基于图7所示实施例，图像获取模块，具体被配置为：
获取图像采集设备720采集的包含待检测车辆的初始道路图像；
根据初始道路图像中待检测车辆的多个车辆关键点，对初始道路图像进行透视变换，将变换后的图像作为道路图像；其中，道路图像对应的模拟相机的光轴穿过待检测车辆，模拟相机对应的模拟相机坐标系与各个车辆关键点之间存在预设定义关系。
在本发明的另一实施例中，基于图7所示实施例，图像获取模块，根据初始道路图像中待检测车辆的多个车辆关键点，对初始道路图像进行透视变换，将变换后的图像作为道路图像时，包括：
根据图像坐标系与相机坐标系之间的转换关系，确定初始道路图像中待检测车辆的多个车辆关键点在相机坐标系中的坐标；其中，相机坐标系为图像采集设备720所在的三维坐标系；
根据各个车辆关键点在相机坐标系中的坐标，以及预设的模拟相机坐标系与各个车辆关键点之间的预设定义关系，确定初始道路图像中各个车辆关键点定义的目标模拟相机坐标系；
根据目标模拟相机坐标系与相机坐标系之间的转换关系，以及预设的模拟相机的内参矩阵和图像采集设备720的内参矩阵，将初始道路图像转换至目标模拟相机坐标系对应的二维成像平面，得到变换后的图像。
在本发明的另一实施例中，基于图7所示实施例，图像获取模块，根据各个车辆关键点在相机坐标系中的坐标，以及预设的模拟相机坐标系与各个车辆关键点之间的预设定义关系，确定初始道路图像中各个车辆关键点定义的目标模拟相机坐标系时，包括：
采用以下预设的模拟相机坐标系与各个车辆关键点之间的预设定义关系，确定初始道路图像中各个车辆关键点定义的目标模拟相机坐标系：
Figure BDA0002099469140000231
Figure BDA0002099469140000232
Figure BDA0002099469140000233
其中，
Figure BDA0002099469140000234
P1、P2和P3取各个车辆关键点在相机坐标系中的坐标，
Figure BDA0002099469140000235
和
Figure BDA0002099469140000236
分别为目标模拟相机坐标系的各个坐标轴的坐标向量，×为叉乘符号。
在本发明的另一实施例中，基于图7所示实施例，图像获取模块，根据目标模拟相机坐标系与相机坐标系之间的转换关系，以及预设的模拟相机的内参矩阵和图像采集设备720的内参矩阵，将初始道路图像转换至目标模拟相机坐标系对应的二维成像平面，得到变换后的图像时，包括：
根据图像采集设备720的内参矩阵，将初始道路图像转换至相机坐标系下，得到第一图像数据；
根据目标模拟相机坐标系和相机坐标系之间的转换关系，将第一图像数据转换至目标模拟相机坐标系下，得到第二图像数据；
将预设的模拟相机的内参矩阵作为目标模拟相机坐标系对应的模拟相机的内参矩阵，根据目标模拟相机坐标系对应的模拟相机的内参矩阵，将第二图像数据转换至目标模拟相机坐标系对应的二维成像平面，得到变换后的图像。
该终端实施例与图1所示方法实施例是基于同一发明构思得到的实施例，相关之处可以相互参照。上述终端实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (10)

1.一种车辆朝向的确定方法，其特征在于，包括：
获取包含待检测车辆的道路图像；
通过车辆检测模型，确定所述道路图像中所述待检测车辆所在的车辆区域和车牌区域；
根据所述车辆区域和车牌区域之间的相对位置关系，确定所述待检测车辆的宽高尺寸比例；
基于所述宽高尺寸比例，通过车辆结构线检测模型，从所述车辆区域中确定所述待检测车辆的结构线信息；其中，所述车辆结构线检测模型用于根据预先训练的模型参数和待检测车辆的宽高尺寸比例，从车辆区域中确定待检测车辆的结构线信息；
根据预设的朝向信息与结构线信息的对应关系，确定所述结构线信息对应的朝向信息，作为所述待检测车辆的朝向信息，其中，所述结构线信息与朝向信息的对应关系为：多个朝向分类与结构线特征范围的对应关系；其中，每个朝向分类是从设定的中心点向周围区域的连续朝向中选择的特定朝向。
2.如权利要求1所述的方法，其特征在于，所述根据所述车辆区域和车牌区域之间的相对位置关系，确定所述待检测车辆的宽高尺寸比例的步骤，包括：
根据所述车辆区域在高度方向上的像素数量，确定所述待检测车辆的虚拟高度信息；
确定所述车牌区域边界框在宽度方向上与所述车辆区域边界框之间的两个像素数量；
根据所述两个像素数量中较小的一个像素数量，确定所述待检测车辆的虚拟宽度信息；
根据所述虚拟高度信息和所述虚拟宽度信息，确定所述待检测车辆的宽高尺寸比例。
3.如权利要求1所述的方法，其特征在于，所述车辆结构线检测模型包括特征提取层和回归层；所述基于所述宽高尺寸比例，通过车辆结构线检测模型，从所述车辆区域中确定所述待检测车辆的结构线信息的步骤，包括：
通过所述特征提取层的第一模型参数，提取所述车辆区域的特征向量；
通过所述回归层的第二模型参数和所述宽高尺寸比例，对所述特征向量进行回归，得到所述待检测车辆的结构线信息。
4.如权利要求3所述的方法，其特征在于，采用以下方式训练所述车辆结构线检测模型：
获取多个样本车辆图像和每个样本车辆图像中的样本车辆的样本宽高尺寸比例，以及每个样本车辆图像对应的标准结构线信息；
将所述样本车辆图像输入所述车辆结构线检测模型；
通过所述特征提取层的第一模型参数，提取所述样本车辆图像的样本特征向量；
通过所述回归层的第二模型参数和所述样本车辆图像对应的样本宽高尺寸比例，对所述样本特征向量进行回归，得到所述样本车辆图像中的样本车辆的参考结构线信息；
计算所述参考结构线信息与对应的标准结构线信息之间的差异；
当所述差异大于预设差异阈值时，根据所述差异调整所述第一模型参数和第二模型参数，返回执行所述将所述样本车辆图像输入所述车辆结构线检测模型的步骤；
当所述差异小于所述预设差异阈值时，确定所述车辆结构线检测模型训练完成。
5.如权利要求1所述的方法，其特征在于，
所述根据预设的朝向信息与结构线信息的对应关系，确定所述结构线信息对应的朝向信息的步骤，包括：
确定所述结构线信息对应的结构线特征范围，根据确定的结构线特征范围对应的朝向分类，确定所述结构线信息对应的朝向信息。
6.如权利要求1所述的方法，其特征在于，所述获取包含待检测车辆的道路图像的步骤，包括：
获取图像采集设备采集的包含待检测车辆的初始道路图像；
根据所述初始道路图像中待检测车辆的多个车辆关键点，对所述初始道路图像进行透视变换，将变换后的图像作为所述道路图像；其中，所述道路图像对应的模拟相机的光轴穿过所述待检测车辆，所述模拟相机对应的模拟相机坐标系与各个车辆关键点之间存在预设定义关系。
7.如权利要求6所述的方法，其特征在于，所述根据所述初始道路图像中待检测车辆的多个车辆关键点，对所述初始道路图像进行透视变换，将变换后的图像作为所述道路图像的步骤，包括：
根据图像坐标系与相机坐标系之间的转换关系，确定所述初始道路图像中待检测车辆的多个车辆关键点在所述相机坐标系中的坐标；其中，所述相机坐标系为所述图像采集设备所在的三维坐标系；
根据各个车辆关键点在所述相机坐标系中的坐标，以及预设的模拟相机坐标系与各个车辆关键点之间的预设定义关系，确定所述初始道路图像中各个车辆关键点定义的所述目标模拟相机坐标系；
根据所述目标模拟相机坐标系与所述相机坐标系之间的转换关系，以及预设的模拟相机的内参矩阵和所述图像采集设备的内参矩阵，将所述初始道路图像转换至所述目标模拟相机坐标系对应的二维成像平面，得到变换后的图像。
8.如权利要求6所述的方法，其特征在于，所述根据各个车辆关键点在所述相机坐标系中的坐标，以及预设的模拟相机坐标系与各个车辆关键点之间的预设定义关系，确定所述初始道路图像中各个车辆关键点定义的目标模拟相机坐标系的步骤，包括：
采用以下预设的模拟相机坐标系与各个车辆关键点之间的预设定义关系，确定所述初始道路图像中各个车辆关键点定义的目标模拟相机坐标系：
Figure FDA0003621404670000031
Figure FDA0003621404670000032
Figure FDA0003621404670000033
其中，
Figure FDA0003621404670000034
所述P1、P2和P3取各个车辆关键点在所述相机坐标系中的坐标，所述
Figure FDA0003621404670000035
和
Figure FDA0003621404670000036
分别为目标模拟相机坐标系的各个坐标轴的坐标向量，所述×为叉乘符号。
9.一种车辆朝向的确定装置，其特征在于，包括：
图像获取模块，被配置为获取包含待检测车辆的道路图像；
区域确定模块，被配置为通过车辆检测模型，确定所述道路图像中所述待检测车辆所在的车辆区域和车牌区域；
比例确定模块，被配置为根据所述车辆区域和车牌区域之间的相对位置关系，确定所述待检测车辆的宽高尺寸比例；
结构线确定模块，被配置为基于所述宽高尺寸比例，通过车辆结构线检测模型，从所述车辆区域中确定所述待检测车辆的结构线信息；其中，所述车辆结构线检测模型用于根据预先训练的模型参数和待检测车辆的宽高尺寸比例，从车辆区域中确定待检测车辆的结构线信息；
朝向确定模块，被配置为根据预设的朝向信息与结构线信息的对应关系，确定所述结构线信息对应的朝向信息，作为所述待检测车辆的朝向信息，其中，所述结构线信息与朝向信息的对应关系为：多个朝向分类与结构线特征范围的对应关系；其中，每个朝向分类是从设定的中心点向周围区域的连续朝向中选择的特定朝向。
10.一种车载终端，其特征在于，包括：处理器和图像采集设备；所述处理器包括：图像获取模块、区域确定模块、比例确定模块、结构线确定模块、朝向确定模块；
图像获取模块，用于获取所述图像采集设备采集的包含待检测车辆的道路图像；
区域确定模块，用于通过车辆检测模型，确定所述道路图像中所述待检测车辆所在的车辆区域和车牌区域；
比例确定模块，用于根据所述车辆区域和车牌区域之间的相对位置关系，确定所述待检测车辆的宽高尺寸比例；
结构线确定模块，用于基于所述宽高尺寸比例，通过车辆结构线检测模型，从所述车辆区域中确定所述待检测车辆的结构线信息；其中，所述车辆结构线检测模型用于根据预先训练的模型参数和待检测车辆的宽高尺寸比例，从车辆区域中确定待检测车辆的结构线信息；
朝向确定模块，用于根据预设的朝向信息与结构线信息的对应关系，确定所述结构线信息对应的朝向信息，作为所述待检测车辆的朝向信息，其中，所述结构线信息与朝向信息的对应关系为：多个朝向分类与结构线特征范围的对应关系；其中，每个朝向分类是从设定的中心点向周围区域的连续朝向中选择的特定朝向。
CN201910530086.1A 2019-06-19 2019-06-19 一种车辆朝向的确定方法、装置及车载终端 Active CN112115737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910530086.1A CN112115737B (zh) 2019-06-19 2019-06-19 一种车辆朝向的确定方法、装置及车载终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910530086.1A CN112115737B (zh) 2019-06-19 2019-06-19 一种车辆朝向的确定方法、装置及车载终端

Publications (2)

Publication Number Publication Date
CN112115737A CN112115737A (zh) 2020-12-22
CN112115737B true CN112115737B (zh) 2022-06-10

Family

ID=73795566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910530086.1A Active CN112115737B (zh) 2019-06-19 2019-06-19 一种车辆朝向的确定方法、装置及车载终端

Country Status (1)

Country Link
CN (1) CN112115737B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114871120B (zh) * 2022-05-26 2023-11-07 江苏省徐州医药高等职业学校 基于图像数据处理的药品确定分拣方法及装置
CN117553695B (zh) * 2024-01-11 2024-05-03 摩斯智联科技有限公司 计算车辆高度的方法、装置及计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361359A (zh) * 2014-11-25 2015-02-18 深圳市哈工大交通电子技术有限公司 基于图像检测的车辆识别方法
CN107273792A (zh) * 2017-04-27 2017-10-20 北京果毅科技有限公司 车型识别方法及装置
CN109101934A (zh) * 2018-08-20 2018-12-28 广东数相智能科技有限公司 车型识别方法、装置与计算机可读存储介质
CN109871728A (zh) * 2017-12-01 2019-06-11 北京万集科技股份有限公司 一种车型识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104361359A (zh) * 2014-11-25 2015-02-18 深圳市哈工大交通电子技术有限公司 基于图像检测的车辆识别方法
CN107273792A (zh) * 2017-04-27 2017-10-20 北京果毅科技有限公司 车型识别方法及装置
CN109871728A (zh) * 2017-12-01 2019-06-11 北京万集科技股份有限公司 一种车型识别方法及装置
CN109101934A (zh) * 2018-08-20 2018-12-28 广东数相智能科技有限公司 车型识别方法、装置与计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
构建多部件关系概率模型的车辆检测方法;宋俊芳等;《西安电子科技大学学报》(第03期);全文 *

Also Published As

Publication number Publication date
CN112115737A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
Dhiman et al. Pothole detection using computer vision and learning
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN109657632B (zh) 一种车道线检测识别方法
CN109598794B (zh) 三维gis动态模型的构建方法
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN109389046B (zh) 用于自动驾驶的全天候物体识别与车道线检测方法
CN106683119B (zh) 基于航拍视频图像的运动车辆检测方法
CN111222395A (zh) 目标检测方法、装置与电子设备
CN113537049B (zh) 地面点云数据处理方法、装置、终端设备及存储介质
CN112001298B (zh) 行人检测方法、装置、电子设备和存储介质
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN111695373B (zh) 斑马线的定位方法、***、介质及设备
Farag Real-time detection of road lane-lines for autonomous driving
CN112990136B (zh) 一种目标检测方法及装置
CN112115737B (zh) 一种车辆朝向的确定方法、装置及车载终端
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN114792416A (zh) 一种目标检测方法及装置
CN111738228A (zh) 一种面向治超证据链校验的多视角车辆特征匹配方法
CN110675442A (zh) 一种结合目标识别技术的局部立体匹配方法及***
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
Saini et al. DroneRTEF: development of a novel adaptive framework for railroad track extraction in drone images
Lashkov et al. Edge-computing-facilitated nighttime vehicle detection investigations with CLAHE-enhanced images
CN117612138A (zh) 一种车位检测方法、装置、设备及存储介质
CN110969135B (zh) 自然场景中的车标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211123

Address after: 215100 floor 23, Tiancheng Times Business Plaza, No. 58, qinglonggang Road, high speed rail new town, Xiangcheng District, Suzhou, Jiangsu Province

Applicant after: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

Address before: Room 601-a32, Tiancheng information building, No. 88, South Tiancheng Road, high speed rail new town, Xiangcheng District, Suzhou City, Jiangsu Province

Applicant before: MOMENTA (SUZHOU) TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant