CN116012806B - 一种车辆检测方法、装置、检测器、***和模型训练方法 - Google Patents
一种车辆检测方法、装置、检测器、***和模型训练方法 Download PDFInfo
- Publication number
- CN116012806B CN116012806B CN202310318133.2A CN202310318133A CN116012806B CN 116012806 B CN116012806 B CN 116012806B CN 202310318133 A CN202310318133 A CN 202310318133A CN 116012806 B CN116012806 B CN 116012806B
- Authority
- CN
- China
- Prior art keywords
- map
- image
- road
- feature
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 167
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 title claims abstract description 37
- 238000003062 neural network model Methods 0.000 claims description 35
- 238000010586 diagram Methods 0.000 claims description 17
- 238000013519 translation Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000873 masking effect Effects 0.000 claims description 9
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 abstract description 14
- 230000008569 process Effects 0.000 abstract description 8
- 238000013507 mapping Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241001300198 Caperonia palustris Species 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
本申请涉及自动驾驶技术领域,公开了一种车辆检测方法、装置、检测器、***和模型训练方法,包括获取与图像特征图对应的特征深度图;图像特征图与车辆外部环境图像对应;获取自动驾驶车辆当前位置的道路布局鸟瞰图;道路布局鸟瞰图包括道路元素;估计图像特征图中图像特征属于道路元素的权重;根据道路布局鸟瞰图生成道路元素对于特征深度图的修正图像;利用修正图像、权重修正特征深度图,得到修正后特征深度图;根据修正后特征深度图、图像特征图对自动驾驶车辆外部进行车辆检测,输出3D车辆检测结果。本申请利用道路布局鸟瞰图辅助检测过程,由于其中包括道路元素,提升特征深度图中非车辆区域的特征转换精度,进而提升车辆检测结果准确性。
Description
技术领域
本申请涉及自动驾驶技术领域,特别是涉及一种车辆检测方法、装置、检测器、***、模型训练方法和计算机可读存储介质。
背景技术
自动驾驶技术即在不需要人为操作即能感测其环境及导航,实现车辆自动驾驶。自动驾驶车辆需要准确地识别出周围环境中的车辆,并对其进行准确的识别、定位与速度预测。通过车载摄像头摄取的图像数据对自动驾驶车辆周围进行检测具有低成本、信息获取丰富的特点,在自动驾驶车辆中得到了广泛应用。
自动驾驶***在对自动驾驶车辆外部进行车辆检测时,通过读取外部环境的图像信息,输出车辆在三维空间中的位置、长宽高和速度信息。目前的检测过程为,首先通过深度神经网络获取外部环境图像信息的图像特征,并将图像特征通过神经网络或者相机参数等映射到三维空间中,形成3D空间特征或者鸟视图特征,然后在3D空间中或者鸟视图坐标系下,完成车辆的检测。但是这种只基于图像信息的方式很难完成准确的深度估计,在特征映射过程中,往往会造成3D空间特征与真实物体的错位与混淆,从而影响检测结果。
因此,如何解决上述技术问题应是本领域技术人员重点关注的。
发明内容
本申请的目的是提供一种车辆检测方法、装置、检测器、***、模型训练方法和计算机可读存储介质,以提升图像特征向3D空间映射的准确度,进而使得车辆检测结果更加准确。
为解决上述技术问题,本申请提供一种车辆检测方法,包括:
获取与图像特征图对应的特征深度图;所述图像特征图与车辆外部环境图像对应;
获取自动驾驶车辆当前位置的道路布局鸟瞰图;所述道路布局鸟瞰图包括道路元素;
估计所述图像特征图中图像特征属于所述道路元素的权重;
根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像;
利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图;
根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测,输出3D车辆检测结果。
可选的,根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像包括:
根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图;
相应的,利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图包括:
利用所述道路元素深度特征图、所述道路元素掩模图、所述权重,通过加权求和及掩模修正所述特征深度图,得到修正后特征深度图。
可选的,利用所述道路元素深度特征图、所述道路元素掩模图、所述权重,通过加权求和及掩模修正所述特征深度图,得到修正后特征深度图包括:
根据预设公式修正所述特征深度图,其中,所述预设公式为:
其中,为修正后特征深度图中(u,v)点的深度特征,/>为图像特征图对应的道路元素权重图/>在(u,v)点对应的值,/>为道路元素掩模图对应的权重图Mr在(u,v)点对应的值,/>为道路元素深度特征图在(u,v)点对应的特征,/>为特征深度图在(u,v)点对应的特征。
可选的,根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图包括:
对所述道路布局鸟瞰图进行量化,得到道路信息图;
确定所述道路信息图中与所有所述道路元素对应的点在世界坐标系中的坐标,形成道路元素点集合;
将所述道路元素点集合中的各个所述坐标转换至图像坐标系中,得到道路元素深度图和所述道路元素掩模图;
根据所述道路元素深度图得到所述道路元素深度特征图。
可选的,将所述道路元素点集合中的各个所述坐标转换至图像坐标系中包括:
通过图像采集设备参数、图像采集设备与所述自动驾驶车辆的旋转平移关系、所述自动驾驶车辆位姿与所述世界坐标系之间的旋转平移关系,将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。
可选的,将所述道路元素点集合中的各个所述坐标转换至图像坐标系中包括:
利用矩阵运算将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。
可选的,根据所述道路元素深度图得到所述道路元素深度特征图包括:
将所述道路元素深度图中的每个元素值拓展为一个D维向量;其中,所述元素值为所述道路元素深度图中的点在图像采集设备坐标系中对应的深度值;
归一化所述D维向量,以使所述D维向量中所有值的和等于1。
可选的,对所述道路布局鸟瞰图进行量化,得到道路信息图包括:
筛选所述道路布局鸟瞰图中位于所述道路元素范围内的点以及没有位于所述道路元素范围内的点;
设定位于所述道路元素范围内的点的值为1,并设定没有位于所述道路元素范围内的点的值为0,得到道路信息图。
可选的,当所述道路元素为道路路面时,确定所述道路信息图中与所有所述道路元素对应的点在世界坐标系中的坐标包括:
确定所述道路信息图中与所有道路路面对应的点在世界坐标系中的X值、Y值和Z值,其中,Z值等于0。
可选的,还包括:
增强所述图像特征图中的图像特征,得到增强后图像特征图;
相应的,根据所述修正后特征深度图、所述图像特征图进行车辆检测包括:
根据所述修正后特征深度图、所述增强后图像特征图进行车辆检测。
可选的,根据所述修正后特征深度图、所述图像特征图进行车辆检测包括:
将所述修正后特征深度图和所述图像特征图生成图像坐标系下的3D特征图;
将所述3D特征图转换为BEV特征图;
利用所述BEV特征图进行车辆检测。
可选的,将所述3D特征图转换为BEV特征图包括:
通过图像采集设备参数、图像采集设备与所述车辆之间的旋转平移关系,将所述3D特征图中每个点的特征转换至车辆坐标系中;
对位于所述车辆坐标系中的点进行体素化处理,将落入同一体素格内的特征点进行累加,并将没有特征点落入的体素格的特征设为0,形成在所述车辆坐标系中的3D特征图;
在高度维度上,将所有高度上的体素格对应的特征进行累加,得到BEV特征图。
可选的,还包括:
获取车载图像采集设备采集的所述车辆外部环境图像;
对所述车辆外部环境图像进行图像特征提取,得到所述图像特征图,其中,所述图像特征图中包括所述图像特征。
可选的,获取与图像特征图对应的特征深度图包括:
将所述图像特征图输入第一预设神经网络模型中进行深度估计,得到所述特征深度图。
可选的,估计图像特征图中图像特征属于所述道路元素的权重包括:
将所述图像特征输入第二预设神经网络模型,得到所述图像特征属于所述道路元素的权重。
可选的,还包括:
获取所述车辆外部环境图像;所述车辆外部环境图像的数量至少为两张,且各个所述车辆外部环境图像由不同位置的车载图像采集设备采集得到;
相应的,利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图包括:
利用所述修正图像、所述权重修正每一张所述特征深度图,得到多张修正后特征深度图;
根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测,输出3D车辆检测结果包括:
根据每张所述修正后特征深度图、与所述修正后特征深度图对应的所述图像特征图对所述自动驾驶车辆外部进行车辆检测,得到待组合3D车辆检测结果;
组合所有所述待组合3D车辆检测结果,输出3D车辆检测结果。
本申请还提供一种车辆检测装置,包括:
第一获取模块,用于获取与图像特征图对应的特征深度图;所述图像特征图与车辆外部环境图像对应;
第二获取模块,用于获取自动驾驶车辆当前位置的道路布局鸟瞰图;所述道路布局鸟瞰图包括道路元素;
估计模块,用于估计所述图像特征图中图像特征属于所述道路元素的权重;
第一生成模块,用于根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像;
修正模块,用于利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图;
检测模块,用于根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测,输出3D车辆检测结果。
本申请还提供一种车辆检测模型训练方法,车辆检测模型包括第一预设神经网络模型和第二预设神经网络模型,方法包括:
将图像特征图输入所述第一预设神经网络模型中进行深度估计,得到与所述图像特征图对应的特征深度图;所述图像特征图与车辆外部环境图像对应;
获取自动驾驶车辆当前位置的道路布局鸟瞰图;所述道路布局鸟瞰图包括道路元素;
将所述图像特征图中图像特征输入所述第二预设神经网络模型,估计所述图像特征属于所述道路元素的权重;
根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像;
利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图;
根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测,输出3D车辆检测结果;
基于损失函数对所述车辆检测模型进行训练,得到训练后车辆检测模型。
可选的,还包括:
将道路元素掩模图中道路元素标注错误的区域设为0,生成修正后掩模图;
利用所述修正后掩模图训练所述第二预设神经网络模型。
可选的,基于损失函数对所述车辆检测模型进行训练包括:
式中,为图像特征深度估计损失,/>为车辆分类损失,/>为车辆位置、长宽高、速度估计损失,/>为图像特征图对应的道路权重训练损失,/>为图像特征深度估计损失的权重,/>为车辆分类损失的权重,/>为车辆位置、长宽高、速度估计损失的权重,/>为图像特征图对应的道路权重训练损失的权重。
本申请还提供一种检测器,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现上述任一种所述车辆检测方法的步骤、上述任一种所述车辆检测模型训练方法的步骤。
本申请还提供一种车辆检测***,包括:
上述所述的检测器;
与所述检测器连接的图像采集设备。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种所述车辆检测方法的步骤、上述任一种所述车辆检测模型训练方法的步骤。
本申请所提供的一种车辆检测方法,包括:获取与图像特征图对应的特征深度图;所述图像特征图与车辆外部环境图像对应;获取自动驾驶车辆当前位置的道路布局鸟瞰图;所述道路布局鸟瞰图包括道路元素;估计图像特征图中图像特征属于所述道路元素的权重;根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像;利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图;根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测,输出3D车辆检测结果。
可见,本申请中在进行车辆检测时,获取自动驾驶车辆当前位置的道路布局鸟瞰图,以及图像特征图中图像特征属于道路元素的权重,并利用道路布局鸟瞰图得到特征深度图的修正图像,然后利用修正图像和权重对特征深度图进行修正,由于道路布局鸟瞰图中包括道路元素,所以修正图像可以提升特征深度图中非车辆区域的特征转换精度,降低背景信息对车辆检测的影响,从而提升特征深度图的准确性,进而提升图像特征向3D空间映射的准确度,使得车辆检测结果更加准确。
此外,本申请还提供一种具有上述优点的装置、检测器、***模型训练方法和计算机可读存储介质。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种车辆检测方法的流程图;
图2为本申请实施例所提供的另一种车辆检测方法的流程图;
图3为本申请实施例所提供的另一种车辆检测方法的流程图;
图4为本申请实施例所提供的一种车辆检测方法的架构图;
图5为本申请实施例所提供的车辆检测装置的结构框图;
图6为本申请实施例所提供的检测器的结构框图;
图7为本申请实施例所提供的一种车辆检测***的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面结合附图和具体实施方式对本申请作进一步的详细说明。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
正如背景技术部分所述,自动驾驶***在对周围进行车辆检测时,基于外部环境图像信息完成深度估计,在特征映射到三维空间过程中,往往会造成3D空间特征与真实物体的错位与混淆,从而影响检测结果。
有鉴于此,本申请提供一种车辆检测方法,请参考图1,包括:
步骤S101:获取与图像特征图对应的特征深度图;所述图像特征图与车辆外部环境图像对应。
作为一种可实施方式,获取与图像特征图对应的特征深度图包括:获取与车辆外部环境图像对应的图像特征图;获取与图像特征图对应的特征深度图。或者,直接得到已经处理完成的特征深度图。
获取与车辆外部环境图像对应的图像特征图包括:
将车辆外部环境图像输入第三预设神经网络模型中进行图像特征提取,得到图像特征图。其中,第三预设神经网络模型为多层卷积神经网络,层数和通道数可行设置。
可选的,获取与图像特征图对应的特征深度图之前,还可以包括:
获取所述车辆外部环境图像。
车辆外部环境图像可以由车载图像采集设备采集得到。本申请中对车辆外部环境图像的数量不做限定,既可以为一张,也可以在两张以上,视情况而定。
可选的,获取与图像特征图对应的特征深度图包括:
将所述图像特征图输入第一预设神经网络模型中进行深度估计,得到所述特征深度图。
车辆外部环境图像中的图像特征在本地对车辆外部环境图像进行特征提取得到。
通过第一预设神经网络模型和图像特征F0获得特征深度图DC的过程可参考相关技术,此处不再详细赘述。第一预设神经网络模型为多层卷积神经网络,层数和通道数可行设置。
特征深度图,其中,R为实数,HF和WF为图像特征的尺度,D为将深度量化个数,即为将指定深度[depthmin, depthmax]分为D个单元,在第i(1≤i≤D)个单元上的值表示当前特征点深度值在第i个单元深度范围内的概率。
步骤S102:获取自动驾驶车辆当前位置的道路布局鸟瞰图;所述道路布局鸟瞰图包括道路元素。
道路元素指道路上存在或者出现的物体。
需要说明的是,本申请中对道路元素不做限定,道路元素包括静态道路元素、动态道路元素。其中,静态道路元素可以为路面、人行横道、信号灯等等;动态道路元素可以为行人、自行车、行驶的车辆等。
还需要说明的是,本申请中对道路布局鸟瞰图的获得方式不做限定,视情况而定。例如,可以通过航拍、测绘、将静态道路元素进行标注等方式获得。
动态道路元素可以由动态道路元素自身定位***得到,或者由自动驾驶车辆外部的动态物体检测仪器得到,检测到的动态道路元素包括动态道路元素的位置和大小。
步骤S103:估计图像特征图中图像特征属于所述道路元素的权重。
图像特征图为对车辆外部环境图像进行特征提取形成的图像。
作为一种可实施方式,估计图像特征图中图像特征属于所述道路元素的权重包括:
将所述图像特征输入第二预设神经网络模型,得到所述图像特征属于所述道路元素的权重。
第二预设神经网络模型为多层卷积神经网络,层数和通道数可行设置。
步骤S104:根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像。
步骤S105:利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图。
步骤S106:根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测,输出3D车辆检测结果。
3D车辆检测结果包括自动驾驶车辆外部的目标车辆的3D位置、长宽高、速度与分类得分。
需要指出的是,本步骤中利用的图像特征图既可以为直接由车辆外部环境图像进行特征提取后得到的特征图,也可以为对车辆外部环境图像进行特征提取后得到的特征图进行进一步图像特征增强后,得到的增强后图像特征图,均在本申请的保护范围内。
本实施例中在进行车辆检测时,获取自动驾驶车辆当前位置的道路布局鸟瞰图,以及图像特征图中图像特征属于道路元素的权重,并利用道路布局鸟瞰图得到特征深度图的修正图像。然后利用修正图像和权重对特征深度图进行修正,由于道路布局鸟瞰图中包括道路元素,所以修正图像可以提升特征深度图中非车辆区域的特征转换精度,降低背景信息对车辆检测的影响,从而提升特征深度图的准确性,进而提升图像特征向3D空间映射的准确度,使得车辆检测结果更加准确。
在上述实施例的基础上,在本申请的一个实施例中,车辆检测方法包括:
步骤S201:获取与图像特征图对应的特征深度图;所述图像特征图与车辆外部环境图像对应。
步骤S202:获取自动驾驶车辆当前位置的道路布局鸟瞰图;所述道路布局鸟瞰图包括道路元素。
步骤S203:估计图像特征图中图像特征属于所述道路元素的权重。
步骤S204:根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图。
本实施例中修正图像包括道路元素深度特征图和道路元素掩模图。
道路元素深度特征图有助于提升图像特征中非车辆区域的特征转换精度,降低背景信息对车辆检测的影响,进而提升车辆检测的精度。
作为一种可实施方式,根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图包括:
步骤S2041:对所述道路布局鸟瞰图进行量化,得到道路信息图。
在获得道路信息图时以自动驾驶车辆坐标系为准。
可选的,对所述道路布局鸟瞰图进行量化,得到道路信息图包括:
筛选所述道路布局鸟瞰图中位于所述道路元素范围内的点以及没有位于所述道路元素范围内的点;
设定位于所述道路元素范围内的点的值为1,并设定没有位于所述道路元素范围内的点的值为0,得到道路信息图。
可以将鸟视图下的预设长度和宽度的矩形区域量化为道路信息图,其中,R为实数,Hr和Wr分别为道路信息图的高和宽。道路信息图中每个点的值为0或1,当点位于道路元素,则值为1,当点不位于道路元素,则值为0。
步骤S2042:确定所述道路信息图中与所有所述道路元素对应的点在世界坐标系中的坐标,形成道路元素点集合。
作为一种可实施方式,当所述道路元素为道路路面时,确定所述道路信息图中与所有所述道路元素对应的点在世界坐标系中的坐标包括:
确定所述道路信息图中与所有道路路面对应的点在世界坐标系中的X值、Y值和Z值,其中,Z值等于0。
步骤S2043:将所述道路元素点集合中的各个所述坐标转换至图像坐标系中,得到道路元素深度图和所述道路元素掩模图。
可选的,将所述道路元素点集合中的各个所述坐标转换至图像坐标系中包括:
通过图像采集设备参数、图像采集设备与所述自动驾驶车辆的旋转平移关系、所述自动驾驶车辆位姿与所述世界坐标系之间的旋转平移关系,将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。
可选的,将所述道路元素点集合中的各个所述坐标转换至图像坐标系中包括:
利用矩阵运算将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。
将道路元素点集合中的各个坐标转换至图像坐标系的具体过程可参考相关技术,此处不再详细赘述。
步骤S2044:根据所述道路元素深度图得到所述道路元素深度特征图。
可选的,根据所述道路元素深度图得到所述道路元素深度特征图包括:
步骤S2044a:将所述道路元素深度图中的每个元素值拓展为一个D维向量;其中,所述元素值为所述道路元素深度图中的点在图像采集设备坐标系中对应的深度值。
D维向量中的维度D与深度量化个数D为同一个值。
步骤S2044b:归一化所述D维向量,以使所述D维向量中所有值的和等于1。
步骤S205:利用所述道路元素深度特征图、所述道路元素掩模图、所述权重,通过加权求和及掩模修正所述特征深度图,得到修正后特征深度图。
可选的,利用所述道路元素深度特征图、所述道路元素掩模图、所述权重,通过加权求和及掩模修正所述特征深度图,得到修正后特征深度图包括:
根据预设公式修正所述特征深度图,其中,所述预设公式为:
其中,为修正后特征深度图中(u,v)点的深度特征,/>为图像特征图对应的道路元素权重图/>在(u,v)点对应的值,/>为道路元素掩模图对应的权重图Mr在(u,v)点对应的值,/>为道路元素深度特征图在(u,v)点对应的特征,/>为特征深度图在(u,v)点对应的特征。其中,由于道路元素掩模图/>中每个点的值非0即1,将道路元素掩模图中每个点取出来进行操作,取出来的值被称为权重,形成权重图,所以,道路元素掩模图对应的权重图Mr实质上与道路元素掩模图/>相同。
步骤S206:根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测,输出3D车辆检测结果。
在上述任一实施例的基础上,在本申请的一个实施例中,车辆检测方法还包括:
获取车载图像采集设备采集的所述车辆外部环境图像;
对所述车辆外部环境图像进行图像特征提取,得到所述图像特征图,其中,所述图像特征图中包括所述图像特征。
在上述任一实施例的基础上,在本申请的一个实施例中,车辆检测方法还包括:
增强所述图像特征图中的图像特征,得到增强后图像特征图;
相应的,根据所述修正后特征深度图、所述图像特征图进行车辆检测包括:
根据所述修正后特征深度图、所述增强后图像特征图进行车辆检测。
将图像特征图中的图像特征输入第四预设神经网络模型中,得到增强后图像特征图。第四预设神经网络模型为多层卷积神经网络,层数和通道数可行设置。
本实施例中通过对图像特征进行增强,可以进一步提升图像特征的表达能力,进而提升车辆检测的准确性。
请参考图3,在上述实施例的基础上,在本申请的一个实施例中,车辆检测方法包括:
步骤S301:获取与图像特征图对应的特征深度图;所述图像特征图与车辆外部环境图像对应。
步骤S302:获取自动驾驶车辆当前位置的道路布局鸟瞰图;所述道路布局鸟瞰图包括道路元素。
步骤S303:估计图像特征图中图像特征属于所述道路元素的权重。
步骤S304:根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像。
步骤S305:利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图。
步骤S306:将所述修正后特征深度图和所述图像特征图生成图像坐标系下的3D特征图。
修正后特征深度图Dm和图像特征图生成3D特征图的过程可参考相关技术,此处不再详细赘述。图像坐标系下的3D特征图中每个点的特征Gm(u,v,i)=Dm(u,v,i)×FC(u,v),其中,R为实数,HF和WF为图像特征的尺度,D为将深度量化个数,C为图像特征的通道数。
步骤S307:将所述3D特征图转换为BEV特征图。
作为一种可实施方式,将所述3D特征图转换为BEV特征图包括:
通过图像采集设备参数、图像采集设备与所述车辆之间的旋转平移关系,将所述3D特征图中每个点的特征转换至车辆坐标系中;
对位于所述车辆坐标系中的点进行体素化处理,将落入同一体素格内的特征点进行累加,并将没有特征点落入的体素格的特征设为0,形成在所述车辆坐标系中的3D特征图;
在高度维度上,将所有高度上的体素格对应的特征进行累加,得到BEV特征图。
3D特征图转换为BEV特征图的具体过程可参考相关技术,此处不再详细赘述。
步骤S308:利用所述BEV特征图进行车辆检测。
利用BEV特征图,通过神经网络进行车辆检测,输出自动驾驶车辆外部目标车辆的3D位置、长宽高、速度与分类得分。检测过程可参考相关技术,此处不再展开赘述。
在上述任一实施例基础上,在本申请的一个实施例中,车辆检测方法还包括:
获取所述车辆外部环境图像;所述车辆外部环境图像的数量至少为两张,且各个所述车辆外部环境图像由不同位置的车载图像采集设备采集得到;
相应的,利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图包括:
利用所述修正图像、所述权重修正每一张所述特征深度图,得到多张修正后特征深度图;
根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测,输出3D车辆检测结果包括:
根据每张所述修正后特征深度图、与所述修正后特征深度图对应的所述图像特征图对所述自动驾驶车辆外部进行车辆检测,得到待组合3D车辆检测结果;
组合所有所述待组合3D车辆检测结果,输出3D车辆检测结果。
可以理解的是,特征深度图的数量与车辆外部环境图像的数量相等,相应的,有多少张车辆外部环境图像,便可以得到多少张修正后特征深度图。利用与同一张车辆外部环境图像对应的修正后特征深度图和图像特征图进行一次车辆检测,可以对应得到一个待组合3D车辆检测结果,最终将所有待组合3D车辆检测结果组合后进行输出。
下面以道路元素为道路路面为例,对本申请中的车辆检测方法进行阐述。该车辆检测方法对应的架构图如图4所示。
步骤7、利用已有的相机内参数据、相机与车辆之间的旋转平移关系和车辆位姿与世界坐标系之间的旋转平移关系,将路面点通过矩阵运算转换到图像坐标系中,形成路面深度图与路面掩模图/>,其中,R为实数,HF和WF为图像特征的尺度;
步骤9、输入特征深度图DC、路面深度特征图Dr、图像特征图对应的道路权重Wr与路面掩模图,通过加权求和与掩模,得到修正深度图/>,R为实数,HF和WF为图像特征的尺度,D为将深度量化个数,修正深度图中的每个值采用公式(1)得到:
步骤12、利用BEV特征图,通过神经网络,进行车辆检测,输出自动驾驶车辆周围的目标车辆的3D位置、长宽高、速度与分类得分。
本申请还提供一种车辆检测模型训练方法,车辆检测模型包括第一预设神经网络模型和第二预设神经网络模型,方法包括:
步骤S401:将图像特征图输入所述第一预设神经网络模型中进行深度估计,得到与所述图像特征图对应的特征深度图;所述图像特征图与车辆外部环境图像对应;
步骤S402:获取自动驾驶车辆当前位置的道路布局鸟瞰图;所述道路布局鸟瞰图包括道路元素;
步骤S403:将所述图像特征图中图像特征输入所述第二预设神经网络模型,估计所述图像特征属于所述道路元素的权重;
步骤S404:根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像;
步骤S405:利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图;
步骤S406:根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测,输出3D车辆检测结果;
步骤S407:基于损失函数对所述车辆检测模型进行训练,得到训练后车辆检测模型。
在上述实施例的基础上,在本申请的一个实施例中,车辆检测模型训练方法还包括:
将道路元素掩模图中道路元素标注错误的区域设为0,生成修正后掩模图;
利用所述修正后掩模图训练第二预设神经网络模型。
本实施例中通过修正后掩模图训练第二预设神经网络模型,可以使得通过训练后第二预设神经网络模型得到的权重更加准确,进而提升车辆检测准确性。
在上述任一实施例的基础上,在本申请的一个实施例中,基于损失函数对所述车辆检测模型进行训练包括:
基于预设公式对所述车辆检测模型进行训练;预设公式为:
式中,为图像特征深度估计损失,/>为车辆分类损失,/>为车辆位置、长宽高、速度估计损失,/>为图像特征图对应的道路权重训练损失,/>为图像特征深度估计损失的权重,/>为车辆分类损失的权重,/>为车辆位置、长宽高、速度估计损失的权重,/>为图像特征图对应的道路权重训练损失的权重。
下面对本申请实施例提供的车辆检测装置进行介绍,下文描述的车辆检测装置与上文描述的车辆检测方法可相互对应参照。
图5为本申请实施例提供的车辆检测装置的结构框图,参照图5车辆检测装置可以包括:
第一获取模块100,用于获取与图像特征图对应的特征深度图;所述图像特征图与车辆外部环境图像对应;
第二获取模块200,用于获取自动驾驶车辆当前位置的道路布局鸟瞰图;所述道路布局鸟瞰图包括道路元素;
估计模块300,用于估计图像特征图中图像特征属于所述道路元素的权重;
第一生成模块400,用于根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像;
修正模块500,用于利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图;
检测模块600,用于根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测,输出3D车辆检测结果。
本实施例的车辆检测装置用于实现前述的车辆检测方法,因此车辆检测装置中的具体实施方式可见前文中的车辆检测方法的实施例部分,例如,第一获取模块100,第二获取模块200,估计模块300,第一生成模块400,修正模块500,检测模块600,分别用于实现上述车辆检测方法中步骤S101,S102,S103,S104,S105和S106,所以,其具体实施方式可以参照相应的各个部分实施例的描述,在此不再赘述。
本实施例中的装置在进行车辆检测时,获取自动驾驶车辆当前位置的道路布局鸟瞰图,以及图像特征图中图像特征属于道路元素的权重,并利用道路布局鸟瞰图得到特征深度图的修正图像。然后利用修正图像和权重对特征深度图进行修正,由于道路布局鸟瞰图中包括道路元素,所以修正图像可以提升特征深度图中非车辆区域的特征转换精度,降低背景信息对车辆检测的影响,从而提升特征深度图的准确性,进而提升图像特征向3D空间映射的准确度,使得车辆检测结果更加准确。
可选的,第一生成模块400具体用于:根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图;
相应的,修正模块500具体用于:利用所述道路元素深度特征图、所述道路元素掩模图、所述权重,通过加权求和及掩模修正所述特征深度图,得到修正后特征深度图。
可选的,修正模块500具体用于:
根据预设公式修正所述特征深度图,其中,所述预设公式为:
其中,为修正后特征深度图中(u,v)点的深度特征,/>为图像特征图对应的道路元素权重图/>在(u,v)点对应的值,/>为道路元素掩模图对应的权重图Mr在(u,v)点对应的值,/>为道路元素深度特征图在(u,v)点对应的特征,/>为特征深度图在(u,v)点对应的特征。
可选的,第一生成模块400包括:
量化子模块,用于对所述道路布局鸟瞰图进行量化,得到道路信息图;
确定子模块,用于确定所述道路信息图中与所有所述道路元素对应的点在世界坐标系中的坐标,形成道路元素点集合;
第一转换子模块,用于将所述道路元素点集合中的各个所述坐标转换至图像坐标系中,得到道路元素深度图和所述道路元素掩模图;
获得子模块,用于根据所述道路元素深度图得到所述道路元素深度特征图。
可选的,第一转换子模块具体用于:通过图像采集设备参数、图像采集设备与所述自动驾驶车辆的旋转平移关系、所述自动驾驶车辆位姿与所述世界坐标系之间的旋转平移关系,将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。
可选的,第一转换子模块将所述道路元素点集合中的各个所述坐标转换至图像坐标系中时,具体利用矩阵运算将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。
可选的,获得子模块包括:
拓展单元,用于将所述道路元素深度图中的每个元素值拓展为一个D维向量;其中,所述元素值为所述道路元素深度图中的点在图像采集设备坐标系中对应的深度值;
归一化单元,用于归一化所述D维向量,以使所述D维向量中所有值的和等于1。
可选的,量化子模块包括:
筛选单元,用于筛选所述道路布局鸟瞰图中位于所述道路元素范围内的点以及没有位于所述道路元素范围内的点;
设定单元,用于设定位于所述道路元素范围内的点的值为1,并设定没有位于所述道路元素范围内的点的值为0,得到道路信息图。
可选的,当所述道路元素为道路路面时,确定子模块具体用于确定所述道路信息图中与所有道路路面对应的点在世界坐标系中的X值、Y值和Z值,其中,Z值等于0。
可选的,车辆检测装置还包括:
特征增强模块,用于增强所述图像特征图中的图像特征,得到增强后图像特征图;
相应的,检测模块600具体用于:根据所述修正后特征深度图、所述增强后图像特征图进行车辆检测。
可选的,检测模块600包括:
生成子模块,用于将所述修正后特征深度图和所述图像特征图生成图像坐标系下的3D特征图;
第二转换子模块,用于将所述3D特征图转换为BEV特征图;
检测子模块,用于利用所述BEV特征图进行车辆检测。
可选的,第二转换子模块包括:
转换单元,用于通过图像采集设备参数、图像采集设备与所述车辆之间的旋转平移关系,将所述3D特征图中每个点的特征转换至车辆坐标系中;
体素化单元,用于对位于所述车辆坐标系中的点进行体素化处理,将落入同一体素格内的特征点进行累加,并将没有特征点落入的体素格的特征设为0,形成在所述车辆坐标系中的3D特征图;
累加单元,用于在高度维度上,将所有高度上的体素格对应的特征进行累加,得到BEV特征图。
可选的,车辆检测装置还包括:
第三获取模块,用于获取车载图像采集设备采集的所述车辆外部环境图像;
特征提取模块,用于对所述车辆外部环境图像进行图像特征提取,得到所述图像特征图,其中,所述图像特征图中包括所述图像特征。
可选的,第一获取模块100具体用于将所述图像特征图输入第一预设神经网络模型中进行深度估计,得到所述特征深度图。
可选的,估计模块300具体用于将所述图像特征输入第二预设神经网络模型,得到所述图像特征属于所述道路元素的权重。
可选的,车辆检测装置还包括:
第四获取模块,用于获取所述车辆外部环境图像;所述车辆外部环境图像的数量至少为两张,且各个所述车辆外部环境图像由不同位置的车载图像采集设备采集得到;
相应的,修正模块500具体用于:利用所述修正图像、所述权重修正每一张所述特征深度图,得到多张修正后特征深度图;
检测模块600包括:
检测子模块,用于根据每张所述修正后特征深度图、与所述修正后特征深度图对应的所述图像特征图对所述自动驾驶车辆外部进行车辆检测,得到待组合3D车辆检测结果;
组合子模块,用于组合所有所述待组合3D车辆检测结果,输出3D车辆检测结果。
下面对本申请实施例提供的检测器进行介绍,下文描述的检测器与上文描述的车辆检测方法可相互对应参照。
图6为本申请实施例提供的检测器的结构框图,检测器可以包括:
存储器11,用于存储计算机程序;
处理器12,用于执行所述计算机程序时实现上述任一实施例所述车辆检测方法的步骤、上述任一实施例所述车辆检测模型训练方法的步骤。
本实施例检测器在进行车辆检测时,获取自动驾驶车辆当前位置的道路布局鸟瞰图,以及图像特征图中图像特征属于道路元素的权重,并利用道路布局鸟瞰图得到特征深度图的修正图像。然后利用修正图像和权重对特征深度图进行修正,由于道路布局鸟瞰图中包括道路元素,所以修正图像可以提升特征深度图中非车辆区域的特征转换精度,降低背景信息对车辆检测的影响,从而提升特征深度图的准确性,进而提升图像特征向3D空间映射的准确度,使得车辆检测结果更加准确。
下面对本申请实施例提供的车辆检测***进行介绍,下文描述的车辆检测***与上文描述的车辆检测方法可相互对应参照。
请参考图7,本申请还提供一种车辆检测***,包括:
上述实施例所述的检测器1;
与所述检测器连接的图像采集设备2。
图像采集设备安装在自动驾驶车辆上,用于采集自动驾驶车辆外部的车辆外部环境图像。图像采集设备可以为相机、摄像头等。
需要说明的是,本申请中对图像采集设备的数量不做限定。图像采集设备的数量可以一个,也可以在两个以上。当图像采集设备的数量在两个以上时,图像采集设备的数量设于自动驾驶车辆不同位置处。
本实施例的车辆检测***在进行车辆检测时,获取自动驾驶车辆当前位置的道路布局鸟瞰图,以及图像特征图中图像特征属于道路元素的权重,并利用道路布局鸟瞰图得到特征深度图的修正图像。然后利用修正图像和权重对特征深度图进行修正,由于道路布局鸟瞰图中包括道路元素,所以修正图像可以提升特征深度图中非车辆区域的特征转换精度,降低背景信息对车辆检测的影响,从而提升特征深度图的准确性,进而提升图像特征向3D空间映射的准确度,使得车辆检测结果更加准确。
本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例所述车辆检测方法的步骤、上述任一实施例所述车辆检测模型训练方法的步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的车辆检测方法、装置、检测器、***、模型训练方法和计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
Claims (22)
1.一种车辆检测方法,其特征在于,包括:
获取与图像特征图对应的特征深度图;所述图像特征图与车辆外部环境图像对应;
获取自动驾驶车辆当前位置的道路布局鸟瞰图;所述道路布局鸟瞰图包括道路元素;
估计所述图像特征图中图像特征属于所述道路元素的权重;
根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像;
利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图;
根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测,输出3D车辆检测结果;
根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像包括:
根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图;
相应的,利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图包括:
利用所述道路元素深度特征图、所述道路元素掩模图、所述权重,通过加权求和及掩模修正所述特征深度图,得到修正后特征深度图。
3.如权利要求1所述的车辆检测方法,其特征在于,根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图包括:
对所述道路布局鸟瞰图进行量化,得到道路信息图;
确定所述道路信息图中与所有所述道路元素对应的点在世界坐标系中的坐标,形成道路元素点集合;
将所述道路元素点集合中的各个所述坐标转换至图像坐标系中,得到道路元素深度图和所述道路元素掩模图;
根据所述道路元素深度图得到所述道路元素深度特征图。
4.如权利要求3所述的车辆检测方法,其特征在于,将所述道路元素点集合中的各个所述坐标转换至图像坐标系中包括:
通过图像采集设备参数、图像采集设备与所述自动驾驶车辆的旋转平移关系、所述自动驾驶车辆位姿与所述世界坐标系之间的旋转平移关系,将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。
5.如权利要求4所述的车辆检测方法,其特征在于,将所述道路元素点集合中的各个所述坐标转换至图像坐标系中包括:
利用矩阵运算将所述道路元素点集合中的各个所述坐标转换至图像坐标系中。
6.如权利要求3所述的车辆检测方法,其特征在于,根据所述道路元素深度图得到所述道路元素深度特征图包括:
将所述道路元素深度图中的每个元素值拓展为一个D维向量;其中,所述元素值为所述道路元素深度图中的点在图像采集设备坐标系中对应的深度值;
归一化所述D维向量,以使所述D维向量中所有值的和等于1。
7.如权利要求3所述的车辆检测方法,其特征在于,对所述道路布局鸟瞰图进行量化,得到道路信息图包括:
筛选所述道路布局鸟瞰图中位于所述道路元素范围内的点以及没有位于所述道路元素范围内的点;
设定位于所述道路元素范围内的点的值为1,并设定没有位于所述道路元素范围内的点的值为0,得到道路信息图。
8.如权利要求3所述的车辆检测方法,其特征在于,当所述道路元素为道路路面时,确定所述道路信息图中与所有所述道路元素对应的点在世界坐标系中的坐标包括:
确定所述道路信息图中与所有道路路面对应的点在世界坐标系中的X值、Y值和Z值,其中,Z值等于0。
9.如权利要求1所述的车辆检测方法,其特征在于,还包括:
增强所述图像特征图中的图像特征,得到增强后图像特征图;
相应的,根据所述修正后特征深度图、所述图像特征图进行车辆检测包括:
根据所述修正后特征深度图、所述增强后图像特征图进行车辆检测。
10.如权利要求1所述的车辆检测方法,其特征在于,根据所述修正后特征深度图、所述图像特征图进行车辆检测包括:
将所述修正后特征深度图和所述图像特征图生成图像坐标系下的3D特征图;
将所述3D特征图转换为BEV特征图;
利用所述BEV特征图进行车辆检测。
11.如权利要求10所述的车辆检测方法,其特征在于,将所述3D特征图转换为BEV特征图包括:
通过图像采集设备参数、图像采集设备与所述车辆之间的旋转平移关系,将所述3D特征图中每个点的特征转换至车辆坐标系中;
对位于所述车辆坐标系中的点进行体素化处理,将落入同一体素格内的特征点进行累加,并将没有特征点落入的体素格的特征设为0,形成在所述车辆坐标系中的3D特征图;
在高度维度上,将所有高度上的体素格对应的特征进行累加,得到BEV特征图。
12.如权利要求1所述的车辆检测方法,其特征在于,还包括:
获取车载图像采集设备采集的所述车辆外部环境图像;
对所述车辆外部环境图像进行图像特征提取,得到所述图像特征图,其中,所述图像特征图中包括所述图像特征。
13.如权利要求12所述的车辆检测方法,其特征在于,获取与图像特征图对应的特征深度图包括:
将所述图像特征图输入第一预设神经网络模型中进行深度估计,得到所述特征深度图。
14.如权利要求1所述的车辆检测方法,其特征在于,估计图像特征图中图像特征属于所述道路元素的权重包括:
将所述图像特征输入第二预设神经网络模型,得到所述图像特征属于所述道路元素的权重。
15.如权利要求1至14任一项所述的车辆检测方法,其特征在于,还包括:
获取所述车辆外部环境图像;所述车辆外部环境图像的数量至少为两张,且各个所述车辆外部环境图像由不同位置的车载图像采集设备采集得到;
相应的,利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图包括:
利用所述修正图像、所述权重修正每一张所述特征深度图,得到多张修正后特征深度图;
根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测,输出3D车辆检测结果包括:
根据每张所述修正后特征深度图、与所述修正后特征深度图对应的所述图像特征图对所述自动驾驶车辆外部进行车辆检测,得到待组合3D车辆检测结果;
组合所有所述待组合3D车辆检测结果,输出3D车辆检测结果。
16.一种车辆检测装置,其特征在于,包括:
第一获取模块,用于获取与图像特征图对应的特征深度图;所述图像特征图与车辆外部环境图像对应;
第二获取模块,用于获取自动驾驶车辆当前位置的道路布局鸟瞰图;所述道路布局鸟瞰图包括道路元素;
估计模块,用于估计所述图像特征图中图像特征属于所述道路元素的权重;
第一生成模块,用于根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像;
修正模块,用于利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图;
检测模块,用于根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测,输出3D车辆检测结果;
所述第一生成模块具体用于:根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图;
相应的,所述修正模块具体用于:利用所述道路元素深度特征图、所述道路元素掩模图、所述权重,通过加权求和及掩模修正所述特征深度图,得到修正后特征深度图。
17.一种车辆检测模型训练方法,其特征在于,车辆检测模型包括第一预设神经网络模型和第二预设神经网络模型,方法包括:
将图像特征图输入所述第一预设神经网络模型中进行深度估计,得到与所述图像特征图对应的特征深度图;所述图像特征图与车辆外部环境图像对应;
获取自动驾驶车辆当前位置的道路布局鸟瞰图;所述道路布局鸟瞰图包括道路元素;
将所述图像特征图中图像特征输入所述第二预设神经网络模型,估计所述图像特征属于所述道路元素的权重;
根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像;
利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图;
根据所述修正后特征深度图、所述图像特征图对所述自动驾驶车辆外部进行车辆检测,输出3D车辆检测结果;
基于损失函数对所述车辆检测模型进行训练,得到训练后车辆检测模型;
根据所述道路布局鸟瞰图生成所述道路元素对于所述特征深度图的修正图像包括:
根据所述道路布局鸟瞰图生成道路元素深度特征图和道路元素掩模图;
相应的,利用所述修正图像、所述权重修正所述特征深度图,得到修正后特征深度图包括:
利用所述道路元素深度特征图、所述道路元素掩模图、所述权重,通过加权求和及掩模修正所述特征深度图,得到修正后特征深度图。
18.如权利要求17所述的车辆检测模型训练方法,其特征在于,还包括:
将道路元素掩模图中道路元素标注错误的区域设为0,生成修正后掩模图;
利用所述修正后掩模图训练所述第二预设神经网络模型。
20.一种检测器,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至15任一项所述车辆检测方法的步骤、如权利要求17至19任一项所述车辆检测模型训练方法的步骤。
21.一种车辆检测***,其特征在于,包括:
如权利要求20所述的检测器;
与所述检测器连接的图像采集设备。
22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至15任一项所述车辆检测方法的步骤、如权利要求17至19任一项所述车辆检测模型训练方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310318133.2A CN116012806B (zh) | 2023-03-29 | 2023-03-29 | 一种车辆检测方法、装置、检测器、***和模型训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310318133.2A CN116012806B (zh) | 2023-03-29 | 2023-03-29 | 一种车辆检测方法、装置、检测器、***和模型训练方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116012806A CN116012806A (zh) | 2023-04-25 |
CN116012806B true CN116012806B (zh) | 2023-06-13 |
Family
ID=86035830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310318133.2A Active CN116012806B (zh) | 2023-03-29 | 2023-03-29 | 一种车辆检测方法、装置、检测器、***和模型训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116012806B (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017021781A1 (en) * | 2015-08-03 | 2017-02-09 | Tom Tom Global Content B.V. | Methods and systems for generating and using localisation reference data |
DE102019106625A1 (de) * | 2019-03-15 | 2020-09-17 | HELLA GmbH & Co. KGaA | Verfahren und Vorrichtung zum Ermitteln einer Gefahrenquelle auf einer Fahrbahn |
CN113936139B (zh) * | 2021-10-29 | 2024-06-11 | 江苏大学 | 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及*** |
CN114998856B (zh) * | 2022-06-17 | 2023-08-08 | 苏州浪潮智能科技有限公司 | 一种多相机图像的3d目标检测方法、装置、设备及介质 |
CN115578702B (zh) * | 2022-09-26 | 2023-12-05 | 北京百度网讯科技有限公司 | 道路元素的提取方法、装置、电子设备、存储介质及车辆 |
CN115797454B (zh) * | 2023-02-08 | 2023-06-02 | 深圳佑驾创新科技有限公司 | 一种鸟瞰图视角下多摄像机融合感知方法及装置 |
-
2023
- 2023-03-29 CN CN202310318133.2A patent/CN116012806B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN116012806A (zh) | 2023-04-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766878B (zh) | 一种车道线检测的方法和设备 | |
CN107505644B (zh) | 基于车载多传感器融合的三维高精度地图生成***及方法 | |
CN111448478B (zh) | 用于基于障碍物检测校正高清地图的***和方法 | |
WO2018142900A1 (ja) | 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム | |
CN112257605B (zh) | 基于自标注训练样本的三维目标检测方法、***及装置 | |
CN112270719B (zh) | 相机标定方法、装置及*** | |
CN113240734B (zh) | 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质 | |
CN110728720B (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
JP7173471B2 (ja) | 3次元位置推定装置及びプログラム | |
KR20200094657A (ko) | 어안 렌즈가 장착된 2차원 카메라를 사용하여 2차원 이미지 샷에서 승객의 상태를 예측하기 위한 방법 및 장치 | |
CN115063465B (zh) | 一种基于激光雷达的无人车行驶路况建模方法 | |
CN114719873B (zh) | 一种低成本精细地图自动生成方法、装置及可读介质 | |
CN109115232B (zh) | 导航的方法和装置 | |
CN115235493A (zh) | 一种基于矢量地图进行自动驾驶定位的方法及装置 | |
CN116012806B (zh) | 一种车辆检测方法、装置、检测器、***和模型训练方法 | |
CN113240750A (zh) | 三维空间信息测算方法及装置 | |
CN112837404B (zh) | 一种平面对象的三维信息的构建方法及装置 | |
CN110706327A (zh) | 针对三维云建模的目标区域计算方法 | |
WO2022133986A1 (en) | Accuracy estimation method and system | |
CN115239794A (zh) | 道路积水面积检测方法、装置及电子设备 | |
CN113808097B (zh) | 一种列车的关键部件丢失检测方法及其*** | |
CN116704037B (zh) | 一种基于图像处理技术的卫星失锁重定位方法及*** | |
CN113029166B (zh) | 定位方法、装置、电子设备及存储介质 | |
CN113155121B (zh) | 一种车辆定位方法、装置及电子设备 | |
KR102275168B1 (ko) | 비전 센서에 기반한 차량 내비게이션 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |