CN112505684B - 恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法 - Google Patents
恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法 Download PDFInfo
- Publication number
- CN112505684B CN112505684B CN202011288075.6A CN202011288075A CN112505684B CN 112505684 B CN112505684 B CN 112505684B CN 202011288075 A CN202011288075 A CN 202011288075A CN 112505684 B CN112505684 B CN 112505684B
- Authority
- CN
- China
- Prior art keywords
- target
- layer
- tracking
- radar
- dimension
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000004927 fusion Effects 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000006870 function Effects 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 22
- 230000003068 static effect Effects 0.000 claims abstract description 11
- 230000008447 perception Effects 0.000 claims abstract description 10
- 238000010586 diagram Methods 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000005070 sampling Methods 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 29
- 230000000007 visual effect Effects 0.000 claims description 27
- 230000004913 activation Effects 0.000 claims description 23
- 238000010606 normalization Methods 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 18
- 238000012546 transfer Methods 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 13
- 241000764238 Isis Species 0.000 claims description 9
- 238000004880 explosion Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 abstract description 3
- 238000004458 analytical method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000003912 environmental pollution Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 102000002274 Matrix Metalloproteinases Human genes 0.000 description 1
- 108010000684 Matrix Metalloproteinases Proteins 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/66—Radar-tracking systems; Analogous systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/023—Interference mitigation, e.g. reducing or avoiding non-intentional interference with other HF-transmitters, base station transmitters for mobile communication or other radar systems, e.g. using electro-magnetic interference [EMI] reduction techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了一种恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法，该方案融合雷达和视觉传感器，设计了一种结合目标距离和雷达散射面积的标定代价函数，实现了雷达视觉数据级融合处理，提升了感知信息的维度与可靠性，通过引入数据增强和抗干扰编码器解码器结构，设计了一种具有高抗扰能力的目标检测网络架构，提升了恶劣环境下目标跟踪***的识别能力；最后，通过对目标位置与目标距离的相似度计算，赋予不同状态空间目标不同的跟踪策略，实现了对静态识别目标的动态准确跟踪过程。本发明借助数据和模型两个层面的融合增强处理，使得方案具有较强的可靠性和准确性，能够在诸如逆光、夜间等场景下持续准确获取车辆目标的位置与速度信息。
Description
技术领域
本发明所涉及的技术领域为智能交通与信息感知领域，主要涉及面向智能交通场景的恶劣环境下路侧视角下车辆多目标跟踪方法，尤其是以多传感融合的方式进行车辆多目标跟踪的方法。
背景技术
智能交通***作为解决交通拥挤、交通事故救援、交通管理、环境污染等问题的重要手段，其发展一直颇受瞩目。广义上而言，智能交通***包含交通信息采集***、信息处理分析***和信息发布***。其中，交通信息采集***作为智能交通***的数据来源和基础设施，其核心的底层感知技术，决定了智能交通***的公共服务能力的强弱。
作为交通信息采集***中部署的关键底层感知技术之一，路侧视角下的车辆多目标跟踪方法被广泛应用于车流量检测、异常行驶行为分析、违章取证、交通拥堵分析等各大交通管理环节中，其方法本身的高可靠性和高准确度至关重要。
然而，在可靠性方面，现有的路侧视角下车辆多目标跟踪方法往往是通过摄像头采集道路区域的视频数据，再通过后端的服务器***进行车辆目标的跟踪，这种单纯通过摄像头进行感知的方式对环境要求高，在常见的灯光反射和夜间环境下效果不佳，难以满足于全时段的交通应用。在准确度方面，以跟踪目标车辆的速度为例，依赖于视觉传感器的跟踪算法往往需要对安装路段进行事先标定，在绘制虚拟线圈或者虚拟触发线的基础上，才能大致估算出目标的移动速度，由于相机畸变和安装角度偏移等原因，该方案精度差，难以适用于交通执法的过程之中。
正是由于单纯依赖于视觉传感器存在着诸多的现实问题，如何应用现有技术手段和理论算法来解决这些棘手的问题，提升视觉传感器在诸如逆光和夜间的恶劣环境下的感知能力，改善跟踪目标速度与位置的识别精度，成为了当前路侧视角下车辆多目标跟踪方法的研究热点。
发明内容
针对现有路侧视角下车辆多目标跟踪方法存在的恶劣环境可靠性差、目标速度位置识别准确度差的严重缺陷，本发明拟公开一种路侧视角下雷达与视觉融合的车辆多目标跟踪方法。利用视觉的颜色、边沿等数据，结合雷达精确的速度和位置信息，利用投影数据融合的方式来提升目标检测***在诸如逆光和夜间等恶劣环境的车辆目标辨识能力，从而实现对车辆多目标的连续精准识别，在此基础之上，辨析识别目标在跟踪过程所涉及的关键状态，利用逐帧匹配的方式，将静态的识别目标与动态过程相结合，形成过程依赖型的高准确度的目标跟踪技术方案。本发明所设计的雷达视觉融合跟踪算法可以准确地获取传感器感知区域内的车辆动态目标的连续运动信息，具有较好的数据可信度和环境抗干扰能力。
其技术方案如下：首先基于三维投影的方法，在图像平面上融合视觉传感器与毫米波雷达传感器的异源异构异质数据，提升感知***的信息维度和可信度，其次，在数据和模型等两个方面针对多传感数据噪声进行处理，构建并训练一种抗噪声扰动的车辆多目标检测深度神经网络模型，提升网络模型在诸如逆光和夜间等恶劣环境下的识别能力，紧接着，根据目标所属的动态过程，计算逐帧目标的相似性代价矩阵，利用匈牙利匹配算法，进行静态识别目标间的逐帧匹配，从而实现车辆多目标的动态可靠跟踪；
本发明所涉及的方法具体步骤如下：
步骤一、雷达视觉数据融合，提升感知目标信息维度与可信度；
为获取雷达视觉融合数据信息，需要准确地描述毫米波目标点与图像内目标位置之间的空间关系，这就需要事先计算出视觉传感器与毫米波传感器之间的空间转移矩阵；与视觉平面内明确的目标中心位置不同的是，毫米波感知到的目标位置随着目标与毫米波传感器相对距离的变化，呈现出一定的随机性，即可能是车头部分或者车身侧面等不同的位置，因而，难以在视觉平面内找到与对之完全对应的二维点集进行空间位置的标定；鉴于以上描述的问题，定义一种考虑相对距离、雷达散射面积等多维权重的目标位置匹配代价函数，利用最优化的思想，迭代优化该代价函数，由此获得视觉传感器与毫米波传感器之间的空间转移矩阵；利用该空间转移矩阵，即可完成雷达视觉的数据融合过程，该步骤的详细子步骤如下：
子步骤一、采集包含车辆多目标的图片集合与三维雷达点集合/>其中H为图片的高度，W为图片的宽度，标注图片集合中车辆目标的中心点位置/>
子步骤二、构建空间转移方程υ＝τΜμ，其中τ为投影系数，Μ为待求取的空间转移矩阵，μ＝(xl,yl,zl,1)T，(xl,yl,zl)∈Β，xl,yl,zl,/>分别为雷达点集中任意目标l的三维横向、纵向、垂直距离以及目标投影在图像平面上的横向与纵向位置；
子步骤三、定义一种综合考虑目标距离z、雷达散射面积s的二维权重的目标位置匹配代价函数。对于目标距离而言，目标距离越远，其所在图像上所占比面积越小，标定误差极值越小，对于雷达散射面积而言，目标金属面越大，反射面积越大，对于图像占比也越大，标定误差也愈大，因此定义了如下的目标位置匹配代价函数：其中，雷达点为l，视觉目标中心点为k，目标在图像上的坐标位置为d，zmax为毫米波雷达最远感知距离，smean为雷达目标点平均散射面积；
子步骤四、利用最优化方法，使用优化函数对子步骤三中定义的目标位置匹配代价函数进行迭代优化，优化停止条件为投影误差小于预设的阈值ε，由此得到最佳的空间转移矩阵
子步骤五、利用子步骤四中产生的最佳空间转移矩阵将三维雷达点集中的目标点投影至二维平面内，以投影点为中心，以/>为半径构建圆形锚点区域，定义该锚点平面与视觉颜色平面的堆叠张量为雷达视觉融合数据源。实际中，根据场景的车辆数目，可以选取不同的σ值来避免拥挤场景下混叠区域过多；
步骤二、训练抗噪声车辆目标检测模型，提升算法在恶劣环境下的识别能力；
传统目标检测模型容易受到图片质量和环境光照的影响，其检测可靠性难以满足实际的需求。利用步骤一中毫米波投影点的锚点区域理论上可以有效地提升模型的对目标可能存在区域的辨识能力，然而，由于毫米波产生的目标点可能存在无效点、偏移点等情况，单单依赖步骤一产生的融合数据易导致模型过拟合，这是因为有效锚点区域远多于无效锚点、偏移锚点区域，模型容易对于毫米波锚点区域过于信赖，直接将锚点区域视为有效目标，从而获得较低的函数损失；通过对毫米波点进行数据增强，调整有效锚点区域与无效区域的比例，则可以有效提升模型对毫米波数据的提取能力，另一方面，通过设计一种多传感抗噪编码器-解码器模块，则可以降低噪声环境下模型发散的概率，加速模型的拟合过程，从而在数据维度与模型维度两个层面上提升跟踪***在恶劣环境下的识别能力；该步骤的详细过程如下：
子步骤一：对毫米波点进行数据增强，调整有效锚点区域与无效区域的比例，其核心在于，以概率p1随机丢弃一部分毫米波点生成漏检点噪声目标；以正态分布随机移动毫米波目标投影点位置，生成偏移点目标；以概率p2随机加入一部分虚假毫米波点生成假正例目标；以正态分布/>随机改变毫米波目标圆形锚点区域的半径。通过集成以上步骤，生成包含各类噪声的毫米波目标锚点区域；
子步骤二：设计多传感抗噪编码器-解码器模块，其核心在于，设计由卷积层及池化层构成的下采样结构，用于提取目标核心的视觉特征，过滤毫米波噪声点的干扰，设计由跨连接层及上采样层构成的上采样解码器结构，补齐由池化层带来的边缘特征损失；其详细步骤如下：
1)标准卷积层1_1：第一层的输入是原始图像，像素为Q×Q，通道数为4，用64个3×3的卷积核与原始输入图像做卷积，步长为1，不扩充边缘；将渗漏线性整流单元(LeakyRectified Linear Units,LReLU)作为神经元的激活函数，经过LReLU激活，输出维度为Q×Q×64的特征图；
局部响应归一化层1_2：由于多传感数据源的数据存在模量不一致现象，利用局部响应归一化层可以将向量拉伸至相同模长，从而抑制过拟合和梯度***等现象，输出维度为Q×Q×64的特征图；
最大池化层1_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第一层的输出特征图，其维度为：
2)标准卷积层2_1：卷积层2的输入为卷积层1的输出特征图，卷积核的个数为128，卷积核大小为：3×3，不扩充边缘，步长为1；经过LReLU激活，输出维度为的特征图；
局部响应归一化层2_1：利用局部响应归一化层可以将向量拉伸至相同模长，从而抑制过拟合和梯度***等现象，输出维度为的特征图；
最大池化层2_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第二层的输出特征图，其维度为：
3)标准卷积层3_1：卷积层3的输入为卷积层2的输出特征图，卷积核的个数为256，卷积核大小为：3×3，不扩充边缘，，步长为1，经过LReLU激活，得到第三层的输出特征图，其维度为：
局部响应归一化层3_2：利用局部响应归一化层可以将向量拉伸至相同模长，从而抑制过拟合和梯度***等现象，输出维度为的特征图；
4)标准上采样层4_1：上采样层4的输入为卷积层3的输出特征图，采样模式为双线性上采样，采样步长为2，经过LReLU激活后，得到第四层的输出特征图，其维度为：
5)跨连接层5_1：跨连接层5的输入为上采样层4及标准卷积层2的输出特征图，卷积核的个数为128，卷积核大小为：3×3，不扩充边缘，步长为1。过LReLU激活，输出维度为维度为的特征图；
6)标准上采样层6_1：上采样层6的输入为跨连接层5的输出特征图，采样模式为双线性上采样，采样步长为2，经过LReLU激活后，得到第六层的输出特征图，其维度为：Q×Q×128；
7)跨连接层7_1：跨连接层7的输入为上采样层6及标准卷积层1的输出特征图，卷积核的个数为64，卷积核大小为：3×3，不扩充边缘，步长为1。过LReLU激活，输出维度为维度为Q×Q×64的特征图；
8)输出：输出层8的输入为跨连接层7的输出特征图，卷积核的个数为4，卷积核大小为：3×3，不扩充边缘，步长为1；过LReLU激活，输出维度为Q×Q×4的特征图，其中，前三个通道为视觉信息通道，后一个通道为毫米波信息通道；
子步骤三、训练传统目标检测模型对子步骤二中输出的4通道信息进行车辆多目标的检测；
步骤三、逐帧关联静态识别目标，实现雷达视觉融合的动态目标跟踪；
其核心在于，依据目标间位置的相互关系及目标间中心点距离等多种相似性属性，计算目标间的代价矩阵，利用匈牙利算法对目标进行匹配，得到匹配、未匹配跟踪目标、未匹配新检测目标三种状态空间，设定目标初始化策略、有效跟踪策略和终结策略，对状态空间内的目标实行以上不同的动态跟踪策略，完成车辆多目标的动态跟踪过程。其详细过程如下：
子步骤一、设定相似性代价矩阵。其核心在于，利用目标间的边界框交并比计算交并比代价矩阵，利用目标间中心距离计算欧式空间代价矩阵，集成两种相似性属性，构成总体的代价矩阵；
子步骤二、根据子步骤一中生成的总体代价矩阵，利用匈牙利算法，对目标进行帧间匹配，其可能生成结果为：新检测目标点与跟踪点全匹配、新检测目标点漏匹配、跟踪点漏匹配等三种模式，分布对应着匹配、未匹配跟踪目标、未匹配新检测目标三种状态空间，由于不同状态空间的目标呈现出异化的特性，如，未匹配跟踪目标可能为新出现目标或者假正例目标，因而，无法使用统一的跟踪策略进行目标的初始化、跟踪及终结；
子步骤三、设定目标初始化策略。未匹配跟踪目标状态空间可能为新出现目标或者假正例目标集合，因而，设定合适的初始化阈值可以有效避免假正例目标的出现，只有初始化后连续跟踪时长大于初始化阈值方可判定为有效跟踪目标，进入跟踪模式；
子步骤四、设定目标有效跟踪策略。目标有效跟踪时，利用子步骤一及子步骤二中的匹配过程即可完成目标的匹配跟踪；
子步骤五、设定目标终结策略。未匹配跟踪目标状态空间可能为遮挡目标或者驶离目标等情况，因而，设定合适的终结阈值可以有效避免遮挡目标的误终结，只有丢失跟踪时长大于终结阈值方可判定为终结目标，从而剔除出跟踪队列；
子步骤六、依据子步骤二中产生三种状态空间，对状态空间内的各个目标执行相应子步骤三到五的跟踪策略，完成目标整个的跟踪流程。
本发明与现有方法相比，具有如下优势：
1)本发明公开的雷达视觉融合的技术手段，通过设计数据增强和抗噪编码器-解码器神经网络架构，引入了准确稳定的毫米波目标信息，使得所设计的目标检测跟踪模型具有较强的场景适应性和抗干扰能力，从而实现了在逆光和夜间条件下的可靠车辆跟踪；
2)本发明通过动态关联静态识别目标，从而实现了多传感融合动态目标跟踪，这种方法一方面借用了多源传感的可靠位置辨识能力，另一方面根据目标所属状态空间，具备自适应调用起始、跟踪、终结策略的能力，所设计的跟踪算法具有准确度高、实施性强的显著优势。
附图说明
图1为本发明的总体技术方案图；
图2为本发明所设计的多传感抗噪编码器-解码器模块示意图；
图3为本发明所设计的静态目标动态逐帧匹配流程图。
具体实施方式
为了加深对本发明的认识和理解，下面结合附图和实例对本发明的技术方案进行进一步说明。
实施例1：智能交通***作为解决交通拥挤、交通事故救援、交通管理、环境污染等问题的重要手段，其发展一直颇受瞩目。广义上而言，智能交通***包含交通信息采集***、信息处理分析***和信息发布***。其中，交通信息采集***作为智能交通***的数据来源和基础设施，其核心的底层感知技术，决定了智能交通***的公共服务能力的强弱。
作为交通信息采集***中部署的关键底层感知技术之一，路侧视角下的车辆多目标跟踪方法被广泛应用于车流量检测、异常行驶行为分析、违章取证、交通拥堵分析等各大交通管理环节中，其方法本身的高可靠性和高准确度至关重要。
然而，在可靠性方面，现有的路侧视角下车辆多目标跟踪方法往往是通过摄像头采集道路区域的视频数据，再通过后端的服务器***进行车辆目标的跟踪，这种单纯通过摄像头进行感知的方式对环境要求高，在常见的灯光反射和夜间环境下效果不佳，难以满足于全时段的交通应用。在准确度方面，以跟踪目标车辆的速度为例，依赖于视觉传感器的跟踪算法往往需要对安装路段进行事先标定，在绘制虚拟线圈或者虚拟触发线的基础上，才能大致估算出目标的移动速度，由于相机畸变和安装角度偏移等原因，该方案精度差，难以适用于交通执法的过程之中。
正是由于单纯依赖于视觉传感器存在着诸多的现实问题，如何应用现有技术手段和理论算法来解决这些棘手的问题，提升视觉传感器在诸如逆光和夜间等恶劣环境下的感知能力，改善跟踪目标速度与位置的识别精度，成为了当前路侧视角下车辆多目标跟踪方法的研究热点。
针对现有路侧视角下车辆多目标跟踪方法存在的恶劣环境可靠性差、目标速度位置识别准确度差的严重缺陷，本发明拟公开一种路侧视角下雷达与视觉融合的车辆多目标跟踪方法。利用视觉的颜色、边沿等数据，结合雷达精确的速度和位置信息，利用投影数据融合的方式来提升目标检测***在恶劣环境的车辆目标辨识能力，从而实现对车辆多目标的连续精准识别，在此基础之上，辨析识别目标在跟踪过程所涉及的关键状态，利用逐帧匹配的方式，将静态的识别目标与动态过程相结合，形成过程依赖型的高准确度的目标跟踪技术方案。本发明所设计的雷达视觉融合跟踪算法可以准确地获取传感器感知区域内的车辆动态目标的连续运动信息，具有较好的数据可信度和环境抗干扰能力。
其技术方案如下：首先基于三维投影的方法，在图像平面上融合视觉传感器与毫米波雷达传感器的异源异构异质数据，提升感知***的信息维度和可信度，其次，在数据和模型预处理等两个方面针对多传感数据噪声进行处理，构建并训练一种抗噪声扰动的车辆多目标检测深度神经网络模型，提升网络模型在恶劣环境下的识别能力，紧接着，根据目标所属的动态过程，计算逐帧目标的相似性代价矩阵，利用匈牙利匹配算法，进行静态识别目标间的逐帧匹配，从而实现车辆多目标的动态可靠跟踪。
一种恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法，具体步骤如下：
步骤一、雷达视觉数据融合，提升感知目标信息维度与可信度；
为获取雷达视觉融合数据信息，需要准确地描述毫米波目标点与图像内目标位置之间的空间关系，这就需要事先计算出视觉传感器与毫米波传感器之间的空间转移矩阵。与视觉平面内明确的目标中心位置不同的是，毫米波感知到的目标位置随着目标与毫米波传感器相对距离的变化，呈现出一定的随机性，即可能是车头部分或者车身侧面等不同的位置，因而，难以在视觉平面内找到与对之完全对应的二维点集进行空间位置的标定。鉴于以上描述的问题，定义一种考虑相对距离、雷达散射面积等多维权重的目标位置匹配代价函数，利用最优化的思想，迭代优化该代价函数，由此获得视觉传感器与毫米波传感器之间的空间转移矩阵；利用该空间转移矩阵，即可完成雷达视觉的数据融合过程，该步骤的详细子步骤如下：
子步骤一、采集包含车辆多目标的图片集合与三维雷达点集合/>其中H为图片的高度，W为图片的宽度，标注图片集合中车辆目标的中心点位置/>在实际场合中，如城市环道的视频一般为分辨率为2048×1080，即H为1080像素，W为2048像素；
子步骤二、构建空间转移方程υ＝τΜμ，其中τ为投影系数，Μ为待求取的空间转移矩阵，μ＝(xl,yl,zl,1)T，(xl,yl,zl)∈Β，xl,yl,zl,/>分别为雷达点集中任意目标l的三维横向、纵向、垂直距离以及目标投影在图像平面上的横向与纵向位置。
子步骤三、定义一种综合考虑目标距离z、雷达散射面积s的二维权重的目标位置匹配代价函数。对于目标距离而言，目标距离越远，其所在图像上所占比面积越小，标定误差极值越小，对于雷达散射面积而言，目标金属面越大，反射面积越大，对于图像占比也越大，标定误差也愈大，因此定义了如下的目标位置匹配代价函数：其中，雷达点为l，视觉目标中心点为k，目标在图像上的坐标位置为d，zmax为毫米波雷达最远感知距离，smean为雷达目标点平均散射面积；以单个目标为例，/>zl/zmax＝(80/200)，sl/smean＝(200/190)，dk＝(1000,600)，即Ε为94.965。总体而言，随着目标距离和目标雷达散射面积的增加，目标的权重愈大，反之，目标的权重愈小。
子步骤四、利用最优化方法，使用优化函数对子步骤三中定义的目标位置匹配代价函数进行迭代优化，优化停止条件为投影误差小于预设的阈值ε，由此得到最佳的空间转移矩阵实际中，ε的取值一般通过观察目标的投影效果来决定。
子步骤五、利用子步骤四中产生的最佳空间转移矩阵将三维雷达点集中的目标点投影至二维平面内，以投影点为中心，以/>为半径构建圆形锚点区域，定义该锚点平面与视觉颜色平面的堆叠张量为雷达视觉融合数据源。实际中，根据场景的车辆数目，可以选取不同的σ值来避免拥挤场景下混叠区域过多。车辆少于10的场景下，σ可取为0.2。
步骤二、训练抗噪声车辆目标检测模型，提升算法在恶劣环境下的识别能力；
传统目标检测模型容易受到图片质量和环境光照的影响，其检测可靠性难以满足实际的需求。利用步骤一中毫米波投影点的锚点区域理论上可以有效地提升模型的对目标可能存在区域的辨识能力，然而，由于毫米波产生的目标点可能存在无效点、偏移点等情况，单单依赖步骤一产生的融合数据易导致模型过拟合，这是因为有效锚点区域远多于无效锚点、偏移锚点区域，模型容易对于毫米波锚点区域过于信赖，直接将锚点区域视为有效目标，从而获得较低的函数损失；通过对毫米波点进行数据增强，调整有效锚点区域与无效区域的比例，则可以有效提升模型对毫米波数据的提取能力，另一方面，通过设计一种多传感抗噪编码器-解码器模块，则可以降低噪声环境下模型发散的概率，加速模型的拟合过程，从而在数据维度与模型维度两个层面上提升跟踪***在恶劣环境下的识别能力；该步骤的详细过程如下：
子步骤一：对毫米波点进行数据增强，调整有效锚点区域与无效区域的比例，其核心在于，以概率p1随机丢弃一部分毫米波点生成漏检点噪声目标；以正态分布N(0,10)随机移动毫米波目标投影点位置，生成偏移点目标；以概率p2随机加入一部分虚假毫米波点生成假正例目标；以正态分布N(0,5)随机改变毫米波目标圆形锚点区域的半径。通过集成以上步骤，生成包含各类噪声的毫米波目标锚点区域。通过实验证明，p1选取为0.3，p2选取为0.2时效果最佳。
子步骤二：设计多传感抗噪编码器-解码器模块，其核心在于，设计由卷积层及池化层构成的下采样结构，用于提取目标核心的视觉特征，过滤毫米波噪声点的干扰，设计由跨连接层及上采样层构成的上采样解码器结构，补齐由池化层带来的边缘特征损失。其详细步骤如下：
1)标准卷积层1_1：第一层的输入是原始图像，像素为Q×Q，通道数为4，用64个3×3的卷积核与原始输入图像做卷积，步长为1，不扩充边缘。将渗漏线性整流单元(LeakyRectified Linear Units,LReLU)作为神经元的激活函数，经过LReLU激活，输出维度为Q×Q×64的特征图，实际中，Q一般选为416个像素；
局部响应归一化层1_2：由于多传感数据源的数据存在模量不一致现象，利用局部响应归一化层可以将向量拉伸至相同模长，从而抑制过拟合和梯度***等现象，输出维度为Q×Q×64的特征图；
最大池化层1_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第一层的输出特征图，其维度为：
2)标准卷积层2_1：卷积层2的输入为卷积层1的输出特征图，卷积核的个数为128，卷积核大小为：3×3，不扩充边缘，步长为1。经过LReLU激活，输出维度为的特征图；
局部响应归一化层2_1：利用局部响应归一化层可以将向量拉伸至相同模长，从而抑制过拟合和梯度***等现象，输出维度为的特征图；
最大池化层2_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第二层的输出特征图，其维度为：
3)标准卷积层3_1：卷积层3的输入为卷积层2的输出特征图，卷积核的个数为256，卷积核大小为：3×3，不扩充边缘，，步长为1，经过LReLU激活，得到第三层的输出特征图，其维度为：
局部响应归一化层3_2：利用局部响应归一化层可以将向量拉伸至相同模长，从而抑制过拟合和梯度***等现象，输出维度为的特征图；
4)标准上采样层4_1：上采样层4的输入为卷积层3的输出特征图，采样模式为双线性上采样，采样步长为2，经过LReLU激活后，得到第四层的输出特征图，其维度为：
5)跨连接层5_1：跨连接层5的输入为上采样层4及标准卷积层2的输出特征图，卷积核的个数为128，卷积核大小为：3×3，不扩充边缘，步长为1。过LReLU激活，输出维度为维度为的特征图。
6)标准上采样层6_1：上采样层6的输入为跨连接层5的输出特征图，采样模式为双线性上采样，采样步长为2，经过LReLU激活后，得到第六层的输出特征图，其维度为：Q×Q×128。
7)跨连接层7_1：跨连接层7的输入为上采样层6及标准卷积层1的输出特征图，卷积核的个数为64，卷积核大小为：3×3，不扩充边缘，步长为1。过LReLU激活，输出维度为维度为Q×Q×64的特征图。
8)输出：输出层8的输入为跨连接层7的输出特征图，卷积核的个数为4，卷积核大小为：3×3，不扩充边缘，步长为1。过LReLU激活，输出维度为Q×Q×4的特征图，其中，前三个通道为视觉信息通道，后一个通道为毫米波信息通道。
子步骤三、训练传统目标检测模型对子步骤二中输出的4通道信息进行车辆多目标的检测。
步骤三、逐帧关联静态识别目标，实现雷达视觉融合的动态目标跟踪；
其核心在于，依据目标间位置的相互关系及目标间中心点距离等多种相似性属性，计算目标间的代价矩阵，利用匈牙利算法对目标进行匹配，得到匹配、未匹配跟踪目标、未匹配新检测目标三种状态空间，设定目标初始化策略、有效跟踪策略和终结策略，对状态空间内的目标实行以上不同的动态跟踪策略，完成车辆多目标的动态跟踪过程。其详细过程如下：
子步骤一、设定相似性代价矩阵。其核心在于，利用目标间的边界框交并比计算交并比代价矩阵，利用目标间中心距离计算欧式空间代价矩阵，集成两种相似性属性，构成总体的代价矩阵，如检测目标框的左上角与右下角坐标为(100,100,200,200)，原跟踪目标坐标为(90,90,180,180)，则两者的匹配代价为21.760。
子步骤二、根据子步骤一中生成的总体代价矩阵，利用匈牙利算法，对目标进行帧间匹配，其可能生成结果为：新检测目标点与跟踪点全匹配、新检测目标点漏匹配、跟踪点漏匹配等三种模式，分布对应着匹配、未匹配跟踪目标、未匹配新检测目标三种状态空间，由于不同状态空间的目标呈现出异化的特性，如，未匹配跟踪目标可能为新出现目标或者假正例目标，因而，无法使用统一的跟踪策略进行目标的初始化、跟踪及终结；
子步骤三、设定目标初始化策略。未匹配跟踪目标状态空间可能为新出现目标或者假正例目标集合，因而，设定合适的初始化阈值可以有效避免假正例目标的出现，只有初始化后连续跟踪时长大于初始化阈值方可判定为有效跟踪目标，进入跟踪模式；初始化阈值一般设定为5。
子步骤四、设定目标有效跟踪策略。目标有效跟踪时，利用子步骤一及子步骤二中的匹配过程即可完成目标的匹配跟踪。
子步骤五、设定目标终结策略。未匹配跟踪目标状态空间可能为遮挡目标或者驶离目标等情况，因而，设定合适的终结阈值可以有效避免遮挡目标的误终结，只有丢失跟踪时长大于终结阈值方可判定为终结目标，从而剔除出跟踪队列；终结阈值一般设定为10；
子步骤六、依据子步骤二中产生三种状态空间，对状态空间内的各个目标执行相应子步骤三到五的跟踪策略，完成目标整个的跟踪流程。
需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代，均属于本发明的保护范围。
Claims (3)
1.一种恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法，其特征在于，所述方法包括以下步骤：
步骤一、雷达视觉数据融合，提升感知目标信息维度与可信度；
步骤二、训练抗噪声车辆目标检测模型，提升算法在恶劣环境下的识别能力；
步骤三、逐帧关联静态识别目标，实现雷达视觉融合的动态目标跟踪；
其中步骤一、雷达视觉数据融合，提升感知目标信息维度与可信度，具体如下：该步骤的详细子步骤如下：
子步骤一、采集包含车辆多目标的图片集合与三维雷达点集合/>其中H为图片的高度，W为图片的宽度，标注图片集合中车辆目标的中心点位置/>
子步骤二、构建空间转移方程υ＝τΜμ，其中τ为投影系数，Μ为待求取的空间转移矩阵，μ＝(xl,yl,zl,1)T，(xl,yl,zl)∈Β，/>分别为雷达点集中任意目标l的三维横向、纵向、垂直距离以及目标投影在图像平面上的横向与纵向位置；
子步骤三、定义一种综合考虑目标距离z、雷达散射面积s的二维权重的目标位置匹配代价函数，对于目标距离而言，目标距离越远，其所在图像上所占比面积越小，标定误差极值越小，对于雷达散射面积而言，目标金属面越大，反射面积越大，对于图像占比也越大，标定误差也愈大，因此定义了如下的目标位置匹配代价函数：其中，雷达点为l，视觉目标中心点为k，目标在图像上的坐标位置为d，zmax为毫米波雷达最远感知距离，smean为雷达目标点平均散射面积；
子步骤四、利用最优化方法，使用优化函数对子步骤三中定义的目标位置匹配代价函数进行迭代优化，优化停止条件为投影误差小于预设的阈值ε，由此得到最佳的空间转移矩阵
子步骤五、利用子步骤四中产生的最佳空间转移矩阵将三维雷达点集中的目标点投影至二维平面内，以投影点为中心，以/>为半径构建圆形锚点区域，定义该锚点平面与视觉颜色平面的堆叠张量为雷达视觉融合数据源。
2.根据权利要求1所述的恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法，其特征在于，
步骤二、训练抗噪声车辆目标检测模型，提升算法在恶劣环境下的识别能力，具体如下：
该步骤的详细过程如下：
子步骤一：对毫米波点进行数据增强，调整有效锚点区域与无效区域的比例，其核心在于，以概率p1随机丢弃一部分毫米波点生成漏检点噪声目标；以正态分布随机移动毫米波目标投影点位置，生成偏移点目标；以概率p2随机加入一部分虚假毫米波点生成假正例目标；以正态分布/>随机改变毫米波目标圆形锚点区域的半径，通过集成以上步骤，生成包含各类噪声的毫米波目标锚点区域；
子步骤二：设计多传感抗噪编码器-解码器模块，其核心在于，设计由卷积层及池化层构成的下采样结构，用于提取目标核心的视觉特征，过滤毫米波噪声点的干扰，设计由跨连接层及上采样层构成的上采样解码器结构，补齐由池化层带来的边缘特征损失；其详细步骤如下：
1)标准卷积层1_1：第一层的输入是原始图像，像素为Q×Q，通道数为4，用64个3×3的卷积核与原始输入图像做卷积，步长为1，不扩充边缘；将渗漏线性整流单元(LeakyRectified Linear Units,LReLU)作为神经元的激活函数，经过LReLU激活，输出维度为Q×Q×64的特征图；
局部响应归一化层1_2：由于多传感数据源的数据存在模量不一致现象，利用局部响应归一化层将向量拉伸至相同模长，从而抑制过拟合和梯度***现象，输出维度为Q×Q×64的特征图；
最大池化层1_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第一层的输出特征图，其维度为：
2)标准卷积层2_1：卷积层2的输入为卷积层1的输出特征图，卷积核的个数为128，卷积核大小为：3×3，不扩充边缘，步长为1；经过LReLU激活，输出维度为的特征图；
局部响应归一化层2_1：利用局部响应归一化层将向量拉伸至相同模长，从而抑制过拟合和梯度***现象，输出维度为的特征图；
最大池化层2_3：接着连接池化层，对卷积后输出图像进行最大池化，池化层大小为3×3，步长为2，得到第二层的输出特征图，其维度为：
3)标准卷积层3_1：卷积层3的输入为卷积层2的输出特征图，卷积核的个数为256，卷积核大小为：3×3，不扩充边缘，步长为1，经过LReLU激活，得到第三层的输出特征图，其维度为：
局部响应归一化层3_2：利用局部响应归一化层将向量拉伸至相同模长，从而抑制过拟合和梯度***现象，输出维度为的特征图；
4)标准上采样层4_1：上采样层4的输入为卷积层3的输出特征图，采样模式为双线性上采样，采样步长为2，经过LReLU激活后，得到第四层的输出特征图，其维度为：
5)跨连接层5_1：跨连接层5的输入为上采样层4及标准卷积层2的输出特征图，卷积核的个数为128，卷积核大小为：3×3，不扩充边缘，步长为1，过LReLU激活，输出维度为维度为的特征图；
6)标准上采样层6_1：上采样层6的输入为跨连接层5的输出特征图，采样模式为双线性上采样，采样步长为2，经过LReLU激活后，得到第六层的输出特征图，其维度为：Q×Q×128；
7)跨连接层7_1：跨连接层7的输入为上采样层6及标准卷积层1的输出特征图，卷积核的个数为64，卷积核大小为：3×3，不扩充边缘，步长为1，过LReLU激活，输出维度为维度为Q×Q×64的特征图；
8)输出：输出层8的输入为跨连接层7的输出特征图，卷积核的个数为4，卷积核大小为：3×3，不扩充边缘，步长为1；过LReLU激活，输出维度为Q×Q×4的特征图，其中，前三个通道为视觉信息通道，后一个通道为毫米波信息通道；
子步骤三、训练传统目标检测模型对子步骤二中输出的4通道信息进行车辆多目标的检测。
3.根据权利要求1所述的恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法，其特征在于，
步骤三、逐帧关联静态识别目标，实现雷达视觉融合的动态目标跟踪；
其详细过程如下：
子步骤一、设定相似性代价矩阵，其核心在于，利用目标间的边界框交并比计算交并比代价矩阵，利用目标间中心距离计算欧式空间代价矩阵，集成两种相似性属性，构成总体的代价矩阵；
子步骤二、根据子步骤一中生成的总体代价矩阵，利用匈牙利算法，对目标进行帧间匹配，其可能生成结果为：新检测目标点与跟踪点全匹配、新检测目标点漏匹配、跟踪点漏匹配三种模式，分布对应着匹配、未匹配跟踪目标、未匹配新检测目标三种状态空间，由于不同状态空间的目标呈现出异化的特性，如，未匹配跟踪目标可能为新出现目标或者假正例目标，因而，无法使用统一的跟踪策略进行目标的初始化、跟踪及终结；
子步骤三、设定目标初始化策略，未匹配跟踪目标状态空间可能为新出现目标或者假正例目标集合，因而，设定合适的初始化阈值有效避免假正例目标的出现，只有初始化后连续跟踪时长大于初始化阈值方可判定为有效跟踪目标，进入跟踪模式；
子步骤四、设定目标有效跟踪策略，目标有效跟踪时，利用子步骤一及子步骤二中的匹配过程即可完成目标的匹配跟踪；
子步骤五、设定目标终结策略，未匹配跟踪目标状态空间可能为遮挡目标或者驶离目标情况，因而，设定合适的终结阈值有效避免遮挡目标的误终结，只有丢失跟踪时长大于终结阈值方可判定为终结目标，从而剔除出跟踪队列；
子步骤六、依据子步骤二中产生三种状态空间，对状态空间内的各个目标执行相应子步骤三到五的跟踪策略，完成目标整个的跟踪流程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011288075.6A CN112505684B (zh) | 2020-11-17 | 2020-11-17 | 恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011288075.6A CN112505684B (zh) | 2020-11-17 | 2020-11-17 | 恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112505684A CN112505684A (zh) | 2021-03-16 |
| CN112505684B true CN112505684B (zh) | 2023-12-01 |
Family
ID=74956631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011288075.6A Active CN112505684B (zh) | 2020-11-17 | 2020-11-17 | 恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112505684B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113219447B (zh) * | 2021-04-09 | 2024-07-16 | 国电南瑞科技股份有限公司 | 一种基于毫米波阵列的输电线距离稳定测量方法 |
| CN113311399B (zh) * | 2021-04-13 | 2024-02-27 | 中国人民解放军63660部队 | 一种34型连续波雷达多目标动态跟踪性能鉴定方法 |
| CN113095288A (zh) * | 2021-04-30 | 2021-07-09 | 浙江吉利控股集团有限公司 | 障碍物漏检修复方法、装置、设备及存储介质 |
| CN112950687B (zh) * | 2021-05-17 | 2021-08-10 | 创新奇智(成都)科技有限公司 | 一种确定跟踪状态的方法、装置、存储介质和电子设备 |
| CN114022901B (zh) * | 2021-11-04 | 2024-07-16 | 东南大学 | 一种基于视觉和射频感知的跨模态ReID方法 |
| CN113888602B (zh) * | 2021-12-03 | 2022-04-05 | 深圳佑驾创新科技有限公司 | 一种雷达车辆目标与视觉车辆目标的关联方法及装置 |
| CN114460598A (zh) * | 2022-01-30 | 2022-05-10 | 中国第一汽车股份有限公司 | 一种目标识别方法、装置、设备及存储介质 |
| CN115169452B (zh) * | 2022-06-30 | 2023-04-28 | 北京中盛国芯科技有限公司 | 基于时空同步队列特性雷视融合目标信息***及方法 |
| CN114913209B (zh) * | 2022-07-14 | 2022-10-28 | 南京后摩智能科技有限公司 | 一种基于俯视投射的多目标跟踪网络构建方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110032949A (zh) * | 2019-03-22 | 2019-07-19 | 北京理工大学 | 一种基于轻量化卷积神经网络的目标检测与定位方法 |
| CN110414396A (zh) * | 2019-07-19 | 2019-11-05 | 中国人民解放军海军工程大学 | 一种基于深度学习的无人艇感知融合算法 |
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN111462237A (zh) * | 2020-04-03 | 2020-07-28 | 清华大学 | 利用多源信息构建四通道虚拟图像的目标距离检测方法 |
| CN111862157A (zh) * | 2020-07-20 | 2020-10-30 | 重庆大学 | 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法 |
| CN111906773A (zh) * | 2019-05-09 | 2020-11-10 | 牧今科技 | 具有协调转移机构的机器人*** |
-
2020
- 2020-11-17 CN CN202011288075.6A patent/CN112505684B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110032949A (zh) * | 2019-03-22 | 2019-07-19 | 北京理工大学 | 一种基于轻量化卷积神经网络的目标检测与定位方法 |
| CN111906773A (zh) * | 2019-05-09 | 2020-11-10 | 牧今科技 | 具有协调转移机构的机器人*** |
| CN110414396A (zh) * | 2019-07-19 | 2019-11-05 | 中国人民解放军海军工程大学 | 一种基于深度学习的无人艇感知融合算法 |
| CN110532896A (zh) * | 2019-08-06 | 2019-12-03 | 北京航空航天大学 | 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法 |
| CN111462237A (zh) * | 2020-04-03 | 2020-07-28 | 清华大学 | 利用多源信息构建四通道虚拟图像的目标距离检测方法 |
| CN111862157A (zh) * | 2020-07-20 | 2020-10-30 | 重庆大学 | 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于雷达测距的车辆识别与跟踪方法;周俊静;段建民;杨光祖;;汽车工程(第11期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112505684A (zh) | 2021-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112505684B (zh) | 恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法 | |
| CN110244322B (zh) | 基于多源传感器的路面施工机器人环境感知***及方法 | |
| CN111259758B (zh) | 一种针对密集区域的两阶段遥感图像目标检测方法 | |
| CN114022830A (zh) | 一种目标确定方法以及目标确定装置 | |
| CN112396650A (zh) | 一种基于图像和激光雷达融合的目标测距***及方法 | |
| CN108983219A (zh) | 一种交通场景的图像信息和雷达信息的融合方法及*** | |
| CN109903372A (zh) | 深度图超分辨率补全方法及高质量三维重建方法与*** | |
| CN111967373B (zh) | 一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法 | |
| CN112949633B (zh) | 一种基于改进YOLOv3的红外目标检测方法 | |
| CN112731436A (zh) | 基于点云上采样的多模态数据融合可行驶区域检测方法 | |
| CN116188999B (zh) | 一种基于可见光和红外图像数据融合的小目标检测方法 | |
| CN113095152A (zh) | 一种基于回归的车道线检测方法及*** | |
| CN115019043B (zh) | 基于交叉注意力机制的图像点云融合三维目标检测方法 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN114155501A (zh) | 一种无人车在烟雾遮挡环境下的目标检测方法 | |
| CN114399882A (zh) | 一种用于消防机器人的火源探测识别并预警方法 | |
| CN116486368A (zh) | 基于自动驾驶场景下的多模态融合三维目标鲁棒检测方法 | |
| CN112581543A (zh) | 运动机器人视觉导航方法 | |
| CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
| US20220383585A1 (en) | Systems And Methods For Generating And/Or Using 3-Dimensional Information With Camera Arrays | |
| CN117115690A (zh) | 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及*** | |
| CN117523612A (zh) | 一种基于Yolov5网络的密集行人检测方法 | |
| CN112926426A (zh) | 基于监控视频的船舶识别方法、***、设备及存储介质 | |
| CN116129234A (zh) | 一种基于注意力的4d毫米波雷达与视觉的融合方法 | |
| CN115393401A (zh) | 融合深度估计与三维运动补偿的空间运动分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |