CN111462237A - 利用多源信息构建四通道虚拟图像的目标距离检测方法 - Google Patents

Abstract

本发明涉及一种利用多源信息构建四通道虚拟图像的目标距离检测方法，其步骤：利用毫米波雷达获取原始点云数据进行信息处理，确定属于同一个目标的雷达原始点信息，得到目标尺寸和目标反射中心位置；根据雷达平面下目标的反射中心位置与单目摄像头采集到的图像中的目标中心像素位置，通过联合标定的方法寻找两种传感器的空间转换关系，同时结合时间同步，实现异步异构多源信息的关联；根据毫米波雷达与图像数据之间的关联关系，构建包含距离信息的虚拟四通道图片；根据虚拟四通道图片搭建卷积神经网络，实现目标检测。本发明能提高目标检测的距离预测能力，实现网络结构轻量化，节约计算资源，提高现有的视觉3D目标检测算法空间信息预测精度与速度。

Description

利用多源信息构建四通道虚拟图像的目标距离检测方法

技术领域

本发明涉及智能汽车的环境感知领域，特别是关于一种利用多源信息构建四通道虚拟图像的目标距离检测方法。

背景技术

在智能汽车***中，实现准确、可靠、鲁棒的环境感知十分关键。图像信息包含丰富的语义特征，随着人工智能与深度学习的发展，基于卷积神经网络实现基于视觉的目标检测算法日益成熟，成为当下的热门研究。但是由于单目视觉无法直接获取目标距离信息以及卷积神经网络更适合分类任务的特点，基于视觉的目标距离检测仍然有待提高：现有的3D视觉目标检测算法普遍不能够达到驾驶任务中距离检测精度的需求，距离精度不准，无法胜任目标跟踪或驾驶决策的任务；通过增加网络深度，如ResNet，或者增加网络宽度，如Inception的方法能够提高网络性能，但是与此同时网络结构复杂，占用计算资源大，难以上车使用。

毫米波雷达能够准确地测量目标距离与速度信息，同时具有全天候工作的能力，可以为目标检测任务提供新的数据源，弥补视觉的不足，实现目标的距离信息检测。因此利用多源融合改善环境感知性能的研究也逐渐得到更多关注。现有的多源信息融合检测方法主要分为两种：前融合算法利用毫米波雷达检测的目标位置信息，向视觉提供感兴趣区域(ROI)位置，再进行视觉的目标识别与分类；后融合则对雷达与图像信息分别进行处理，对于各自得到的目标层信息进行关联和融合。前者受到雷达检测的杂波干扰，如果雷达出现漏检影响目标检出率；后者算法耗时大，同时未能充分利用毫米波雷达提供的感知信息实现更有效的融合。

发明内容

针对上述问题，本发明的目的是提供一种利用多源信息构建四通道虚拟图像的目标距离检测方法，其能提高目标检测的距离预测能力，进一步实现网络结构轻量化，节约计算资源，提高现有的视觉3D目标检测算法空间信息预测精度与速度。

为实现上述目的，本发明采取以下技术方案：一种利用多源信息构建四通道虚拟图像的目标距离检测方法，其包括以下步骤：1)利用毫米波雷达获取原始点云数据进行信息处理，确定属于同一个目标的雷达原始点信息，得到目标尺寸和目标反射中心位置；2)根据雷达平面下目标的反射中心位置与单目摄像头采集到的图像中的目标中心像素位置，通过联合标定的方法寻找两种传感器的空间转换关系，同时结合时间同步，实现异步异构多源信息的关联；3)根据毫米波雷达与图像数据之间的关联关系，构建包含距离信息的虚拟四通道图片；4)根据虚拟四通道图片搭建卷积神经网络，实现目标检测：搭建端到端的目标检测卷积神经网络实现距离融合，使其能够实现对利用雷达原始点云信息与RGB图像生成的四通道虚拟图片的训练，预测目标的类别、图像边界框和距离信息。

进一步，所述步骤1)中，在交通场景下，认为目标都是刚体，根据原始点提供的位置与多普勒速度的相似性，通过聚类算法确定属于同一个目标的原始点信息；同时，利用RANSAC算法排除异常点，进而得到目标尺寸(w,h)和目标的反射中心位置

进一步，所述步骤2)中，具体包括以下步骤：2.1)确定雷达坐标系下标定物的目标反射中心位置

与图像中的目标中心像素位置(u₀,v₀)之间的转换关系；2.2)对异步信息进行时间同步：以相机的采集时间为基准，通过外推的方法，每当相机的感知数据更新，记录时间戳t_cam，寻找与该时刻最接近的雷达数据，时间戳为t_radar，记录时间差Δt＝t_cam-t_radar，认为在这段短暂时间内物体的速度不变，更新位置信息Δx(Δt)，得到时间同步的多传感器感知数据。

进一步，所述步骤2.1)中，利用联合标定，直接寻找同一目标下雷达的测量数据(x_r,y_r,z_r)与图像的测量数据(u,v)之间的转换关系，两者的空间转换关系为：

式中，ω表示一个比例常量；P表示3×4的投影矩阵；A表示相机的内参矩阵；R表示外参标定中的旋转关系；t表示外参标定中的平移关系。

进一步，所述联合标定的过程为：同一时刻下毫米波雷达检测到目标并记录数据，同时通过拍摄记录图像中目标的位置；之后通过步骤1)中的聚类算法得到目标反射中心位置，再对应找到图像中的位置；重复此过程得到多组数据。

进一步，所述步骤3)中，根据雷达能够反映的目标特征信息通过相应规则生成分辨率与RGB图像相同的单通道虚拟图片，再与相机的RGB彩色图像关联，形成4通道虚拟图片，作为目标距离检测网络训练的输入数据。

进一步，所述相应规则为：(1)确定感兴趣区域中心：通过步骤2)中找到的标定参数将雷达检测到的目标反射中心位置

投影到图像上；由空间转换关系确定了雷达检测目标在图像上感兴趣区域中心像素点位置(u₀,v₀)；(2)确定雷达单通道虚拟图片中目标区域的尺寸与像素值：采用二维高斯模型确定单通道虚拟图片的目标区域填充像素值以及区域大小，高斯分布的均值为步骤(1)中确定的反射中心对应的像素位置(u₀,v₀)；根据3σ原则，认为在3σ外像素为零，因此高斯分布的方差(σ₁ ²,σ₂ ²)反映了目标区域在图像上长和宽两个维度的尺寸大小，用函数g来表示方差与目标与传感器之间相对距离r、步骤1)中雷达估计的目标尺寸(w,h)的函数(σ₁ ²,σ₂ ²)＝g(w,h,r)；同时在交通场景下，通过填充像素值反应近距离、运动目标的检测准确度这一关注程度；此外因为雷达能够提供反射点是否为目标的置信度σ，用比例因子k反映以上因素，k＝f(r,v_rel,σ)，k将影响虚拟图片上目标填充区域的像素值。

进一步，所述步骤4)中，为了实现深度融合，神经网络结构修改包括以下方面：(1)对选择的算法的训练数据读取函数进行修改，接受4通道图像的数据读取；(2)修改卷积层卷积核，提取更高维度的特征；(3)修改标注信息的读取方式：在图像目标检测训练时提供的标注真值以外增加相对距离的标注真值；(4)添加距离预测功能：添加对于距离预测的损失函数。

进一步，还包括对卷积神经网络评测与优化的步骤，当卷积神经网络在训练集上表现出损失函数收敛，训练成熟后，构建与训练集数据同分布的验证集验证并评价卷积神经网络效果。

进一步，对网络效果定量评价的逻辑如下：在预测结果与真值交叠率>阈值iou的条件下，判断预测框为正样本；在预测框分数>阈值score的条件下，认为模型预测到该目标；分不同的距离区间进行评价，评价指标包括准确率Precision＝TP/(TP+FP)，召回率Recall＝TP/(TP+FN)，预测距离的绝对误差以及相对真值的误差；根据结果判断是否需要调整训练参数对模型进行改善；TP：实际是正例，模型预测为正例的数量；FP：实际为负例，模型预测为正例的数量；FN：实际为正例，模型预测为负例的数量。

本发明由于采取以上技术方案，其具有以下优点：1、本发明充分利用雷达提供的原始点云的信息特征来构建表达目标信息的虚拟图片，不造成原始信息的损失。2、本发明利用一种低成本的毫米波雷达与图像联合标定方法实现多传感器信息的空间同步，操作简单，精度高。3、本发明通过虚拟四通道图片结构融合雷达与图像信息，直接获取目标的空间信息。4、本发明采用端到端的神经网络输出目标检测信息，可以直接用于车辆的驾驶决策，减少中间处理环节，提高目标识别的准确性、全面性、鲁棒性。

附图说明

图1是本发明的整体流程示意图；

图2是本发明用到的毫米波雷达与相机数据的空间联合标定示意图；

图3是本发明构建四通道虚拟图片的过程图；

图4是本发明提出的融合模型预测结果示例。

具体实施方式

下面结合附图和实施例对本发明进行详细的描述。

如图1所示，本发明提供一种利用多源信息构建四通道虚拟图像的目标距离检测方法，利用车载传感器毫米波雷达与单目摄像头进行信息融合，使用端到端卷积神经网络实现包含距离信息的交通目标检测。本发明具体包括以下步骤：

1)利用毫米波雷达获取原始点云数据进行信息处理，确定属于同一个目标的雷达原始点信息，得到目标尺寸和目标反射中心位置；

雷达原始点信息包含径向距离r、角度θ、多普勒相对速度v_rel和反射强度γ；

在交通场景下，认为目标都是刚体，因此根据原始点提供的位置与多普勒速度的相似性，通过聚类算法(如K_means聚类)确定属于同一个目标的原始点信息。同时，为了尽量减小由于靠近的车辆或其他静态目标对聚类结果的影响，利用RANSAC算法排除异常点，进而得到目标尺寸(w,h)和目标的反射中心位置

2)根据雷达平面下目标的反射中心位置

与单目摄像头采集到的图像中的目标中心像素位置(u,v)，通过联合标定的方法寻找两种传感器的空间转换关系，同时结合时间同步，实现异步异构多源信息的关联；

实现多源信息融合的前提是实现不同采集频率与观测坐标系下的感知信息时空同步。

2.1)确定雷达坐标系下标定物的目标反射中心位置

与图像中的目标中心像素位置(u,v)之间的转换关系。

联合标定涉及到以下坐标系的相互转换：毫米波雷达坐标系(x_r,y_r,z_r)、相机坐标系(x_c,y_c,z_c)、成像平面坐标系(x,y)以及图像像素坐标系(u,v)；其中z_r为预先设定的固定值。依次标定需要先对相机的内、外参进行标定、再对毫米波雷达的外参标定，从而确定各个转换矩阵的参数。标定过程繁琐同时对于标定精度要求很高，容易造成误差累积影响标定精度。

在本实施例中，利用一种联合标定方法，直接寻找同一目标在雷达下的观测数据(x_r,y_r,z_r)与图像的测量数据(u,v)之间的转换关系，两者的空间转换关系为：

式中，ω表示一个比例常量；P表示3×4的投影矩阵，包含了内参与外参标定；A表示相机的内参矩阵；R表示外参标定中的旋转关系；t表示外参标定中的平移关系；

该联合标定的目的就是通过采集数据，利用SVD分解方法求解ω和3×4投影矩阵P的取值。联合标定的实验过程步骤如图2所示。同一时刻下毫米波雷达检测到目标并记录数据，同时通过拍摄记录图像中目标的位置。之后通过步骤1中的聚类算法得到目标反射中心位置

再对应找到图像中的目标中心位置(u₀,v₀)。重复此过程可以得到多组数据。

同时，由于毫米波雷达的检测范围是一个高度固定的扇形平面，以地面为z轴的零点，认为z_r＝0，标定物(角反射/杆状反射物)反射中心高度为固定值

可以得到同一

值下的多组数据

利用几何约束进一步提高标定精度。这种方法成本低，操作简单，能够获得精度较高的标定参数。

2.2)由于毫米波雷达与相机数据的采集频率并不相等，需要对异步信息进行时间同步：由于毫米波雷达的采集频率为固定值，摄像头由于数据掉帧采集频率不定，以相机的采集时间为基准。通过外推的方法，每当相机的感知数据更新，记录时间戳t_cam，寻找与该时刻最接近的雷达数据，时间戳为t_radar，记录时间差Δt＝t_cam-t_radar。通常记录时间差小于5ms，所以认为在这段短暂时间内物体的速度不变，更新位置信息Δx(Δt)，从而得到时间同步的多传感器感知数据。

基于以上时空同步方法实现异步异构多源信息的关联。

3)根据毫米波雷达与图像数据之间的关联关系，构建包含距离信息的虚拟四通道图片；

根据雷达能够反映的目标特征信息通过相应规则生成分辨率与RGB图像相同的单通道虚拟图片，再与相机的RGB彩色图像关联，形成4通道虚拟图片(即该4通道虚拟图片的构成是前3通道为RGB彩色图像，第4通道为步骤2)中与图片时空同步的雷达数据制造的单通道虚拟图片)，作为目标距离检测网络训练的输入数据。这种新型结构有利于卷积神经网络提取特征进行特征学习，在雷达提取ROI算法的基础上充分利用了雷达提供的多类型数据，包括步骤1)中推断得到的目标的尺寸(w,h)、目标中心点位置

目标相对速度v_rel、反射强度γ、置信度σ。

制造虚拟图片的相应规则为：

(1)确定感兴趣区域中心

通过步骤2)中找到的标定参数将雷达检测到的目标反射中心位置

投影到图像上；由空间转换关系确定了雷达检测目标在图像上感兴趣区域(Region ofInterest,ROI)中心像素点位置(u₀,v₀)。

(2)确定雷达单通道虚拟图片中目标区域的尺寸与像素值

采用二维高斯模型确定单通道虚拟图片的目标区域填充像素值以及区域大小。目标在图像上反映出的尺寸与目标同自车之间的相对距离和目标本身的尺寸相关。高斯分布的均值为步骤(1)中确定的反射中心对应的像素位置(u₀,v₀)；高斯分布的方差是高斯分布中非常重要的一个参数，反映了高斯分布的形状特点，根据3σ原则，认为在3σ外像素为零。因此高斯分布的方差(σ₁ ²,σ₂ ²)反映了目标区域在图像上长和宽两个维度的尺寸大小，用函数g来表示方差与目标与传感器之间相对距离r、步骤1)聚类算法中雷达估计的目标尺寸(w,h)的函数(σ₁ ²,σ₂ ²)＝g(w,h,r)。

同时在交通场景下由于驾驶安全的重要性，更加关注近距离、运动目标的检测准确度，所以填充像素值应该能够反映这一关注程度。此外因为雷达能够提供反射点是否为目标的置信度σ，也将成为像素填充值的考虑因素之一，用比例因子k反映以上考虑因素，k＝f(r,v_rel,σ)，k将影响虚拟图片上目标填充区域的像素值。

综合以上原则，默认ρ＝0，在虚拟图片任意像素位置(u,v)填充的像素值G(u,v)符合以下的高斯分布：

[μ₁,μ₂]＝[u₀,v₀],[σ₁ ²,σ₂ ²]＝g(w,h,r),k＝f(r,v_rel,σ)

式中，(μ₁,μ₂)为二维高斯分布模型中的均值，物理含义为由雷达目标反射中心位置

投影到图像上得到的目标中心像素点位置(u₀,v₀)；

为二维高斯分布模型中的方差，物理含义反映了目标在图像上的尺寸关系，根据前面分析，与目标在长和宽两个维度的实际尺寸大小(w,h)以及目标与传感器相对距离r有关，用函数g表示这种关系：(σ₁ ²,σ₂ ²)＝g(w,h,r)；k为模型的一个比例因子，物理含义影响到了填充像素值的大小，根据上述相应规则，与雷达提供的目标置信度σ，目标与传感器相对距离r，相对速度v_rel相关，用函数f表示这种关系：k＝f(r,v_rel,σ)。

由于卷积神经网络提取特征的输入数据特征为图像信息，因此利用毫米波雷达信息制造能够反映目标位置信息与尺寸信息的单通道图片，与RGB三通道图片堆叠在一起形成RGB-D形式的4通道图片，送入网络学习，预测目标及其距离信息。最终实现效果如图3所示，之后将四通道图片数据作为输入数据用于模型训练。

同时因为希望深度融合能够提供目标在图像上的位置、目标类别、空间距离的预测，所以在制作真值标注文本时要能够提供目标的类别信息、在图像中的相对位置信息(使用相对位置信息便于模型训练的稳定性)以及雷达检测到的距离信息。

4)根据虚拟四通道图片搭建卷积神经网络，实现目标检测；

搭建端到端的目标检测卷积神经网络实现深度融合，使其能够实现对利用雷达原始点云信息与RGB图像生成的四通道虚拟图片的训练，预测目标的类别、图像边界框和距离信息。

为了实现深度融合，神经网络结构修改包括以下方面：

(1)对选择的算法的训练数据读取函数进行修改，接受4通道图像的数据读取；

(2)修改卷积层卷积核，提取更高维度的特征：因为对于卷积核(或称为卷积过滤器)的大小，一个卷积核的通道数与它进行卷积的输入必须是相同，故将输入改为四通道的训练图片，则对应的卷积核通道数也增加到了4。

(3)修改标注信息的读取方式：在图像目标检测训练时提供的标注真值以外增加相对距离的标注真值；

(4)添加距离预测功能：添加对于距离预测的损失函数，该函数优选为平方损失函数

为比例参数，d为模型预测距离值，

为距离真值。

在一个优选的实施例中，采用YOLOv2目标检测算法来实现以上4个方面。YOLOv2算法对应的Darknet53网络是一种典型的实现视觉目标检测任务的端到端卷积神经网络，能够直接输入图像输出目标检测结果，算法速度快，同时准确率也相对较高。此外，实现YOLO算法的深度学习架构Darknet是基于C语言实现的，它的底层代码容易修改和扩展，在GPU上执行速度快。在本实施例中，对它进行修改，并设置每次训练的图片数量batch＝16，初始学习率＝0.001，权重衰减正则项＝0.0005，用于训练的图像全部统一为608*608的分辨率，训练次数＝50万次，如果模型提前收敛则停止。训练的过程中，关注损失函数的收敛过程，每隔10000次训练对于得到的模型进行效果验证，判断模型是否已经训练结束。

5)卷积神经网络评测与优化

当卷积神经网络在训练集上表现出损失函数收敛，训练成熟后，构建与训练集数据同分布的验证集验证并评价卷积神经网络效果；便于对于模型参数进行调整。

对网络效果定量评价的逻辑如下：在预测结果与真值交叠率>阈值iou的条件下，判断预测框为正样本；在预测框分数>阈值score的条件下，认为模型预测到该目标；分不同的距离区间进行评价，评价指标包括准确率Precision＝TP/(TP+FP)，召回率Recall＝TP/(TP+FN)，预测距离的绝对误差以及相对真值的误差；根据结果判断是否需要调整训练参数对模型进行改善。其中：

TP(True Positive)：实际是正例，模型预测为正例的数量；

FP(False Positives)：实际为负例，模型预测为正例的数量；

FN(False Negative)：实际为正例，模型预测为负例的数量；

根据预测结果对模型改善的方法为：

当模型在训练集和验证集上的准确率precision都低于预先设定的阈值，则认为模型欠拟合，还需要继续训练；

当模型在训练集上的准确率precision高于预先设定的阈值，而在验证集上的准确率低于预先设定的阈值，则认为模型过拟合，需要减少训练轮数，增加训练集数据量；

同时根据不同距离区间的评估结果，对于评估效果较差的距离区间增加相应的数据量。

调整训练参数：不断调整学习率与训练batch的大小，以获得最好的评估结果。

在融合网络的训练中，每隔10000次训练验证生成网络效果，直至网络训练成熟；对网络进行优化，增加噪声：考虑毫米波雷达出现的误检和漏检现象，对输入数据添加随机噪声；修改投影关系：模型效果与目标框的投影关系有关，不断改进，提高模型的预测效果。

此外可以通过数据的再关联，将目标信息与雷达提供的速度信息进行再匹配，得到融合感知的最终目标检测结果。最终实现的模型预测效果如图4所示，既能够检测目标在图像上的位置与类别，又能够提供目标与传感器之间相对距离的预测。

综上，经过训练和验证，得到了能够对虚拟四通道图片进行目标距离检测的成熟模型。它能够对于前方目标的类别、距离信息得到较好的预测，实现了对多源信息的利用。

在实例中，在实验车上搭载多传感器数据采集***，进行多源信息同步，生成虚拟四通道图片。利用深度融合，得到的目标检测结果能够应用到简单的前车碰撞预警与行人避让算法中，实现辅助驾驶决策。

本发明与传统的融合算法不同，充分利用毫米波雷达的原始点云信息，通过聚类与RANSAC算法进行目标提取，获得目标的反射中心位置与尺寸；利用一种低成本的毫米波雷达与图像联合标定方法，实现多源信息的时空同步；提出了一种新型的毫米波雷达原始点信息与视觉信息融合的数据结构，利用高斯分布，结合雷达点云信息，生成反映目标位置与距离信息的单通道虚拟图片，与视觉信息关联构建RGB-D四通道虚拟图片，同步输入卷积神经网络进行深度学习，对于卷积神经网络进行调整，实现带有空间信息的目标检测。由于网络输入信息包含关于目标更加丰富的空间信息，能够进一步提高目标检测的距离预测能力。同时利用端到端的神经网络实现深度融合，能够进一步实现网络结构轻量化，节约计算资源，提高现有的视觉3D目标检测算法空间信息预测精度与速度。

上述各实施例仅用于说明本发明，各个步骤都是可以有所变化的，在本发明技术方案的基础上，凡根据本发明原理对个别步骤进行的改进和等同变换，均不应排除在本发明的保护范围之外。

Claims (10)

1.一种利用多源信息构建四通道虚拟图像的目标距离检测方法，其特征在于包括以下步骤：

1)利用毫米波雷达获取原始点云数据进行信息处理，确定属于同一个目标的雷达原始点信息，得到目标尺寸和目标反射中心位置；

2)根据雷达平面下目标的反射中心位置与单目摄像头采集到的图像中的目标中心像素位置，通过联合标定的方法寻找两种传感器的空间转换关系，同时结合时间同步，实现异步异构多源信息的关联；

3)根据毫米波雷达与图像数据之间的关联关系，构建包含距离信息的虚拟四通道图片；

4)根据虚拟四通道图片搭建卷积神经网络，实现目标检测：搭建端到端的目标检测卷积神经网络实现距离融合，使其能够实现对利用雷达原始点云信息与RGB图像生成的四通道虚拟图片的训练，预测目标的类别、图像边界框和距离信息。

2.如权利要求1所述目标距离检测方法，其特征在于：所述步骤1)中，在交通场景下，认为目标都是刚体，根据原始点提供的位置与多普勒速度的相似性，通过聚类算法确定属于同一个目标的原始点信息；同时，利用RANSAC算法排除异常点，进而得到目标尺寸(w,h)和目标的反射中心位置

3.如权利要求1所述目标距离检测方法，其特征在于：所述步骤2)中，具体包括以下步骤：

2.1)确定雷达坐标系下标定物的目标反射中心位置

与图像中的目标中心像素位置(u₀,v₀)之间的转换关系；

2.2)对异步信息进行时间同步：以相机的采集时间为基准，通过外推的方法，每当相机的感知数据更新，记录时间戳t_cam，寻找与该时刻最接近的雷达数据，时间戳为t_radar，记录时间差Δt＝t_cam-t_radar，认为在这段短暂时间内物体的速度不变，更新位置信息Δx(Δt)，得到时间同步的多传感器感知数据。

4.如权利要求3所述目标距离检测方法，其特征在于：所述步骤2.1)中，利用联合标定，直接寻找同一目标下雷达的测量数据(x_r,y_r,z_r)与图像的测量数据(u,v)之间的转换关系，两者的空间转换关系为：

P＝A[R|t]

式中，ω表示一个比例常量；P表示3×4的投影矩阵；A表示相机的内参矩阵；R表示外参标定中的旋转关系；t表示外参标定中的平移关系。

5.如权利要求4所述目标距离检测方法，其特征在于：所述联合标定的过程为：同一时刻下毫米波雷达检测到目标并记录数据，同时通过拍摄记录图像中目标的位置；之后通过步骤1)中的聚类算法得到目标反射中心位置，再对应找到图像中的位置；重复此过程得到多组数据。

6.如权利要求1所述目标距离检测方法，其特征在于：所述步骤3)中，根据雷达能够反映的目标特征信息通过相应规则生成分辨率与RGB图像相同的单通道虚拟图片，再与相机的RGB彩色图像关联，形成4通道虚拟图片，作为目标距离检测网络训练的输入数据。

7.如权利要求6所述目标距离检测方法，其特征在于：所述相应规则为：

(1)确定感兴趣区域中心：通过步骤2)中找到的标定参数将雷达检测到的目标反射中心位置

投影到图像上；由空间转换关系确定了雷达检测目标在图像上感兴趣区域中心像素点位置(u₀,v₀)；

(2)确定雷达单通道虚拟图片中目标区域的尺寸与像素值：采用二维高斯模型确定单通道虚拟图片的目标区域填充像素值以及区域大小，高斯分布的均值为步骤(1)中确定的反射中心对应的像素位置(u₀,v₀)；根据3σ原则，认为在3σ外像素为零，因此高斯分布的方差(σ₁ ²,σ₂ ²)反映了目标区域在图像上长和宽两个维度的尺寸大小，用函数g来表示方差与目标与传感器之间相对距离r、步骤1)中雷达估计的目标尺寸(w,h)的函数(σ₁ ²,σ₂ ²)＝g(w,h,r)；

同时在交通场景下，通过填充像素值反应近距离、运动目标的检测准确度这一关注程度；此外因为雷达能够提供反射点是否为目标的置信度σ，用比例因子k反映以上因素，k＝f(r,v_rel,σ)，k将影响虚拟图片上目标填充区域的像素值。

8.如权利要求1所述目标距离检测方法，其特征在于：所述步骤4)中，为了实现深度融合，神经网络结构修改包括以下方面：

(1)对选择的算法的训练数据读取函数进行修改，接受4通道图像的数据读取；

(2)修改卷积层卷积核，提取更高维度的特征；

(3)修改标注信息的读取方式：在图像目标检测训练时提供的标注真值以外增加相对距离的标注真值；

(4)添加距离预测功能：添加对于距离预测的损失函数。

9.如权利要求1所述目标距离检测方法，其特征在于：还包括对卷积神经网络评测与优化的步骤，当卷积神经网络在训练集上表现出损失函数收敛，训练成熟后，构建与训练集数据同分布的验证集验证并评价卷积神经网络效果。

10.如权利要求9所述目标距离检测方法，其特征在于：对网络效果定量评价的逻辑如下：在预测结果与真值交叠率>阈值iou的条件下，判断预测框为正样本；在预测框分数>阈值score的条件下，认为模型预测到该目标；分不同的距离区间进行评价，评价指标包括准确率Precision＝TP/(TP+FP)，召回率Recall＝TP/(TP+FN)，预测距离的绝对误差以及相对真值的误差；根据结果判断是否需要调整训练参数对模型进行改善；TP：实际是正例，模型预测为正例的数量；FP：实际为负例，模型预测为正例的数量；FN：实际为正例，模型预测为负例的数量。

Images