CN111462237A - 利用多源信息构建四通道虚拟图像的目标距离检测方法 - Google Patents
利用多源信息构建四通道虚拟图像的目标距离检测方法 Download PDFInfo
- Publication number
- CN111462237A CN111462237A CN202010258411.6A CN202010258411A CN111462237A CN 111462237 A CN111462237 A CN 111462237A CN 202010258411 A CN202010258411 A CN 202010258411A CN 111462237 A CN111462237 A CN 111462237A
- Authority
- CN
- China
- Prior art keywords
- target
- radar
- image
- information
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及一种利用多源信息构建四通道虚拟图像的目标距离检测方法,其步骤:利用毫米波雷达获取原始点云数据进行信息处理,确定属于同一个目标的雷达原始点信息,得到目标尺寸和目标反射中心位置;根据雷达平面下目标的反射中心位置与单目摄像头采集到的图像中的目标中心像素位置,通过联合标定的方法寻找两种传感器的空间转换关系,同时结合时间同步,实现异步异构多源信息的关联;根据毫米波雷达与图像数据之间的关联关系,构建包含距离信息的虚拟四通道图片;根据虚拟四通道图片搭建卷积神经网络,实现目标检测。本发明能提高目标检测的距离预测能力,实现网络结构轻量化,节约计算资源,提高现有的视觉3D目标检测算法空间信息预测精度与速度。
Description
技术领域
本发明涉及智能汽车的环境感知领域,特别是关于一种利用多源信息构建四通道虚拟图像的目标距离检测方法。
背景技术
在智能汽车***中,实现准确、可靠、鲁棒的环境感知十分关键。图像信息包含丰富的语义特征,随着人工智能与深度学习的发展,基于卷积神经网络实现基于视觉的目标检测算法日益成熟,成为当下的热门研究。但是由于单目视觉无法直接获取目标距离信息以及卷积神经网络更适合分类任务的特点,基于视觉的目标距离检测仍然有待提高:现有的3D视觉目标检测算法普遍不能够达到驾驶任务中距离检测精度的需求,距离精度不准,无法胜任目标跟踪或驾驶决策的任务;通过增加网络深度,如ResNet,或者增加网络宽度,如Inception的方法能够提高网络性能,但是与此同时网络结构复杂,占用计算资源大,难以上车使用。
毫米波雷达能够准确地测量目标距离与速度信息,同时具有全天候工作的能力,可以为目标检测任务提供新的数据源,弥补视觉的不足,实现目标的距离信息检测。因此利用多源融合改善环境感知性能的研究也逐渐得到更多关注。现有的多源信息融合检测方法主要分为两种:前融合算法利用毫米波雷达检测的目标位置信息,向视觉提供感兴趣区域(ROI)位置,再进行视觉的目标识别与分类;后融合则对雷达与图像信息分别进行处理,对于各自得到的目标层信息进行关联和融合。前者受到雷达检测的杂波干扰,如果雷达出现漏检影响目标检出率;后者算法耗时大,同时未能充分利用毫米波雷达提供的感知信息实现更有效的融合。
发明内容
针对上述问题,本发明的目的是提供一种利用多源信息构建四通道虚拟图像的目标距离检测方法,其能提高目标检测的距离预测能力,进一步实现网络结构轻量化,节约计算资源,提高现有的视觉3D目标检测算法空间信息预测精度与速度。
为实现上述目的,本发明采取以下技术方案:一种利用多源信息构建四通道虚拟图像的目标距离检测方法,其包括以下步骤:1)利用毫米波雷达获取原始点云数据进行信息处理,确定属于同一个目标的雷达原始点信息,得到目标尺寸和目标反射中心位置;2)根据雷达平面下目标的反射中心位置与单目摄像头采集到的图像中的目标中心像素位置,通过联合标定的方法寻找两种传感器的空间转换关系,同时结合时间同步,实现异步异构多源信息的关联;3)根据毫米波雷达与图像数据之间的关联关系,构建包含距离信息的虚拟四通道图片;4)根据虚拟四通道图片搭建卷积神经网络,实现目标检测:搭建端到端的目标检测卷积神经网络实现距离融合,使其能够实现对利用雷达原始点云信息与RGB图像生成的四通道虚拟图片的训练,预测目标的类别、图像边界框和距离信息。
进一步,所述步骤1)中,在交通场景下,认为目标都是刚体,根据原始点提供的位置与多普勒速度的相似性,通过聚类算法确定属于同一个目标的原始点信息;同时,利用RANSAC算法排除异常点,进而得到目标尺寸(w,h)和目标的反射中心位置
进一步,所述步骤2)中,具体包括以下步骤:2.1)确定雷达坐标系下标定物的目标反射中心位置与图像中的目标中心像素位置(u0,v0)之间的转换关系;2.2)对异步信息进行时间同步:以相机的采集时间为基准,通过外推的方法,每当相机的感知数据更新,记录时间戳tcam,寻找与该时刻最接近的雷达数据,时间戳为tradar,记录时间差Δt=tcam-tradar,认为在这段短暂时间内物体的速度不变,更新位置信息Δx(Δt),得到时间同步的多传感器感知数据。
进一步,所述步骤2.1)中,利用联合标定,直接寻找同一目标下雷达的测量数据(xr,yr,zr)与图像的测量数据(u,v)之间的转换关系,两者的空间转换关系为:
式中,ω表示一个比例常量;P表示3×4的投影矩阵;A表示相机的内参矩阵;R表示外参标定中的旋转关系;t表示外参标定中的平移关系。
进一步,所述联合标定的过程为:同一时刻下毫米波雷达检测到目标并记录数据,同时通过拍摄记录图像中目标的位置;之后通过步骤1)中的聚类算法得到目标反射中心位置,再对应找到图像中的位置;重复此过程得到多组数据。
进一步,所述步骤3)中,根据雷达能够反映的目标特征信息通过相应规则生成分辨率与RGB图像相同的单通道虚拟图片,再与相机的RGB彩色图像关联,形成4通道虚拟图片,作为目标距离检测网络训练的输入数据。
进一步,所述相应规则为:(1)确定感兴趣区域中心:通过步骤2)中找到的标定参数将雷达检测到的目标反射中心位置投影到图像上;由空间转换关系确定了雷达检测目标在图像上感兴趣区域中心像素点位置(u0,v0);(2)确定雷达单通道虚拟图片中目标区域的尺寸与像素值:采用二维高斯模型确定单通道虚拟图片的目标区域填充像素值以及区域大小,高斯分布的均值为步骤(1)中确定的反射中心对应的像素位置(u0,v0);根据3σ原则,认为在3σ外像素为零,因此高斯分布的方差(σ1 2,σ2 2)反映了目标区域在图像上长和宽两个维度的尺寸大小,用函数g来表示方差与目标与传感器之间相对距离r、步骤1)中雷达估计的目标尺寸(w,h)的函数(σ1 2,σ2 2)=g(w,h,r);同时在交通场景下,通过填充像素值反应近距离、运动目标的检测准确度这一关注程度;此外因为雷达能够提供反射点是否为目标的置信度σ,用比例因子k反映以上因素,k=f(r,vrel,σ),k将影响虚拟图片上目标填充区域的像素值。
进一步,所述步骤4)中,为了实现深度融合,神经网络结构修改包括以下方面:(1)对选择的算法的训练数据读取函数进行修改,接受4通道图像的数据读取;(2)修改卷积层卷积核,提取更高维度的特征;(3)修改标注信息的读取方式:在图像目标检测训练时提供的标注真值以外增加相对距离的标注真值;(4)添加距离预测功能:添加对于距离预测的损失函数。
进一步,还包括对卷积神经网络评测与优化的步骤,当卷积神经网络在训练集上表现出损失函数收敛,训练成熟后,构建与训练集数据同分布的验证集验证并评价卷积神经网络效果。
进一步,对网络效果定量评价的逻辑如下:在预测结果与真值交叠率>阈值iou的条件下,判断预测框为正样本;在预测框分数>阈值score的条件下,认为模型预测到该目标;分不同的距离区间进行评价,评价指标包括准确率Precision=TP/(TP+FP),召回率Recall=TP/(TP+FN),预测距离的绝对误差以及相对真值的误差;根据结果判断是否需要调整训练参数对模型进行改善;TP:实际是正例,模型预测为正例的数量;FP:实际为负例,模型预测为正例的数量;FN:实际为正例,模型预测为负例的数量。
本发明由于采取以上技术方案,其具有以下优点:1、本发明充分利用雷达提供的原始点云的信息特征来构建表达目标信息的虚拟图片,不造成原始信息的损失。2、本发明利用一种低成本的毫米波雷达与图像联合标定方法实现多传感器信息的空间同步,操作简单,精度高。3、本发明通过虚拟四通道图片结构融合雷达与图像信息,直接获取目标的空间信息。4、本发明采用端到端的神经网络输出目标检测信息,可以直接用于车辆的驾驶决策,减少中间处理环节,提高目标识别的准确性、全面性、鲁棒性。
附图说明
图1是本发明的整体流程示意图;
图2是本发明用到的毫米波雷达与相机数据的空间联合标定示意图;
图3是本发明构建四通道虚拟图片的过程图;
图4是本发明提出的融合模型预测结果示例。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示,本发明提供一种利用多源信息构建四通道虚拟图像的目标距离检测方法,利用车载传感器毫米波雷达与单目摄像头进行信息融合,使用端到端卷积神经网络实现包含距离信息的交通目标检测。本发明具体包括以下步骤:
1)利用毫米波雷达获取原始点云数据进行信息处理,确定属于同一个目标的雷达原始点信息,得到目标尺寸和目标反射中心位置;
雷达原始点信息包含径向距离r、角度θ、多普勒相对速度vrel和反射强度γ;
在交通场景下,认为目标都是刚体,因此根据原始点提供的位置与多普勒速度的相似性,通过聚类算法(如Kmeans聚类)确定属于同一个目标的原始点信息。同时,为了尽量减小由于靠近的车辆或其他静态目标对聚类结果的影响,利用RANSAC算法排除异常点,进而得到目标尺寸(w,h)和目标的反射中心位置
实现多源信息融合的前提是实现不同采集频率与观测坐标系下的感知信息时空同步。
联合标定涉及到以下坐标系的相互转换:毫米波雷达坐标系(xr,yr,zr)、相机坐标系(xc,yc,zc)、成像平面坐标系(x,y)以及图像像素坐标系(u,v);其中zr为预先设定的固定值。依次标定需要先对相机的内、外参进行标定、再对毫米波雷达的外参标定,从而确定各个转换矩阵的参数。标定过程繁琐同时对于标定精度要求很高,容易造成误差累积影响标定精度。
在本实施例中,利用一种联合标定方法,直接寻找同一目标在雷达下的观测数据(xr,yr,zr)与图像的测量数据(u,v)之间的转换关系,两者的空间转换关系为:
式中,ω表示一个比例常量;P表示3×4的投影矩阵,包含了内参与外参标定;A表示相机的内参矩阵;R表示外参标定中的旋转关系;t表示外参标定中的平移关系;
该联合标定的目的就是通过采集数据,利用SVD分解方法求解ω和3×4投影矩阵P的取值。联合标定的实验过程步骤如图2所示。同一时刻下毫米波雷达检测到目标并记录数据,同时通过拍摄记录图像中目标的位置。之后通过步骤1中的聚类算法得到目标反射中心位置再对应找到图像中的目标中心位置(u0,v0)。重复此过程可以得到多组数据。
同时,由于毫米波雷达的检测范围是一个高度固定的扇形平面,以地面为z轴的零点,认为zr=0,标定物(角反射/杆状反射物)反射中心高度为固定值可以得到同一值下的多组数据利用几何约束进一步提高标定精度。这种方法成本低,操作简单,能够获得精度较高的标定参数。
2.2)由于毫米波雷达与相机数据的采集频率并不相等,需要对异步信息进行时间同步:由于毫米波雷达的采集频率为固定值,摄像头由于数据掉帧采集频率不定,以相机的采集时间为基准。通过外推的方法,每当相机的感知数据更新,记录时间戳tcam,寻找与该时刻最接近的雷达数据,时间戳为tradar,记录时间差Δt=tcam-tradar。通常记录时间差小于5ms,所以认为在这段短暂时间内物体的速度不变,更新位置信息Δx(Δt),从而得到时间同步的多传感器感知数据。
基于以上时空同步方法实现异步异构多源信息的关联。
3)根据毫米波雷达与图像数据之间的关联关系,构建包含距离信息的虚拟四通道图片;
根据雷达能够反映的目标特征信息通过相应规则生成分辨率与RGB图像相同的单通道虚拟图片,再与相机的RGB彩色图像关联,形成4通道虚拟图片(即该4通道虚拟图片的构成是前3通道为RGB彩色图像,第4通道为步骤2)中与图片时空同步的雷达数据制造的单通道虚拟图片),作为目标距离检测网络训练的输入数据。这种新型结构有利于卷积神经网络提取特征进行特征学习,在雷达提取ROI算法的基础上充分利用了雷达提供的多类型数据,包括步骤1)中推断得到的目标的尺寸(w,h)、目标中心点位置目标相对速度vrel、反射强度γ、置信度σ。
制造虚拟图片的相应规则为:
(1)确定感兴趣区域中心
(2)确定雷达单通道虚拟图片中目标区域的尺寸与像素值
采用二维高斯模型确定单通道虚拟图片的目标区域填充像素值以及区域大小。目标在图像上反映出的尺寸与目标同自车之间的相对距离和目标本身的尺寸相关。高斯分布的均值为步骤(1)中确定的反射中心对应的像素位置(u0,v0);高斯分布的方差是高斯分布中非常重要的一个参数,反映了高斯分布的形状特点,根据3σ原则,认为在3σ外像素为零。因此高斯分布的方差(σ1 2,σ2 2)反映了目标区域在图像上长和宽两个维度的尺寸大小,用函数g来表示方差与目标与传感器之间相对距离r、步骤1)聚类算法中雷达估计的目标尺寸(w,h)的函数(σ1 2,σ2 2)=g(w,h,r)。
同时在交通场景下由于驾驶安全的重要性,更加关注近距离、运动目标的检测准确度,所以填充像素值应该能够反映这一关注程度。此外因为雷达能够提供反射点是否为目标的置信度σ,也将成为像素填充值的考虑因素之一,用比例因子k反映以上考虑因素,k=f(r,vrel,σ),k将影响虚拟图片上目标填充区域的像素值。
综合以上原则,默认ρ=0,在虚拟图片任意像素位置(u,v)填充的像素值G(u,v)符合以下的高斯分布:
[μ1,μ2]=[u0,v0],[σ1 2,σ2 2]=g(w,h,r),k=f(r,vrel,σ)
式中,(μ1,μ2)为二维高斯分布模型中的均值,物理含义为由雷达目标反射中心位置投影到图像上得到的目标中心像素点位置(u0,v0);为二维高斯分布模型中的方差,物理含义反映了目标在图像上的尺寸关系,根据前面分析,与目标在长和宽两个维度的实际尺寸大小(w,h)以及目标与传感器相对距离r有关,用函数g表示这种关系:(σ1 2,σ2 2)=g(w,h,r);k为模型的一个比例因子,物理含义影响到了填充像素值的大小,根据上述相应规则,与雷达提供的目标置信度σ,目标与传感器相对距离r,相对速度vrel相关,用函数f表示这种关系:k=f(r,vrel,σ)。
由于卷积神经网络提取特征的输入数据特征为图像信息,因此利用毫米波雷达信息制造能够反映目标位置信息与尺寸信息的单通道图片,与RGB三通道图片堆叠在一起形成RGB-D形式的4通道图片,送入网络学习,预测目标及其距离信息。最终实现效果如图3所示,之后将四通道图片数据作为输入数据用于模型训练。
同时因为希望深度融合能够提供目标在图像上的位置、目标类别、空间距离的预测,所以在制作真值标注文本时要能够提供目标的类别信息、在图像中的相对位置信息(使用相对位置信息便于模型训练的稳定性)以及雷达检测到的距离信息。
4)根据虚拟四通道图片搭建卷积神经网络,实现目标检测;
搭建端到端的目标检测卷积神经网络实现深度融合,使其能够实现对利用雷达原始点云信息与RGB图像生成的四通道虚拟图片的训练,预测目标的类别、图像边界框和距离信息。
为了实现深度融合,神经网络结构修改包括以下方面:
(1)对选择的算法的训练数据读取函数进行修改,接受4通道图像的数据读取;
(2)修改卷积层卷积核,提取更高维度的特征:因为对于卷积核(或称为卷积过滤器)的大小,一个卷积核的通道数与它进行卷积的输入必须是相同,故将输入改为四通道的训练图片,则对应的卷积核通道数也增加到了4。
(3)修改标注信息的读取方式:在图像目标检测训练时提供的标注真值以外增加相对距离的标注真值;
在一个优选的实施例中,采用YOLOv2目标检测算法来实现以上4个方面。YOLOv2算法对应的Darknet53网络是一种典型的实现视觉目标检测任务的端到端卷积神经网络,能够直接输入图像输出目标检测结果,算法速度快,同时准确率也相对较高。此外,实现YOLO算法的深度学习架构Darknet是基于C语言实现的,它的底层代码容易修改和扩展,在GPU上执行速度快。在本实施例中,对它进行修改,并设置每次训练的图片数量batch=16,初始学习率=0.001,权重衰减正则项=0.0005,用于训练的图像全部统一为608*608的分辨率,训练次数=50万次,如果模型提前收敛则停止。训练的过程中,关注损失函数的收敛过程,每隔10000次训练对于得到的模型进行效果验证,判断模型是否已经训练结束。
5)卷积神经网络评测与优化
当卷积神经网络在训练集上表现出损失函数收敛,训练成熟后,构建与训练集数据同分布的验证集验证并评价卷积神经网络效果;便于对于模型参数进行调整。
对网络效果定量评价的逻辑如下:在预测结果与真值交叠率>阈值iou的条件下,判断预测框为正样本;在预测框分数>阈值score的条件下,认为模型预测到该目标;分不同的距离区间进行评价,评价指标包括准确率Precision=TP/(TP+FP),召回率Recall=TP/(TP+FN),预测距离的绝对误差以及相对真值的误差;根据结果判断是否需要调整训练参数对模型进行改善。其中:
TP(True Positive):实际是正例,模型预测为正例的数量;
FP(False Positives):实际为负例,模型预测为正例的数量;
FN(False Negative):实际为正例,模型预测为负例的数量;
根据预测结果对模型改善的方法为:
当模型在训练集和验证集上的准确率precision都低于预先设定的阈值,则认为模型欠拟合,还需要继续训练;
当模型在训练集上的准确率precision高于预先设定的阈值,而在验证集上的准确率低于预先设定的阈值,则认为模型过拟合,需要减少训练轮数,增加训练集数据量;
同时根据不同距离区间的评估结果,对于评估效果较差的距离区间增加相应的数据量。
调整训练参数:不断调整学习率与训练batch的大小,以获得最好的评估结果。
在融合网络的训练中,每隔10000次训练验证生成网络效果,直至网络训练成熟;对网络进行优化,增加噪声:考虑毫米波雷达出现的误检和漏检现象,对输入数据添加随机噪声;修改投影关系:模型效果与目标框的投影关系有关,不断改进,提高模型的预测效果。
此外可以通过数据的再关联,将目标信息与雷达提供的速度信息进行再匹配,得到融合感知的最终目标检测结果。最终实现的模型预测效果如图4所示,既能够检测目标在图像上的位置与类别,又能够提供目标与传感器之间相对距离的预测。
综上,经过训练和验证,得到了能够对虚拟四通道图片进行目标距离检测的成熟模型。它能够对于前方目标的类别、距离信息得到较好的预测,实现了对多源信息的利用。
在实例中,在实验车上搭载多传感器数据采集***,进行多源信息同步,生成虚拟四通道图片。利用深度融合,得到的目标检测结果能够应用到简单的前车碰撞预警与行人避让算法中,实现辅助驾驶决策。
本发明与传统的融合算法不同,充分利用毫米波雷达的原始点云信息,通过聚类与RANSAC算法进行目标提取,获得目标的反射中心位置与尺寸;利用一种低成本的毫米波雷达与图像联合标定方法,实现多源信息的时空同步;提出了一种新型的毫米波雷达原始点信息与视觉信息融合的数据结构,利用高斯分布,结合雷达点云信息,生成反映目标位置与距离信息的单通道虚拟图片,与视觉信息关联构建RGB-D四通道虚拟图片,同步输入卷积神经网络进行深度学习,对于卷积神经网络进行调整,实现带有空间信息的目标检测。由于网络输入信息包含关于目标更加丰富的空间信息,能够进一步提高目标检测的距离预测能力。同时利用端到端的神经网络实现深度融合,能够进一步实现网络结构轻量化,节约计算资源,提高现有的视觉3D目标检测算法空间信息预测精度与速度。
上述各实施例仅用于说明本发明,各个步骤都是可以有所变化的,在本发明技术方案的基础上,凡根据本发明原理对个别步骤进行的改进和等同变换,均不应排除在本发明的保护范围之外。
Claims (10)
1.一种利用多源信息构建四通道虚拟图像的目标距离检测方法,其特征在于包括以下步骤:
1)利用毫米波雷达获取原始点云数据进行信息处理,确定属于同一个目标的雷达原始点信息,得到目标尺寸和目标反射中心位置;
2)根据雷达平面下目标的反射中心位置与单目摄像头采集到的图像中的目标中心像素位置,通过联合标定的方法寻找两种传感器的空间转换关系,同时结合时间同步,实现异步异构多源信息的关联;
3)根据毫米波雷达与图像数据之间的关联关系,构建包含距离信息的虚拟四通道图片;
4)根据虚拟四通道图片搭建卷积神经网络,实现目标检测:搭建端到端的目标检测卷积神经网络实现距离融合,使其能够实现对利用雷达原始点云信息与RGB图像生成的四通道虚拟图片的训练,预测目标的类别、图像边界框和距离信息。
5.如权利要求4所述目标距离检测方法,其特征在于:所述联合标定的过程为:同一时刻下毫米波雷达检测到目标并记录数据,同时通过拍摄记录图像中目标的位置;之后通过步骤1)中的聚类算法得到目标反射中心位置,再对应找到图像中的位置;重复此过程得到多组数据。
6.如权利要求1所述目标距离检测方法,其特征在于:所述步骤3)中,根据雷达能够反映的目标特征信息通过相应规则生成分辨率与RGB图像相同的单通道虚拟图片,再与相机的RGB彩色图像关联,形成4通道虚拟图片,作为目标距离检测网络训练的输入数据。
7.如权利要求6所述目标距离检测方法,其特征在于:所述相应规则为:
(2)确定雷达单通道虚拟图片中目标区域的尺寸与像素值:采用二维高斯模型确定单通道虚拟图片的目标区域填充像素值以及区域大小,高斯分布的均值为步骤(1)中确定的反射中心对应的像素位置(u0,v0);根据3σ原则,认为在3σ外像素为零,因此高斯分布的方差(σ1 2,σ2 2)反映了目标区域在图像上长和宽两个维度的尺寸大小,用函数g来表示方差与目标与传感器之间相对距离r、步骤1)中雷达估计的目标尺寸(w,h)的函数(σ1 2,σ2 2)=g(w,h,r);
同时在交通场景下,通过填充像素值反应近距离、运动目标的检测准确度这一关注程度;此外因为雷达能够提供反射点是否为目标的置信度σ,用比例因子k反映以上因素,k=f(r,vrel,σ),k将影响虚拟图片上目标填充区域的像素值。
8.如权利要求1所述目标距离检测方法,其特征在于:所述步骤4)中,为了实现深度融合,神经网络结构修改包括以下方面:
(1)对选择的算法的训练数据读取函数进行修改,接受4通道图像的数据读取;
(2)修改卷积层卷积核,提取更高维度的特征;
(3)修改标注信息的读取方式:在图像目标检测训练时提供的标注真值以外增加相对距离的标注真值;
(4)添加距离预测功能:添加对于距离预测的损失函数。
9.如权利要求1所述目标距离检测方法,其特征在于:还包括对卷积神经网络评测与优化的步骤,当卷积神经网络在训练集上表现出损失函数收敛,训练成熟后,构建与训练集数据同分布的验证集验证并评价卷积神经网络效果。
10.如权利要求9所述目标距离检测方法,其特征在于:对网络效果定量评价的逻辑如下:在预测结果与真值交叠率>阈值iou的条件下,判断预测框为正样本;在预测框分数>阈值score的条件下,认为模型预测到该目标;分不同的距离区间进行评价,评价指标包括准确率Precision=TP/(TP+FP),召回率Recall=TP/(TP+FN),预测距离的绝对误差以及相对真值的误差;根据结果判断是否需要调整训练参数对模型进行改善;TP:实际是正例,模型预测为正例的数量;FP:实际为负例,模型预测为正例的数量;FN:实际为正例,模型预测为负例的数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010258411.6A CN111462237B (zh) | 2020-04-03 | 2020-04-03 | 利用多源信息构建四通道虚拟图像的目标距离检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010258411.6A CN111462237B (zh) | 2020-04-03 | 2020-04-03 | 利用多源信息构建四通道虚拟图像的目标距离检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111462237A true CN111462237A (zh) | 2020-07-28 |
CN111462237B CN111462237B (zh) | 2022-09-20 |
Family
ID=71685888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010258411.6A Active CN111462237B (zh) | 2020-04-03 | 2020-04-03 | 利用多源信息构建四通道虚拟图像的目标距离检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111462237B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111921199A (zh) * | 2020-08-25 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 虚拟对象的状态检测方法、装置、终端及存储介质 |
CN112198503A (zh) * | 2020-10-16 | 2021-01-08 | 无锡威孚高科技集团股份有限公司 | 一种目标航迹预测优化方法、装置及雷达*** |
CN112505684A (zh) * | 2020-11-17 | 2021-03-16 | 东南大学 | 恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法 |
CN112528763A (zh) * | 2020-11-24 | 2021-03-19 | 浙江大华汽车技术有限公司 | 一种目标检测方法、电子设备和计算机存储介质 |
CN112766302A (zh) * | 2020-12-17 | 2021-05-07 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置、存储介质及电子装置 |
CN113095154A (zh) * | 2021-03-19 | 2021-07-09 | 西安交通大学 | 基于毫米波雷达与单目相机的三维目标检测***及方法 |
CN113221957A (zh) * | 2021-04-17 | 2021-08-06 | 南京航空航天大学 | 一种基于Centernet的雷达信息融合特征增强方法 |
CN113222111A (zh) * | 2021-04-01 | 2021-08-06 | 上海智能网联汽车技术中心有限公司 | 适应全天候环境的自动驾驶4d感知方法、***及介质 |
CN113808219A (zh) * | 2021-09-17 | 2021-12-17 | 西安电子科技大学 | 基于深度学习的雷达辅助相机标定方法 |
US11315271B2 (en) * | 2020-09-30 | 2022-04-26 | Tsinghua University | Point cloud intensity completion method and system based on semantic segmentation |
CN115052333A (zh) * | 2021-03-08 | 2022-09-13 | 罗伯特·博世有限公司 | 用于将第一辆车和第二辆车时间同步的方法及装置 |
CN115131594A (zh) * | 2021-03-26 | 2022-09-30 | 航天科工深圳(集团)有限公司 | 一种基于集成学习的毫米波雷达数据点分类方法及装置 |
CN115131423A (zh) * | 2021-03-17 | 2022-09-30 | 航天科工深圳(集团)有限公司 | 一种融合毫米波雷达和视觉的距离测量方法及装置 |
CN115701818A (zh) * | 2023-01-04 | 2023-02-14 | 江苏汉邦智能***集成有限公司 | 基于人工智能的智能垃圾分类控制*** |
CN115932702A (zh) * | 2023-03-14 | 2023-04-07 | 武汉格蓝若智能技术股份有限公司 | 基于虚拟标准器的电压互感器在线运行校准方法及装置 |
TWI839058B (zh) * | 2022-12-30 | 2024-04-11 | 薩摩亞商動見科技股份有限公司 | 具可適性及高效率之景深估測裝置及其方法 |
CN117930381A (zh) * | 2024-03-25 | 2024-04-26 | 海南中南标质量科学研究院有限公司 | 基于物联网大数据的口岸无辐射透视波通关查验*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103559791A (zh) * | 2013-10-31 | 2014-02-05 | 北京联合大学 | 一种融合雷达和ccd摄像机信号的车辆检测方法 |
WO2015008310A1 (en) * | 2013-07-19 | 2015-01-22 | Consiglio Nazionale Delle Ricerche | Method for filtering of interferometric data acquired by synthetic aperture radar (sar) |
CN109086788A (zh) * | 2017-06-14 | 2018-12-25 | 通用汽车环球科技运作有限责任公司 | 用于从异构装置感测的多种不同格式的数据的多模式融合处理的设备、方法和*** |
CN110378196A (zh) * | 2019-05-29 | 2019-10-25 | 电子科技大学 | 一种结合激光点云数据的道路视觉检测方法 |
CN110390697A (zh) * | 2019-07-11 | 2019-10-29 | 浙江大学 | 一种基于lm算法的毫米波雷达与摄像头联合标定方法 |
CN110674733A (zh) * | 2019-09-23 | 2020-01-10 | 厦门金龙联合汽车工业有限公司 | 多目标检测识别方法和辅助驾驶方法、*** |
-
2020
- 2020-04-03 CN CN202010258411.6A patent/CN111462237B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015008310A1 (en) * | 2013-07-19 | 2015-01-22 | Consiglio Nazionale Delle Ricerche | Method for filtering of interferometric data acquired by synthetic aperture radar (sar) |
CN103559791A (zh) * | 2013-10-31 | 2014-02-05 | 北京联合大学 | 一种融合雷达和ccd摄像机信号的车辆检测方法 |
CN109086788A (zh) * | 2017-06-14 | 2018-12-25 | 通用汽车环球科技运作有限责任公司 | 用于从异构装置感测的多种不同格式的数据的多模式融合处理的设备、方法和*** |
CN110378196A (zh) * | 2019-05-29 | 2019-10-25 | 电子科技大学 | 一种结合激光点云数据的道路视觉检测方法 |
CN110390697A (zh) * | 2019-07-11 | 2019-10-29 | 浙江大学 | 一种基于lm算法的毫米波雷达与摄像头联合标定方法 |
CN110674733A (zh) * | 2019-09-23 | 2020-01-10 | 厦门金龙联合汽车工业有限公司 | 多目标检测识别方法和辅助驾驶方法、*** |
Non-Patent Citations (3)
Title |
---|
NINGBO LONG 等: "Unifying obstacle detection, recognition,and fusion based on millimeter wave radar and RGB-depth sensors for the visually impaired", 《REV. SCI. INSTRUM. 90, 044102 (2019)》 * |
TAOHUA ZHOU 等: "Object Detection Using Multi-Sensor Fusion Based on Deep Learning", 《CONFERENCE: 19TH COTA INTERNATIONAL CONFERENCE OF TRANSPORTATION PROFESSIONALS》 * |
夏朝阳等: "基于多通道调频连续波毫米波雷达的微动手势识别", 《电子与信息学报》 * |
Cited By (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111921199A (zh) * | 2020-08-25 | 2020-11-13 | 腾讯科技(深圳)有限公司 | 虚拟对象的状态检测方法、装置、终端及存储介质 |
CN111921199B (zh) * | 2020-08-25 | 2023-09-26 | 腾讯科技(深圳)有限公司 | 虚拟对象的状态检测方法、装置、终端及存储介质 |
US11315271B2 (en) * | 2020-09-30 | 2022-04-26 | Tsinghua University | Point cloud intensity completion method and system based on semantic segmentation |
CN112198503A (zh) * | 2020-10-16 | 2021-01-08 | 无锡威孚高科技集团股份有限公司 | 一种目标航迹预测优化方法、装置及雷达*** |
CN112505684A (zh) * | 2020-11-17 | 2021-03-16 | 东南大学 | 恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法 |
CN112505684B (zh) * | 2020-11-17 | 2023-12-01 | 东南大学 | 恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法 |
CN112528763A (zh) * | 2020-11-24 | 2021-03-19 | 浙江大华汽车技术有限公司 | 一种目标检测方法、电子设备和计算机存储介质 |
CN112528763B (zh) * | 2020-11-24 | 2024-06-21 | 浙江华锐捷技术有限公司 | 一种目标检测方法、电子设备和计算机存储介质 |
CN112766302A (zh) * | 2020-12-17 | 2021-05-07 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置、存储介质及电子装置 |
CN112766302B (zh) * | 2020-12-17 | 2024-03-29 | 浙江大华技术股份有限公司 | 一种图像融合方法、装置、存储介质及电子装置 |
CN115052333A (zh) * | 2021-03-08 | 2022-09-13 | 罗伯特·博世有限公司 | 用于将第一辆车和第二辆车时间同步的方法及装置 |
CN115131423A (zh) * | 2021-03-17 | 2022-09-30 | 航天科工深圳(集团)有限公司 | 一种融合毫米波雷达和视觉的距离测量方法及装置 |
CN115131423B (zh) * | 2021-03-17 | 2024-07-16 | 航天科工深圳(集团)有限公司 | 一种融合毫米波雷达和视觉的距离测量方法及装置 |
CN113095154A (zh) * | 2021-03-19 | 2021-07-09 | 西安交通大学 | 基于毫米波雷达与单目相机的三维目标检测***及方法 |
CN115131594B (zh) * | 2021-03-26 | 2024-07-16 | 航天科工深圳(集团)有限公司 | 一种基于集成学习的毫米波雷达数据点分类方法及装置 |
CN115131594A (zh) * | 2021-03-26 | 2022-09-30 | 航天科工深圳(集团)有限公司 | 一种基于集成学习的毫米波雷达数据点分类方法及装置 |
CN113222111A (zh) * | 2021-04-01 | 2021-08-06 | 上海智能网联汽车技术中心有限公司 | 适应全天候环境的自动驾驶4d感知方法、***及介质 |
CN113221957A (zh) * | 2021-04-17 | 2021-08-06 | 南京航空航天大学 | 一种基于Centernet的雷达信息融合特征增强方法 |
CN113221957B (zh) * | 2021-04-17 | 2024-04-16 | 南京航空航天大学 | 一种基于Centernet的雷达信息融合特征增强方法 |
CN113808219B (zh) * | 2021-09-17 | 2024-05-14 | 西安电子科技大学 | 基于深度学习的雷达辅助相机标定方法 |
CN113808219A (zh) * | 2021-09-17 | 2021-12-17 | 西安电子科技大学 | 基于深度学习的雷达辅助相机标定方法 |
TWI839058B (zh) * | 2022-12-30 | 2024-04-11 | 薩摩亞商動見科技股份有限公司 | 具可適性及高效率之景深估測裝置及其方法 |
CN115701818B (zh) * | 2023-01-04 | 2023-05-09 | 江苏汉邦智能***集成有限公司 | 基于人工智能的智能垃圾分类控制*** |
CN115701818A (zh) * | 2023-01-04 | 2023-02-14 | 江苏汉邦智能***集成有限公司 | 基于人工智能的智能垃圾分类控制*** |
CN115932702A (zh) * | 2023-03-14 | 2023-04-07 | 武汉格蓝若智能技术股份有限公司 | 基于虚拟标准器的电压互感器在线运行校准方法及装置 |
CN117930381A (zh) * | 2024-03-25 | 2024-04-26 | 海南中南标质量科学研究院有限公司 | 基于物联网大数据的口岸无辐射透视波通关查验*** |
Also Published As
Publication number | Publication date |
---|---|
CN111462237B (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111462237B (zh) | 利用多源信息构建四通道虚拟图像的目标距离检测方法 | |
CN110675418B (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
CN112149550B (zh) | 一种基于多传感器融合的自动驾驶车辆3d目标检测方法 | |
CN110689562A (zh) | 一种基于生成对抗网络的轨迹回环检测优化方法 | |
CN115685185B (zh) | 一种4d毫米波雷达与视觉融合感知方法 | |
CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
CN115273034A (zh) | 一种基于车载多传感器融合的交通目标检测与跟踪方法 | |
CN117274749B (zh) | 一种基于4d毫米波雷达和图像的融合3d目标检测方法 | |
CN111913177A (zh) | 对目标物探测方法、装置以及存储介质 | |
WO2024114119A1 (zh) | 一种基于双目相机引导的传感器融合方法 | |
CN114280611A (zh) | 一种融合毫米波雷达与摄像头的路侧感知方法 | |
CN114758504A (zh) | 一种基于滤波校正的网联车超速预警方法及*** | |
CN117496312A (zh) | 基于多模态融合算法的三维多目标检测方法 | |
CN117111085A (zh) | 一种自动驾驶汽车车路云融合感知方法 | |
CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
Ennajar et al. | Deep multi-modal object detection for autonomous driving | |
CN117606497A (zh) | 一种实时地图构建方法、***及导盲眼镜 | |
CN116935356A (zh) | 基于弱监督的自动驾驶多模态图片和点云实例分割方法 | |
CN116817891A (zh) | 一种实时多模态感知的高精地图构建方法 | |
CN116482627A (zh) | 一种基于毫米波雷达和单目相机的联合标定方法 | |
CN113177966B (zh) | 基于速度聚类统计的三维扫描相干激光雷达点云处理方法 | |
CN113221744B (zh) | 一种基于深度学习的单目图像3d物体检测方法 | |
CN115546595A (zh) | 基于激光雷达和摄像头融合感知的轨迹追踪方法及*** | |
CN115471526A (zh) | 基于多源异构信息融合的自动驾驶目标检测与跟踪方法 | |
WO2023009180A1 (en) | Lidar-based object tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |