CN113255504A - 一种基于深度学习的路侧视角超视距全域融合感知*** - Google Patents

一种基于深度学习的路侧视角超视距全域融合感知*** Download PDF

Info

Publication number
CN113255504A
CN113255504A CN202110547978.XA CN202110547978A CN113255504A CN 113255504 A CN113255504 A CN 113255504A CN 202110547978 A CN202110547978 A CN 202110547978A CN 113255504 A CN113255504 A CN 113255504A
Authority
CN
China
Prior art keywords
data
point cloud
laser radar
image
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110547978.XA
Other languages
English (en)
Other versions
CN113255504B (zh
Inventor
金立生
贺阳
谢宪毅
潘景剑
郭柏苍
韩广德
张哲�
金秋坤
魏永利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202110547978.XA priority Critical patent/CN113255504B/zh
Publication of CN113255504A publication Critical patent/CN113255504A/zh
Application granted granted Critical
Publication of CN113255504B publication Critical patent/CN113255504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于深度学习的路侧视角超视距全域融合感知***，对路侧布置的摄像头、激光雷达、毫米波雷达异构数据采集和进行数据层融合，并利用深度学习分别处理融合后的图像和激光雷达点云数据，最终利用决策层融合实现融合感知。通过在路侧布置感知***，并结合图像、激光雷达点云、毫米波雷达点云数据各自的优势，可以提升感知视距，并在多个层面对监控区域进行场景理解，最终为网联自动驾驶车辆提供充足可靠的感知信息。

Description

一种基于深度学习的路侧视角超视距全域融合感知***
技术领域
本发明涉及一种智能交通基础设施***，特别涉及一种基于深度学习的路侧视角超视距全域融合感知***。
背景技术
智能交通基础设施的发展是实现车辆网联自动驾驶功能的关键，路侧感知***作为车路协同感知***中路侧感知信息的获取来源，其稳定性和可靠性将直接影响网联自动驾驶功能的实现和安全性。在智能交通技术和自动驾驶技术蓬勃发展的今日，路侧感知***的稳定性和可靠性仍是急需解决的关键点。
自动驾驶***通常包括感知、决策、控制三个模块，其中感知是整个自动驾驶***与周围环境交互的接口，其准确性直接影响自动驾驶功能的可实现性。现有感知方法主要集中在基于车载传感器实现，但是车载传感器受其安装位置限制，交通拥堵路况复杂时感知视角易受遮挡、视距较短，同时车载传感器价格较高。基于车载传感器的感知方法，从使用数据上看可以分为基于单一类型传感器数据和基于多传感器数据融合两种，其中基于多传感器融合的方法提升了感知算法可利用的数据维度，同时兼顾不同传感器各自的工作特点和数据优势。多传感器数据融合从一定程度上扩大了感知视距和优化了感知视角，但基于车载传感器的感知方法在视野、视角、价格等方面的局限性由于传感器布置位置首先无法完全克服，道路拥堵工况时常发生。
近年来5G通信技术飞速发展，促进智能交通技术不断完善，同时使网联自动驾驶技术成为实现L5级完全自动驾驶功能的最佳方案之一。其中，路侧感知模块在传感器视野、视距方面具有巨大优势，受交通拥堵影响较小，可以为网联自动驾驶车辆提供充足可靠的感知信息。
发明内容
为了解决目前路侧感知技术存在的问题，本发明提供一种基于深度学习的路侧视角超视距全域融合感知***，包括以下步骤：
步骤1、在路侧布置传感器模组，包括摄像头、激光雷达、毫米波雷达；
步骤2、采集传感器数据，包括摄像头的图像数据、激光雷达的点云数据、毫米波雷达的点云数据并进行预处理，包括时间同步、噪声滤波、数据解析、数据拼接；
步骤3、将预处理后的传感器数据输入到数据层融合模块进行数据层融合处理；
步骤4、将数据层融合处理后的图像数据输入到图像语义分割模块，通过预先构建好的深度学习语义分割模型进行语义理解；将数据层融合处理后的激光雷达点云数据输入到激光雷达点云分割模块，通过预先构建好的点云级别的深度学习分割模型进行点云分割；
步骤5、将图像语义分割结果和激光雷达点云分割结果输入到决策层融合模块进行处理，得到最终的感知结果和路侧感知***的输出信息。
进一步的，步骤1中，摄像头、激光雷达、毫米波雷达布置在交叉路口或存在视野盲区的区域，摄像头布置时应使摄像头的采集范围覆盖整个待识别路段，激光雷达布置时应尽量使更多点云落在待识别路段上，毫米波雷达应覆盖每条单行车道的较远区域。
进一步的，步骤3中，数据层融合模块对传感器数据的处理步骤如下：
步骤3.1、以图像为基准，限制有效的识别范围；
步骤3.2、将激光雷达点云数据投影到图像的成像平面上，对有效识别范围之外的激光雷达点云进行去除；
步骤3.3、将毫米波雷达点云数据投影到图像的成像平面上，对有效识别范围之外的毫米波雷达点云进行去除；
步骤3.4、根据图像、处理后的激光雷达点云、处理后的毫米波雷达点云构建数据层融合模型并输出数据；构建的数据层融合模型如下式所示：
{I(IR,IG,IB),G'L(xL,yL,zL),G'R(xR,yR)}
其中，I(IR,IG,IB)为图像像素模型，G'L(xL,yL,zL)为筛选后的激光雷达点云模型，G'R(xR,yR)为筛选后的毫米波雷达点云模型。
进一步的，步骤3.2中将激光雷达点云数据投影到图像的成像平面上的投影公式如下式所示：
Figure BDA0003074339830000031
其中，(xL,yL,zL)为激光雷达点云的空间坐标,(uL,vL)为激光雷达投影到图像成像平面的像素坐标，K∈R3×3为相机的内部参数矩阵，zc为激光雷达点云相对于激光雷达坐标系的空间坐标通过平移和旋转变换后相对于相机空间坐标系的相对坐标的高度，RL∈R3×3为激光雷达空间坐标系和相机空间坐标系的相对角度偏差矩阵，tL∈R3×1为激光雷达空间坐标系和相机空间坐标系的相对位置偏差矩阵；
对激光雷达点云去除的约束条件如下所示：
Figure BDA0003074339830000032
其中，uLmin，uLmax，vLmin，vLmax分别为图像像素空间横、纵坐标对激光雷达点云限制的最大、最小范围。
进一步的，步骤3.3中将毫米波雷达点云数据投影到图像的成像平面上的投影公式如下式所示：
Figure BDA0003074339830000041
其中，(xL,yL)为毫米波雷达点云的空间坐标，(uR,vR)为毫米波雷达投影到图像成像平面的像素坐标，K∈R3×3为相机的内部参数矩阵，RR∈R3×3为毫米波雷达空间坐标系和相机空间坐标系的相对角度偏差矩阵，tR∈R3×1为毫米波雷达空间坐标系和相机空间坐标系的相对位置偏差矩阵；
对毫米波雷达点云去除的约束条件如下所示：
Figure BDA0003074339830000042
其中，uRmin，uRmax，vRmin，vRmax分别为图像像素空间横、纵坐标对毫米波雷达点云限制的最大、最小范围。
进一步的，步骤4中，对图像数据进行语义理解的处理步骤如下：
(1)对获得的数据层融合数据进行提取，得到用于图像语义分割的输入数据；
(2)对获得的用于图像语义分割的输入数据进行减均值预处理；
(3)利用构建好的图像语义分割深度学习模型进行前向推导运算，得到与输入图片同尺寸的像素级分割结果；
(4)对得到的分割结果进行形态学运算，得到图像语义分割模块的输出结果；
步骤4中，对激光雷达进行点云分割的处理步骤如下：
(1)对获得的数据层融合数据进行提取，得到用于激光雷达点云分割的输入数据；
(2)对获得激光雷达点云数据进行预处理，去除地面点云，并将非地面点云处理成固定个数；
(3)利用构建好的激光雷达点云分割深度学习模型对预处理后的激光雷达点云数据进行分割；
(4)对分割结果和激光雷达点云输入数据进行处理，得到激光雷达点云分割模块的输出结果。
进一步的，对图像数据进行语义理解步骤(3)中所述的图像语义分割深度学习模型的构建方法如下：
首先，输入预先采集、标注好的训练集；其次，设计图像语义分割深度学习模型的网络结构和损失函数，并利用训练集进行训练；然后，输入预先采集、标注好的测试集进行测试；最后，在实际场景中部署图像语义分割算法，并依据测试结果和实际部署效果判断是否达到预期效果，如果没有达到，则补充训练集重新训练；
进一步的，对激光雷达进行点云分割步骤(3)中所述的激光雷达点云分割深度学习模型的构建方法如下：
首先，输入预先采集、标注好的训练集；其次，设计激光雷达点云分割深度学习模型的网络结构和损失函数，并利用训练集进行训练；然后，输入预先采集、标注好的测试集进行测试；最后，在实际场景中部署激光雷达点云分割算法，并依据测试结果和实际部署效果判断是否达到预期效果，如果没有达到，则补充训练集重新训练。
进一步的，步骤5中，决策层融合模块对输入数据的处理步骤如下：
步骤5.1、将图像语义分割模块的输出、激光雷达点云分割模块的输出、毫米波雷达点云数据输入到决策层融合模块；
步骤5.2、将激光雷达点云分割模块的输出、毫米波雷达点云数据投影到图像成像空间；
步骤5.3、利用图像语义分割结果构建决策层融合基准数据，基准数据模型如下：
HLF(u,v,1)＝LabelI(u,v)
式中，HLF(u,v,1)为决策层融合输入数据的基准数据层，LabelI(u,v)为图像标签矩阵；
步骤5.4、利用激光雷达点云分割结果构建决策层融合数据，构建的激光雷达点云融合数据模型如下：
HLF(u,v,2)＝LabelL(u,v)
式中，HLF(u,v,2)为决策层融合输入数据的激光雷达数据层，LabelL(u,v)为激光雷达标签投影转换成像素坐标系的标签矩阵；
步骤5.5、利用毫米波雷达点云构建决策层融合数据，构建的毫米波雷达点云融合数据模型如下：
HLF(u,v,3)＝DataR(u,v)
式中，HLF(u,v,3)为决策层融合输入数据的毫米波雷达数据层，DataR(u,v)为毫米波雷达点云投影转换成像素坐标系的标签矩阵；
步骤5.6、对构建的融合数据进行拼接，并建立融合策略进行决策层数据融合，对图像融合数据进行优化，具体策略如下：
首先，计算像素点对应所有标签的势函数值，具体如下式所示：
Figure BDA0003074339830000061
式中，Labeli＝{LabelI(ui+k,vi+k),LabelL(ui+m,vi+m),LabelR(ui,vi)|k,m＝-1,0,1}，n取值范围为Labeli中元素的个数，poti(n)为第i个像素点对应第n个标签的势函数值；
然后，找到势函数最小值所对应的标签；
最后，把最小值对应的标签设为像素点优化后的标签，并对下一个像素点进行优化；
步骤5.7、对比图像融合数据优化前后结果差异，如果优化前后差异超过阈值，则对激光雷达融合数据、毫米波雷达融合数据进行调整，并重复步骤5.4、5.5、5.6，如果优化前后差异未超过阈值，则保留优化后图像融合数据、激光雷达融合数据、毫米波雷达融合数据，并构建决策层融合模块输出数据。
进一步的，步骤5.3中，图像标签矩阵由下式生成：
LabelI(u,v)＝max(scoreI(u,v))
式中，scoreI(u,v)为图像语义分割深度学习模型产生的打分输出层，max()为最大值函数；
进一步的，步骤5.4中，激光雷达标签投影转换成像素坐标系的标签矩阵转换过程如下式所示：
Figure BDA0003074339830000071
其中，(uL,vL)为激光雷达点云标签投影后的像素坐标，dist()为两点间欧式距离，(ui,vi)为第i个像素点像素坐标，像素相邻模型采用图像八邻域模型，LabelL(uL,vL)为激光雷达标签的投影矩阵，由下式确定：
LabelL(uL,vL)＝projL(max(scoreL(xL,yL,zL)))
式中，(xL,yL,zL)为激光雷达点云空间坐标，scoreL(xL,yL,zL)为激光雷达点云分割深度学习模型产生的打分输出层，max()为最大值函数，projL()为激光雷达点云投影函数；
进一步的，步骤5.5中，毫米波雷达点云投影转换成像素坐标系的标签矩阵转换过程如下式所示：
Figure BDA0003074339830000081
其中，(uR,vR)为毫米波雷达点云投影后的像素坐标，dist()为两点间欧式距离，(ui,vi)为第i个像素点像素坐标，像素相邻模型采用图像八邻域模型，毫米波雷达投影公式如下式所示：
(uR,vR)＝projR(xR,yR)
式中，(xR,yR)为毫米波雷达原始数据，projR()为毫米波雷达点云投影函数。
进一步的，步骤5.7中，图像融合数据差异计算模型如下所示：
Figure BDA0003074339830000082
式中，LabelIi为优化前图像标签中第i个标签对应的集合，Label'Ii为优化后图像标签中第i个标签对应的集合，num为图像标签中标签的数量；
进一步的，步骤5.7中，对激光雷达融合数据、毫米波雷达融合数据调整的方式为：利用优化后的图像标签对落在同一标签区域内的激光雷达点云、毫米波雷达点云标记为同一类别，并将新的标签替代原来的标签；决策层融合模块输出数据包含标签、位置、尺寸信息，实现感知***对场景内目标的全域感知。
本发明的有益效果：
本发明可以实现对路侧布置的相机、激光雷达、毫米波雷达异构数据采集和进行数据层融合，并利用深度学习分别处理融合后的图像和激光雷达点云数据，最终利用决策层融合实现融合感知。通过在路侧布置感知***，并结合图像、激光雷达点云、毫米波雷达点云数据各自的优势，可以提升感知视距，并在多个层面对监控区域进行场景理解，最终为网联自动驾驶车辆提供充足可靠的感知信息。
本发明的环境感知***继承了深度学习算法高准确率的特点；同时，本发明采用数据层融合和决策层融合相结合的融合方式，剔除多余数据提升算法性能并保证***获取的信息具有足够的冗余度，提升了***的鲁棒性；另外，***综合考虑多个传感器工作特性，结合毫米波雷达识别距离远的特点进一步提升了对远距离目标识别的可靠性；最后，***输出的数据包括标签、位置、尺寸等多方位信息，使感知***实现了对场景内目标的多层次全域感知。
附图说明
图1为本发明路侧视角超视距全域融合感知***传感器布置示意图；
图2为本发明的软件框架图；
图3为本发明的工作流程示意图；
图4为本发明中数据层融合模块的工作流程示意图；
图5为本发明中图像算法模块的工作流程示意图；
图6为本发明中激光雷达算法模块的工作流程示意图；
图7为本发明中决策层融合模块的工作流程示意图。
具体实施方式
请参阅图1-7所示：
本发明提供的一种基于深度学习的路侧视角超视距全域融合感知***，包括相机模块、激光雷达模块、毫米波雷达模块、图像拼接模块、毫米波雷达拼接模块、数据层融合模块、图像算法模块、激光雷达算法模块、毫米波雷达转发模块、决策层融合模块和结果输出模块；具体包括以下步骤：
步骤1、在路侧的龙门架上布置传感器模组1，即相机模块、激光雷达模块和毫米波雷达模块，包括至少四个摄像头2、一个激光雷达3和至少两个毫米波雷达4；摄像头2、激光雷达3、毫米波雷达4布置在交叉路口或存在视野盲区的区域，摄像头2布置时应使摄像头2的采集范围覆盖整个待识别路段，激光雷达3布置时应尽量使更多点云落在待识别路段上，毫米波雷达4应覆盖每条单行车道的较远区域。
步骤2、采集传感器数据，包括摄像头2的图像数据、激光雷达3的点云数据、毫米波雷达4的点云数据并在图像拼接模块、毫米波雷达拼接模块中进行预处理，包括时间同步、噪声滤波、数据解析、数据拼接；
步骤3、将预处理后的传感器数据输入到数据层融合模块进行数据层融合处理；数据层融合模块对传感器数据的处理步骤如下：
步骤3.1、以图像为基准，限制有效的识别范围；
步骤3.2、将激光雷达点云数据投影到图像的成像平面上，投影公式如下式所示：
Figure BDA0003074339830000101
其中，(xL,yL,zL)为激光雷达点云的空间坐标,(uL,vL)为激光雷达投影到图像成像平面的像素坐标，K∈R3×3为摄像头相机的内部参数矩阵，zc为激光雷达点云相对于激光雷达坐标系的空间坐标通过平移和旋转变换后相对于相机空间坐标系的相对坐标的高度，RL∈R3×3为激光雷达空间坐标系和相机空间坐标系的相对角度偏差矩阵，tL∈R3×1为激光雷达空间坐标系和相机空间坐标系的相对位置偏差矩阵；
对有效识别范围之外的激光雷达点云进行去除，对激光雷达点云去除的约束条件如下所示：
Figure BDA0003074339830000102
其中，uLmin，uLmax，vLmin，vLmax分别为图像像素空间横、纵坐标对激光雷达点云限制的最大、最小范围。
步骤3.3、将毫米波雷达点云数据投影到图像的成像平面上，投影公式如下式所示：
Figure BDA0003074339830000111
其中，(xL,yL)为毫米波雷达点云的空间坐标，(uR,vR)为毫米波雷达投影到图像成像平面的像素坐标，K∈R3×3为相机的内部参数矩阵，RR∈R3×3为毫米波雷达空间坐标系和相机空间坐标系的相对角度偏差矩阵，tR∈R3×1为毫米波雷达空间坐标系和相机空间坐标系的相对位置偏差矩阵；
对有效识别范围之外的毫米波雷达点云进行去除，对毫米波雷达点云去除的约束条件如下所示：
Figure BDA0003074339830000112
其中，uRmin，uRmax，vRmin，vRmax分别为图像像素空间横、纵坐标对毫米波雷达点云限制的最大、最小范围。
步骤3.4、根据图像、处理后的激光雷达点云、处理后的毫米波雷达点云构建数据层融合模型并输出数据；构建的数据层融合模型如下式所示：
{I(IR,IG,IB),G'L(xL,yL,zL),G'R(xR,yR)}
其中，I(IR,IG,IB)为图像像素模型，G'L(xL,yL,zL)为筛选后的激光雷达点云模型，G'R(xR,yR)为筛选后的毫米波雷达点云模型。
步骤4、将数据层融合处理后的图像数据输入到图像算法模块即图像语义分割模块，通过预先构建好的深度学习语义分割模型进行语义理解，处理步骤如下：
(1)对获得的数据层融合数据进行提取，得到用于图像语义分割的输入数据；
(2)对获得的用于图像语义分割的输入数据进行减均值预处理；
(3)利用构建好的图像语义分割深度学习模型进行前向推导运算，得到与输入图片同尺寸的像素级分割结果；所述的图像语义分割深度学习模型的构建方法如下：
首先，输入预先采集、标注好的训练集；其次，设计图像语义分割深度学习模型的网络结构和损失函数，并利用训练集进行训练；然后，输入预先采集、标注好的测试集进行测试；最后，在实际场景中部署图像语义分割算法，并依据测试结果和实际部署效果判断是否达到预期效果，如果没有达到，则补充训练集重新训练；
(4)对得到的分割结果进行形态学运算，得到图像语义分割模块的输出结果；
同时，将数据层融合处理后的激光雷达点云数据输入到激光雷达算法模块即激光雷达点云分割模块，通过预先构建好的点云级别的深度学习分割模型进行点云分割，处理步骤如下：
(1)对获得的数据层融合数据进行提取，得到用于激光雷达点云分割的输入数据；
(2)对获得激光雷达点云数据进行预处理，去除地面点云，并将非地面点云处理成固定个数；
(3)利用构建好的激光雷达点云分割深度学习模型对预处理后的激光雷达点云数据进行分割；所述的激光雷达点云分割深度学习模型的构建方法如下：
首先，输入预先采集、标注好的训练集；其次，设计激光雷达点云分割深度学习模型的网络结构和损失函数，并利用训练集进行训练；然后，输入预先采集、标注好的测试集进行测试；最后，在实际场景中部署激光雷达点云分割算法，并依据测试结果和实际部署效果判断是否达到预期效果，如果没有达到，则补充训练集重新训练；
(4)对分割结果和激光雷达点云输入数据进行处理，得到激光雷达点云分割模块的输出结果。
步骤5、图像算法模块和激光雷达算法模块将图像语义分割结果和激光雷达点云分割结果输入到决策层融合模块进行处理，毫米波雷达转发模块将毫米波雷达点云数据输入到决策层融合模块进行处理，处理步骤如下：
步骤5.1、将图像语义分割模块的输出、激光雷达点云分割模块的输出、毫米波雷达点云数据输入到决策层融合模块；
步骤5.2、将激光雷达点云分割模块的输出、毫米波雷达点云数据投影到图像成像空间；
步骤5.3、利用图像语义分割结果构建决策层融合基准数据，基准数据模型如下：
HLF(u,v,1)＝LabelI(u,v)
式中，HLF(u,v,1)为决策层融合输入数据的基准数据层，LabelI(u,v)为图像标签矩阵，图像标签矩阵由下式生成：
LabelI(u,v)＝max(scoreI(u,v))
式中，scoreI(u,v)为图像语义分割深度学习模型产生的打分输出层，max()为最大值函数；
步骤5.4、利用激光雷达点云分割结果构建决策层融合数据，构建的激光雷达点云融合数据模型如下：
HLF(u,v,2)＝LabelL(u,v)
式中，HLF(u,v,2)为决策层融合输入数据的激光雷达数据层，LabelL(u,v)为激光雷达标签投影转换成像素坐标系的标签矩阵，转换过程如下式所示：
Figure BDA0003074339830000141
其中，(uL,vL)为激光雷达点云标签投影后的像素坐标，dist()为两点间欧式距离，(ui,vi)为第i个像素点像素坐标，像素相邻模型采用图像八邻域模型，LabelL(uL,vL)为激光雷达标签的投影矩阵，由下式确定：
LabelL(uL,vL)＝projL(max(scoreL(xL,yL,zL)))
式中，(xL,yL,zL)为激光雷达点云空间坐标，scoreL(xL,yL,zL)为激光雷达点云分割深度学习模型产生的打分输出层，max()为最大值函数，projL()为激光雷达点云投影函数；
步骤5.5、利用毫米波雷达点云构建决策层融合数据，构建的毫米波雷达点云融合数据模型如下：
HLF(u,v,3)＝DataR(u,v)
式中，HLF(u,v,3)为决策层融合输入数据的毫米波雷达数据层，DataR(u,v)为毫米波雷达点云投影转换成像素坐标系的标签矩阵，转换过程如下式所示：
Figure BDA0003074339830000142
其中，(uR,vR)为毫米波雷达点云投影后的像素坐标，dist()为两点间欧式距离，(ui,vi)为第i个像素点像素坐标，像素相邻模型采用图像八邻域模型，毫米波雷达投影公式如下式所示：
(uR,vR)＝projR(xR,yR)
式中，(xR,yR)为毫米波雷达原始数据，projR()为毫米波雷达点云投影函数；
步骤5.6、对构建的融合数据进行拼接，并建立融合策略进行决策层数据融合，对图像融合数据进行优化，具体策略如下：
首先，计算像素点对应所有标签的势函数值，具体如下式所示：
Figure BDA0003074339830000151
式中，Labeli＝{LabelI(ui+k,vi+k),LabelL(ui+m,vi+m),LabelR(ui,vi)|k,m＝-1,0,1}，n取值范围为Labeli中元素的个数，poti(n)为第i个像素点对应第n个标签的势函数值；
然后，找到势函数最小值所对应的标签；
最后，把最小值对应的标签设为像素点优化后的标签，并对下一个像素点进行优化；
步骤5.7、根据图像融合数据差异计算模型对比图像融合数据优化前后结果差异，如果优化前后差异超过阈值，则对激光雷达融合数据、毫米波雷达融合数据进行调整，并重复步骤5.4、5.5、5.6；如果优化前后差异未超过阈值，则保留优化后图像融合数据、激光雷达融合数据、毫米波雷达融合数据，并构建决策层融合模块输出数据，输出数据包含标签、位置、尺寸信息，得到最终的感知结果和路侧感知***的输出信息，实现感知***对场景内目标的全域感知。
所述的图像融合数据差异计算模型如下所示：
Figure BDA0003074339830000152
式中，LabelIi为优化前图像标签中第i个标签对应的集合，Label'Ii为优化后图像标签中第i个标签对应的集合，num为图像标签中标签的数量；
对激光雷达融合数据、毫米波雷达融合数据调整的方式为：利用优化后的图像标签对落在同一标签区域内的激光雷达点云、毫米波雷达点云标记为同一类别，并将新的标签替代原来的标签。

Claims (10)

1.一种基于深度学习的路侧视角超视距全域融合感知***，其特征在于：包括以下步骤：
步骤1、在路侧布置传感器模组，包括摄像头、激光雷达、毫米波雷达；
步骤2、采集传感器数据，包括摄像头的图像数据、激光雷达的点云数据、毫米波雷达的点云数据并进行预处理，包括时间同步、噪声滤波、数据解析、数据拼接；
步骤3、将预处理后的传感器数据输入到数据层融合模块进行数据层融合处理；
步骤4、将数据层融合处理后的图像数据输入到图像语义分割模块，通过预先构建好的深度学习语义分割模型进行语义理解；将数据层融合处理后的激光雷达点云数据输入到激光雷达点云分割模块，通过预先构建好的点云级别的深度学习分割模型进行点云分割；
步骤5、将图像语义分割结果和激光雷达点云分割结果输入到决策层融合模块进行处理，得到最终的感知结果和路侧感知***的输出信息。
2.根据权利要求1所述的一种基于深度学习的路侧视角超视距全域融合感知***，其特征在于：步骤1中，摄像头、激光雷达、毫米波雷达布置在交叉路口或存在视野盲区的区域，摄像头布置时应使摄像头的采集范围覆盖整个待识别路段，激光雷达布置时应尽量使更多点云落在待识别路段上，毫米波雷达应覆盖每条单行车道的较远区域。
3.根据权利要求1所述的一种基于深度学习的路侧视角超视距全域融合感知***，其特征在于：步骤3中，数据层融合模块对传感器数据的处理步骤如下：
步骤3.1、以图像为基准，限制有效的识别范围；
步骤3.2、将激光雷达点云数据投影到图像的成像平面上，对有效识别范围之外的激光雷达点云进行去除；
步骤3.3、将毫米波雷达点云数据投影到图像的成像平面上，对有效识别范围之外的毫米波雷达点云进行去除；
步骤3.4、根据图像、处理后的激光雷达点云、处理后的毫米波雷达点云构建数据层融合模型并输出数据；构建的数据层融合模型如下式所示：
{I(IR,IG,IB),G′L(xL,yL,zL),G′R(xR,yR)}
其中，I(IR,IG,IB)为图像像素模型，G′L(xL,yL,zL)为筛选后的激光雷达点云模型，G′R(xR,yR)为筛选后的毫米波雷达点云模型。
4.根据权利要求3所述的一种基于深度学***面上的投影公式如下式所示：
Figure FDA0003074339820000021
其中，(xL,yL,zL)为激光雷达点云的空间坐标,(uL,vL)为激光雷达投影到图像成像平面的像素坐标，K∈R3×3为相机的内部参数矩阵，zc为激光雷达点云相对于激光雷达坐标系的空间坐标通过平移和旋转变换后相对于相机空间坐标系的相对坐标的高度，RL∈R3×3为激光雷达空间坐标系和相机空间坐标系的相对角度偏差矩阵，tL∈R3×1为激光雷达空间坐标系和相机空间坐标系的相对位置偏差矩阵；
对激光雷达点云去除的约束条件如下所示：
Figure FDA0003074339820000022
其中，uLmin，uLmax，vLmin，vLmax分别为图像像素空间横、纵坐标对激光雷达点云限制的最大、最小范围。
5.根据权利要求3所述的一种基于深度学***面上的投影公式如下式所示：
Figure FDA0003074339820000031
其中，(xL,yL)为毫米波雷达点云的空间坐标，(uR,vR)为毫米波雷达投影到图像成像平面的像素坐标，K∈R3×3为相机的内部参数矩阵，RR∈R3×3为毫米波雷达空间坐标系和相机空间坐标系的相对角度偏差矩阵，tR∈R3×1为毫米波雷达空间坐标系和相机空间坐标系的相对位置偏差矩阵；
对毫米波雷达点云去除的约束条件如下所示：
Figure FDA0003074339820000032
其中，uRmin，uRmax，vRmin，vRmax分别为图像像素空间横、纵坐标对毫米波雷达点云限制的最大、最小范围。
6.根据权利要求1所述的一种基于深度学习的路侧视角超视距全域融合感知***，其特征在于：步骤4中，对图像数据进行语义理解的处理步骤如下：
(1)对获得的数据层融合数据进行提取，得到用于图像语义分割的输入数据；
(2)对获得的用于图像语义分割的输入数据进行减均值预处理；
(3)利用构建好的图像语义分割深度学习模型进行前向推导运算，得到与输入图片同尺寸的像素级分割结果；
(4)对得到的分割结果进行形态学运算，得到图像语义分割模块的输出结果；
步骤4中，对激光雷达进行点云分割的处理步骤如下：
(1)对获得的数据层融合数据进行提取，得到用于激光雷达点云分割的输入数据；
(2)对获得激光雷达点云数据进行预处理，去除地面点云，并将非地面点云处理成固定个数；
(3)利用构建好的激光雷达点云分割深度学习模型对预处理后的激光雷达点云数据进行分割；
(4)对分割结果和激光雷达点云输入数据进行处理，得到激光雷达点云分割模块的输出结果。
7.根据权利要求6所述的一种基于深度学习的路侧视角超视距全域融合感知***，其特征在于：对图像数据进行语义理解步骤(3)中所述的图像语义分割深度学习模型的构建方法如下：
首先，输入预先采集、标注好的训练集；其次，设计图像语义分割深度学习模型的网络结构和损失函数，并利用训练集进行训练；然后，输入预先采集、标注好的测试集进行测试；最后，在实际场景中部署图像语义分割算法，并依据测试结果和实际部署效果判断是否达到预期效果，如果没有达到，则补充训练集重新训练；
对激光雷达进行点云分割步骤(3)中所述的激光雷达点云分割深度学习模型的构建方法如下：
首先，输入预先采集、标注好的训练集；其次，设计激光雷达点云分割深度学习模型的网络结构和损失函数，并利用训练集进行训练；然后，输入预先采集、标注好的测试集进行测试；最后，在实际场景中部署激光雷达点云分割算法，并依据测试结果和实际部署效果判断是否达到预期效果，如果没有达到，则补充训练集重新训练。
8.根据权利要求1所述的一种基于深度学习的路侧视角超视距全域融合感知***，其特征在于：步骤5中，决策层融合模块对输入数据的处理步骤如下：
步骤5.1、将图像语义分割模块的输出、激光雷达点云分割模块的输出、毫米波雷达点云数据输入到决策层融合模块；
步骤5.2、将激光雷达点云分割模块的输出、毫米波雷达点云数据投影到图像成像空间；
步骤5.3、利用图像语义分割结果构建决策层融合基准数据，基准数据模型如下：
HLF(u,v,1)＝LabelI(u,v)
式中，HLF(u,v,1)为决策层融合输入数据的基准数据层，LabelI(u,v)为图像标签矩阵；
步骤5.4、利用激光雷达点云分割结果构建决策层融合数据，构建的激光雷达点云融合数据模型如下：
HLF(u,v,2)＝LabelL(u,v)
式中，HLF(u,v,2)为决策层融合输入数据的激光雷达数据层，LabelL(u,v)为激光雷达标签投影转换成像素坐标系的标签矩阵；
步骤5.5、利用毫米波雷达点云构建决策层融合数据，构建的毫米波雷达点云融合数据模型如下：
HLF(u,v,3)＝DataR(u,v)
式中，HLF(u,v,3)为决策层融合输入数据的毫米波雷达数据层，DataR(u,v)为毫米波雷达点云投影转换成像素坐标系的标签矩阵；
步骤5.6、对构建的融合数据进行拼接，并建立融合策略进行决策层数据融合，对图像融合数据进行优化，具体策略如下：
首先，计算像素点对应所有标签的势函数值，具体如下式所示：
Figure FDA0003074339820000061
Labeli(n)·HLF(ui,vi,3)
式中，Labeli＝{LabelI(ui+k,vi+k),LabelL(ui+m,vi+m),LabelR(ui,vi)|k,m＝-1,0,1}，n取值范围为Labeli中元素的个数，poti(n)为第i个像素点对应第n个标签的势函数值；
然后，找到势函数最小值所对应的标签；
最后，把最小值对应的标签设为像素点优化后的标签，并对下一个像素点进行优化；
步骤5.7、对比图像融合数据优化前后结果差异，如果优化前后差异超过阈值，则对激光雷达融合数据、毫米波雷达融合数据进行调整，并重复步骤5.4、5.5、5.6；如果优化前后差异未超过阈值，则保留优化后图像融合数据、激光雷达融合数据、毫米波雷达融合数据，并构建决策层融合模块输出数据。
9.根据权利要求8所述的一种基于深度学习的路侧视角超视距全域融合感知***，其特征在于：步骤5.3中，图像标签矩阵由下式生成：
LabelI(u,v)＝max(scoreI(u,v))
式中，scoreI(u,v)为图像语义分割深度学习模型产生的打分输出层，max()为最大值函数；
步骤5.4中，激光雷达标签投影转换成像素坐标系的标签矩阵转换过程如下式所示：
Figure FDA0003074339820000071
其中，(uL,vL)为激光雷达点云标签投影后的像素坐标，dist()为两点间欧式距离，(ui,vi)为第i个像素点像素坐标，像素相邻模型采用图像八邻域模型，LabelL(uL,vL)为激光雷达标签的投影矩阵，由下式确定：
LabelL(uL,vL)＝projL(max(scoreL(xL,yL,zL)))
式中，(xL,yL,zL)为激光雷达点云空间坐标，scoreL(xL,yL,zL)为激光雷达点云分割深度学习模型产生的打分输出层，max()为最大值函数，projL()为激光雷达点云投影函数；
步骤5.5中，毫米波雷达点云投影转换成像素坐标系的标签矩阵转换过程如下式所示：
Figure FDA0003074339820000072
其中，(uR,vR)为毫米波雷达点云投影后的像素坐标，dist()为两点间欧式距离，(ui,vi)为第i个像素点像素坐标，像素相邻模型采用图像八邻域模型，毫米波雷达投影公式如下式所示：
(uR,vR)＝projR(xR,yR)
式中，(xR,yR)为毫米波雷达原始数据，projR()为毫米波雷达点云投影函数。
10.根据权利要求8所述的一种基于深度学习的路侧视角超视距全域融合感知***，其特征在于：步骤5.7中，图像融合数据差异计算模型如下所示：
Figure FDA0003074339820000073
式中，LabelIi为优化前图像标签中第i个标签对应的集合，Label′Ii为优化后图像标签中第i个标签对应的集合，num为图像标签中标签的数量；
步骤5.7中，对激光雷达融合数据、毫米波雷达融合数据调整的方式为：利用优化后的图像标签对落在同一标签区域内的激光雷达点云、毫米波雷达点云标记为同一类别，并将新的标签替代原来的标签；决策层融合模块输出数据包含标签、位置、尺寸信息，实现感知***对场景内目标的全域感知。
CN202110547978.XA 2021-05-19 2021-05-19 一种基于深度学习的路侧视角超视距全域融合感知*** Active CN113255504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110547978.XA CN113255504B (zh) 2021-05-19 2021-05-19 一种基于深度学习的路侧视角超视距全域融合感知***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110547978.XA CN113255504B (zh) 2021-05-19 2021-05-19 一种基于深度学习的路侧视角超视距全域融合感知***

Publications (2)

Publication Number Publication Date
CN113255504A true CN113255504A (zh) 2021-08-13
CN113255504B CN113255504B (zh) 2022-07-22

Family

ID=77183331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110547978.XA Active CN113255504B (zh) 2021-05-19 2021-05-19 一种基于深度学习的路侧视角超视距全域融合感知***

Country Status (1)

Country Link
CN (1) CN113255504B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947141A (zh) * 2021-10-14 2022-01-18 清华大学 一种城市路口场景的路侧灯塔感知***
CN114295139A (zh) * 2021-12-14 2022-04-08 武汉依迅北斗时空技术股份有限公司 一种协同感知定位方法及***
CN114545434A (zh) * 2022-01-13 2022-05-27 燕山大学 一种路侧视角测速方法、***、电子设备及存储介质
CN114994672A (zh) * 2022-08-03 2022-09-02 中国人民解放军国防科技大学 毫米波雷达惯性组合的火场烟雾场景定位建图方法与装置
CN115100618A (zh) * 2022-06-27 2022-09-23 同济大学 一种多源异构感知信息多层级融合表征与目标识别方法
CN115236689A (zh) * 2022-09-23 2022-10-25 北京小马易行科技有限公司 确定激光雷达和图像采集设备的相对位置的方法与装置
CN115346368A (zh) * 2022-07-30 2022-11-15 东南大学 一种基于远、近景多传感器一体融合的交通路侧感知***及方法
CN116244662A (zh) * 2023-02-24 2023-06-09 中山大学 一种多源高程数据融合方法、装置、计算机设备及介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986450A (zh) * 2018-07-25 2018-12-11 北京万集科技股份有限公司 车辆环境感知方法、终端及***
CN110648389A (zh) * 2019-08-22 2020-01-03 广东工业大学 基于无人机和边缘车辆协同的城市街景3d重建方法和***
CN110988912A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 自动驾驶车辆的道路目标与距离检测方法、***、装置
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111694010A (zh) * 2020-05-27 2020-09-22 东南大学 一种基于视觉与激光雷达融合的路侧车辆识别方法
CN112001272A (zh) * 2020-08-06 2020-11-27 苏州富洁智能科技有限公司 一种基于深度学习的激光雷达环境感知方法及***
CN112199991A (zh) * 2020-08-27 2021-01-08 广州中国科学院软件应用技术研究所 一种应用于车路协同路侧感知的仿真点云滤波方法和***
CN112437501A (zh) * 2020-10-19 2021-03-02 江苏大学 一种基于交通语义和博弈论的多传感器超视距自组网方法
CN112462762A (zh) * 2020-11-16 2021-03-09 浙江大学 一种基于路侧二维码单元的机器人室外自主移动***及其方法
CN112562314A (zh) * 2020-11-02 2021-03-26 福瑞泰克智能***有限公司 基于深度融合的路端感知方法、装置、路端设备和***
CN112560774A (zh) * 2020-12-25 2021-03-26 广州文远知行科技有限公司 一种障碍物位置检测方法、装置、设备和存储介质
CN112639821A (zh) * 2020-05-11 2021-04-09 华为技术有限公司 一种车辆可行驶区域检测方法、***以及采用该***的自动驾驶车辆

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108986450A (zh) * 2018-07-25 2018-12-11 北京万集科技股份有限公司 车辆环境感知方法、终端及***
CN110648389A (zh) * 2019-08-22 2020-01-03 广东工业大学 基于无人机和边缘车辆协同的城市街景3d重建方法和***
CN110988912A (zh) * 2019-12-06 2020-04-10 中国科学院自动化研究所 自动驾驶车辆的道路目标与距离检测方法、***、装置
CN112639821A (zh) * 2020-05-11 2021-04-09 华为技术有限公司 一种车辆可行驶区域检测方法、***以及采用该***的自动驾驶车辆
CN111694010A (zh) * 2020-05-27 2020-09-22 东南大学 一种基于视觉与激光雷达融合的路侧车辆识别方法
CN111626217A (zh) * 2020-05-28 2020-09-04 宁波博登智能科技有限责任公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN112001272A (zh) * 2020-08-06 2020-11-27 苏州富洁智能科技有限公司 一种基于深度学习的激光雷达环境感知方法及***
CN112199991A (zh) * 2020-08-27 2021-01-08 广州中国科学院软件应用技术研究所 一种应用于车路协同路侧感知的仿真点云滤波方法和***
CN112437501A (zh) * 2020-10-19 2021-03-02 江苏大学 一种基于交通语义和博弈论的多传感器超视距自组网方法
CN112562314A (zh) * 2020-11-02 2021-03-26 福瑞泰克智能***有限公司 基于深度融合的路端感知方法、装置、路端设备和***
CN112462762A (zh) * 2020-11-16 2021-03-09 浙江大学 一种基于路侧二维码单元的机器人室外自主移动***及其方法
CN112560774A (zh) * 2020-12-25 2021-03-26 广州文远知行科技有限公司 一种障碍物位置检测方法、装置、设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUI LIU ET AL: "Slice-Based Instance and Semantic Segmentation for Low-Channel Roadside LiDAR Data", 《REMOTE SENSING》 *
党相卫等: "一种面向智能驾驶的毫米波雷达与激光雷达融合的鲁棒感知算法", 《雷达学报》 *
赵春叶等: "融合个体识别的3D点云语义分割方法研究", 《黑龙江工业学院学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947141A (zh) * 2021-10-14 2022-01-18 清华大学 一种城市路口场景的路侧灯塔感知***
CN114295139A (zh) * 2021-12-14 2022-04-08 武汉依迅北斗时空技术股份有限公司 一种协同感知定位方法及***
CN114545434A (zh) * 2022-01-13 2022-05-27 燕山大学 一种路侧视角测速方法、***、电子设备及存储介质
CN115100618A (zh) * 2022-06-27 2022-09-23 同济大学 一种多源异构感知信息多层级融合表征与目标识别方法
CN115100618B (zh) * 2022-06-27 2024-04-12 同济大学 一种多源异构感知信息多层级融合表征与目标识别方法
CN115346368A (zh) * 2022-07-30 2022-11-15 东南大学 一种基于远、近景多传感器一体融合的交通路侧感知***及方法
CN115346368B (zh) * 2022-07-30 2024-01-05 东南大学 一种基于远、近景多传感器一体融合的交通路侧感知***及方法
CN114994672A (zh) * 2022-08-03 2022-09-02 中国人民解放军国防科技大学 毫米波雷达惯性组合的火场烟雾场景定位建图方法与装置
CN114994672B (zh) * 2022-08-03 2022-10-25 中国人民解放军国防科技大学 毫米波雷达惯性组合的火场烟雾场景定位建图方法与装置
CN115236689A (zh) * 2022-09-23 2022-10-25 北京小马易行科技有限公司 确定激光雷达和图像采集设备的相对位置的方法与装置
CN116244662A (zh) * 2023-02-24 2023-06-09 中山大学 一种多源高程数据融合方法、装置、计算机设备及介质
CN116244662B (zh) * 2023-02-24 2023-11-03 中山大学 一种多源高程数据融合方法、装置、计算机设备及介质

Also Published As

Publication number Publication date
CN113255504B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN113255504B (zh) 一种基于深度学习的路侧视角超视距全域融合感知***
CN108960183B (zh) 一种基于多传感器融合的弯道目标识别***及方法
CN111583337B (zh) 一种基于多传感器融合的全方位障碍物检测方法
CN109948661B (zh) 一种基于多传感器融合的3d车辆检测方法
CN111626217B (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN114842438B (zh) 用于自动驾驶汽车的地形检测方法、***及可读存储介质
CN101900562B (zh) 采用基于分割方法的畅通路径检测
US8634593B2 (en) Pixel-based texture-less clear path detection
US8699754B2 (en) Clear path detection through road modeling
US20090268948A1 (en) Pixel-based texture-rich clear path detection
CN101963509A (zh) 通过地形变化分析来检测畅通路径的方法
CN101944176A (zh) 存在交通设施标识的更优畅通路径检测
CN101950350A (zh) 使用分级方法的畅通路径检测
CN112215306A (zh) 一种基于单目视觉与毫米波雷达融合的目标检测方法
CN101966846A (zh) 通过物体检测优化的检测车辆行驶的畅通路径的方法
CN113269040A (zh) 结合图象识别与激光雷达点云分割的驾驶环境感知方法
CN115187964A (zh) 基于多传感器数据融合的自动驾驶决策方法及SoC芯片
CN111259796A (zh) 一种基于图像几何特征的车道线检测方法
Rezaei et al. Traffic-Net: 3D traffic monitoring using a single camera
CN116597264A (zh) 融合二维图像语义的三维点云目标检测方法
CN116052124A (zh) 多相机生成局部地图模板理解加强目标检测方法及***
CN114581748B (zh) 基于机器学习的多智能体感知融合***及其实现方法
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN115861957A (zh) 一种基于传感器融合的新型动态物体分割方法
Xu et al. [Retracted] Multiview Fusion 3D Target Information Perception Model in Nighttime Unmanned Intelligent Vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant