CN112731436B - 基于点云上采样的多模态数据融合可行驶区域检测方法 - Google Patents
基于点云上采样的多模态数据融合可行驶区域检测方法 Download PDFInfo
- Publication number
- CN112731436B CN112731436B CN202011501003.5A CN202011501003A CN112731436B CN 112731436 B CN112731436 B CN 112731436B CN 202011501003 A CN202011501003 A CN 202011501003A CN 112731436 B CN112731436 B CN 112731436B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- image
- pixel
- detection
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 49
- 230000004927 fusion Effects 0.000 title claims abstract description 27
- 238000005070 sampling Methods 0.000 title claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 abstract description 4
- 230000002146 bilateral effect Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 108010063499 Sigma Factor Proteins 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000280 densification Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/006—Theoretical aspects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于点云上采样的多模态数据融合可行驶区域检测方法，主要包括空间点云自适应上采样和多模态数据融合可行驶区域检测两个部分。通过联合标定算法对相机与激光雷达进行配准，将点云投影至图像平面获取稀疏点云图，利用像素局部窗口计算边缘强度信息，自适应选择点云上采样方案，获得稠密点云图；对所得稠密点云图与RGB图像进行特征提取和交叉融合，实现可行驶区域快速检测。本发明的检测方法能够实现可行驶区域快速、准确的检测分割。
Description
技术领域
本发明涉及一种基于点云上采样的多模态数据融合可行驶区域检测方法，主要包括空间点云的自适应上采样、多模态数据融合可行驶区域检测两部分。
背景技术
根据选择的传感器种类不同，当前的可行驶区域检测算法主要存在着以相机为主和以激光雷达为主的两种方案。其中相机具有成本低、帧率高和分辨率高等诸多优点，但是其容易受到天气等因素干扰，鲁棒程度较低。另一方面，激光雷达以三维点云为主要获取数据，其虽然在分辨率和成本上有所不足，但具有很高的三维测量精度以及较强的抗干扰能力，因而在无人***中得到了普遍应用。对于点云的稀疏性，现有的一些方法采用了诸如联合双边滤波上采样的方式，在局部窗口内进行加权估计，进而获取致密空间信息，但其大多存在着边缘恢复较为模糊、细节保留程度不够等问题。
随着对可行驶区域检测算法精度要求的不断提高，使用单一传感器进行可行驶区域检测虽在部分场景下可以实现较为可靠的检测，但仍存在着一定的局限性。为了获得更好的检测效果，基于图像和点云的融合方法也开始不断出现。
Zhang Y等在文献【"Fusion of LiDAR and Camera by Scanning in LiDARImagery and Image-Guided Diffusion for Urban Road Detection,"[J].2018:579-584.】中提出了一种传统的相机与激光雷达融合方法。该方法在对点云进行初步筛选的基础上利用行和列扫描思想确定可行驶区域离散点云，并以图像为引导实现道路区域的像素级分割。该方法的缺陷在于检测过程没有充分利用图像信息，对于一些结构化程度较差的道路场景不太适用。
发明内容
为克服上述缺陷，本发明要解决的技术问题是提供一种基于边缘强度自适应的空间点云上采样方法，增强边缘与细节信息的保留。
与此相应，本发明另一个要解决的技术问题是提供一种能充分融合点云和图像特性的可行驶区域检测框架。
对于智能车可行驶区域检测而言，本发明解决上述技术问题主要包括如下步骤：基于像素边缘强度完成稀疏点云的自适应上采样，然后将同步后的RGB图像与稠密点云图作为输入，进行特征提取、融合，输出检测结果。
本发明具体采用以下技术方案实现：
一种基于点云上采样的多模态数据融合可行驶区域检测方法，该方法通过联合标定算法对相机与激光雷达进行标定，将点云投影至图像平面获取稀疏点云图，利用像素局部窗口计算边缘强度信息，自适应选择点云上采样方案，获得稠密点云图；对所得稠密点云图与RGB图像进行特征提取和交叉融合，实现可行驶区域快速检测。
上述技术方案中，进一步地，在稀疏点云图的基础上可利用像素局部窗口计算边缘强度信息，进而将像素分为非边缘区域和边缘区域两类，并据此完成自适应上采样。利用像素局部窗口计算边缘强度信息，具体为：对于每一个像素，利用像素局部窗口内的点云距离，按如下公式计算边缘强度信息，当边缘强度信息大于指定阈值τ时，认为该像素处于边缘区域，否则认为该像素处于非边缘区域：
其中，σ表示标准差计算，表示窗口内点云的平均距离，λ为一个固定参数。所述的像素局部窗口是指以该像素为中心的邻域窗口，所述的边缘强度信息用于表征该像素处于边缘的可能性。
更进一步地，所述的自适应选择点云上采样方案，具体为：对于非边缘区域像素而言，在其邻域窗口内只利用空间高斯核即可很好完成计算；而对于边缘像素而言，仅依靠空间位置会使边缘恢复趋于模糊，因此引入颜色信息，首先基于颜色和空间位置高斯核计算各点的初始权重，在此基础上根据点云平均深度，将局部窗口内的各点分为前景点和背景点两类，统计两类点的数量、权重和，并据此对各点进行权重的调整，最终完成待计算像素的空间位置信息估计；其中，所述的前景点为小于平均深度信息的点，所述的背景点为大于等于平均深度信息的点。
作为本发明的另一个改进，对所得稠密点云图与RGB图像进行特征提取和交叉融合，具体为：将同步后的稠密点云图和RGB图像作为输入，通过多层卷积网络进行特征提取与交叉融合，多层卷积网络同时结合空洞卷积与金字塔池化模块，可快速增大感受野并聚合多尺度的上下文信息。采用重点关注难检测区域与非道路区域检测结果的损失函数，提升检测准确率的同时确保车辆行驶的安全性。
本发明的有益效果是：
相比于传统的联合双边滤波上采样算法，本发明采用的基于边缘强度的自适应点云上采样方法能够更加可靠地恢复场景的细节信息，提升准确率；同时，本发明所采用的RGB图像和稠密点云图融合方法能够有效地融合多模态数据的特性，综合两种传感器的优势，实现可行驶区域快速且准确的检测分割。本发明的多层卷积网络可实现感受野的快速增长及多尺度聚合信息，同时本发明还采用重点关注难检测区域和非道路区域的损失函数，能够准确、可靠地输出可行驶区域的检测结果，实现道路区域的快速检测与分割。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1是基于点云上采样的多模态数据融合可行驶区域检测方法的流程图；
图2(a)是稀疏点云图像，(b)是该场景对应的边缘区域表示；
图3(a)是联合双边滤波上采样结果，(b)是本发明方法上采样结果；
图4是三个网络的可行驶区域检测结果对比以及对应的场景图Image和结果真值图Label，三个网络分别是：只输入图像的检测网络RGB、只输入稠密点云的检测网络Lidar、本发明的多模态数据融合检测网络Fusion；
图5是本发明的多层卷积网络结构图。
具体实施方式
如图1所示，本发明提供的一种基于点云上采样的多模态数据融合可行驶区域检测方法，具体实施方式如下：
1.相机内参标定，相机和激光雷达外参联合标定，具体如下所示。
1.1固定相机与激光雷达位置，基于硬触发机制同步采集点云和图像数据；
1.2根据单目标定获取相机内参信息，同时获取标定板在每帧相机和激光雷达坐标系下的平面方程，分别记为ac，i和al，i，其中i表示帧数，c表示相机坐标系，l表示激光雷达坐标系。用θ表示标定板平面法向量，X表示平面上的空间点，d表示坐标系原点至平面的距离，存在平面约束为
ac，i：θc，iX+dc，i＝0
al，i：θl，iX+dl，i＝0
1.3构建如下优化方程，求解旋转矩阵R和平移向量t，其中L表示每一帧平面上的点数，num为总帧数。
2.根据联合标定结果，将激光点云投影至图像平面，获取初始的稀疏点云图。对于每一个像素，利用局部窗口内的点云距离，按如下公式计算边缘强度信息T，当边缘强度大于指定阈值τ(阈值τ可根据需要选择，如取1.1)时，认为该像素处于边缘区域。
其中σ表示标准差计算，表示窗口内点云的平均距离，λ为一个固定参数，此处取值为3。图2中(a)、(b)分别为稀疏点云图和与之对应的边缘图表示。
3.根据上述边缘强度信息，将图像中各像素划分为非边缘区域、边缘区域两种类型，并据此完成相应的点云上采样，实现稀疏点云的稠密化，获得稠密点云图。
3.1若像素q处于非边缘区域，则在其邻域N(q)内直接利用空间高斯核计算加权结果，避免因颜色差异过大而导致的点云重建不平滑。
3.2若q处于边缘区域，为避免边缘恢复过于模糊，参考联合双边滤波上采样方法进行处理，首先利用颜色和空间位置相似性对各点赋予初始权重g(p)，s表示求和计算，目的是对空间和颜色的差异性进行平衡，I表示RGB图像的像素值，具体如
在此基础上，考虑局部窗口内点云的空间分布相关性，将其按深度信息分成前景点与背景点两类，分别记成F和B，其中，前景点为小于平均深度信息的点，背景点为大于等于平均深度信息的点，c表示邻域点云的类别F或B，m和n表示两个类别的数量及权重和，tq表示当前像素的边缘强度，按类别计算各点的权重调整因子，整体如
mc＝|c|，
根据计算所得权重，计算当前像素对应的空间位置信息如
本步骤中，表示待计算像素的空间位置信息，dp表示邻域内已知的空间点，K表示归一化因子，σr和σI分别表示空间域和颜色域的标准差。
4.将RGB与步骤3得到的稠密点云图同时作为2个三通道数据输入，构建多模态数据融合可行驶区域检测网络(即多层卷积网络)。如图5所示，多层卷积网络采用双编码器(双编码器结构相同，但不共享参数)和单解码器结构，分别以RGB图像和稠密点云图作为原始输入，同一层的两个特征图通过1×1卷积进行交叉融合，结果作为下一层卷积网络的输入；将编码器所得输出结果作为金字塔池化模块输入，获取最终特征图输出；金字塔池化模块输出结果经过解码器恢复分辨率，并利用Sigmoid函数计算各像素属于可行驶区域的概率，当概率大于设定阈值时判断该像素属于可行驶区域。本发明的多层卷积网络结合了空洞卷积与金字塔池化模块，可以快速地增大感受野并聚合多尺度的上下文信息。
在监督学习过程中，本发明设计损失函数如下所示，重点关注难检测区域和非道路区域的检测结果，提升检测准确率的同时确保车辆行驶的安全性。
其中y＝1和y＝0分别表示正负样本，正样本为道路区域，负样本为非道路区域，难检测区域是指检测较为困难的区域，对于正样本来说，其检测结果倾向于为非道路；对于负样本来说，检测结果倾向于道路。y′表示检测概率，α和γ为固定常数，此处均取值为2。
特征图经过解码器恢复分辨率，并利用Sigmoid层计算各像素属于道路的概率，当概率大于设定阈值(如0.5)时判断该像素属于可行驶区域。
实施例1
本实施例主要对比联合双边滤波上采样算法JBU与本发明中的基于边缘强度信息的自适应上采样方法的性能指标。本实施例通过将深度真值图5倍降采样获得稀疏点云图，对比两种方法的上采样效果。图3的(a)，(b)分别表示JBU上采样结果、本发明方法上采样结果。可以发现，本发明方法能够在减少重建误差的同时，更好地防止边缘模糊。
实施例2
本实例主要通过KITTI数据集对比单一图像数据网络、单一点云数据网络、本发明中多模态数据融合网络的可行驶区域检测性能，三种网络检测结果如图4所示，可以直观地看出，本发明中的多模态数据融合可行驶区域检测方法能够进一步提升道路检测的准确率，在很大程度上避免对车辆的误检测，同时提升边界检测的可靠性。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的优选实施例子，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于点云上采样的多模态数据融合可行驶区域检测方法，其特征在于，该方法通过联合标定算法对相机与激光雷达进行标定，将点云投影至图像平面获取稀疏点云图，利用像素局部窗口计算边缘强度信息，自适应选择点云上采样方案，获得稠密点云图；对所得稠密点云图与RGB图像进行特征提取和交叉融合，实现可行驶区域快速检测；
所述的利用像素局部窗口计算边缘强度信息，具体为：对于每一个像素，利用像素局部窗口内的点云距离，按如下公式计算边缘强度信息，当边缘强度信息大于指定阈值τ时，认为该像素处于边缘区域，否则认为该像素处于非边缘区域：
其中，σ表示标准差计算，表示窗口内点云的平均距离，λ为固定参数；
所述的自适应选择点云上采样方案，具体为：对于非边缘区域像素，在其局部窗口内直接利用空间高斯核计算加权结果；对于边缘区域像素，首先联合使用空间和颜色高斯核单独计算局部窗口内各点的权重；其次根据窗口内点云的平均深度将点云分成前景点和背景点两类，***部窗口内两类点的数量、权重和，并据此对每一个点的权重进行调整；最终利用更新后的权重，在局部窗口内对各点进行加权，完成待计算像素的空间位置信息计算。
2.根据权利要求1所述的基于点云上采样的多模态数据融合可行驶区域检测方法，其特征在于，对所得稠密点云图与RGB图像进行特征提取和交叉融合，具体为：将RGB图像和稠密点云图同时作为输入，利用多层卷积网络进行特征提取、交叉融合，损失函数重点关注难检测区域及非道路区域的检测结果，输出可行驶区域检测概率；
损失函数如下：
其中y＝1和y＝0分别表示正负样本，正样本为道路区域，负样本为非道路区域；难检测区域是指检测较为困难的区域，对于正样本来说，其检测结果倾向于为非道路；对于负样本来说，检测结果倾向于道路；y′表示判断为道路区域的概率，α和γ为固定常数。
3.根据权利要求2所述的基于点云上采样的多模态数据融合可行驶区域检测方法，其特征在于，所述的多层卷积网络结构采用双编码器和单解码器结构，两个编码器结构相同，但不共享参数，分别以RGB图像和稠密点云图作为原始输入，对于同一层编码器输出的两个特征图，利用1×1卷积进行交叉融合，融合结果作为下一层卷积的输入，并将双编码器所得的降采样特征图输入金字塔池化模块，获取最终特征图输出；
金字塔池化模块输出结果经过解码器恢复分辨率，并利用Sigmoid函数计算各像素属于可行驶区域的概率，当概率大于设定阈值时判断该像素属于可行驶区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011501003.5A CN112731436B (zh) | 2020-12-17 | 2020-12-17 | 基于点云上采样的多模态数据融合可行驶区域检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011501003.5A CN112731436B (zh) | 2020-12-17 | 2020-12-17 | 基于点云上采样的多模态数据融合可行驶区域检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112731436A CN112731436A (zh) | 2021-04-30 |
| CN112731436B true CN112731436B (zh) | 2024-03-19 |
Family
ID=75603282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011501003.5A Active CN112731436B (zh) | 2020-12-17 | 2020-12-17 | 基于点云上采样的多模态数据融合可行驶区域检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112731436B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569803A (zh) * | 2021-08-12 | 2021-10-29 | 中国矿业大学(北京) | 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及*** |
| CN113945947A (zh) * | 2021-10-08 | 2022-01-18 | 南京理工大学 | 多线激光雷达点云数据可通行区域检测方法 |
| CN114677315B (zh) * | 2022-04-11 | 2022-11-29 | 探维科技(北京)有限公司 | 基于图像与激光点云的图像融合方法、装置、设备和介质 |
| CN116416586B (zh) * | 2022-12-19 | 2024-04-02 | 香港中文大学（深圳） | 基于rgb点云的地图元素感知方法、终端及存储介质 |
| CN116343159B (zh) * | 2023-05-24 | 2023-08-01 | 之江实验室 | 一种非结构化场景可通行区域检测方法、装置及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012248004A (ja) * | 2011-05-27 | 2012-12-13 | Toshiba Corp | 画像処理装置、画像認識装置及び方法 |
| WO2015010451A1 (zh) * | 2013-07-22 | 2015-01-29 | 浙江大学 | 一种从单幅图像检测道路的方法 |
| CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| CN109405824A (zh) * | 2018-09-05 | 2019-03-01 | 武汉契友科技股份有限公司 | 一种适用于智能网联汽车的多源感知定位*** |
| CN109543600A (zh) * | 2018-11-21 | 2019-03-29 | 成都信息工程大学 | 一种实现可行驶区域检测方法及***和应用 |
| CN110320504A (zh) * | 2019-07-29 | 2019-10-11 | 浙江大学 | 一种基于激光雷达点云统计几何模型的非结构化道路检测方法 |
| CN110378196A (zh) * | 2019-05-29 | 2019-10-25 | 电子科技大学 | 一种结合激光点云数据的道路视觉检测方法 |
| CN110705342A (zh) * | 2019-08-20 | 2020-01-17 | 上海阅面网络科技有限公司 | 一种车道线分割检测方法及装置 |
| CN110827397A (zh) * | 2019-11-01 | 2020-02-21 | 浙江大学 | 一种面向rgb-d相机实时三维重建的纹理融合方法 |
| CN111274976A (zh) * | 2020-01-22 | 2020-06-12 | 清华大学 | 基于视觉与激光雷达多层次融合的车道检测方法及*** |
| CN111986164A (zh) * | 2020-07-31 | 2020-11-24 | 河海大学 | 一种基于多源Unet+Attention网络迁移的道路裂缝检测方法 |
| CN112069870A (zh) * | 2020-07-14 | 2020-12-11 | 广州杰赛科技股份有限公司 | 一种适用于车辆识别的图像处理方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7983446B2 (en) * | 2003-07-18 | 2011-07-19 | Lockheed Martin Corporation | Method and apparatus for automatic object identification |
-
2020
- 2020-12-17 CN CN202011501003.5A patent/CN112731436B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012248004A (ja) * | 2011-05-27 | 2012-12-13 | Toshiba Corp | 画像処理装置、画像認識装置及び方法 |
| WO2015010451A1 (zh) * | 2013-07-22 | 2015-01-29 | 浙江大学 | 一种从单幅图像检测道路的方法 |
| CN108229366A (zh) * | 2017-12-28 | 2018-06-29 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| CN109405824A (zh) * | 2018-09-05 | 2019-03-01 | 武汉契友科技股份有限公司 | 一种适用于智能网联汽车的多源感知定位*** |
| CN109543600A (zh) * | 2018-11-21 | 2019-03-29 | 成都信息工程大学 | 一种实现可行驶区域检测方法及***和应用 |
| CN110378196A (zh) * | 2019-05-29 | 2019-10-25 | 电子科技大学 | 一种结合激光点云数据的道路视觉检测方法 |
| CN110320504A (zh) * | 2019-07-29 | 2019-10-11 | 浙江大学 | 一种基于激光雷达点云统计几何模型的非结构化道路检测方法 |
| CN110705342A (zh) * | 2019-08-20 | 2020-01-17 | 上海阅面网络科技有限公司 | 一种车道线分割检测方法及装置 |
| CN110827397A (zh) * | 2019-11-01 | 2020-02-21 | 浙江大学 | 一种面向rgb-d相机实时三维重建的纹理融合方法 |
| CN111274976A (zh) * | 2020-01-22 | 2020-06-12 | 清华大学 | 基于视觉与激光雷达多层次融合的车道检测方法及*** |
| CN112069870A (zh) * | 2020-07-14 | 2020-12-11 | 广州杰赛科技股份有限公司 | 一种适用于车辆识别的图像处理方法及装置 |
| CN111986164A (zh) * | 2020-07-31 | 2020-11-24 | 河海大学 | 一种基于多源Unet+Attention网络迁移的道路裂缝检测方法 |
Non-Patent Citations (10)
| Title |
|---|
| A least-square-based approach to improve the accuracy of laser ranging;J. Xiao;《2014 International Conference on Multisensor Fusion and Information Integration for Intelligent Systems (MFI), Beijing, China, 2014》;全文 * |
| Feature enhancing aerial lidar point cloud refinement;Zhenzhen Gao;《PROCEEDINGS OF SPIE》;全文 * |
| LIDAR–camera fusion for road detection using fully convolutional neural networks;Luca Caltagirone;《Robotics and Autonomous Systems》;全文 * |
| 基于深度学习的高分辨率遥感图像建筑物识别;宋廷强;李继旭;张信耶;;计算机工程与应用;20200831(第08期);全文 * |
| 基于激光雷达点云与图像融合的车辆目标检测方法;胡远志;刘俊生;何佳;肖航;宋佳;;汽车安全与节能学报(第04期);全文 * |
| 基于点云中心的激光雷达与相机联合标定方法研究;康国华;张琪;张晗;徐伟证;张文豪;;仪器仪表学报(第12期);全文 * |
| 基于统计测试的道路图象边界提取方法;唐国维, 王东, 刘显德, 李永树, 何明革;大庆石油学院学报(第03期);全文 * |
| 基于融合分层条件随机场的道路分割模型;杨飞;《机器人》;全文 * |
| 服务机器人的路面识别研究;邵帅;《工业控制计算机》;全文 * |
| 融合距离与彩色信息的草丛中障碍物检测;项志宇;王伟;;光电工程(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112731436A (zh) | 2021-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112731436B (zh) | 基于点云上采样的多模态数据融合可行驶区域检测方法 | |
| CN111274976B (zh) | 基于视觉与激光雷达多层次融合的车道检测方法及*** | |
| CN110569704B (zh) | 一种基于立体视觉的多策略自适应车道线检测方法 | |
| CN111563415B (zh) | 一种基于双目视觉的三维目标检测***及方法 | |
| CN108416292B (zh) | 一种基于深度学习的无人机航拍图像道路提取方法 | |
| CN111553859A (zh) | 一种激光雷达点云反射强度补全方法及*** | |
| CN110728658A (zh) | 一种基于深度学习的高分辨率遥感影像弱目标检测方法 | |
| CN112215306A (zh) | 一种基于单目视觉与毫米波雷达融合的目标检测方法 | |
| CN112505684A (zh) | 恶劣环境路侧视角下雷达视觉融合的车辆多目标跟踪方法 | |
| CN117094914B (zh) | 基于计算机视觉的智慧城市道路监控*** | |
| CN111738071B (zh) | 一种基于单目摄像机的运动变化的逆透视变换方法 | |
| CN108830131B (zh) | 基于深度学习的交通目标检测与测距方法 | |
| CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN116486368A (zh) | 基于自动驾驶场景下的多模态融合三维目标鲁棒检测方法 | |
| CN116612468A (zh) | 基于多模态融合与深度注意力机制的三维目标检测方法 | |
| CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
| CN112613392A (zh) | 基于语义分割的车道线检测方法、装置、***及存储介质 | |
| CN117111055A (zh) | 一种基于雷视融合的车辆状态感知方法 | |
| CN115880658A (zh) | 一种夜间场景下汽车车道偏离预警方法及*** | |
| CN114814827A (zh) | 基于4d毫米波雷达与视觉融合的行人分类方法及*** | |
| CN112052768A (zh) | 基于无人机的城市违章停车检测方法、装置及存储介质 | |
| CN114372944B (zh) | 一种多模态和多尺度融合的候选区域生成方法及相关装置 | |
| CN110992304B (zh) | 二维图像深度测量方法及其在车辆安全监测中的应用 | |
| CN114565764A (zh) | 基于舰船实例分割的港口全景感知*** | |
| CN113569803A (zh) | 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |