CN109117718A - 一种面向道路场景的三维语义地图构建和存储方法 - Google Patents

一种面向道路场景的三维语义地图构建和存储方法 Download PDF

Info

Publication number
CN109117718A
CN109117718A CN201810704481.2A CN201810704481A CN109117718A CN 109117718 A CN109117718 A CN 109117718A CN 201810704481 A CN201810704481 A CN 201810704481A CN 109117718 A CN109117718 A CN 109117718A
Authority
CN
China
Prior art keywords
semantic
dimensional
map
key frame
storage method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810704481.2A
Other languages
English (en)
Other versions
CN109117718B (zh
Inventor
李煊鹏
敖焕轩
李宇杰
薛启凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201810704481.2A priority Critical patent/CN109117718B/zh
Publication of CN109117718A publication Critical patent/CN109117718A/zh
Application granted granted Critical
Publication of CN109117718B publication Critical patent/CN109117718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种面向道路场景的三维语义地图构建和存储方法，步骤如下：传感器在移动过程中采集路况视频数据，使用同步定位和构图技术获取关键帧，计算位姿和逆深度图，构建半密集点云地图；利用语义分割模型从所获取的关键帧中提取语义标记；利用二维到三维空间语义标记转换，将连续关键帧的语义标记数据进行融合，修正三维点云语义标记；根据所获取的三维语义点云地图，将三维语义点云数据表征为基于占据概率和语义信息的三维地图。本发明利用摄像机进行三维语义构图，包括多种道路目标场景分布；利用车载***快速构建道路三维语义信息，满足实时存储的需求；利用地图压缩技术，与原有大体量的三维地图存储需求相比，只占用较小存储空间。

Description

一种面向道路场景的三维语义地图构建和存储方法
技术领域
本发明涉及道路信息采集和三维建模方法在车辆技术领域的应用，具体涉及一种面向道路场景的快速三维语义构图方法和高效存储方法。
背景技术
随着信息传感、计算机视觉技术的发展，通过采集道路场景数据进行地图构建，并用以辅助驾驶和无人驾驶等应用已成为日渐重要的研究和开发需求。
由于摄像机的造价相对较低且安装方便，以摄像机为核心传感器的车载***有着广泛的应用。但是在道路三维地图构建方面，如何利用摄像机进行地图构建依然相对较少，并且由于构建三维地图往往需要大量计算以及存储空间，对于一般的车载***来说负荷过大。另一方面，区别于激光传感器获得的点云数据，摄像机数据能够捕捉到更丰富的纹理信息，实现对道路场景的理解，包括可行使路面区域的分割，道路关键标志的识别，楼房树木等静态目标的识别等，为构建更为丰富表征的三维语义地图提供了可能。
发明内容
发明目的：为了解决现有技术中存在的问题，本发明的目的是提供一种利用车载摄像机构建三维语义地图，以实现为辅助驾驶和无人驾驶***提供参考地图信息的面向道路场景的快速三维语义地图构建和高效存储方法。
技术方案：一种面向道路场景的快速三维语义地图构建和高效存储方法，包括以下步骤：
(1)使用传感器在移动过程中采集路况视频数据，使用同步定位和构图技术获取关键帧，计算位姿和逆深度图，构建半密集点云地图；利用语义分割模型从所获取的关键帧中提取语义标记；
(2)根据位姿信息、半密集点云地图数据和二维图像语义数据，利用二维到三维空间语义标记转换，并采用增量式标记融合技术将连续关键帧的语义标记数据进行融合，修正三维点云语义标记；
(3)根据所获取的三维语义点云地图，将三维语义点云数据表征为基于占据概率和语义信息的三维地图，可实现地图数据压缩，满足高效存储需求。
优选的，所述步骤(1)中，传感器为单目摄像头和/或双目摄像头；其次，实现语义分割的模型为基于可分离卷积核和特征金字塔组合的深度卷积神经网络，能够针对不低于1920x1080分辨率图片实现速度在80ms以内的语义分割功能实现。
进一步的，步骤(1)中，语义标记为静态目标标识，包含道路路面标记、建筑物标记、停放机动车辆标记、辅道标记、道路标识牌标记、路灯标记和树木植被标记。
关键帧定义为Ki＝{Ii,Di,Vi,Si}，包含图像信息逆深度图逆深度图方差以及语义分割信息其中，图像帧的所有像素点子集 表示实数集。
优选的，所述步骤(2)中，采用基于贝叶斯概率的增量式方法实现二维到三维语义数据转换，计算方法如下：
其中，一个三维体素vd的类别标记为lk，表示为到t时刻所有捕捉到的关键帧集合，且结合连续关键帧的语义标记数据进行三维点云语义标记快速更新，提升语义标注的准确性。
优选的，所述步骤(3)中，采用八叉树结构对三维点云地图压缩进行优化，构建某种分辨率下的三维语义地图表征；通过八叉树进行表征的三维点云地图含有语义信息，其中立方体(基于八叉树表征的三维地图最小表征单元)的语义信息由该立方体中所含数量最多的语义标记点决定。
有益效果：和现有技术相比，本发明具有如下显著进步：基于车载摄像机获取实时道路场景视频流，以视觉同步构图定位方法为基础，利用高效率的深度学习模型在GPU端实现快速图像语义分割，并通过二维至三维语义标签转换以及全局地图优化，实现快速道路场景半密集三维语义构图；基于八叉树的概率三维地图压缩方法实现分辨率可调的地图数据压缩，减小存储空间的占用，优化地图更新方式，该方法满足道路场景下大尺寸空间的三维语义地图快速构建和存储需求。
附图说明
图1是本发明生成三维语义地图的方法流程图；
图2是结合视觉SLAM技术和语义分割技术的三维语义地图重构方法示例图；
图3是效率语义分割网络中的可分离卷积核模块；
图4是效率语义分割网络中金字塔特征组合模块；
图5是效率语义分割网络总框架。
具体实施方式
下面结合附图和具体实例对本发明作进一步说明。
图1为本发明的实施流程示意图，具体步骤如附图标记101—106所示。
使用车载摄像机直接拍摄行驶过程中的道路场景视频，利用视觉同步定位和构图技术，即VSLAM，完成摄像机位姿估计和关键帧的捕捉，并且在关键帧上进行图像像素点深度估计，如图2所示；利用已经获得的关键帧和图像深度估计，可以实现三维地图重构。对于某一时刻t获取的关键帧，利用已经训练好的基于深度卷积神经网络的二维语义分割模型，以当前关键帧原始彩色图像作为输入，推理其图像语义信息，即道路路面标记、建筑物标记、停放机动车辆标记、辅道标记、道路标识牌标记、路灯标记和树木植被标记等静态目标像素分类标识。
本发明运用的二维语义分割模型，集成了如图3所示的可分离卷积核模块和如图4所示的金字塔特征组合模块，总体集成框架如图5所示。其中可分离卷积核是通过将N个尺寸为DK×DK×M标准卷积核分解为M个尺寸为DK×DK×1的卷积核和N个尺寸为1×1×M的卷积核；分解后的卷积参数数量为(DK×DK+N)×M，实现了计算复杂度的降低。可分离卷积核将原有ResNet残差网络中标准3x3卷积核进行了更换，实现了模型大小的缩减以及模型推理速度的提升。从残差网络输出的特征利用如图4的特征金字塔组合模块进行处理，由不同尺度的池化结构对输入特征图进行池化，再对各个池化分支进行处理和融合，能够得到多个尺度的组合特征信息。最后通过全卷积模块将从特征金字塔组合模块输出的特征进行图像全尺寸的还原，从而保证输入输出两端图像数据尺寸(宽W，高H)的一致性，如图5所示。利用标准数据库或者自设数据库完成相应的模型训练，可以利用训练后模型实现二维图像语义信息的推理。
本实施例中，由于环境和算法的不确定性，仅仅独立对每个关键帧进行二维语义分割可能会出现连续关键帧间的相同要素的标记不一致。因此，在二维向三维转换的过程中，使用基于贝叶斯的增量式方法将多个关键帧的语义标签lk关联起来，通过所有捕获的关键帧获得每一个三维点云vd的独立类别概率：
其中首先对应用马尔科夫假设，得到：
假设p(lk)不随时间变化，并且不需要明确计算归一化因子p(Kt)/Zt。最后，当捕获到新的关键帧时，利用下式更新三维点云的语义信息：
通过增量式融合方法能够利用自初始状态以来所有关键帧对三维点的语义标签进行快速更新，提升三维点云语义标注的准确性。
进一步优选的，对于所获得三维语义地图，利用八叉树方法对三维点云数据进行压缩。八叉树结构支持不同分辨率下的数据压缩，并且使用不同分辨率下的单元立方体(基于八叉树表征的三维地图最小表征单元)可以满足对地图数据在不同车辆驾驶应用和环境中的需求。在本实施例中，使用OctoMap工具包对所获三维点云数据进行数据压缩，并且对不同分辨率下的立方体对应目标的语义信息进行优化，通过计算该立方体中所含数量最多的语义标记点来决定该立方体的目标属类别。

Claims (7)

1.一种面向道路场景的三维语义地图构建和存储方法，其特征在于，包括以下步骤：
(1)使用传感器在移动过程中采集路况视频数据，使用同步定位和构图技术获取关键帧，计算位姿和逆深度图，构建半密集点云地图；利用语义分割模型从所获取的关键帧中提取语义标记；
(2)根据位姿信息、半密集点云地图数据和二维图像语义数据，利用二维到三维空间语义标记转换，将连续关键帧的语义标记数据进行融合，修正三维点云语义标记；
(3)根据所获取的三维语义点云地图，将三维语义点云数据表征为基于占据概率和语义信息的三维地图。
2.根据权利要求1所述的面向道路场景的三维语义地图构建和存储方法，其特征在于：所述步骤(1)中，传感器为单目摄像头和/或双目摄像头。
3.根据权利要求1或2所述的面向道路场景的三维语义地图构建和存储方法，其特征在于：所述步骤(1)中，实现语义分割的模型为基于可分离卷积核和特征金字塔组合的深度卷积神经网络。
4.根据权利要求1或2所述的面向道路场景的三维语义地图构建和存储方法，其特征在于：所述步骤(1)中，语义标记为静态目标标识，包含道路路面标记、建筑物标记、停放机动车辆标记、辅道标记、道路标识牌标记、路灯标记和树木植被标记。
5.根据权利要求1所述的面向道路场景的三维语义地图构建和存储方法，其特征在于：所述步骤(1)中，关键帧定义为Ki＝{Ii,Di,Vi,Si}，包含图像信息逆深度图逆深度图方差以及语义分割信息其中，图像帧的所有像素点子集 表示实数集。
6.根据权利要求1所述的面向道路场景的三维语义地图构建和存储方法，其特征在于，所述步骤(2)中，采用基于贝叶斯概率的增量式方法实现二维到三维语义数据转换，计算方法如下：
其中，一个三维体素vd的类别标记为lk，表示为到t时刻所有捕捉到的关键帧集合，且结合连续关键帧的语义标记数据进行三维点云语义标记更新。
7.根据权利要求1所述的面向道路场景的三维语义地图构建和存储方法，其特征在于：所述步骤(3)中，采用八叉树结构对三维点云地图压缩进行优化，构建不同分辨率下的三维语义地图表征。
CN201810704481.2A 2018-07-02 2018-07-02 一种面向道路场景的三维语义地图构建和存储方法 Active CN109117718B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810704481.2A CN109117718B (zh) 2018-07-02 2018-07-02 一种面向道路场景的三维语义地图构建和存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810704481.2A CN109117718B (zh) 2018-07-02 2018-07-02 一种面向道路场景的三维语义地图构建和存储方法

Publications (2)

Publication Number Publication Date
CN109117718A true CN109117718A (zh) 2019-01-01
CN109117718B CN109117718B (zh) 2021-11-26

Family

ID=64822014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810704481.2A Active CN109117718B (zh) 2018-07-02 2018-07-02 一种面向道路场景的三维语义地图构建和存储方法

Country Status (1)

Country Link
CN (1) CN109117718B (zh)

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109682381A (zh) * 2019-02-22 2019-04-26 山东大学 基于全向视觉的大视场场景感知方法、***、介质及设备
CN109829926A (zh) * 2019-01-30 2019-05-31 杭州鸿泉物联网技术股份有限公司 道路场景语义分割方法及装置
CN110057373A (zh) * 2019-04-22 2019-07-26 上海蔚来汽车有限公司 用于生成高精细语义地图的方法、装置和计算机存储介质
CN110246182A (zh) * 2019-05-29 2019-09-17 深圳前海达闼云端智能科技有限公司 基于视觉的全局地图定位方法、装置、存储介质和设备
CN110264586A (zh) * 2019-05-28 2019-09-20 浙江零跑科技有限公司 L3级自动驾驶***道路驾驶数据采集、分析及上传方法
CN110298320A (zh) * 2019-07-01 2019-10-01 北京百度网讯科技有限公司 一种视觉定位方法、装置及存储介质
CN110298873A (zh) * 2019-07-05 2019-10-01 青岛中科智保科技有限公司 三维地图的构建方法、构建装置、机器人及可读存储介质
CN110363145A (zh) * 2019-07-16 2019-10-22 深圳市凌云视迅科技有限责任公司 基于稀疏fpn的3d物体点云数据识别方法
CN110426035A (zh) * 2019-08-13 2019-11-08 哈尔滨理工大学 一种基于单目视觉和惯导信息融合的定位及建图方法
CN110781262A (zh) * 2019-10-21 2020-02-11 中国科学院计算技术研究所 基于视觉slam的语义地图的构建方法
CN111008660A (zh) * 2019-12-03 2020-04-14 北京京东乾石科技有限公司 语义地图的生成方法、装置、***、存储介质及电子设备
CN111016887A (zh) * 2019-12-23 2020-04-17 深圳市豪恩汽车电子装备股份有限公司 机动车自动泊车装置及方法
CN111080659A (zh) * 2019-12-19 2020-04-28 哈尔滨工业大学 一种基于视觉信息的环境语义感知方法
CN111105695A (zh) * 2019-12-31 2020-05-05 智车优行科技（上海）有限公司 地图制作方法、装置、电子设备及计算机可读存储介质
CN111190981A (zh) * 2019-12-25 2020-05-22 中国科学院上海微***与信息技术研究所 一种三维语义地图的构建方法、装置、电子设备及存储介质
CN111210518A (zh) * 2020-01-15 2020-05-29 西安交通大学 基于视觉融合地标的拓扑地图生成方法
CN111222395A (zh) * 2019-10-21 2020-06-02 杭州飞步科技有限公司 目标检测方法、装置与电子设备
CN111553181A (zh) * 2019-02-12 2020-08-18 上海欧菲智能车联科技有限公司 车载相机语义识别方法、***及装置
EP3696643A1 (en) * 2019-02-15 2020-08-19 Rockwell Collins, Inc. Occupancy map synchronization in multi-vehicle networks
CN111737278A (zh) * 2020-08-05 2020-10-02 鹏城实验室 同时定位与建图方法、***、设备及存储介质
CN111795703A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 地图构建方法、装置、存储介质及移动设备
CN111931832A (zh) * 2020-07-30 2020-11-13 国网智能科技股份有限公司 一种变电站巡检设备最优数据采集方法及***
CN112068555A (zh) * 2020-08-27 2020-12-11 江南大学 一种基于语义slam方法的语音控制型移动机器人
CN112212873A (zh) * 2019-07-09 2021-01-12 北京地平线机器人技术研发有限公司 一种高精地图的构建方法及装置
WO2021003587A1 (zh) * 2019-07-05 2021-01-14 深圳市大疆创新科技有限公司 语义地图的构建方法、***、可移动平台和存储介质
CN112287807A (zh) * 2020-10-27 2021-01-29 武汉大学 一种基于多分支金字塔神经网络的遥感影像道路提取方法
CN112381948A (zh) * 2020-11-03 2021-02-19 上海交通大学烟台信息技术研究院 一种基于语义的激光条纹中心线提取及拟合方法
CN112991534A (zh) * 2021-03-26 2021-06-18 中国科学技术大学 一种基于多粒度物体模型的室内语义地图构建方法及***
CN113058175A (zh) * 2021-04-22 2021-07-02 河北地质大学 火场地图动态重构及危险品边缘检测的消防面罩
WO2021160319A1 (de) 2020-02-14 2021-08-19 Audi Ag VERFAHREN UND PROZESSORSCHALTUNG ZUM AKTUALISIEREN EINER DIGITALEN STRAßENKARTE
CN113296495A (zh) * 2020-02-19 2021-08-24 苏州宝时得电动工具有限公司 自移动设备的路径形成方法、装置和自动工作***
CN113393515A (zh) * 2021-05-21 2021-09-14 杭州易现先进科技有限公司 一种结合场景标注信息的视觉定位方法和***
CN113673484A (zh) * 2021-09-09 2021-11-19 上海融进电子商务有限公司 一种无人驾驶场景中的路况识别与决策的方法
JP2022509302A (ja) * 2019-06-10 2022-01-20 センスタイム グループ リミテッド 地図生成方法、運転制御方法、装置、電子機器及びシステム
CN113963096A (zh) * 2021-09-01 2022-01-21 泰瑞数创科技(北京)有限公司 基于人工智能的城市三维地图视频流交互方法及***
CN113986068A (zh) * 2021-10-26 2022-01-28 天津大学 一种防汛治旱工程流域的三维可视化智慧平台
WO2022021739A1 (zh) * 2020-07-30 2022-02-03 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及***
CN114092580A (zh) * 2021-11-03 2022-02-25 华东交通大学 一种基于深度学习的三维点云数据压缩方法与***
WO2022134752A1 (en) * 2020-12-23 2022-06-30 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus of entropy encoding/decoding point cloud geometry data captured by a spinning sensors head
CN114972470A (zh) * 2022-07-22 2022-08-30 北京中科慧眼科技有限公司 基于双目视觉的路面环境获取方法和***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016040161A1 (en) * 2014-09-09 2016-03-17 Qualcomm Incorporated Simultaneous localization and mapping for video coding
CN107223269A (zh) * 2016-12-29 2017-09-29 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
CN107564012A (zh) * 2017-08-01 2018-01-09 中国科学院自动化研究所 面向未知环境的增强现实方法及装置
CN108124489A (zh) * 2017-12-27 2018-06-05 深圳前海达闼云端智能科技有限公司 信息处理方法、装置、云处理设备以及计算机程序产品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016040161A1 (en) * 2014-09-09 2016-03-17 Qualcomm Incorporated Simultaneous localization and mapping for video coding
CN107223269A (zh) * 2016-12-29 2017-09-29 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
CN107564012A (zh) * 2017-08-01 2018-01-09 中国科学院自动化研究所 面向未知环境的增强现实方法及装置
CN108124489A (zh) * 2017-12-27 2018-06-05 深圳前海达闼云端智能科技有限公司 信息处理方法、装置、云处理设备以及计算机程序产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张杰等: "基于GPU的图像特征并行计算方法", 《计算机科学》 *

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829926A (zh) * 2019-01-30 2019-05-31 杭州鸿泉物联网技术股份有限公司 道路场景语义分割方法及装置
CN111553181A (zh) * 2019-02-12 2020-08-18 上海欧菲智能车联科技有限公司 车载相机语义识别方法、***及装置
US11312379B2 (en) 2019-02-15 2022-04-26 Rockwell Collins, Inc. Occupancy map synchronization in multi-vehicle networks
EP3696643A1 (en) * 2019-02-15 2020-08-19 Rockwell Collins, Inc. Occupancy map synchronization in multi-vehicle networks
CN109682381A (zh) * 2019-02-22 2019-04-26 山东大学 基于全向视觉的大视场场景感知方法、***、介质及设备
CN111795703A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 地图构建方法、装置、存储介质及移动设备
CN110057373A (zh) * 2019-04-22 2019-07-26 上海蔚来汽车有限公司 用于生成高精细语义地图的方法、装置和计算机存储介质
CN110057373B (zh) * 2019-04-22 2023-11-03 上海蔚来汽车有限公司 用于生成高精细语义地图的方法、装置和计算机存储介质
CN110264586A (zh) * 2019-05-28 2019-09-20 浙江零跑科技有限公司 L3级自动驾驶***道路驾驶数据采集、分析及上传方法
CN110246182A (zh) * 2019-05-29 2019-09-17 深圳前海达闼云端智能科技有限公司 基于视觉的全局地图定位方法、装置、存储介质和设备
CN110246182B (zh) * 2019-05-29 2021-07-30 达闼机器人有限公司 基于视觉的全局地图定位方法、装置、存储介质和设备
JP2022509302A (ja) * 2019-06-10 2022-01-20 センスタイム グループ リミテッド 地図生成方法、運転制御方法、装置、電子機器及びシステム
CN110298320A (zh) * 2019-07-01 2019-10-01 北京百度网讯科技有限公司 一种视觉定位方法、装置及存储介质
CN110298320B (zh) * 2019-07-01 2021-06-22 北京百度网讯科技有限公司 一种视觉定位方法、装置及存储介质
WO2021003587A1 (zh) * 2019-07-05 2021-01-14 深圳市大疆创新科技有限公司 语义地图的构建方法、***、可移动平台和存储介质
CN110298873A (zh) * 2019-07-05 2019-10-01 青岛中科智保科技有限公司 三维地图的构建方法、构建装置、机器人及可读存储介质
CN112212873A (zh) * 2019-07-09 2021-01-12 北京地平线机器人技术研发有限公司 一种高精地图的构建方法及装置
CN110363145B (zh) * 2019-07-16 2022-11-29 深圳市凌云视迅科技有限责任公司 基于稀疏fpn的3d物体点云数据识别方法
CN110363145A (zh) * 2019-07-16 2019-10-22 深圳市凌云视迅科技有限责任公司 基于稀疏fpn的3d物体点云数据识别方法
CN110426035A (zh) * 2019-08-13 2019-11-08 哈尔滨理工大学 一种基于单目视觉和惯导信息融合的定位及建图方法
CN110426035B (zh) * 2019-08-13 2023-01-24 哈尔滨理工大学 一种基于单目视觉和惯导信息融合的定位及建图方法
CN110781262A (zh) * 2019-10-21 2020-02-11 中国科学院计算技术研究所 基于视觉slam的语义地图的构建方法
CN111222395B (zh) * 2019-10-21 2023-05-23 杭州飞步科技有限公司 目标检测方法、装置与电子设备
CN111222395A (zh) * 2019-10-21 2020-06-02 杭州飞步科技有限公司 目标检测方法、装置与电子设备
CN111008660A (zh) * 2019-12-03 2020-04-14 北京京东乾石科技有限公司 语义地图的生成方法、装置、***、存储介质及电子设备
CN111080659A (zh) * 2019-12-19 2020-04-28 哈尔滨工业大学 一种基于视觉信息的环境语义感知方法
CN111016887A (zh) * 2019-12-23 2020-04-17 深圳市豪恩汽车电子装备股份有限公司 机动车自动泊车装置及方法
CN111190981A (zh) * 2019-12-25 2020-05-22 中国科学院上海微***与信息技术研究所 一种三维语义地图的构建方法、装置、电子设备及存储介质
CN111190981B (zh) * 2019-12-25 2020-11-06 中国科学院上海微***与信息技术研究所 一种三维语义地图的构建方法、装置、电子设备及存储介质
CN111105695A (zh) * 2019-12-31 2020-05-05 智车优行科技（上海）有限公司 地图制作方法、装置、电子设备及计算机可读存储介质
CN111210518B (zh) * 2020-01-15 2022-04-05 西安交通大学 基于视觉融合地标的拓扑地图生成方法
CN111210518A (zh) * 2020-01-15 2020-05-29 西安交通大学 基于视觉融合地标的拓扑地图生成方法
DE102020103906B4 (de) 2020-02-14 2022-12-29 Audi Aktiengesellschaft Verfahren und Prozessorschaltung zum Aktualisieren einer digitalen Straßenkarte
WO2021160319A1 (de) 2020-02-14 2021-08-19 Audi Ag VERFAHREN UND PROZESSORSCHALTUNG ZUM AKTUALISIEREN EINER DIGITALEN STRAßENKARTE
DE102020103906A1 (de) 2020-02-14 2021-08-19 Audi Aktiengesellschaft Verfahren und Prozessorschaltung zum Aktualisieren einer digitalen Straßenkarte
CN113296495B (zh) * 2020-02-19 2023-10-20 苏州宝时得电动工具有限公司 自移动设备的路径形成方法、装置和自动工作***
CN113296495A (zh) * 2020-02-19 2021-08-24 苏州宝时得电动工具有限公司 自移动设备的路径形成方法、装置和自动工作***
WO2022021739A1 (zh) * 2020-07-30 2022-02-03 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及***
CN111931832B (zh) * 2020-07-30 2024-05-21 国网智能科技股份有限公司 一种变电站巡检设备最优数据采集方法及***
CN111931832A (zh) * 2020-07-30 2020-11-13 国网智能科技股份有限公司 一种变电站巡检设备最优数据采集方法及***
CN111737278A (zh) * 2020-08-05 2020-10-02 鹏城实验室 同时定位与建图方法、***、设备及存储介质
CN111737278B (zh) * 2020-08-05 2020-12-04 鹏城实验室 同时定位与建图方法、***、设备及存储介质
CN112068555A (zh) * 2020-08-27 2020-12-11 江南大学 一种基于语义slam方法的语音控制型移动机器人
CN112287807B (zh) * 2020-10-27 2022-06-07 武汉大学 一种基于多分支金字塔神经网络的遥感影像道路提取方法
CN112287807A (zh) * 2020-10-27 2021-01-29 武汉大学 一种基于多分支金字塔神经网络的遥感影像道路提取方法
CN112381948A (zh) * 2020-11-03 2021-02-19 上海交通大学烟台信息技术研究院 一种基于语义的激光条纹中心线提取及拟合方法
CN112381948B (zh) * 2020-11-03 2022-11-29 上海交通大学烟台信息技术研究院 一种基于语义的激光条纹中心线提取及拟合方法
WO2022134752A1 (en) * 2020-12-23 2022-06-30 Beijing Xiaomi Mobile Software Co., Ltd. Method and apparatus of entropy encoding/decoding point cloud geometry data captured by a spinning sensors head
CN112991534A (zh) * 2021-03-26 2021-06-18 中国科学技术大学 一种基于多粒度物体模型的室内语义地图构建方法及***
CN113058175A (zh) * 2021-04-22 2021-07-02 河北地质大学 火场地图动态重构及危险品边缘检测的消防面罩
CN113393515B (zh) * 2021-05-21 2023-09-19 杭州易现先进科技有限公司 一种结合场景标注信息的视觉定位方法和***
CN113393515A (zh) * 2021-05-21 2021-09-14 杭州易现先进科技有限公司 一种结合场景标注信息的视觉定位方法和***
CN113963096B (zh) * 2021-09-01 2022-07-05 泰瑞数创科技(北京)有限公司 基于人工智能的城市三维地图视频流交互方法及***
CN113963096A (zh) * 2021-09-01 2022-01-21 泰瑞数创科技(北京)有限公司 基于人工智能的城市三维地图视频流交互方法及***
CN113673484A (zh) * 2021-09-09 2021-11-19 上海融进电子商务有限公司 一种无人驾驶场景中的路况识别与决策的方法
CN113986068B (zh) * 2021-10-26 2023-08-01 天津大学 一种防汛治旱工程流域的三维可视化智慧平台
CN113986068A (zh) * 2021-10-26 2022-01-28 天津大学 一种防汛治旱工程流域的三维可视化智慧平台
CN114092580A (zh) * 2021-11-03 2022-02-25 华东交通大学 一种基于深度学习的三维点云数据压缩方法与***
CN114972470A (zh) * 2022-07-22 2022-08-30 北京中科慧眼科技有限公司 基于双目视觉的路面环境获取方法和***

Also Published As

Publication number Publication date
CN109117718B (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN109117718A (zh) 一种面向道路场景的三维语义地图构建和存储方法
CN110956651B (zh) 一种基于视觉和振动触觉融合的地形语义感知方法
CN108665496B (zh) 一种基于深度学习的端到端的语义即时定位与建图方法
CN113936139B (zh) 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及***
CN113128348B (zh) 一种融合语义信息的激光雷达目标检测方法及***
CN113902915B (zh) 一种基于低光照复杂道路场景下的语义分割方法及***
CN110648389A (zh) 基于无人机和边缘车辆协同的城市街景3d重建方法和***
CN105930819A (zh) 基于单目视觉和gps组合导航***的实时城区交通灯识别***
CN113126115B (zh) 基于点云的语义slam方法、装置、电子设备和存储介质
Chen et al. Vision-based positioning for internet-of-vehicles
CN109033245B (zh) 一种移动机器人视觉-雷达图像跨模态检索方法
CN113781300B (zh) 一种用于远距离自主泊车的车辆视觉定位方法
CN113034563A (zh) 基于特征共享的自监督式单目深度估计方法
CN115359372A (zh) 一种基于光流网络的无人机视频运动目标检测方法
CN116453121B (zh) 一种车道线识别模型的训练方法及装置
Zhao et al. Autonomous driving simulation for unmanned vehicles
CN111860651A (zh) 一种基于单目视觉的移动机器人半稠密地图构建方法
CN115359474A (zh) 适用于移动端的轻量级三维目标检测方法、装置及介质
CN112906675A (zh) 一种固定场景中的无监督人体关键点检测方法及***
CN116229410A (zh) 融合多维信息池化的轻量级神经网络道路场景检测方法
CN114116933A (zh) 一种基于单目图像的语义拓扑联合建图方法
CN114048536A (zh) 一种基于多任务神经网络的道路结构预测与目标检测方法
CN111599007B (zh) 一种基于无人机航拍的智慧城市cim道路贴图方法
CN117372991A (zh) 基于多视角多模态融合的自动驾驶方法及***
CN116342675B (zh) 一种实时单目深度估计方法、***、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant