CN113375682A - 一种数据融合对实时高精地图自动标注***及方法 - Google Patents

一种数据融合对实时高精地图自动标注***及方法 Download PDF

Info

Publication number
CN113375682A
CN113375682A CN202110644734.3A CN202110644734A CN113375682A CN 113375682 A CN113375682 A CN 113375682A CN 202110644734 A CN202110644734 A CN 202110644734A CN 113375682 A CN113375682 A CN 113375682A
Authority
CN
China
Prior art keywords
module
data
precision map
labeling
laser radar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110644734.3A
Other languages
English (en)
Inventor
张欢
谢非
何灏
关迪月
刘梓轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Landau Zhitong Technology Co ltd
Original Assignee
Shenzhen Landau Zhitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Landau Zhitong Technology Co ltd filed Critical Shenzhen Landau Zhitong Technology Co ltd
Priority to CN202110644734.3A priority Critical patent/CN113375682A/zh
Publication of CN113375682A publication Critical patent/CN113375682A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种数据融合对实时高精地图自动标注***及方法，涉及高精地图自动标注技术领域，具体为一种数据融合对实时高精地图自动标注***及方法，包括激光雷达、相机和转换模块，所述转换模块的输入端均连接有激光雷达和相机，所述激光雷达的输出端连接有标注模块。该数据融合对实时高精地图自动标注***及方法通过标定把图像数据和激光雷达数据构建在同一坐标系，使得同物体在不同数据中有对应的坐标值，由于三维点云可用于检测的特征较稀疏，因此通过彩色图像的物体检测方便快捷，如车道线检测、人行横道、交通标志，构建高精地图时转换到高精地图坐标进行实时标注，可以在标注上省去大量的人力和时间成本，并且试错成本低。

Description

一种数据融合对实时高精地图自动标注***及方法
技术领域
本发明涉及高精地图自动标注技术领域，具体为一种数据融合对实时高精地图自动标注***及方法。
背景技术
高精地图是通过激光雷达获取物体反射的三维点云以及点云激光强度信息组合构建的，车辆的自主导航需要人为的通过点云数据构建车道、交通标志、人行道等位置信息。
目前的高精地图主要依赖于人力标注，并且由于点云本身不具有相应物体的颜色信息，即给人为标注地图带来了不必要的麻烦，人为标注整个地图是非常费时费力的缺点。
发明内容
针对现有技术的不足，本发明提供了一种数据融合对实时高精地图自动标注***及方法，解决了上述背景技术中提出目前的高精地图主要依赖于人力标注，并且由于点云本身不具有相应物体的颜色信息，即给人为标注地图带来了不必要的麻烦，人为标注整个地图是非常费时费力的问题。
为实现以上目的，本发明通过以下技术方案予以实现：一种数据融合对实时高精地图自动标注***及方法，包括激光雷达、相机和转换模块，所述转换模块的输入端均连接有激光雷达和相机，所述激光雷达的输出端连接有标注模块，所述标注模块的输入端分别连接有转换模块和检测模块，所述检测模块的输入端连接有相机。
可选的，所述激光雷达用于构建高精地图，所述激光雷达通过API接口与转换模块和标注模块实现数据传输，所述激光雷达、转换模块和标注模块并联电性连接。
可选的，所述相机通过API接口与转换模块和检测模块实现数据传输，所述相机、转换模块和检测模块并联电性连接。
可选的，所述标注模块通过API接口与转换模块和检测模块实现数据输入，所述标注模块、转换模块和检测模块并联电性连接。
可选的，所述数据融合对实时高精地图自动标注方法，包括以下步骤：
S1、采集激光雷达数据：通过激光雷达获取物体反射的三维点云，以及采集激光雷达获取的数据，用于构建高精地图；
S2、采集相机数据：通过相机采集道路影像信息，获取图像数据；
S3、检测模块：将图像数据传输至检测模块，以及检测模块通过检测算法，如阈值分割、深度学习、颜色提取等提取目标位姿信息，并将数据信息传输至转换模块；
S4、转换模块：将激光雷达数据和图像数据传输至转换模块，通过转换模块联合标定获得关系矩阵变换RT，并通过RT矩阵变换，获取目标物高精地图上的对应坐标；
S5、标注模块：将步骤S1、采集激光雷达数据构建的高精地图数据，以及步骤S4、转换模块中的高精地图上的坐标信息导入至标注模块，标注模块对地图上对应的目标位置区域进行处理，得到目标的轮廓进行标注；
S6、获取高精地图：获取带标注信息的高精地图数据。
本发明提供了一种数据融合对实时高精地图自动标注***及方法，具备以下有益效果：
1、该数据融合对实时高精地图自动标注***及方法通过标定把图像数据和激光雷达数据构建在同一坐标系，使得同物体在不同数据中有对应的坐标值，由于三维点云可用于检测的特征较稀疏，因此通过彩色图像的物体检测方便快捷，如车道线检测、人行横道、交通标志，构建高精地图时转换到高精地图坐标进行实时标注，可以在标注上省去大量的人力和时间成本，并且试错成本低。
2、该数据融合对实时高精地图自动标注***及方法提供了一种新的标注思想，融合了多种图像检测方法，比如深度学习，颜色分割以及霍夫检测等，通过实时检测的目标物位置，此为第一部分检测模块，通过标定的变换矩阵，把图像坐标转换为高精地图坐标获得对应物***置，此为坐标转换模块。获得物体在高精地图的位置，对roi进行阈值分割，轮廓检测等处理后，进行标注操作，保存地图数据，是最后的标注模块。
3、该数据融合对实时高精地图自动标注***及方法通过激光雷达依赖于实时卫星定位不断拼接每一帧的激光数据后保存地图数据，最后通过人工精细标注完善，以及在原有的基础上加入实时物体检测，把简单容易实现的物体在进行地图构建时，实时标注检测物体，减少各方面的成本花费。
4、该数据融合对实时高精地图自动标注***及方法可以有效提取车道线、人行横道，交通标识等具有明显特征的物体，不仅仅提高了标注的速度，做到一边采集一边标注，把部分重复操作的部分使用程序代替，还大大减少了人力所需要的金钱成本和时间成本。
5、该数据融合对实时高精地图自动标注***及方法设置有转换模块通过使用棋盘格标定法对相机进行标定，通过求解相机和激光雷达联合标定获得关系矩阵变换RT，作用是为了获得图像上的目标物在地图上的实际位置，缩小处理范围，定向提取目标物的标注信息；检测模块，因为彩色图像上的特征点相比点云丰富的多，物体检测上相比点云不仅高效而且准确率高，实时性好；标注模块，高精地图通常压缩成二维灰度图，车道线等目标物灰度值较高，区别于其他物体，通过图像获得其小范围区域进行定向处理获得其标注信息，每一帧的标注信息持续拼接叠加，实时更新保存。
附图说明
图1为本发明主视结构示意图；
图2为本发明槽架的结构示意图；
图3为本发明固定框架的结构示意图。
图中：1、激光雷达；2、相机；3、转换模块；4、检测模块；5、标注模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
请参阅图1至图3，本发明提供一种技术方案：一种数据融合对实时高精地图自动标注***及方法，包括激光雷达1、相机2和转换模块3，转换模块3的输入端均连接有激光雷达1和相机2，激光雷达1的输出端连接有标注模块5，标注模块5的输入端分别连接有转换模块3和检测模块4，检测模块4的输入端连接有相机2。
发明中：激光雷达1用于构建高精地图，激光雷达1通过API接口与转换模块3和标注模块5实现数据传输，激光雷达1、转换模块3和标注模块5并联电性连接。
发明中：相机2通过API接口与转换模块3和检测模块4实现数据传输，相机2、转换模块3和检测模块4并联电性连接。
发明中：标注模块5通过API接口与转换模块3和检测模块4实现数据输入，标注模块5、转换模块3和检测模块4并联电性连接。
发明中：数据融合对实时高精地图自动标注方法，包括以下步骤：
S1、采集激光雷达数据：通过激光雷达1获取物体反射的三维点云，以及采集激光雷达1获取的数据，用于构建高精地图；
S2、采集相机数据：通过相机2采集道路影像信息，获取图像数据；
S3、检测模块：将图像数据传输至检测模块4，以及检测模块4通过检测算法，如阈值分割、深度学习、颜色提取等提取目标位姿信息，并将数据信息传输至转换模块3；
S4、转换模块：将激光雷达1数据和图像数据传输至转换模块3，通过转换模块3联合标定获得关系矩阵变换RT，并通过RT矩阵变换，获取目标物高精地图上的对应坐标；
S5、标注模块：将步骤S1、采集激光雷达数据构建的高精地图数据，以及步骤S4、转换模块中的高精地图上的坐标信息导入至标注模块5，标注模块5对地图上对应的目标位置区域进行处理，得到目标的轮廓进行标注；
S6、获取高精地图：获取带标注信息的高精地图数据。
综上，该数据融合对实时高精地图自动标注***及方法，使用时，首先，通过激光雷达1获取物体反射的三维点云，以及采集激光雷达1获取的数据，用于构建高精地图，接着，通过相机2采集道路影像信息，获取图像数据；其次，将图像数据传输至检测模块4，以及检测模块4通过检测算法，如阈值分割、深度学习、颜色提取等提取目标位姿信息，并将数据信息传输至转换模块3；再其次，将激光雷达1数据和图像数据传输至转换模块3，通过转换模块3联合标定获得关系矩阵变换RT，并通过RT矩阵变换，获取目标物高精地图上的对应坐标；然后，将高精地图数据，以及高精地图上的坐标信息导入至标注模块5，标注模块5对地图上对应的目标位置区域进行处理，得到目标的轮廓进行标注；最后，获取带标注信息的高精地图数据。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种数据融合对实时高精地图自动标注***，包括激光雷达（1）、相机（2）和转换模块（3），其特征在于：所述转换模块（3）的输入端均连接有激光雷达（1）和相机（2），所述激光雷达（1）的输出端连接有标注模块（5），所述标注模块（5）的输入端分别连接有转换模块（3）和检测模块（4），所述检测模块（4）的输入端连接有相机（2）。
2.根据权利要求1所述的一种数据融合对实时高精地图自动标注***及方法，其特征在于：所述激光雷达（1）用于构建高精地图，所述激光雷达（1）通过API接口与转换模块（3）和标注模块（5）实现数据传输，所述激光雷达（1）、转换模块（3）和标注模块（5）并联电性连接。
3.根据权利要求1所述的一种数据融合对实时高精地图自动标注***及方法，其特征在于：所述相机（2）通过API接口与转换模块（3）和检测模块（4）实现数据传输，所述相机（2）、转换模块（3）和检测模块（4）并联电性连接。
4.根据权利要求1所述的一种数据融合对实时高精地图自动标注***及方法，其特征在于：所述标注模块（5）通过API接口与转换模块（3）和检测模块（4）实现数据输入，所述标注模块（5）、转换模块（3）和检测模块（4）并联电性连接。
5.根据权利要求1-4任一项所述的一种数据融合对实时高精地图自动标注方法，其特征在于，所述数据融合对实时高精地图自动标注方法，包括以下步骤：
S1、采集激光雷达数据：通过激光雷达（1）获取物体反射的三维点云，以及采集激光雷达（1）获取的数据，用于构建高精地图；
S2、采集相机数据：通过相机（2）采集道路影像信息，获取图像数据；
S3、检测模块：将图像数据传输至检测模块（4），以及检测模块（4）通过检测算法，如阈值分割、深度学习、颜色提取等提取目标位姿信息，并将数据信息传输至转换模块（3）；
S4、转换模块：将激光雷达（1）数据和图像数据传输至转换模块（3），通过转换模块（3）联合标定获得关系矩阵变换RT，并通过RT矩阵变换，获取目标物高精地图上的对应坐标；
S5、标注模块：将步骤S1、采集激光雷达数据构建的高精地图数据，以及步骤S4、转换模块中的高精地图上的坐标信息导入至标注模块（5），标注模块（5）对地图上对应的目标位置区域进行处理，得到目标的轮廓进行标注；
S6、获取高精地图：获取带标注信息的高精地图数据。
CN202110644734.3A 2021-06-09 2021-06-09 一种数据融合对实时高精地图自动标注***及方法 Pending CN113375682A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110644734.3A CN113375682A (zh) 2021-06-09 2021-06-09 一种数据融合对实时高精地图自动标注***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110644734.3A CN113375682A (zh) 2021-06-09 2021-06-09 一种数据融合对实时高精地图自动标注***及方法

Publications (1)

Publication Number Publication Date
CN113375682A true CN113375682A (zh) 2021-09-10

Family

ID=77573401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110644734.3A Pending CN113375682A (zh) 2021-06-09 2021-06-09 一种数据融合对实时高精地图自动标注***及方法

Country Status (1)

Country Link
CN (1) CN113375682A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104865578A (zh) * 2015-05-12 2015-08-26 上海交通大学 一种室内停车场高精细地图生成装置及方法
CN109556617A (zh) * 2018-11-09 2019-04-02 同济大学 一种自动建图机器人的地图要素提取方法
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
KR20190087338A (ko) * 2019-02-27 2019-07-24 주식회사 스트리스 수치지도 및 도로정밀지도 구축 자동화를 위한 방법
CN111340797A (zh) * 2020-03-10 2020-06-26 山东大学 一种激光雷达与双目相机数据融合检测方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104865578A (zh) * 2015-05-12 2015-08-26 上海交通大学 一种室内停车场高精细地图生成装置及方法
CN109556617A (zh) * 2018-11-09 2019-04-02 同济大学 一种自动建图机器人的地图要素提取方法
KR20190087338A (ko) * 2019-02-27 2019-07-24 주식회사 스트리스 수치지도 및 도로정밀지도 구축 자동화를 위한 방법
CN110018470A (zh) * 2019-03-01 2019-07-16 北京纵目安驰智能科技有限公司 基于多传感器前融合的实例标注方法、模型、终端和存储介质
CN111340797A (zh) * 2020-03-10 2020-06-26 山东大学 一种激光雷达与双目相机数据融合检测方法及***

Similar Documents

Publication Publication Date Title
CN111273305B (zh) 基于全局与局部栅格图多传感器融合道路提取与索引方法
CN108764187B (zh) 提取车道线的方法、装置、设备、存储介质以及采集实体
CN106651953B (zh) 一种基于交通指示牌的车辆位姿估计方法
CN111220993B (zh) 目标场景定位方法、装置、计算机设备和存储介质
CN114413881B (zh) 高精矢量地图的构建方法、装置及存储介质
CN109556617A (zh) 一种自动建图机器人的地图要素提取方法
CN109446973B (zh) 一种基于深度神经网络图像识别的车辆定位方法
CN104123730A (zh) 基于道路特征的遥感影像与激光点云配准方法及***
CN112308913B (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN112419512A (zh) 一种基于语义信息的空中三维模型修复***及方法
CN111323027A (zh) 一种基于激光雷达与环视相机融合制作高精度地图方法及装置
CN112861748A (zh) 一种自动驾驶中的红绿灯检测***及方法
CN114639115A (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
CN112258568A (zh) 一种高精度地图要素的提取方法及装置
CN116895060A (zh) 一种基于场景重建的三维车道线标注方法与装置
CN115031744A (zh) 一种基于稀疏点云-纹理信息的认知地图定位方法及***
CN113219472A (zh) 一种测距***和方法
CN117423077A (zh) Bev感知模型、构建方法、装置、设备、车辆及存储介质
CN113375682A (zh) 一种数据融合对实时高精地图自动标注***及方法
CN112651991A (zh) 视觉定位方法、装置及计算机***
CN110660113A (zh) 特征地图的建立方法、装置、采集设备和存储介质
CN115618602A (zh) 一种车道级场景仿真方法及***
CN112308904B (zh) 一种基于视觉的建图方法、装置及车载终端
Du Lane line detection and vehicle identification using monocular camera based on matlab

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination