CN109887057A - 生成高精度地图的方法和装置 - Google Patents

Abstract

本发明公开了在不依赖RTK(实时动态定位)的情况下生成高精度地图的方法和装置。该方法包括：从相机获取图片数据；从激光雷达获取点云数据；从全球导航卫星***(GNSS)/惯性测量单元(IMU)获取姿态信息；对图片数据进行处理以提取视觉特征信息，根据当前帧提取的视觉特征信息、先前融合的整体姿态信息及先前维护的地图视觉特征信息进行姿态估计以获得相机姿态估计；对点云数据进行处理以获得点云信息，并根据该点云信息与其它信息进行姿态估计以获得雷达姿态估计；将所述姿态信息、相机姿态估计和雷达姿态估计进行融合，以获得更准确稳定的姿态估计结果；根据更准确稳定的姿态估计结果，将所述图片数据和所述点云数据进行融合以构建高精度地图。

Description

生成高精度地图的方法和装置

技术领域

概括地说，本发明涉及自动驾驶领域，具体地说，涉及基于相机、激光雷达和GNSS生成高精度地图和进行定位的方法和装置。

背景技术

随着技术的发展，机器人驾驶交通工具(例如，“UAV”或“无人机、无人车”)自动驾驶技术开始逐渐成为热点。正在开发机器人驾驶交通工具以用于广泛的应用，自动驾驶中关键的一环是要知道车辆在哪里以及要去哪里，高精度地图在其中发挥着重要的作用，如何生成高精度地图是自动驾驶领域的核心问题。

通常的高精度地图方案依赖于具有RTK(Real-Time Kinematic，实时动态定位)的高精度GPS和惯性测量单元(IMU)组合导航***，但其成本过于昂贵，同时在高楼大厦、隧道、地下车库等信号微弱甚至没有信号的环境，或者在车辆急速转弯、抖动、天气恶劣的情况下，误差都会变大到远远无法达到高精度厘米(cm)级别的要求。

机器人驾驶交通工具通常都装备有能够捕获图像、图像序列或视频的相机、能够获得雷达点云数据的雷达装置、以及能够接收和处理导航信号的GNSS接收器。机器人驾驶交通工具可以使用捕获的图像、雷达点云数据以及GNSS信号来生成高精度地图，执行基于视觉的导航和定位，从而为在各种环境中导航机器人驾驶交通工具提供灵活的、可扩展且低成本的解决方案。

发明内容

有鉴于此，本发明公开内容提供了基于相机、激光雷达和GNSS生成高精度地图和进行定位的方法、装置、设备和计算机存储介质，用于实现在各种驾驶场景中获得cm级别的高精度地图，从而提高机器人驾驶交通工具自动驾驶的安全性。

在一个方面，本发明的实施例提供了一种用于生成高精度地图的方法，该方法包括：从相机获取图片数据；从激光雷达获取点云数据；从全球导航卫星***(GNSS)/惯性测量单元(IMU)获取姿态信息；对所述图片数据进行处理以提取视觉特征信息，根据当前帧提取的所述视觉特征信息、先前融合的整体姿态信息以及先前维护的地图视觉特征信息进行姿态估计以获得相机姿态估计；对所述点云数据进行处理以获得点云信息，并根据所述点云信息与其它信息进行姿态估计以获得雷达姿态估计；将所述姿态信息、所述相机姿态估计和所述雷达姿态估计进行融合，以获得更准确稳定的姿态估计结果；根据所述更准确稳定的姿态估计结果，将所述图片数据和所述点云数据进行融合，构建高精度地图。这里的其它信息可以是先前融合的姿态信息和先前保存的点云信息。

在本发明公开内容的一个实施例中，在本地存储之前，对所述图片数据、所述点云数据和所述姿态信息进行预处理。

在本发明公开内容的一个实施例中，所述预处理包括对所述图片数据、所述点云数据和所述姿态信息进行解析、时间同步、以及筛选。

在本发明公开内容的一个实施例中，所述姿态信息包括所述GNSS/IMU提供的加速度、角速度、坐标等等。

在本发明公开内容的一个实施例中，对所述相机获取的所述图片数据进行处理以提取所述视觉特征信息，根据当前帧提取的所述视觉特征信息、先前融合的整体姿态信息以及先前维护的地图视觉特征信息进行姿态估计以获得所述相机姿态估计，包括：利用深度学习相关技术，识别出动态障碍物；对所述动态障碍物进行过滤以获得最终图片数据；对所述最终图片数据进行处理以获取所述视觉特征信息；基于所述视觉特征信息，并利用上一帧维护的图片数据姿态信息来获得对当前相机姿态的粗略估计，然后进行帧帧匹配，初步优化相机姿态；利用先前维护的地图信息进行特征匹配，构建优化方程，再次优化所述相机姿态以获得所述相机姿态估计。

在本发明公开内容的一个实施例中，对所述点云数据进行处理以获得点云信息，并根据所述点云信息与其它信息进行姿态估计以获得雷达姿态估计，包括：利用结构信息提取所述激光雷达点云数据的特征点；根据其它信息的运动数据，利用所述特定点的角度，进行线性插值以计算所述特定点相对于帧开始的时间间隔；利用所述时间间隔进行速度补偿，以获得校正过失真的点云数据；与上一帧的结构特征点进行匹配，利用相邻两帧之间的匹配信息初步优化姿态信息；再利用维护的全局地图，进行特征点匹配来进行优化，以获得更精准的姿态信息。

在本发明公开内容的一个实施例中，将所述姿态信息、所述相机姿态估计和所述雷达姿态估计进行融合，以获得更准确稳定的姿态估计结果，包括：对所述姿态信息、所述相机姿态估计和所述雷达姿态估计进行校准。

在本发明公开内容的一个实施例中，根据所述更准确稳定的姿态估计结果，将所述图片数据和所述点云数据进行融合以构建高精度地图，包括：将所述雷达点云数据投影到规定坐标系；将所述图片数据投影到规定坐标系；基于所述更准确稳定的姿态估计结果，对投影到规定坐标系的所述雷达点云数据和所述图片数据进行融合以构建高精度地图。

在本发明公开内容的一个实施例中，所述规定坐标系是世界坐标系。

在本发明公开内容的一个实施例中，所述校准采用卡尔曼滤波。

在另一个方面，本发明的实施例提供了一种用于生成高精度地图的装置。该装置可以包括获取模块，其用于：从相机获取图片数据；从激光雷达获取点云数据；从GNSS/IMU获取姿态信息。该装置还可以包括预处理模块，其用于对所述图片数据、所述点云数据和所述姿态信息进行预处理以本地存储。该装置还可以包括相机数据处理模块，其用于对所述图片数据进行处理以提取视觉特征信息，根据当前帧提取的所述视觉特征信息、先前融合的整体姿态信息以及先前维护的地图视觉特征信息进行姿态估计以获得相机姿态估计。该装置还可以包括激光雷达数据处理模块，其用于对所述点云数据进行处理以获得点云信息，并根据所述点云信息与其它信息进行姿态估计以获得雷达姿态估计。该装置还可以包括融合模块，其用于将所述姿态信息、所述相机姿态估计和所述雷达姿态估计进行融合，以获得更准确稳定的姿态估计结果。该装置还可以包括建图模块，其用于根据所述更准确稳定的姿态估计结果，将所述图片数据和所述点云数据进行融合，构建高精度地图。这里的其它信息可以是先前融合的姿态信息和先前保存的点云信息。

各个实施例还可以包括具有高精度地图生成装置的机器人驾驶交通工具，该高精度地图生成装置包括收发机、存储器、以及配置有处理器可执行指令以执行上面所概述的方法的操作的处理器。各个实施例包括用于在机器人驾驶交通工具中使用的处理设备，其配置为执行上面所概述的方法的操作。各个实施例包括存储有处理器可执行指令的非临时性处理器可读介质，所述处理器可执行指令被配置为使机器人驾驶交通工具的处理器执行上面所概述的方法的操作。

附图说明

并入本文并且构成本说明书一部分的附图，描绘了示例性实施例，并且连同上面给出的概括描述以及下面给出的详细描述一起来解释各个实施例的特征。

图1示出了适于用来实现本发明实施例的环境或***；

图2是根据本发明实施例，示出用于在机器人驾驶交通工具中使用的高精度地图生成设备的组件的框图；

图3根据本发明实施例，示出了用于说明获取的激光雷达数据的点云失真问题及其解决方案的示意图；

图4根据本发明实施例，示出了用于对获取的经处理的数据进行融合以获得更高精度的姿态信息的方法的示意图；

图5根据本发明实施例，示出了用于利用最终的姿态信息，将雷达点云数据和相机数据投影到统一的坐标系以生成高精度地图的示意图；

图6根据本发明实施例，示出了一种用于生成高精度地图的方法的示意性流程图；以及

图7根据本发明实施例，示出了一种用于生成高精度地图的装置的示意性框图。

在附图中，相同或相似的标号被用来表示相同或相似的元素。

具体实施方式

下面将参照附图更详细地描述本发明公开的优选实施方式。虽然附图中显示了本发明公开内容的优选实施方式，然而应该理解，本发明还可以以其他各种形式实现而不应限制在下面描述的具体的实施方式。在此提供这些具体的实施方式是为了使本发明公开更加透彻和完整，并且能够将本发明公开的范围完整地传达给本领域的技术人员。

本文所使用的“示例性的”一词意味着“用作例子、例证或说明”。本文中描述为“示例性”的任何方面不应被解释为比其它方面更优选或更具优势。

如本文所使用的，术语“机器人驾驶交通工具”和“无人机”、“无人车”指代：包括有被配置为提供一些自主或半自主能力的车载计算设备的各种类型的车辆中的一种。机器人驾驶交通工具的示例包括但不限于：诸如无人驾驶飞行器(UAV)之类的飞行器；地面车辆(例如，自动驾驶汽车或半自动驾驶汽车等等)；水基车辆(即，被配置为在水面上或水下作业的车辆)；天基车辆(例如，航天器或太空探测器)；和/或其某种组合。在一些实施例中，机器人驾驶交通工具可以是有人驾驶的。在其它实施例中，机器人驾驶交通工具可以是无人驾驶的。在一些实现中，机器人驾驶交通工具可以是飞行器(无人驾驶或有人驾驶)，该飞行器可以是旋翼飞行器或有翼飞行器。

各个实施例可以在各种机器人驾驶交通工具中实现，这些机器人驾驶交通工具可以与一个或多个通信网络进行通信，在图1中示出了可以适合于结合各种实施例使用的示例。

参见图1，***或环境1可以包括一个或多个机器人驾驶交通工具10、GNSS 20和通信网络50。虽然在图1中将机器人驾驶交通工具10示出为与通信网络50进行通信，但机器人驾驶交通工具10可以与关于本文所描述的任何方法的任何通信网络进行通信，也可以不与这些通信网络进行通信。

在各个实施例中，机器人驾驶交通工具10可以包括一个或多个相机140，所述一个或多个相机140被配置为获得图像，将图像数据提供给机器人驾驶交通工具10的处理设备110。

在各个实施例中，机器人驾驶交通工具10可以包括一个或多个激光雷达150，所述一个或多个激光雷达150被配置为获得雷达点云数据，将获得的雷达点云数据提供给机器人驾驶交通工具10的处理设备110。

机器人驾驶交通工具10可以使用诸如全球导航卫星***(GNSS)、全球定位***(GPS)等等之类的导航***来导航或确定定位，可以使用GNSS/IMU获得机器人驾驶交通工具的姿态信息。在一些实施例中，机器人驾驶交通工具10可以使用替代的定位信号源(即，不同于GNSS、GPS等等)。

机器人驾驶交通工具10可以包括处理设备110，处理设备110可以被配置为监测和控制机器人驾驶交通工具10的各种功能、子***和/或其它组件。例如，处理设备110可以被配置为监测和控制机器人驾驶交通工具10的各种功能，例如与推进、动力管理、传感器管理、导航、通信、致动、转向、制动和/或车辆操作模式管理相关的模块、软件、指令、电路、硬件。

处理设备110可以容纳用于控制机器人驾驶交通工具10的操作的各种电路和设备。例如，处理设备110可以包括指示机器人驾驶交通工具10的控制的处理器120。处理器120可以包括一个或多个处理器，其被配置为执行处理器可执行指令(例如，应用程序、例程、脚本、指令集等)以控制机器人驾驶交通工具10的操作(其包括本文的各种实施例的操作)。在一些实施例中，处理设备110可以包括耦合到处理器120的存储器122，其被配置为存储数据(例如，图片数据、获得的GNSS/IMU传感器数据、雷达点云数据、接收的消息、应用程序等等)。处理器120和存储器122以及其它元件可以被配置成或者包括片上***(SOC)115。处理设备110可以包括一个以上的SOC 115，从而增加处理器120和处理器核的数量。处理设备110还可以包括不与SOC 115相关联的处理器120。各个处理器120可以是多核处理器。

如本文所使用的术语“片上***”或“SOC”是指一组互连的电子电路，其通常(但不排外地)包括一个或多个处理器(例如，120)、存储器(例如，122)和通信接口。SOC 115可以包括各种不同类型的处理器120和处理器核，比如通用处理器、中央处理单元(CPU)、数字信号处理器(DSP)、图形处理单元(GPU)、加速处理单元(APU)、处理设备的特定组件的子***处理器(例如，用于高精度地图生成装置(如，130)的图像处理器或者用于显示器的显示处理器、辅助处理器、单核处理器和多核处理器)。SOC115还可以包括其它硬件和硬件组合，例如现场可编程门阵列(FPGA)、专用集成电路(ASIC)、其它可编程逻辑器件、离散门逻辑、晶体管逻辑、性能监测硬件、看门狗硬件和时间基准。可以对集成电路进行配置，使得集成电路的组件驻留在单片半导体材料(例如，硅)上。

处理设备110还可以包括或连接到一个或多个传感器136，处理器120可以使用所述一个或多个传感器136来确定与车辆操作相关联的信息和/或与机器人驾驶交通工具10相对应的外部环境相关联的信息，以控制机器人驾驶交通工具10上的各种处理。这种传感器136的示例包括加速度计、陀螺仪和电子指南针，它们被配置为向处理器120提供关于机器人驾驶交通工具10的方向和运动的变化的数据。例如，在一些实施例中，处理器120可以使用来自传感器136的数据作为输入，以用于确定或预测机器人驾驶交通工具10的运动数据。可以通过各种电路(例如，总线或其它类似电路)，将处理设备110和/或SOC 115内的各种组件耦合在一起。

处理设备110还可以包括高精度地图生成装置130，后者可以对从相机140获得的图片数据、从激光雷达150获得的点云数据和从GNSS/IMU获得的姿态信息进行预处理以本地存储，对本地存储的图片数据进行处理以提取视觉特征信息，根据当前帧提取的视觉特征信息、先前融合的整体姿态信息以及先前维护的地图视觉特征信息进行姿态估计以获得相机姿态估计，对本地存储的点云数据进行处理以获得点云信息，然后根据该点云信息与其它信息进行姿态估计以获得雷达姿态估计。这里的其它信息可以是先前融合的姿态信息和先前保存的点云信息。高精度地图生成装置130还可以将所获得的姿态信息、相机姿态估计和雷达姿态估计进行融合，以获得更准确稳定的姿态估计结果，基于该更准确稳定的姿态估计结果，将图片数据和点云数据进行融合以构建高精度地图。

虽然将处理设备110的各个组件示出成单独的组件，但是可以将一些或所有的组件(例如，处理器120、存储器122和其它单元)一起集成在单个设备或模块(例如，片上***模块)中。

各个实施例可以在机器人驾驶交通工具的高精度地图生成设备200中实现，在图2中示出了其一个示例。参见图1-2，适用于各种实施例的高精度地图生成设备200可以包括相机140、处理器208、存储器210、激光雷达元件212和地图生成单元214。此外，高精度地图生成设备200可以包括惯性测量单元(IMU)216和环境检测***218。

相机140可以包括至少一个图像传感器204和至少一个光学***206(例如，一个或多个透镜)。相机140可以获得一个或多个数字图像(本文有时称为图像帧)。相机140可以包括单个单目相机、立体相机和/或全向相机。在一些实施例中，相机140可以与高精度地图生成设备200物理地分离，例如位于机器人驾驶交通工具的外部并且经由数据线缆(没有示出)连接到处理器208。在一些实施例中，相机140可以包括另一个处理器(没有示出)，其可以配置有处理器可执行指令以执行各种实施例方法的操作中的一个或多个操作。

在一些实施例中，可以在相机140内实现存储器210或者诸如图像缓冲器(没有示出)之类的另一种存储器。例如，相机140可以包括被配置为在对来自图像传感器204的图像数据进行处理(例如，由处理器208进行处理)之前，对该数据进行缓存(即，临时地存储)。在一些实施例中，高精度地图生成设备200可以包括图像数据缓冲器，其被配置为对来自相机140的图像数据进行缓存(即，临时地存储)。这样的缓存图像数据可以提供给处理器208，或者可以由处理器208或者被配置为执行各种实施例中的一些或全部操作的其它处理器访问。

激光雷达元件212可以被配置为捕获一个或多个激光雷达点云数据。可以将捕获的一个或多个激光雷达点云数据存储在存储器210中。

高精度地图生成设备200可以包括：被配置为测量机器人驾驶交通工具10的各种参数的惯性测量单元216(IMU)。IMU 216可以包括陀螺仪、加速度计和磁力计中的一个或多个。IMU 216可以被配置为检测与机器人驾驶交通工具10相关联的俯仰、滚转和偏航轴的变化。IMU 216输出测量值可以用于确定机器人驾驶交通工具的高度、角速率、线速度和/或位置。

在一些实施例中，地图生成单元214可以被配置为使用从相机140捕获的图像中提取的信息、从激光雷达元件212捕获的一个或多个激光雷达点云数据及从IMU 216获得的姿态信息，来生成高精度地图，确定用于在环境内进行导航的各种参数，以便在机器人驾驶交通工具10的环境内进行导航。

另外，高精度地图生成设备200可选地包括环境检测***218。环境检测***218可以被配置为检测与机器人驾驶交通工具10周围的环境相关联的各种参数。环境检测***218可以包括环境光检测器、热成像***、超声检测器、雷达***、超声***、压电传感器、麦克风等等中的一个或多个。在一些实施例中，环境检测***218检测到的参数可以用于检测环境亮度水平，检测环境内的各种对象，识别每个对象的位置，识别对象材料等等。在一些实施例中，可以基于环境检测***218输出的测量值来进行姿态估计。

在各个实施例中，可以对相机140的一个或多个相机捕获的图像、IMU216获得的测量值、从激光雷达元件212捕获的一个或多个激光雷达点云数据和/或环境检测***218获得的测量值中的一个或多个加时间戳。地图生成单元214可以使用这些时间戳信息来从相机140捕获的一个或多个图像和/或从激光雷达元件212捕获的一个或多个激光雷达点云数据中提取信息和/或在机器人驾驶交通工具10的环境中进行导航。

处理器208可以耦合到相机140、一个或多个图像传感器204、一个或多个光学***206、存储器210、激光雷达元件212、地图生成单元214和IMU 216、以及可选的环境检测***218(例如，与它们进行通信)。处理器208可以是通用单芯片或多芯片微处理器(例如，ARM处理器)，特殊用途微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列等等。处理器208可以称为中央处理单元(CPU)。虽然在图2中示出了单个处理器208，但高精度地图生成设备200可以包括多个处理器(例如，多核处理器)或者不同类型的处理器(例如，ARM和DSP)的组合。

处理器208可以被配置为实现各个实施例的方法以生成高精度地图和/或在环境中导航机器人驾驶交通工具10。

存储器210可以存储数据(例如，图像数据、雷达点云数据、GNSS/IMU测量值、时间戳、与地图生成单元214相关联的数据等等)、以及可以由处理器208执行的指令。在各种实施例中，可以存储在存储器210中的指令和/或数据的示例可以包括图像数据、陀螺仪测量数据、雷达点云数据、相机自动校准指令等等。存储器210可以是能够存储电子信息的任何电子组件，其包括例如随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储介质、光存储介质、RAM中的闪存设备、处理器附带的板载存储器、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器等等(包括其组合)。

当然，本领域普通技术人员应当理解，该高精度地图生成设备200例如可以是服务器或者计算机，也可以是智能终端，例如电子锁、智能手机、智能平板等，本发明并不受此限制。

下面将具体描述本发明实施例的机制和原理。除非特别声明，在下文和权利要求中使用的术语“基于”表示“至少部分地基于”。术语“包括”表示开放性包括，即“包括但不限于”。术语“多个”表示“两个或更多”。术语“一个实施例”表示“至少一个实施例”。术语“另一实施例”表示“至少一个另外的实施例”。其他术语的定义将在下文描述中给出。

图3根据本发明实施例，示出了用于说明获取的激光雷达数据的点云失真问题及其解决方案的示意图。

激光雷达根据反射时间差，得到点云在激光雷达坐标系下的距离，对点云进行常规的预处理，比较重要的是解决点云的失真问题。

雷达本身的运动会导致得到的点云失真。如果雷达的帧率与外部运动相比很快，一次扫描中运动造成的点云失真问题影响不大，而如果扫描速率比较慢，尤其是一个2轴的雷达，其中一个轴的明显慢于另外一个轴，失真问题就会非常明显。通常使用其他传感器来得到速度进行补偿。

点云失真的问题可以通过图3来解释，激光通过一个旋转面来达到360度的旋转。在激光雷达坐标系下，物体距离为激光发射与收到的时间间隔乘以光速，但由于载体的前行，导致在激光发射与收到的2个时间上，激光雷达不在相同的位置，导致得到的距离是不正确的，故造成了点云的失真。

在已经得到了雷达坐标系下的运动数据(由其他传感器计算得到)的情况下，可以对点云进行校准。首先，需要计算出该点的相对于当前帧开始扫描的时间间隔，再根据时间间隔更新结果。根据激光雷达匀角速度旋转的特性，利用点云得到当前点的角度，进行线性插值得到点云相对与帧开始的时间间隔。如下公式所示，其中T为扫描一次所需的时间，Δt为点云相对帧开始的时间间隔。

根据该时间间隔Δt进行速度补偿，以获得校正过失真的点云数据。接着，利用结构信息提取激光雷达点云数据的特征点，与上一帧的结构特征点进行匹配，利用相邻两帧之间的匹配信息初步优化姿态信息，然后再利用先前维护的全局地图，进行特征点匹配来进行优化，以获得更精准的姿态信息。

而对于相机图片数据的姿态估计，利用深度学习相关技术，识别出动态障碍物，对动态障碍物进行过滤以获得最终图片数据，接着对最终图片数据进行处理以提取视觉特征信息。基于该视觉特征信息，并利用上一帧维护的图片数据姿态信息来获得对当前相机姿态的粗略估计，然后进行帧帧匹配，初步优化相机姿态，最后利用先前维护的地图信息进行特征匹配，构建优化方程，再次优化相机姿态以获得相机姿态估计。

图4根据本发明实施例，示出了用于对获取的经处理的数据进行融合以获得更高精度的姿态信息的方法的示意图。

如图4中所示，利用相机、雷达、GPS/IMU处理好后的数据，进行处理计算，融合最终结果，得到更高精度、鲁棒性更好的姿态信息。

根据相机数据处理模块提供的图片，利用SLAM相关技术，构建运动模型求解初步姿态，接着做BA，进一步优化姿态，优化目标是让投影误差最小，投影误差为根据已经计算求得的姿态，将共同观测点投影到对应帧上，计算匹配的点的相对距离。然后进行匹配，以恢复出对应的姿态。同时根据其他传感器提供的数据对结果进行校准。之所以要进行校准，是因为多传感器的帧率和处理计算时间不同，每得到一个姿态数据都需要单独和最终姿态结果进行融合。

由于激光雷达有一定程度的下仰角，而当载体运动在开阔的马路上时，得到的一部分点云将是地面的点云，如果直接进行姿态估计，则会有很多的地面点云。影响最后的精度，所以需要识别出地面点云，消除它产生的影响。同时我们采用相关机器学习的技术，识别出属于动态障碍物的点云，将其过滤。我们利用激光雷达提供的点云信息，使用激光SLAM相关技术，进行匹配，构建优化方程，进行优化，求解出姿态。同时根据其他传感器提供的数据对结果进行校准。这是因为多传感器的帧率和处理计算时间不同，每得到一个姿态数据都需要单独和最终姿态结果进行融合。

最终将GPS/IMU、相机、雷达多传感器的结果进行融合，得到一个更加准确、鲁棒性更高的姿态估计结果。

坐标系定义

定义相机坐标系，雷达坐标系，相机坐标系是以相机光学中心为原点，雷达坐标系是一雷达的发射中心为原点。定义一个点的坐标X＝(x,y,z),定义姿态R为3*3的选择矩阵，T为3*1的平移向量。假设当前相机帧(定义为第i帧)针对于相机起始帧(第0帧)的姿态为P，则当前相机相对于相机起始帧旋转R,平移T。定义P即描述了当前相机的位置，同时对于任何一个当前相机帧的点X_i＝(x_i,y_i,z_i)，都由如下等式：

X₀＝RX_i+T

其中，X₀为X_i对应在初始帧坐标系下的点。显而易见，姿态具有传递性：

P_a→c＝P_a→bP_b→c

P_a→c为第c帧相对于第a帧的姿态变化，P_a→b为第b帧相对于第a帧的姿态变化，P_a→c为第c帧相对于第b帧的姿态变化。

坐标系转换统一

为了多传感的融合，需要将不同传感器在其坐标系下求出的结果统一。以相机传感器和雷达传感器的统一为例。视觉里程计输出的P_camera-i是当前相机帧(定义为第i帧)针对于相机起始帧(第0帧)的姿态，我们需要得到的是P_liadar-i是当前雷达帧(定义为第i帧)针对于雷达起始帧(第0帧)的姿态。同时根据标定，知道相机到雷达的标定关系，定义为P_calib，P_calib将雷达坐标系的点转移到相机坐标系。对于任何一个当前雷达帧(定义为第i帧)的点X_lidar-i左乘于P_calib可以得到相机帧中对应的坐标。即P_calib表示当前相机到雷达的姿态变化。

如图5所示，相机起始帧到雷达第i帧有2个路径，分别是相机起始帧到雷达起始帧再到雷达第i帧和从相机起始帧到相机第i帧再到雷达第i帧。因此可以得到等式

P_camera-iP_calib＝P_calibP_liadar-i

可以得到

得到雷达第i帧相对于雷达起始帧的姿态后，已知第i帧的时间戳，便可利用相邻2帧的数据和时间，得到雷达第i帧时在雷达起始帧坐标系下的速度等IMU数据。

图6示出了根据本发明的一个示例性实施例的用于生成高精度地图的方法600的示意性流程图。方法600可以由参照图1所描述的高精度地图生成装置130、参照图2所描述的高精度地图生成设备200来执行。下面结合图6详细描述方法600中包括的各步骤。

方法600始于步骤602，从相机获取图片数据。本领域普通技术人员可以理解，这里获取图片数据例如可以是获取采集的图片数据，也可以是获取经过处理后的采集的图片数据，或其它方式。本发明并不受此限制。

在步骤604，从激光雷达获取点云数据。

在步骤606，从GNSS/IMU获取姿态信息。在一个方面，该姿态信息包括GNSS/IMU提供的加速度、角速度、坐标等等。

在步骤608，对获得的图片数据进行处理以提取视觉特征信息，先前融合的整体姿态信息以及先前维护的地图视觉特征信息进行姿态估计以获得相机姿态估计。

在一个方面，在本地存储之前，对获取的图片数据，点云数据和姿态信息进行预处理。在一个方面，该预处理操作可以包括：对图片数据、点云数据和姿态信息进行解析、时间同步、以及筛选。

在一个方面，对相机获取的图片数据进行处理以提取视觉特征信息，先前融合的整体姿态信息以及先前维护的地图视觉特征信息进行姿态估计以获得相机姿态估计，包括：利用深度学习相关技术，识别出动态障碍物；对动态障碍物进行过滤以获得最终图片数据；对最终图片数据进行处理以提取视觉特征信息；基于该视觉特征信息，并利用上一帧维护的图片数据姿态信息来获得对当前相机姿态的粗略估计，然后进行帧帧匹配，初步优化相机姿态；最后利用先前维护的地图信息进行特征匹配，构建优化方程，再次优化所述相机姿态以获得相机姿态估计。

在步骤610，对获得的点云数据进行处理以获得点云信息，并根据该点云信息与其它信息进行姿态估计以获得雷达姿态估计。这里的其它信息可以是先前融合的姿态信息和先前保存的点云信息。在一个方面，对获得的点云数据进行处理以获得点云信息，并根据该点云信息与其它信息进行姿态估计以获得雷达姿态估计，包括：利用结构信息提取激光雷达点云数据的特征点；根据其它信息的运动数据，利用该特定点的角度，进行线性插值以计算特定点相对于帧开始的时间间隔；利用该时间间隔进行速度补偿，以获得校正过失真的点云数据；与上一帧的结构特征点进行匹配，利用相邻两帧之间的匹配信息初步优化姿态信息；再利用维护的全局地图，进行特征点匹配来进行优化，以获得更精准的姿态信息。

在步骤612，将姿态信息、相机姿态估计和雷达姿态估计进行融合，以获得更准确稳定的姿态估计结果。在一个方面，将姿态信息、相机姿态估计和雷达姿态估计进行融合，以获得更准确稳定的姿态估计结果，包括：对姿态信息、相机姿态估计和雷达姿态估计进行校准。这是因为多传感器的帧率和处理计算时间不同，每得到一个姿态数据都需要单独和最终姿态结果进行融合。在一个方面，该校准采用卡尔曼滤波。

在步骤614，根据更准确稳定的姿态估计结果，将图片数据和点云数据进行融合，构建高精度地图。在一个方面，根据更准确稳定的姿态估计结果，将图片数据和点云数据进行融合，构建高精度地图，包括：将雷达点云数据投影到规定坐标系；将图片数据投影到规定坐标系；基于所获得的更准确稳定的姿态估计结果，对投影到规定坐标系的所述雷达点云数据和所述图片数据进行融合以构建高精度地图。在一个方面，该规定坐标系可以是世界坐标系。

图7根据本发明实施例，提供一种用于生成高精度地图的装置700的示意性框图。

该装置700包括：获取模块702，其被配置为从相机获取图片数据，从激光雷达获取点云数据，从GNSS/IMU获取姿态信息。在可选的方面，该装置700还可以包括预处理模块704，其被配置为对图片数据、点云数据和姿态信息进行预处理以本地存储。该装置700还可以包括相机数据处理模块706，其被配置为对本地存储的图片数据进行处理以提取视觉特征信息，根据当前帧提取的视觉特征信息、先前融合的整体姿态信息以及先前维护的地图视觉特征信息进行姿态估计以获得相机姿态估计。该装置700还可以包括激光雷达数据处理模块708，其被配置为对本地存储的点云数据进行处理以获得点云信息，并根据该点云信息与其它信息进行姿态估计以获得雷达姿态估计。该装置700还可以包括融合模块710，其被配置为将所述姿态信息、相机姿态估计和雷达姿态估计进行融合，以获得更准确稳定的姿态估计结果。这里的其它信息可以是先前融合的姿态信息和先前保存的点云信息。该装置700还可以包括建图模块712，其被配置为根据所获得的更准确稳定的姿态估计结果，将图片数据和点云数据进行融合来构建高精度地图。

本实施例提供的装置700的具体实现可以参照相应的方法实施例，在此不再赘述。

为清晰起见，图7中没有示出装置700所包括的所有可选单元或者子单元，并使用虚线来示出了可选的模块。上述方法实施例以及通过参考和结合能够得到的实施例所描述的所有特征和操作分别适用于装置700，故在此不再赘述。

本领域技术人员可以理解，装置700中单元或子单元的划分不是限制性的而是示例性的，而是为了更方便本领域技术人员理解，从逻辑上描述其主要功能或操作。在装置700中，一个单元的功能可以由多个单元来实现；反之，多个单元也可由一个单元来实现。本发明并不对此加以限制。

同样的，本领域技术人员可以理解，可以采用各种方式来实现装置700所包含的单元，其包括但不限于软件、硬件、固件或其任意组合，本发明并不对此加以限制。

本发明可以是***、方法、计算机可读的存储介质和/或计算机程序产品。计算机可读存储介质例如可以是能够保持和存储由指令执行设备使用的指令的有形设备。

计算机可读/可执行的程序指令可以从计算机可读存储介质下载到各个计算/处理设备，也可以通过各种通信方式下载到外部计算机或外部存储设备。本发明并不具体限制用于实现计算机可读/可执行的程序指令的具体编程语言或者指令。

这里参照根据本发明实施例的方法、装置(***)的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读/可执行的程序指令实现。

上述的方法描述和处理流程图仅仅是用作为说明性例子，而不是旨在要求或者隐含着必须以所给出的顺序来执行各个实施例的操作。如本领域普通技术人员所应当理解的，可以以任何顺序来执行上述的实施例中的操作顺序。

结合本文所公开的实施例描述的各种示例性的逻辑框、模块、电路和算法操作均可以实现成电子硬件、计算机软件或二者的组合。为了清楚地表示硬件和软件之间的这种可交换性，上面对各种示例性的部件、框、模块、电路和操作均围绕其功能进行了总体描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个***所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实施例决策不应解释为背离本发明的保护范围。

用于执行本文所述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件部件或者其任意组合，可以用来实现或执行结合本文所公开的方面描述的用于实现各种示例性的逻辑、逻辑框、模块和电路的硬件。通用处理器可以是多处理器，或者，该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以实现为接收器智能对象的组合，例如，DSP和微处理器的组合、若干微处理器、一个或多个微处理器与DSP内核的结合，或者任何其它此种结构。替代地，一些操作或方法可以由特定于给定的功能的电路来执行。

为使本领域任何普通技术人员能够实现或者使用本发明，上面围绕所公开的实施例进行了描述。对于本领域普通技术人员来说，对这些实施例的各种修改是显而易见的，并且，本文定义的总体原理也可以在不脱离本发明的精神或保护范围的基础上应用于其它实施例。因此，本发明公开内容并不限于本文所示出的实施例，而是与所附权利要求书和本文公开的原理和新颖性特征的最广范围相一致。

Claims (10)

1.一种用于生成高精度地图的方法，所述方法包括：

从相机获取图片数据；

从激光雷达获取点云数据；

从全球导航卫星***GNSS/惯性测量单元IMU获取姿态信息；

对所述图片数据进行处理以提取视觉特征信息，根据当前帧提取的所述视觉特征信息、先前融合的整体姿态信息以及先前维护的地图视觉特征信息进行姿态估计以获得相机姿态估计；

对所述点云数据进行处理以获得点云信息，并根据所述点云信息与其它信息进行姿态估计以获得雷达姿态估计；

将所述姿态信息、所述相机姿态估计和所述雷达姿态估计进行融合，以获得更准确稳定的姿态估计结果；

根据所述更准确稳定的姿态估计结果，将所述图片数据和所述点云数据进行融合，构建高精度地图。

2.根据权利要求1所述的方法，还包括：

在本地存储之前，对所述图片数据、所述点云数据和所述姿态信息进行预处理。

3.根据权利要求2所述的方法，其中，所述预处理包括对所述图片数据、所述点云数据和所述姿态信息进行解析、时间同步、以及筛选。

4.根据权利要求1所述的方法，其中，对所述相机获取的所述图片数据进行处理以提取所述视觉特征信息，根据当前帧提取的所述视觉特征信息、先前融合的整体姿态信息以及先前维护的地图视觉特征信息进行姿态估计以获得所述相机姿态估计，包括：

利用深度学习相关技术，识别出动态障碍物；

对所述动态障碍物进行过滤以获得最终图片数据；

对所述最终图片数据进行处理以获取所述视觉特征信息；

基于所述视觉特征信息，并利用上一帧维护的图片数据姿态信息来获得对当前相机姿态的粗略估计，然后进行帧帧匹配，初步优化相机姿态；

利用先前维护的地图信息进行特征匹配，构建优化方程，再次优化所述相机姿态以获得所述相机姿态估计。

5.根据权利要求1所述的方法，其中，对所述点云数据进行处理以获得点云信息，并根据所述点云信息与其它信息进行姿态估计以获得雷达姿态估计，包括：

利用结构信息提取所述激光雷达点云数据的特征点；

根据其它信息的运动数据，利用所述特定点的角度，进行线性插值以计算所述特定点相对于帧开始的时间间隔；

利用所述时间间隔进行速度补偿，以获得校正过失真的点云数据；

与上一帧的结构特征点进行匹配，利用相邻两帧之间的匹配信息初步优化姿态信息；

再利用维护的全局地图，进行特征点匹配来进行优化，以获得更精准的姿态信息。

6.根据权利要求1所述的方法，其中，将所述姿态信息、所述相机姿态估计和所述雷达姿态估计进行融合，以获得更准确稳定的姿态估计结果，包括：

对所述姿态信息、所述相机姿态估计和所述雷达姿态估计进行校准。

7.根据权利要求6所述的方法，其中，所述校准采用卡尔曼滤波。

8.根据权利要求1所述的方法，其中，根据所述更准确稳定的姿态估计结果，将所述图片数据和所述点云数据进行融合以构建高精度地图，包括：

将所述雷达点云数据投影到规定坐标系；

将所述图片数据投影到规定坐标系；

基于所述更准确稳定的姿态估计结果，对投影到规定坐标系的所述雷达点云数据和所述图片数据进行融合以构建高精度地图。

9.一种用于生成高精度地图的装置，用于执行权利要求1至8中任一项的方法。

10.一种用于生成高精度地图的计算机可读存储介质，所述计算机可读存储介质上存储有至少一个可执行的计算机程序指令，所述计算机程序指令包括用于执行权利要求1至8中任一项的方法的各步骤的计算机程序指令。