CN110168559A - 用于识别和定位车辆周围物体的***和方法 - Google Patents

Abstract

提供了用于识别和定位车辆周围的一个或以上物体的***和方法。该方法可以包括获得检测基站周围的第一激光雷达(LiDAR)点云图像。该方法还可以包括识别第一激光雷达点云图像中的一个或以上物体，以及确定第一激光雷达点云图像中的一个或以上物体的一个或以上位置。该方法还可以包括为一个或以上物体中的每一个生成三维形状；以及基于一个或以上物体的位置和三维形状标记第一激光雷达点云图像中的一个或以上物体来生成第二激光雷达点云图像。

Description

用于识别和定位车辆周围物体的***和方法

技术领域

本申请涉及物体识别，尤其涉及用于在自动驾驶期间识别和定位车辆周围的物体的方法和***。

背景技术

近年来，自主驾驶技术正在迅速发展。使用自动驾驶技术的车辆可以自动感测环境并导航。一些自动驾驶车辆仍然需要人的输入并且仅能作为驾驶辅助工具。一些自动驾驶车辆完全靠自己驾驶。然而，正确识别和定位车辆周围物体的能力对于任何类型的自动驾驶车辆都是重要的。传统方法可以包括将照相机安装在车辆上并分析由照相机捕获的图像中的物体。然而，照相机图像通常是二维(2D)的，因此不能容易地获得物体的深度信息。可以采用雷达(Radar)和激光雷达(LiDAR)装置来获得车辆周围的三维(3D)图像，但是图像中的物体通常混有噪声并且难以识别和定位。此外，人们难以理解雷达和激光雷达设备生成的图像。

发明内容

在本申请的一个方面，提供了一种用于驾驶辅助的***。该***可以包括控制单元，该控制单元包括一个或以上存储介质，该存储介质包括用于识别和定位车辆周围的一个或以上物体的一组指令，以及电子连接到一个或以上存储介质的一个或以上微型芯片。在***操作期间，一个或以上微型芯片可以执行该指令以获得检测基站周围的第一激光雷达(LiDAR)点云图像；所述一个或以上微型芯片还可以执行该指令以识别第一激光雷达点云图像中的一个或以上物体，以及确定第一激光雷达点云图像中的一个或以上物体的一个或以上位置。所述一个或以上微型芯片还可以执行该指令，以为所述一个或以上物体中的每一个生成三维形状，以及基于一个或以上物体的位置和三维形状标记所述第一激光雷达点云图像中的所述一个或以上物体来生成第二激光雷达点云图像。

在一些实施例中，该***还可以包括至少一个与控制单元通信的激光雷达设备用于将激光雷达点云图像发送到控制单元、至少一个与控制单元通信的照相机用于将照相机图像发送到控制单元、以及与控制单元通信的至少一个雷达设备用于将雷达图像发送到控制单元。

在一些实施例中，基站可以是车辆，并且***还可以包括安装在车辆方向盘、引擎盖或反光镜上的至少一个激光雷达设备，其中至少一个激光雷达设备的安装可以包括粘合剂粘合、螺栓和螺母连接、卡口配件或真空固定中的至少一种。

在一些实施例中，所述一个或以上微型芯片还可以获得包括一个或以上物体中的至少一个的第一照相机图像，识别第一照相机图像中的一个或以上物体的至少一个目标物体和第一照相机图像中的至少一个目标物体的至少一个目标位置，以及基于第一照相机图像中的至少一个目标位置和激光雷达点云图像中的至少一个目标物体的三维形状标记第一照相机图像中的至少一个目标物体生成第二照相机图像。

在一些实施例中，标记第一照相机图像中的至少一个目标物体时，一个或以上微型芯片还可以获得第一照相机图像中至少一个目标物体的二维形状、将激光雷达点云图像与第一照相机图像相关联、基于所述至少一个目标物体的二维形状以及所述激光雷达点云图像与所述第一照相机图像之间的相关性生成所述第一照相机图像中所述至少一个目标物体的三维形状、以及基于第一照相机图像中的识别位置和第一照相机中的至少一个目标物体的三维形状标记第一照相机图像中的至少一个目标物体来生成第二照相机图像。

在一些实施例中，为了识别第一照相机图像中的至少一个目标物体和第一照相机图像中的至少一个目标物体的位置，一个或以上微型芯片可以操作you only look once(YOLO)网络或小型YOLO(tiny you look only once,tiny-YOLO)网络来识别第一照相机图像中的至少一个目标物体以及第一照相机图像中的至少一个目标物体的位置。

在一些实施例中，为了识别第一激光雷达点云图像中的一个或以上物体，所述一个或以上微型芯片还可以获得第一激光雷达点云图像中包括不感兴趣的点和剩余点的至少两个点的坐标、根据坐标从至少两个点移除不感兴趣的点、基于点云聚类算法将剩余点分成一个或以上聚类、以及选择一个或以上聚类中的至少一个作为目标聚类，每个目标聚类对应一个物体。

在一些实施例中，为了为一个或以上物体中的每一个产生三维形状，一个或以上微型芯片可以进一步确定物体的初步三维形状，调整初步三维形状的高度、宽度、长度、偏航或方向中的至少一个以生成三维形状建议，计算三维形状建议的得分，并确定三维形状建议的得分是否满足预设条件。响应于确定三维形状建议的得分不满足预设条件，一个或以上微型芯片可进一步调整三维形状建议。响应于确定三维形状建议或进一步调整的三维形状建议的得分满足预设条件，一个或以上微型芯片可确定三维形状建议或进一步调整三维形状建议为该物体的三维形状。

在一些实施例中，三维形状建议的得分是基于三维形状建议内的第一激光雷达点云图像的多个点、三维形状建议外的第一激光雷达点云图像的多个点、或点与三维形状之间的距离中的至少一个来计算的。

在一些实施例中，所述一个或以上微型芯片还可以获得检测基站周围的第一雷达(Radar)图像、识别第一雷达图像中的一个或以上物体、确定第一雷达图像中的一个或以上物体的一个或以上位置、为第一雷达图像中的一个或以上物体中的每一个生成三维形状、基于第一雷达图像中的一个或以上物体的位置和三维形状标记第一雷达图像中的一个或以上物体来生成第二雷达图像、以及融合第二雷达图像和第二激光雷达点云图像以生成补偿图像。

在一些实施例中，所述一个或以上的微型芯片还可以获得基站周围的两个不同时间帧的两个第一激光雷达点云图像、基于两个第一激光雷达点云图像生成两个不同时间帧的两个第二激光雷达点云图像、以及基于两个第二激光雷达点云图像通过内插法生成第三时间帧的第三激光雷达点云图像。

在一些实施例中，所述一个或以上的微型芯片还可以获得基站周围的至少两个不同时间帧的至少两个第一激光雷达点云图像；基于至少两个第一激光雷达点云图像生成至少两个不同时间帧的至少两个第二激光雷达点云图像；以及基于至少两个第二激光雷达点云图像生成视频。

根据本申请的另一个方面，提供了一个方法。该方法可以在具有一个或以上存储介质的计算设备上实现，该一个或以上存储介质存储用于识别和定位车辆周围的一个或以上物体的指令，以及一个或以上微型芯片电子连接到该一个或以上存储介质。该方法可以包括获得检测基站周围的第一激光雷达(LiDAR)点云图像。该方法还可以包括识别第一激光雷达点云图像中的一个或以上物体，以及确定第一激光雷达点云图像中的一个或以上物体的一个或以上位置。该方法还可以包括为一个或以上物体中的每一个生成三维形状，基于一个或以上物体的位置和三维形状标记所述第一激光雷达点云图像中的所述一个或以上物体来生成第二激光雷达点云图像。

在本申请的另一方面，提供了一种非暂时性计算机可读介质。非暂时性计算机可读介质可包括用于识别和定位车辆周围的一个或以上物体的至少一组指令。当由电子终端的微型芯片执行时，所述至少一组指令可以指示微型芯片执行获得检测基站周围的第一激光雷达(LiDAR)点云图像的动作。所述至少一组指令还可以指示微型芯片执行识别第一激光雷达点云图像中的一个或以上物体，以及确定第一激光雷达点云图像中的一个或以上物体的一个或以上位置的动作。所述至少一组指令可以进一步指导微型芯片执行为所述一个或以上物体中的每一个生成三维形状，以及基于一个或以上物体的位置和三维形状标记所述第一激光雷达点云图像中的所述一个或以上物体来生成第二激光雷达点云图像的动作。

本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。

附图说明

本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。附图未按比例绘制。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：

图1是根据本申请的一些实施例所示的自动驾驶车辆的示例性场景的示意图；

图2是根据本申请的一些实施例所示的具有自主驾驶能力的示例性车辆的框图；

图3是示出计算设备300的示例性硬件组件的示意图；

图4是根据本申请的一些实施例所示的示例性传感模块的框图；

图5是根据本申请的一些实施例所示的用于生成标记有物体三维形状的激光雷达点云图像的示例性过程的流程图；

图6A-6C是根据本申请的一些实施例所示的生成和标记激光雷达点云图像中物体的三维形状的一系列示意图；

图7是根据本申请的一些实施例所示的用于生成标记的照相机图像的示例性过程的流程图；

图8是根据本申请的一些实施例所示的用于生成照相机图像中一个或以上物体的三维形状的二维表示的示例性过程的流程图；

图9A和9B是根据本申请的一些实施例所示的汽车的相同二维照相机图像的示意图；

图10是根据本申请的一些实施例所示的YOLO网络的示意图；

图11是根据本申请的一些实施例所示的用于识别激光雷达点云图像中的物体的示例性过程的流程图；

图12A-12E是根据本申请的一些实施例所示的识别激光雷达点云图像中的物体的一系列示意图；

图13是根据本申请的一些实施例所示的用于生成激光雷达点云图像中物体的三维形状的示例性过程的流程图；

图14A-14D是根据本申请的一些实施例所示的生成激光雷达点云图像中物体的三维形状的一系列示意图；

图15是根据本申请的一些实施例所示的用于生成补偿图像的示例性过程的流程图；

图16是根据本申请的一些实施例所示的同步照相机、激光雷达设备和/或雷达设备的示意图；

图17是根据本申请的一些实施例所示的用于基于现有激光雷达点云图像生成激光雷达点云图像或视频的示例性过程的流程图；以及

图18是根据本申请的一些实施例所示的验证和内插图像帧的示意图。

具体实施方式

以下描述是为了使本领域的普通技术人员能够实施和利用本申请，并且该描述是在特定的应用场景及其要求的环境下提供的。对于本领域的普通技术人员来讲，显然可以对所公开的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本申请并不限于所描述的实施例，而应该被给予与权利要求一致的最广泛的范围。

本申请中所使用的术语仅用于描述特定的示例性实施例，并不限制本申请的范围。如本申请使用的单数形式“一”、“一个”及“该”可以同样包括复数形式，除非上下文明确提示例外情形。还应当理解，如在本申请说明书中，术语“包括”、“包含”仅提示存在所述特征、整体、步骤、操作、组件和/或部件，但并不排除存在或添加一个或以上其他特征、整体、步骤、操作、组件、部件和/或其组合的情况。

在本申请中，术语“自动驾驶车辆”可以指在没有人(例如，司机、飞行员等)输入的情况下能够感测其环境并且导航的车辆。术语“自动驾驶车辆”和“车辆”可互换使用。术语“自动驾驶”可以指在没有人(例如，司机、飞行员等)输入的情况下导航的能力。

根据以下对附图的描述，本申请的这些和其他的特征、特点以及相关结构元件的功能和操作方法，以及部件组合和制造经济性，可以变得更加显而易见，这些附图都构成本申请说明书的一部分。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当理解的是，附图并不是按比例绘制的。

本申请中使用了流程图用来说明根据本申请的一些实施例的***所执行的操作。应当理解的是，流程图中的操作可以不按顺序执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将一个或以上其他操作添加到这些流程图中。也可以从流程图中删除一个或以上操作。

本申请中使用的定位技术可以基于全球定位***(GPS)、全球导航卫星***(GLONASS)、罗盘导航***(COMPASS)、伽利略定位***、准天顶卫星***(QZSS)、无线保真(WiFi)定位技术等或其任意组合。上述定位技术中的一种或以上可以在本申请中互换使用。

此外，尽管本申请中披露的***和方法主要涉及用于识别和定位车辆周围的物体的驾驶辅助设备，但是应该理解，这仅是一个示例性实施例。本申请的***或方法可以应用于任何其他种类的导航***。例如，本申请的***和方法还可应用于包括陆地、海洋、航空太空等或其任意组合的不同运输***。所述运输***的自动交通工具可以包括出租车、私家车、顺风车、公交车、火车、动车、高铁、地铁、船舶、飞机、飞船、热气球、无人驾驶的车辆等或其任意组合。在一些实施例中，该***或方法可以在例如物流仓库、军事事务中找到应用。

本申请的一个方面涉及一种用于在自动驾驶期间识别和定位车辆周围的物体的驾驶辅助设备。例如，照相机、激光雷达设备、雷达设备可以安装在自动驾驶汽车的车顶上。照相机、激光雷达设备和雷达设备可以分别获得汽车周围的照相机图像、激光雷达点云图像和雷达图像。激光雷达点云图像可包括至少两个点。控制单元可以将至少两个点分组成多个聚类，其中每个聚类可以对应于物体。控制单元可以为每个物体确定三维形状并在激光雷达点云图像上标记三维形状。控制单元还可以将激光雷达点云图像与照相机图像相关联，以在照相机图像上生成并标记物体三维形状的二维表示。标记好的激光雷达点云图像和照相机图像可以更好地用于理解物体的位置和移动。控制单元还可以基于标记好的照相机图像生成物体的移动的视频。其中的车辆或司机可基于生成的视频或图像来调整车辆的速度和移动方向，以避免碰撞物体。

图1是根据本申请的一些实施例所示的自动驾驶车辆的示例性场景的示意图。如图1所示，自动驾驶车辆130可以沿着由自动驾驶车辆130自主确定的路径在道路121行进而没有人工输入。道路121可以是为车辆行进准备的空间。例如，道路121可以是用于具有轮子的车辆(例如，汽车、火车、自行车、三轮车等)或没有轮子的车辆(例如，气垫船)的道路、可以是用于飞机或其他飞行器的跑道、可以是用于船舶或潜艇的航道、可以是卫星轨道。自动驾驶车辆130的行进可能不违反由法律或法规管制的道路121的交通法。例如，自动驾驶车辆130的速度可能不超过道路121的速度限制。

自动驾驶车辆130可以通过沿着由自动驾驶车辆130确定的路径120行进而不碰撞障碍物110。障碍物110可以是静态障碍物或动态障碍物。静态障碍物可包括建筑物、树木、路障等或其任何组合。动态障碍物可包括移动车辆、行人和/或动物等或其任何组合。

自动驾驶车辆130可包括非自动驾驶车辆的传统结构，例如发动机、四个轮子、方向盘等。自动驾驶车辆130还可包括传感***140，其包括至少两个传感器(例如，传感器142、传感器144、传感器146)和控制单元150。至少两个传感器可以被配置用于提供用于控制车辆的信息。在一些实施例中，传感器可以感测车辆的状态。车辆的状态可以包括车辆的动态情况、车辆周围的环境信息等或其任何组合。

在一些实施例中，至少两个传感器可以被配置用于感测自动驾驶车辆130的动态情况。至少两个传感器可包括距离传感器、速度传感器、加速度传感器、转向角传感器、牵引相关传感器、照相机和/或任何传感器。

例如，距离传感器(例如，雷达、激光雷达、红外传感器)可以确定车辆(例如，自动驾驶车辆130)与其他物体(例如，障碍物110)之间的距离。距离传感器还可以确定车辆(例如，自动驾驶车辆130)与一个或以上障碍物(例如，静态障碍物、动态障碍物)之间的距离。速度传感器(例如，霍尔传感器)可以确定车辆(例如，自动驾驶车辆130)的速度(例如，瞬时速度、平均速度)。加速度传感器(例如，加速度计)可以确定车辆(例如，自动驾驶车辆130)的加速度(例如，瞬时加速度、平均加速度)。转向角传感器(例如，倾斜传感器)可以确定车辆(例如，自动驾驶车辆130)的转向角。牵引相关传感器(例如，力传感器)可以确定车辆(例如，自动驾驶车辆130)的牵引力。

在一些实施例中，至少两个传感器可以感测自动驾驶车辆130周围的环境。例如，一个或多个传感器可以检测道路几何形状和障碍物(例如，静态障碍物、动态障碍物)。道路几何形状可包括道路宽度、道路长度、道路类型(例如，环形道路、直线道路、单向道路、双向道路)。静态障碍物可包括建筑物、树木、路障等或其任何组合。动态障碍物可包括移动车辆、行人和/或动物等或其任何组合。至少两个传感器可包括一个或以上视频照相机、激光传感***、红外传感***、声学传感***、热传感***等或其任何组合。

控制单元150可以被配置用于控制自动驾驶车辆130。控制单元150可以控制自动驾驶车辆130沿着路径120行驶。控制单元150可以基于来自至少两个传感器的状态信息来计算路径120。在一些实施例中，路径120可以被配置为避免车辆与一个或以上障碍物(例如，障碍物110)之间的碰撞。

在一些实施例中，路径120可包括一个或以上路径样本。所述一个或以上路径样本中的每一个可包括至少两个路径样本特征。至少两个路径样本特征可以包括路径速度、路径加速度、路径位置等，或其组合。

自动驾驶车辆130可沿着路径120行驶以避免与障碍物碰撞。在一些实施例中，自动驾驶车辆130可以以与每个路径位置相应的路径速度和相应的路径加速度传递每个路径位置。

在一些实施例中，自动驾驶车辆130还可包括定位***，以获得和/或确定自动驾驶车辆130的位置。在一些实施例中，定位***还可以连接到另一方，例如基站、另一车辆或另一个人，以获得该方的位置。例如，定位***可以能够与另一车辆的定位***建立通信，并且可以接收另一车辆的位置并确定两个车辆之间的相对位置。

图2是根据本申请的一些实施例所示的具有自主驾驶能力的示例性车辆的框图。例如，具有自动驾驶能力的车辆可以包括控制***，包括但不限于控制单元150，至少两个传感器142、144、146，存储器220，网络230，网关模块240，控制器区域网络(CAN)250，发动机管理***(EMS)260，电子稳定控制(ESC)270，电力***(EPS)280，转向柱模块(SCM)290，油门***265，制动***275和转向***295。

控制单元150可以处理与车辆驾驶(例如，自动驾驶)有关的信息和/或数据，以执行本申请中描述的一个或以上功能。在一些实施例中，控制单元150可以被配置用于自主驾驶车辆。例如，控制单元150可以输出至少两个控制信号。至少两个控制信号可以被配置为由至少两个电子控制单元(ECU)接收以控制车辆的驾驶。在一些实施例中，控制单元150可以基于车辆的环境信息确定参考路径和一个或以上候选路径。在一些实施例中，控制单元150可包括一个或以上处理引擎(例如，单核处理引擎或多核处理器)。仅作为范例，控制单元150可以包括中央处理单元(CPU)、特定应用集成电路(ASIC)、特定应用指令集处理器(ASIP)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、现场可程序门阵列(FPGA)、可程序逻辑装置(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等或其任意组合。

存储器220可以存储数据和/或指令。在一些实施例中，存储器220可以存储从自动驾驶车辆130获得的数据。在一些实施例中，存储器220可以存储控制单元150可以执行或使用的数据和/或指令，以执行本申请中描述的示例性方法。在一些实施例中，存储器220可包括大容量存储器、可移动存储器、易失性读写存储器、只读存储器(ROM)等或其任意组合。示例性大容量存储器可以包括磁盘、光盘、固态硬盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、存储卡、zip盘、磁带等。示例性易失性读写存储器可以包括随机存取存储器(RAM)。示例性RAM可包括动态随机存取存储器(DRAM)、双倍数据速率同步动态随机存取存储器(DDR SDRAM)、静态随机存取存储器(SRAM)、晶闸管随机存取存储器(T-RAM)和零电容随机存取存储器(Z-RAM)等。示例性只读存储器可以包括掩模型只读存储器(MROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(PEROM)、电可擦除可编程只读存储器(EEPROM)、光盘只读存储器(CD-ROM)和数字多功能磁盘只读存储器等。在一些实施例中，所述存储器可在云平台上实现。仅作为示例，云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

在一些实施例中，存储器220可以连接到网络230以与自动驾驶车辆130的一个或以上组件(例如，控制单元150、传感器142)通信。自动驾驶车辆130中的一个或以上组件可以经由网络230访问存储在存储器220中的数据或指令。在一些实施例中，存储器220可以与自动驾驶车辆130的一个或以上组件(例如，控制单元150、传感器142)直接连接或通信。在一些实施例中，存储器220可以是自动驾驶车辆130的一部分。

网络230可以促进信息和/或数据的交换。在一些实施例中，自动驾驶车辆130中的一个或以上组件(例如，控制单元150、传感器142)可以通过网络230向自动驾驶车辆130中的其他组件发送信息和/或数据。例如，控制单元150可以经由网络230获得/获取车辆的动态情况和/或车辆周围的环境信息。在一些实施例中，网络230可以为任意形式的有线或无线网络，或其任意组合。仅作为示例，网络230可以包括缆线网络、有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共开关电话网络(PSTN)、蓝牙网络、紫蜂网络、近场通讯(NFC)网络等或其任意组合。在一些实施例中，网络230可以包括一个或以上网络接入点。例如，网络230可以包括有线或无线网络接入点，诸如基站和/或互联网交换点230-1、...，通过网络接入点自动驾驶车辆130的一个或以上组件可以连接到网络230以交换数据和/或信息。

网关模块240可以基于车辆的当前驾驶状态确定至少两个电子控制单元(ECU)(例如，发动机管理***(EMS)260、电力***(EPS)280、电子稳定控制(ESC)270、转向柱模块(SCM)290)的命令源。命令源可以来自人类司机、来自控制单元150等或其任何组合。

网关模块240可以确定车辆的当前驾驶状态。车辆的驾驶状态可以包括手动驾驶状态、半自动驾驶状态、自动驾驶状态、错误状态等或其任何组合。例如，网关模块240可以基于来自人类司机的输入将车辆的当前驾驶状态确定为手动驾驶状态。作为另一示例，在当前道路状况复杂时，网关模块240可将车辆的当前驾驶状态确定为半自动驾驶状态。作为又一示例，当异常(例如，信号中断、处理器崩溃)发生时，网关模块240可以将车辆的当前驾驶状态确定为错误状态。

在一些实施例中，网关模块240可以响应于确定车辆的当前驾驶状态是手动驾驶状态而将人类司机的操作发送到至少两个电子控制单元(ECU)。例如，网关模块240可以将由人类司机完成的加速器的按压发送到发动机管理***(EMS)260，以确定车辆的当前驾驶状态是手动驾驶状态。网关模块240可以响应于确定车辆的当前驾驶状态是自动驾驶状态而将控制单元150的控制信号发送到至少两个电子控制单元(ECU)。例如，网关模块240可以响应于确定车辆的当前驾驶状态是自动驾驶状态而将与转向相关联的控制信号发送到转向柱模块(SCM)290。网关模块240可以响应于确定车辆的当前驾驶状态是半自动驾驶状态，将人类司机的操作和控制单元150的控制信号发送到至少两个电子控制单元(ECU)。网关模块240可以响应于确定车辆的当前驾驶状态是错误状态而将错误信号发送到至少两个电子控制单元(ECU)。

控制器区域网络(CAN总线)是鲁棒的车辆总线标准(例如，基于消息的协议)，其允许微控制器(例如，控制单元150)和设备(例如，发动机管理***(EMS)260、电力***(EPS)280、电子稳定控制(ESC)270和/或转向柱模块(SCM)290等)在没有主计算机的应用程序中相互通信。控制器区域网络(CAN)250可以被配置用于将控制单元150与至少两个电子控制单元(ECU)(例如，发动机管理***(EMS)260、电力***(EPS)280、电子稳定控制(ESC)270、转向柱模块(SCM)290)连接。

发动机管理***(EMS)260可以被配置用于确定自动驾驶车辆130的发动机性能。在一些实施例中，发动机管理***(EMS)260可以基于来自控制单元150的控制信号来确定自动驾驶车辆130的发动机性能。例如，在当前驾驶状态是自动驾驶状态时，发动机管理***(EMS)260可以基于与来自控制单元150的加速度相关联的控制信号来确定自动驾驶车辆130的发动机性能。在一些实施例中，发动机管理***(EMS)260可以基于人类司机的操作来确定自动驾驶车辆130的发动机性能。例如，发动机管理***(EMS)260可以基于当前驾驶状态是手动驾驶状态时由人类司机完成的加速器按压来确定自动驾驶车辆130的发动机性能。

发动机管理***(EMS)260可以包括至少两个传感器和微处理器。至少两个传感器可被配置用于检测一个或以上物理信号，并将一个或以上物理信号转换为电信号以进行处理。在一些实施例中，至少两个传感器可包括各种温度传感器、空气流量传感器、节气门位置传感器、泵压力传感器、速度传感器、氧气传感器、负载传感器、爆震传感器等或其任何组合。一个或以上物理信号可包括发动机温度、发动机进气量、冷却水温度、发动机速度等或其任何组合。微处理器可以基于至少两个发动机控制参数来确定发动机性能。微处理器可以基于至少两个电信号确定至少两个发动机控制参数。可以确定至少两个发动机控制参数以优化发动机性能。至少两个发动机控制参数可包括点火正时、燃料输送、空转气流等或其任何组合。

油门***265可以被配置用于改变自动驾驶车辆130的运动。例如，油门***265可基于发动机输出确定自动驾驶车辆130的速度。作为另一示例，油门***265可基于发动机输出引起自动驾驶车辆130的加速。油门***365可包括燃料喷射器、燃料压力调节器、辅助空气阀、温度开关、节气门、空转速度电动机、故障指示器、点火线圈、继电器等或其任何组合。

在一些实施例中，油门***265可以是发动机管理***(EMS)260的外部执行器。油门***265可以被配置用于基于由发动机管理***(EMS)260确定的至少两个发动机控制参数来控制发动机输出。

电子稳定控制(ESC)270可以被配置用于改善车辆的稳定性。电子稳定控制(ESC)270可以通过检测和减少牵引力的损失来改善车辆的稳定性。在一些实施例中，电子稳定控制(ESC)270可以控制制动***275的操作，以响应在确定电子稳定控制(ESC)270检测到转向控制的损失时帮助操纵车辆。例如，当车辆上坡起动时，电子稳定控制(ESC)270可以通过制动改善车辆的稳定性。在一些实施例中，电子稳定控制(ESC)270可以进一步控制发动机性能以改善车辆的稳定性。例如，电子稳定控制(ESC)270可在发生可能的转向控制损失时降低发动机功率。当车辆在紧急避让转向期间打滑时、当车辆在湿滑路面上判断不良导致转向不足或转向过度时等，可能发生转向控制的损失。

制动***275可以被配置用于控制自动驾驶车辆130的运动状态。例如，制动***275可以使自动驾驶车辆130减速。作为另一示例，制动***275可以在一个或以上道路条件(例如，下坡)中停止自动驾驶车辆130。作为又一示例，制动***275可以在下坡行驶时将自动驾驶车辆130保持在恒定速度。

制动***275包括机械控制部件、液压单元、动力单元(例如，真空泵)、执行单元等或其任何组合。机械控制部件可包括踏板、手制动器等。液压单元可包括液压油、液压软管、制动泵等。执行单元可包括制动钳、制动块、制动盘等。

电力***(EPS)280可以被配置用于控制自动驾驶车辆130的电力供应。电力***(EPS)280可以为自动驾驶车辆130供应、传输和/或存储电力。在一些实施例中，电力***(EPS)280可以控制为转向***295的供电。例如，电力***(EPS)280可以响应于确定方向盘转向到达极限(例如，左转限制、右转限制)时向转向***295提供大的电力以为自动驾驶车辆130产生大的转向扭矩。

转向柱模块(SCM)290可以被配置用于控制车辆的方向盘。转向柱模块(SCM)290可以锁定/解锁车辆的方向盘。转向柱模块(SCM)290可以基于车辆的当前驾驶状态来锁定/解锁车辆的方向盘。例如，转向柱模块(SCM)290可以在确定当前驾驶状态是自动驾驶状态时锁定车辆的方向盘。当确定当前驾驶状态是自动驾驶状态时，转向柱模块(SCM)290可以进一步缩回转向柱轴。作为另一示例，转向柱模块(SCM)290可以在确定当前驾驶状态是半自动驾驶状态、手动驾驶状态和/或错误状态时解锁车辆的方向盘。

转向柱模块(SCM)290可以基于控制单元150的控制信号来控制自动驾驶车辆130的转向。控制信号可包括与转弯方向、转弯位置、转弯角度等有关的信息等或其任何组合。

转向***295可以被配置用于操纵自动驾驶车辆130。在一些实施例中，转向***295可以基于从转向柱模块(SCM)290发送的信号来操纵自动驾驶车辆130。例如，响应于当前驾驶状态是自动驾驶状态，转向***295可以基于从转向柱模块(SCM)290发送的控制单元150的控制信号来控制自动驾驶车辆130。在一些实施例中，转向***295可以基于人类司机的操作来操纵自动驾驶车辆130。例如，响应于当前驾驶状态是手动驾驶状态，当人类司机将方向盘转向左方向时，转向***295可以将自动驾驶车辆130转向左方向。

图3是示出计算设备300的示例性硬件组件的示意图。

计算设备300可以是用于自动驾驶的专用计算设备，例如包括一个或以上微型芯片的单板计算设备。此外，控制单元150可以包括计算设备300的一个或以上部件。计算设备300可用于通过其硬件、软件程序、固件或其组合来实现本申请中描述的方法和/或***。

例如，计算设备300可以包括与网络相连接通信端口350，以实现数据通信。计算设备300还可以包括处理器320用来执行计算机指令，该处理器320以一个或以上处理器的形式存在。所述计算机指令可以包括例如执行在此描述的特定功能的常规、程序、物体、组件、数据结构、过程、模块和功能。例如，在操作期间，处理器320可以访问用于操作自动驾驶车辆130的指令并执行指令以确定自动驾驶车辆的行驶路径。

在一些实施例中，处理器320可以包括内置在一个或以上微型芯片中的一个或以上硬件处理器，诸如微控制器、微处理器、精简指令集计算器(RISC)、专用集成电路(ASIC)、专用指令集处理器ASIP)、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、微控制器单元、数字信号处理器(DSP)、现场可编程门数组(FPGA)、高级RISC机器(ARM)、可编程逻辑器件(PLD)、能够执行一个或多个功能的任何电路或处理器等或其任何组合。

示例性的计算机设备300可以包括一个内部通信总线310、不同形式的程序存储器和数据存储器，例如，磁盘370、和只读存储器(ROM)330或随机存取存储器(RAM)340，用于存储由计算机处理和/或传输的各种各样的数据文件。示例性计算机设备300还可以包括存储在ROM 330、RAM 340和/或其他类型的非暂时性存储介质中的由处理器320执行的程序指令。本申请的方法和/或流程可以以程序指令的方式实现。计算设备300还包括输入/输出组件360，支持计算机和其他组件(例如，用户界面元件)之间的输入/输出。计算设备300也可以通过网络通讯接收程序设计和数据。

仅仅为了说明，在计算设备300中仅描述了一个处理器。然而，应该注意的是，本申请中的计算设备300还可以包括多个处理器，因此如本申请中所描述的一个处理器执行的操作和/或方法步骤也可以由多个处理器联合地或单独地执行。例如，如果在本申请中，所述计算装置300的处理器320执行步骤A和步骤B，应当理解的是，步骤A和步骤B也可以由所述计算装置300的两个不同的处理器共同或独立执行(例如，所述第一处理器执行步骤A，所述第二处理器执行步骤B，或者所述第一和所述第二处理器共同执行步骤A和步骤B)。

而且，本领域普通技术人员将理解，当图2中的控制***中的元件执行时，该元件可以通过电信号和/或电磁信号执行。例如，当传感器142、144或146发送检测到的信息时，例如数字照片或激光雷达点云图像，该信息可以以电子信号的形式发送到接收器。控制单元150可以接收检测到的信息的电子信号，并且可以操作其处理器中的逻辑电路以处理这些信息。当控制单元150向控制器区域网络(CAN)250和/或网关模块240发出命令以控制发动机管理***(EMS)260、电子稳定控制(ESC)270、电力***(EPS)280等时，控制单元150的处理器可以生成编码该命令的电信号，然后将电信号发送到输出端口。此外，当处理器从存储介质检索数据时，它可以将电信号发送到存储介质的读取设备，该读取设备可以读取存储介质中的结构化数据。结构化数据可以通过控制单元150的总线以电信号的形式传输到处理器。此处，电信号可以指一个电信号、一系列电信号和/或至少两个不连续的电信号。

图4是根据本申请的一些实施例所示的示例性传感模块的框图。传感***140可以与控制单元150通信，以将原始传感数据(例如，图像)或预处理的传感数据发送到控制单元150。在一些实施例中，传感***140可包括至少一个照相机410、至少一个激光雷达检测器420、至少一个雷达检测器430和处理单元440。在一些实施例中，照相机410、激光雷达检测器420和雷达检测器430可以分别对应于传感器142、144和146。

照相机410可以被配置用于捕获车辆周围环境数据的照相机图像。照相机410可以包括不可更换的镜头照相机、小型照相机、3D照相机、全景照相机、音频照相机、红外照相机、数码照相机等或其任何组合。在一些实施例中，可以将多个相同或不同类型的照相机安装在车辆上。例如，红外照相机可以安装在车辆的后罩上，以捕获车辆后方物体的红外图像，尤其是当车辆在夜间倒车时。又例如，音频照相机可以安装在车辆的反光镜上以捕获车辆侧面的物体的图像。音频照相机可以标记所获得的图像上的不同部分或物体的声级。在一些实施例中，由安装在车辆上的多个照相机410捕获的图像可以共同覆盖车辆周围的整个区域。

仅作为示例，多个照相机410可以安装在车辆的不同部分，包括但不限于窗户、车身、后视镜、把手、灯、天窗和车牌。窗户可包括前窗、后窗、侧窗等。车身可包括前罩、后罩、车顶、底盘、侧面等。在一些实施例中，多个照相机410可以连接到或安装在车辆车厢的配件上(例如，方向盘、引擎盖、反光镜)。安装方法可包括粘接、螺栓和螺母连接、卡口配合、真空固定等或其任何组合。

激光雷达设备(或激光雷达检测器)420可以被配置用于获得具有来自车辆的特定范围的高分辨率图像。例如，激光雷达设备420可以被配置用于检测车辆35米内的物体。

激光雷达设备420可以被配置用于生成激光雷达设备420所安装到的车辆的周围环境的激光雷达点云图像。激光雷达设备420可包括激光发生器和传感器。激光束可包括紫外光、可见光、近红外光等。激光发生器可以用固定的预定频率或预定的变化频率的脉冲激光束照射物体。激光束可以在接触物体表面之后反射回来，并且传感器可以接收反射的激光束。通过反射的激光束，激光雷达设备420可以测量物体表面和激光雷达设备420之间的距离。在操作期间，激光雷达设备420可以旋转并使用激光束扫描车辆的周围环境，从而根据反射的激光束产生激光雷达点云图像。由于激光雷达设备420沿着车辆周围环境的有限高度旋转并扫描，因此激光雷达点云图像测量车辆的预定高度之间的车辆周围的360°环境。激光雷达点云图像可以是静态或动态图像。此外，由于激光雷达点云图像中的每个点测量的是激光雷达设备与反射激光束的物体表面之间的距离，因此激光雷达点云图像是三维图像。在一些实施例中，激光雷达点云图像可以是显示激光束的实时传播的实时图像。

仅作为示例，激光雷达设备420可安装在车辆的车顶或前窗上，然而，应注意，激光雷达设备420也可安装在车辆的其他部分上，包括但不限于窗户、车身、后视镜、把手、灯、天窗和车牌。

雷达设备430可以被配置用于通过经由无线电波测量到车辆周围的物体的距离来生成雷达图像。与激光雷达设备420相比，雷达设备430可能不太精确(具有较低的分辨率)，但可能具有更宽的检测范围。因此，雷达设备430可用于测量比激光雷达设备420的检测范围更远的物体。例如，雷达设备430可以被配置用于测量距离车辆35米和100米之间的物体。

雷达设备430可以包括用于在无线电或微波域中产生电磁波的发射器、用于发射或广播无线电波的发射天线、用于接收无线电波的接收天线和用于产生雷达图像的处理器。仅作为示例，雷达设备430可以安装在车辆的车顶或前窗上，然而，应该注意，雷达设备430也可以安装在车辆的其他部分上，包括但不限于窗户、车身、后视镜、把手、灯、天窗和车牌。

在一些实施例中，激光雷达图像和雷达图像可以融合以产生补偿图像。关于激光雷达图像和雷达图像的融合的详细方法可以在本申请的其他地方找到(参见例如图15及其描述)。在一些实施例中，照相机410、激光雷达设备420和雷达设备430可以同时或单独工作。在它们以不同的帧速率单独工作的情况下，可以采用同步方法。关于照相机410、激光雷达设备420和/或雷达设备430的帧同步的详细方法可以在本申请的其他地方找到(参见例如图16及其描述)。

传感***140还可以包括处理单元440，其被配置用于预处理所生成的图像(例如，照相机图像、激光雷达图像和雷达图像)。在一些实施例中，图像的预处理可以包括平滑、滤波、去噪、重建等或其任何组合。

图5是根据本申请的一些实施例所示的用于生成标记有物体三维形状的激光雷达点云图像的示例性过程的流程图。在一些实施例中，过程500可以在如图1所示的自动驾驶车辆中实现。例如，过程500可以以指令的形式存储在存储器220和/或其他存储器(例如，ROM 330、RAM 340)中，并且由处理单元(例如，处理器320、控制单元150、控制单元150的一个或以上微型芯片)调用和/或执行。本申请以控制单元150为例来执行指令。

在510中，控制单元150可以获得基站周围的激光雷达点云图像(也称为第一激光雷达点云图像)。

基站可以是安装有激光雷达设备、雷达和照相机的任何设备。例如，基站可以是可移动平台，例如车辆(例如，汽车、飞机、船等)。基站也可以是固定平台，例如检测站或机场控制塔。仅仅出于说明目的，本申请采用车辆或安装在车辆上的装置(例如，机架)作为基站的示例。

第一激光雷达点云图像可以由激光雷达设备420生成。第一激光雷达点云图像可以是三维点云图像，其包括与基站周围的一个或以上物体相对应的体素。在一些实施例中，第一激光雷达点云图像可以对应于第一时间帧(也称为第一时间点)。

在520中，控制单元150可以识别第一激光雷达点云图像中的一个或以上物体。

一个或以上物体可包括行人、车辆、障碍物、建筑物、标志、交通灯、动物等或其任何组合。在一些实施例中，控制单元150可以识别520中的一个或以上物体的区域和类型。在一些实施例中，控制单元150可以仅识别区域。例如，控制单元150可以将激光雷达点云图像的第一区域识别为第一物体，激光雷达点云图像的第二区域识别为第二物体并且剩余区域识别为地面(或空气)。又例如，控制单元150可以将第一区域识别为行人并且将第二区域识别为车辆。

在一些实施例中，如果当前方法被车载装置用作驾驶辅助的方式，则控制单元150可以首先确定车载基站周围的点(或体素)的高度(例如，车载装置的车辆高度加上车载装置的高度)。在识别一个或以上物体之前，控制单元150可以去除太低(地面)或太高(例如，在不太可能是在驾驶期间要避免或考虑的物体的高度)的点。剩余的点可以聚类成至少两个聚类。在一些实施例中，剩余的点可以是基于三维点云图像中的三维坐标(例如，笛卡尔坐标)的聚类(例如，彼此距离小于阈值的点聚类到相同的聚类中)。在一些实施例中，可以在聚类成至少两个聚类之前对剩余的点进行摆动扫描。摆动扫描可以包括将三维点云图像中剩余的点从三维直角坐标系转换为极坐标系。极坐标系可包括原点或参考点。每个剩余点的极坐标可以表示为距原点的直线距离和从原点到该点的角度。可以基于剩余点的极坐标生成图表(例如，从原点的角度作为x轴或水平轴并且距离原点的距离作为y轴或垂直轴)。可以连接图中的点以生成包括具有大曲率的部分和具有小曲率的部分的曲线。具有小曲率的部分的曲线上的点可能是同一物体上的点，并且可以聚类到相同的聚类中。具有大曲率的部分的曲线上的点可能是不同物体上的点，并且可以聚类到不同的聚类中。每个聚类可以对应于一个物体。识别一个或以上物体的方法可以在图11中找到。在一些实施例中，控制单元150可以获得照相机图像，该图像可以是在与第一激光雷达点云图像相同(或基本相同或相似)的时间和角度拍摄的。控制单元150可识别照相机图像中的一个或以上物体，并直接将它们视为激光雷达点云图像中的一个或以上物体。

在530中，控制单元150可以确定第一激光雷达点云图像中的一个或以上物体的一个或以上位置。控制单元150可以分别考虑每个识别的物体，并且分别对一个或以上物体中的每一个执行操作530。在一些实施例中，一个或以上物体的位置可以是一个或以上物体的聚类区域的几何中心或重心点。在一些实施例中，一个或以上物体的位置可以是在540中产生一个或以上物体的三维形状之后调整或重新确定的初步位置。应当注意操作520和530可以以任何顺序执行，或组合为一个操作。例如，控制单元150可以确定与一个或以上未知物体相对应的点的位置，将这些点聚集到至少两个聚类中，然后将这些聚类识别为物体。

在一些实施例中，控制单元150可以获得照相机图像。照相机图像可以由照相机以与激光雷达点云图像相同(或基本相同或相似)的时间和角度拍摄。控制单元150可以基于神经网络(例如，如图10中所描述的小型YOLO网络)来确定照相机图像中的物体的位置。控制单元150可通过将照相机图像中的位置映射到激光雷达点云图像来确定激光雷达点云图像中的一个或以上物体的位置。从二维照相机图像到三维激光雷达点云图像的位置映射可以包括圆锥投影等。

在一些实施例中，用于识别物体和确定物体的位置的操作520和530可以被称为粗略检测。

在540中，控制单元150可以为一个或以上物体中的每一个生成三维形状(例如，三维框)。关于为一个或以上物体中的每一个生成三维形状的详细方法可以在本申请的其他地方找到(参见例如图13及其描述)。在一些实施例中，用于为物体生成三维形状的操作540可以被称为精细检测。

在550中，控制单元150可以基于一个或以上物体的位置和三维形状来生成第二激光雷达点云图像。例如，控制单元150可以使用一个或以上物体的三维形状在其对应位置处标记第一激光雷达点云图像，以生成第二激光雷达点云图像。

图6A-6C是根据本申请的一些实施例所示的生成和标记激光雷达点云图像中物体的三维形状的一系列示意图。如图6A所示，基站(例如，激光雷达点的机架或车辆本身)可以安装在车辆610上以接收车辆610周围的激光雷达点云图像。可以看出激光在物体620处被阻挡。控制单元150可以通过过程500中披露的方法识别和定位物体620。例如，控制单元150可以在识别和定位物体620之后标记物体620，如图6B所示。控制单元150还可以确定物体620的三维形状，并将物体620标记为三维形状，如图6C所示。

图7是根据本申请的一些实施例所示的用于生成标记的照相机图像的示例性过程的流程图。在一些实施例中，过程700可以在如图1所示的自动驾驶车辆中实现。例如，过程700可以以指令的形式存储在存储器220和/或其他存储器(例如，ROM 330、RAM 340)中，并且由处理单元(例如，处理器320、控制单元150、控制单元150的一个或以上微型芯片)调用和/或执行。本申请以控制单元150为例来执行指令。

在710中，控制单元150可以获得第一照相机图像。照相机图像可以由照相机410获得。仅作为示例，照相机图像可以是二维图像，包括车辆周围的一个或以上物体。

在720中，控制单元150可以识别一个或以上物体以及一个或以上物体的位置。识别可以基于神经网络来实现。神经网络可以包括人工神经网络、卷积神经网络、YOLO网络、小型YOLO网络等或其任何组合。神经网络可以由至少两个照相机图像样本训练，样本中的物体已通过手动或人工被识别。在一些实施例中，控制单元150可以将第一照相机图像输入到训练好的神经网络中，并且训练好的神经网络可以输出一个或以上物体的标识和位置。

在730中，控制单元150可以生成并标记照相机图像中的一个或以上物体的三维形状的二维表示。在一些实施例中，可以通过将激光雷达点云图像中的一个或以上物体的三维形状映射到照相机图像中一个或者以上物体的相应位置处来生成一个或以上物体的三维形状的二维表示。关于在照相机图像中产生一个或以上物体的三维形状的二维表示的详细方法可以在图8中找到。

图8是根据本申请的一些实施例所示的用于生成照相机图像中一个或以上物体的三维形状的二维表示的示例性过程的流程图。在一些实施例中，过程800可以在如图1所示的自动驾驶车辆中实现。例如，过程800可以以指令的形式存储在存储器220和/或其他存储器(例如，ROM 330、RAM 340)中，并且由处理单元(例如，处理器320、控制单元150、控制单元150的一个或以上微型芯片)调用和/或执行。本申请以控制单元150为例来执行指令。

在步骤810中，控制单元150可以获得第一照相机图像中的一个或以上目标物体的二维形状。

应该注意的是，因为照相机仅在有限视图中捕获物体，而激光雷达在基站周围扫描360°，第一照相机图像可能只包括第一激光雷达点云图像中所有物体的一部分。为简洁起见，在本申请中，在第一照相机图像和第一激光雷达点云图像中均出现的物体可以被称为目标物体。还应注意，本申请中描述的二维形状可包括但不限于三角形、矩形(也称为二维框)、正方形、圆形、椭圆形和多边形。类似地，本申请中描述的三维形状可包括但不限于长方体(也称为三维框)、立方体、球体、多面体和锥体。三维形状的二维表示可以是看起来像三维形状的二维形状。

可以通过执行神经网络来生成一个或以上目标物体的二维形状。神经网络可以包括人工神经网络、卷积神经网络、YOLO网络、小型YOLO网络等或其任何组合。神经网络可以由至少两个照相机图像样本训练，样本中的物体的二维形状、位置和类型已通过手动或人工被识别。在一些实施例中，控制单元150可以将第一照相机图像输入到训练好的神经网络中，并且训练好的神经网络可以输出一个或以上目标物体的类型、位置和二维形状。在一些实施例中，神经网络可以生成照相机图像，其中的一个或以上物体根据第一照相机图像用二维形状(例如，二维框)标记。

在步骤820，控制单元150可以关联第一照相机图像与第一激光雷达点云图像。

例如，可以测量和关联第一照相机图像和第一激光雷达点云图像中的一个或以上目标物体和基站(例如，车辆或车辆上的激光雷达设备和照相机的机架)之间的距离。例如，控制单元150可以将第一照相机图像中的目标物体与基站之间的距离与第一激光雷达点云图像中的目标物体与基站之间的距离相关联。因此，控制单元150可以将第一照相机图像中的目标物体的二维或三维形状的尺寸与第一激光雷达点云图像中的目标物体的二维或三维形状的尺寸相关联。例如，第一照相机图像中目标物体的尺寸和目标物体与基站之间的距离可以与第一激光雷达点云图像中目标物体的尺寸和目标物体与基站之间的距离成比例。第一照相机图像和第一激光雷达点云图像之间的相关性可以包括映射关系或它们之间的坐标转换。例如，相关性可以包括从三维笛卡尔坐标到以基站为中心的三维球面坐标的二维平面的转换。

在步骤830，控制单元150可以基于目标物体的二维形状以及激光雷达点云图像与第一照相机图像之间的关联，生成目标物体的三维形状的二维表示。

例如，控制单元150可以首先在照相机图像中的目标物体的二维形状与激光雷达点云图像中的目标物体的三维形状之间进行配准。然后，控制单元150可以基于激光雷达点云图像中的目标物体的三维形状和相关性来生成目标物体的三维形状的二维表示。例如，控制单元150可以从基站的中心执行模拟的圆锥投影，并且基于激光雷达点云图像和第一照相机图像之间的相关性在二维照相机图像的平面处生成目标物体的三维形状的二维表示。

在步骤840，控制单元150可以基于三维形状的二维表示和第一照相机图像中的识别位置来标记第一照相机图像中的一个或以上目标物体，以生成第二照相机图像。

图9A和9B是根据本申请的一些实施例所示的汽车的相同二维照相机图像的示意图。如图9A所示，识别并定位车辆910，并在其上标记二维框。在一些实施例中，控制单元150可以执行本申请中披露的方法(例如，过程800)以生成汽车的三维框的二维表示。如图9B所示，汽车的三维框的二维表示被标记在汽车上。与图9A相比，图9B不仅表示汽车的尺寸，还表示垂直于照相机图像平面的轴的汽车深度，因此更好地理解汽车的位置。

图10是根据本申请的一些实施例所示的YOLO网络的示意图。YOLO网络可以是神经网络，其将照相机图像划分为多个区域并预测每个区域的边界框和概率。YOLO网络可以是多层神经网络(例如，包括多个层)。多个层可以包括至少一个卷积层(CONV)、至少一个池化层(POOL)和至少一个全连接层(FC)。YOLO网络的多个层可以对应于排列多个维度的神经元，包括但不限于宽度、高度、中心坐标、置信度和分类。

CONV层可以将神经元连接到局部区域并计算输入中的连接到局部区域的神经元的输出，每个神经元计算它们的权重与它们所连接的区域之间的点积。POOL层可以沿着空间尺寸(宽度、高度)执行下采样操作，从而导致体积减小。POOL层的功能可以包括逐渐减小表示的空间大小以减少网络中的参数和计算的数量，并且因此还控制过度拟合。POOL层在输入的每个深度切片上独立运行，并使用MAX运算在空间上调整大小。在一些实施例中，FC层中的每个神经元可以连接到先前体积中的所有值，并且FC层可以计算分类分数。

如图10所示，1010可以是体积为例如[448*448*3]的初始图像，其中“448”涉及分辨率(或像素数)，“3”涉及通道(RGB 3通道)。图像1020-1070可以是由多个CONV层和POOL层生成的中间图像。可以注意到，从图像1010到1070，图像的尺寸减小了而维度增加了。图像1070的体积可以是[7*7*1024]，并且图像1070的尺寸可以不再通过额外的CONV层减小。可以在1070之后布置两个全连接层以生成图像1080和1090。图像1090可以将原始图像划分为49区域，每个区域包含30个维度并且负责预测边界框。在一些实施例中，30个维度可以包括边界框矩形的x、y、宽度、高度、置信度分数和20个类别的概率分布。如果一个区域负责预测多个边界框，则可以将该维度乘以相应的数字。例如，如果一个区域负责预测5个边界框，则1090的维度可以是150。

小型YOLO网络可以是具有类似结构但是比YOLO网络更少的层的网络，例如，更少的卷积层和更少的池化层。小型YOLO网络可以基于暗网(Darknet)参考网络，并且可以比正常的YOLO网络快得多但不太准确。

图11是根据本申请的一些实施例所示的用于识别激光雷达点云图像中的物体的示例性过程的流程图。在一些实施例中，过程1100可以在如图1所示的自动驾驶车辆中实现。例如，过程1100可以以指令的形式存储在存储器220和/或其他存储器(例如，ROM 330、RAM 340)中，并且由处理单元(例如，处理器320、控制单元150、控制单元150的一个或以上微型芯片)调用和/或执行。本申请以控制单元150为例来执行指令。

在1110中，控制单元150可以获得激光雷达点云图像(例如，第一激光雷达点云图像)中的至少两个点(或体素)的坐标。至少两个点中的每一个的坐标可以是对应于原点(例如，基站或激光束的源)的相对坐标。

在1120中，控制单元150可以根据它们的坐标从至少两个点移除不感兴趣的点。在使用本申请作为驾驶辅助的场景中，不感兴趣的点可以是在激光雷达点云图像中位置太低(例如，地面)或太高(例如，在不太可能是在驾驶期间要避免或考虑的物体的高度)的点。

在1130，控制单元150可以基于点云聚类算法将激光雷达点云图像中的至少两个点中的剩余点聚类为一个或以上聚类。在一些实施例中，可以测量三维笛卡尔坐标系中任意两个剩余点之间的空间距离(或欧氏距离)并将其与阈值进行比较。如果两点之间的空间距离小于或等于阈值，则将这两个点视为来自于同一物体并且聚类到相同的聚类中。阈值可以根据剩余点之间的距离动态变化。在一些实施例中，可以在聚类成至少两个聚类之前对剩余的点进行摆动扫描。摆动扫描可以包括将三维点云图像中剩余的点从三维直角坐标系转换为极坐标系。极坐标系可包括原点或参考点。每个剩余点的极坐标可以表示为距原点的直线距离和从原点到该点的角度。可以基于剩余点的极坐标生成图表(例如，从原点的角度作为x轴或水平轴并且距离原点的距离作为y轴或垂直轴)。可以连接图中的点以生成包括具有大曲率的部分和具有小曲率的部分的曲线。具有小曲率的部分的曲线上的点可能是同一物体上的点，并且可以聚类到相同的聚类中。具有大曲率的部分的曲线上的点可能是不同物体上的点，并且可以聚类到不同的聚类中。又例如，点云聚类算法可包括采用预先训练好的聚类模型。聚类模型可包括具有预先训练参数的至少两个分类器。聚类模型在聚类剩余点时，可以进一步更新。

在1140中，控制单元150可以选择一个或以上聚类中的至少一个作为目标聚类。例如，一个或以上聚类中的一些不具有任何有意义的物体的尺寸，例如树叶、塑料袋或水瓶的尺寸，可以被移除。在一些实施例中，可以仅选择满足预定大小的物体的聚类作为目标聚类。

图12A-12E是根据本申请的一些实施例所示的识别激光雷达点云图像中的物体的一系列示意图。图12A是车辆1210周围的示例性激光雷达点云图像。控制单元150可以获得图12A中的点的坐标，并且可以移除太低或太高的点以生成图12B。然后，控制单元150可以摆动扫描图12A中的点，并测量图12B中每个点与参考点或原点的距离和角度，如图12C所示。控制单元150可以进一步基于距离和角度将点聚类为一个或以上聚类，如图12D所示。控制单元150可以单独提取一个或以上聚类中的聚类，如图12E所示，并在提取的聚类中生成物体的三维形状。关于在提取的聚类中生成物体的三维形状的详细方法可以在本申请的其他地方找到(参见例如图13及其描述)。

图13是根据本申请的一些实施例所示的用于生成激光雷达点云图像中物体的三维形状的示例性过程的流程图。在一些实施例中，过程1300可以在如图1所示的自动驾驶车辆中实现。例如，过程1300可以以指令的形式存储在存储器220和/或其他存储器(例如，ROM330、RAM 340)中，并且由处理单元(例如，处理器320、控制单元150、控制单元150的一个或以上微型芯片)调用和/或执行。本申请以控制单元150为例来执行指令。

在1310中，控制单元150可以确定物体的初步三维形状。

初步的三维形状可以是体素、长方体(也称为三维框)、立方体等。在一些实施例中，控制单元150可以确定物体的中心点。可以基于物体中的点的坐标来确定物体的中心点。例如，控制单元150可以将中心点确定为物体中的点的坐标的平均值。然后，控制单元150可以将初步三维形状放置在物体(例如，物体的聚类和提取的激光雷达点云图像)的中心点处。例如，可以通过控制单元150将预设尺寸的长方体放置在物体的中心点上。

因为激光雷达点云图像仅包括反射激光束的物体表面的点，所以这些点仅反映物体的表面形状。在不考虑误差和点的变化的理想情况下，物体的点的分布可以紧密沿着物体形状的轮廓。轮廓内没有点，轮廓外没有点。然而，实际上，由于测量误差，点分散在轮廓周围。因此，可能需要形状建议来识别物体的粗略形状以用于自动驾驶。为此，控制单元150可以调整三维形状以获得理想的尺寸、形状、取向和位置，并使用三维形状作为形状建议。

在1320中，控制单元150可以调整包括初步三维形状的高度、宽度、长度、偏航或方向参数中的至少一个，以生成三维形状建议。在一些实施例中，可以迭代地执行操作1320(以及操作1330和1340)。在每次迭代中，可以调整一个或以上的参数。例如，在第一次迭代中调整三维形状的高度，并且在第二次迭代中调整三维形状的长度。又例如，在第一次迭代中调整三维形状的高度和长度，并且在第二次迭代中调整三维形状的高度和宽度。参数的调整可以是增量或减量。而且，每次迭代中参数的调整可以相同或不同。在一些实施例中，可以基于网格搜索方法进行高度、宽度、长度和偏航的调整。

理想的形状建议应作为自动驾驶车辆规划其行车路径的可靠参考形状。例如，当自动驾驶车辆使用形状建议作为物体的描述决定超过物体时，行驶路径应该保证车辆能够准确地规划其行驶路径以安全地绕开物体行驶的同时，以最小幅度向左或向右转动，以确保驾驶尽可能平稳。作为示例结果，可能不需要形状建议来精确地描述物体的形状，但是必须足够大以覆盖物体，使得自动驾驶车辆可以可靠地依赖形状建议来确定避免碰撞和/或撞击物体的行驶路径。然而，形状建议不需要不必要地大，以免影响绕过物体的行驶路径的效率。

因此，控制单元150可以评估损失函数，该损失函数用于衡量形状建议在描述用于自动驾驶路径规划目的物体方面有多好。损失函数的得分或值越小，形状建议描述物体越好。

在1330中，控制单元150可以计算三维形状建议的损失函数的分数(或值)。仅作为示例，损失函数可包括三个部分：L_inbox、L_suf和L_other。例如，三维形状建议的损失函数可表示如下：

L＝(L_inbox+L_suf)/N+L_other (1)

L_inbox＝∑_{P_all}dis (2)

L_suf(car)＝∑_{P_out}m*dis+∑_{P_in}n*dis (3)

L_suf(ped)＝∑_{P_out}a*dis+∑_{P_in}b*dis+∑_{P_behind}c*dis (4)

L_other＝f(N)+L_min(V) (5)

这里L可以表示三维形状建议的总分，L_inbox可以表示与三维形状建议内的物体的点数相关的三维形状建议的分数。L_suf可以表示描述三维形状建议与物体的真实形状有多接近的分数，通过点到形状建议的表面的距离来测量。因此，L_suf的较小分数意味着三维形状建议更接近物体的表面形状或轮廓。此外，L_suf(car)可以表示关于汽车的点与三维形状建议的表面之间的距离的三维形状建议的得分，L_suf(ped)可以表示关于行人的点与三维形状建议的表面之间的距离的三维形状建议的得分，以及L_other可以表示由于其他奖金或罚款的三维形状建议的得分。

此外，N可以表示点的数量，P__all可以表示物体的所有点，P__out可以表示三维形状建议之外的点，P__in可以表示三维形状建议内的点，P__behind可以表示三维形状建议背后的点(例如，点在三维形状建议的背面)，以及dis可以表示从物体的点到三维形状建议的表面的距离。在某些实施例中，m、n、a、b和c是常数。例如，m可以是2.0，n可以是1.5，a可以是2.0，b可以是0.6，c可以是1.2。

L_inbox可能被配置为最小化三维形状建议内的点的数量。因此，里面的点的数量越少，L_inbox的得分就越小。可以配置L_surf以鼓励三维形状建议的某些形状和取向，使得尽可能接近三维形状建议的表面的点。因此，点到三维形状建议表面的累积距离越小，L_surf的得分越小。L_other被配置为鼓励一个小且密集的点群，即点聚类的数量更大并且三维形状建议的体积更小。因此，f(N)被定义为与三维形状建议中的总点数相关的函数，即，三维形状建议中的点越多，损失函数越好，因此f(N)的得分越小；以及L_min(V)被定义为对三维形状建议的体积的约束，其试图最小化三维形状建议的体积，即，三维形状建议的体积越小，L_min(V)的得分越小。

因此，等式(1)中的损失函数L包括对不同因素的平衡考虑，这些因素促使三维形状建议接近物体的轮廓而不会不必要地大。

在1340中，控制单元150可以确定三维形状建议的得分是否满足预设条件。预设条件可以包括得分小于或等于阈值、得分在多次迭代中不改变、执行一定次数的迭代等。响应在确定三维形状建议的得分不满足预设条件的情况下，过程1300可以回到1320；否则，过程1300可以进行到1360。

在1320中，控制单元150可以进一步调整三维形状建议。在一些实施例中，在后续迭代中调整的参数可以与当前迭代不同。例如，控制单元150可以在起先的五次迭代中对三维形状建议的高度执行第一组调整。发现三维形状建议的得分仅通过调整高度不能低于阈值。控制单元150可以在接下来的10次迭代中对三维形状建议的宽度、长度、偏航执行第二组调整。在第二调整之后，三维形状建议的得分仍然可能高于阈值，并且控制单元150可以对三维形状建议的方向(例如，位置或中心点)执行第三组调整。应当注意，参数的调整可以以任何顺序执行，并且每个调整中的参数的数量和类型可以相同或不同。

在1360中，控制单元150可以将三维形状建议确定为物体的三维形状(或物体的标称三维形状)。

图14A-14D是根据本申请的一些实施例所示的生成激光雷达点云图像中物体的三维形状的一系列示意图。图14A是物体的聚类和提取的激光雷达点云图像。控制单元150可以产生初步三维形状并且可以调整初步三维形状的高度、宽度、长度和偏航以产生三维形状建议，如图14B所示。在调整高度、宽度、长度和偏航之后，控制单元150可以进一步调整三维形状建议的方向，如图14C所示。最后，满足如在过程1300的描述中描述的预设条件的三维形状建议可以被确定为物体的三维形状，并且可以在物体上被标记，如图14D所示。

图15是根据本申请的一些实施例所示的用于生成补偿图像的示例性过程的流程图。在一些实施例中，过程1500可以在如图1所示的自动驾驶车辆中实现。例如，过程1500可以以指令的形式存储在存储器220和/或其他存储器(例如，ROM 330、RAM 340)中，并且由处理单元(例如，处理器320、控制单元150、控制单元150的一个或以上微型芯片)调用和/或执行。本申请以控制单元150为例来执行指令。

在1510中，控制单元150可以获得基站周围的第一雷达图像。第一雷达图像可以由雷达设备430生成。与激光雷达设备420相比，雷达设备430可能不太精确(具有较低的分辨率)，但可能具有更宽的检测范围。例如，激光雷达设备420可以仅从35米内的物体接收合理质量的反射激光束。然而，雷达设备430可以从数百米之外的物体接收反射的无线电波。

在1520中，控制单元150可以识别第一雷达图像中的一个或以上物体。识别第一雷达图像中的一个或以上物体的方法可以与第一激光雷达点云图像中识别物体的方法类似，在此不再赘述。

在1530中，控制单元150可以确定第一雷达图像中的一个或以上物体的一个或以上位置。确定第一雷达图像中的一个或以上物体的一个或以上位置的方法可以与第一激光雷达点云图像中确定物***置的方法相似，在此不再赘述。

在1540中，控制单元150可以为第一雷达图像中的一个或以上物体中的每一个生成三维形状。在一些实施例中，为第一雷达图像中的一个或以上物体中的每一个产生三维形状的方法可以与第一激光雷达点云图像中生成物体三维形状的方法类似。在另一些实施例中，控制单元150可以获得一个或以上物体中的每一个的前表面的尺寸和中心点。可以简单地通过在物体的主体方向上延伸前表面来生成物体的三维形状。

在1550中，控制单元150可以基于第一雷达图像中的一个或以上物体的位置和三维形状来标记第一雷达图像中的一个或以上物体，以生成第二雷达图像。

在1560中，控制单元150可以融合第二雷达图像和第二激光雷达点云图像以生成补偿图像。在一些实施例中，激光雷达点云图像在基站附近可以具有比雷达图像更高的分辨率和可靠性，并且雷达图像可以在远离基站处具有比激光雷达点云图像更高的分辨率和可靠性。例如，控制单元150可以将第二雷达图像和第二激光雷达点云图像划分为距基站0到30米、30到50米、并且大于50米的3个部分。第二雷达图像和第二激光雷达点云图像可以以仅保留0到30米的激光雷达点云图像并且仅保留大于50米的雷达图像的方式融合。在一些实施例中，可以对第二雷达图像和第二激光雷达点云图像的30至50米的体素的灰度值进行平均。

图16是根据本申请的一些实施例所示的同步照相机、激光雷达设备和/或雷达设备的示意图。如图16所示，照相机(例如，照相机410)、激光雷达设备(例如，激光雷达设备420)和雷达设备(例如，雷达设备430)的帧速率是不同的。假设照相机、激光雷达设备和雷达设备在第一时间帧T1同时开始工作，可以大致同时(例如，同步)生成照相机图像、激光雷达点云图像和雷达图像。但是，由于帧速率不同，后续图像不同步。在一些实施例中，可以确定在照相机、激光雷达设备和雷达设备中具有最慢帧速率的设备(在图16的示例中，它是照相机)。控制单元150可以记录照相机捕获的照相机图像的每个时间帧，并且可以搜索接近照相机图像的每个时间帧的时间的其他激光雷达图像和雷达图像。对于照相机图像的每个时间帧，可以获得相应的激光雷达图像和相应的雷达图像。例如，在T2获得照相机图像1610，控制单元150可以搜索最接近T2的激光雷达图像和雷达图像(例如，激光雷达图像1620和雷达图像1630)。照相机图像和相应的激光雷达图像和雷达图像被提取为一组。假设该组中的三个图像是同时获得的并同步。

图17是根据本申请的一些实施例所示的用于基于现有激光雷达点云图像生成激光雷达点云图像或视频的示例性过程的流程图。在一些实施例中，过程1700可以在如图1所示的自动驾驶车辆中实现。例如，过程1700可以以指令的形式存储在存储器220和/或其他存储器(例如，ROM 330、RAM 340)中，并且由处理单元(例如，处理器320、控制单元150、控制单元150的一个或以上微型芯片)调用和/或执行。本申请以控制单元150为例来执行指令。

在1710中，控制单元150可以获得基站周围两个不同的时间帧的两个第一激光雷达点云图像。两个不同的时间帧可以由相同的激光雷达设备连续拍摄。

在1720中，控制单元150可以基于两个第一激光雷达点云图像生成两个第二激光雷达点云图像。可以在过程500中找到从两个第一激光雷达点云图像生成两个第二激光雷达点云图像的方法。

在1730，控制单元150可以使用内插法基于两个第二激光雷达点云图像生成第三时间帧的第三激光雷达点云图像。

图18是根据本申请的一些实施例所示的验证和内插图像帧的示意图。如图18所示，雷达图像、照相机图像和激光雷达图像是同步的(例如，通过图16中披露的方法)。通过内插法在现有照相机图像之间生成附加照相机图像。控制单元150可以基于照相机图像生成视频。在一些实施例中，控制单元150可以基于历史信息验证和修改照相机图像、激光雷达图像和/或雷达图像的每个帧。历史信息可以包括上一帧或前面多帧中的相同或不同类型的图像。例如，汽车在照相机图像的特定帧中没有被正确识别和定位。然而，所有先前的5帧正确识别并定位了汽车。控制单元150可以基于先前帧的照相机图像和不正确的帧以及先前帧的激光雷达图像和/或雷达图像来修改不正确的帧的照相机图像。

上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括韧体、常驻软件、微代码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“单元”、“模块”或“***”。此外，本申请的各方面可以采取体现在一个或以上计算机可读介质中的计算机程序产品的形式，其中计算机可读程序代码包含在其中。

非暂时性计算机可读信号介质可以包括传播的数据信号，其中包含计算机可读程序代码，例如，在基带中或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式，光形式等或任何合适的组合形式。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行***，装置或设备以实现通信，传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电，电缆，光纤电缆，RF等，或任何上述介质的组合。

本申请各部分操作所需的计算机程序编码可以用任意一种或以上程序语言编写，包括面向主体编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的***。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或以上发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所声称的待扫描物体物质需要比每个权利要求中明确记载的更多特征的意图。相反，发明的主体应具备比上述单一实施例更少的特征。

在某些实施例中，用于描述和要求本申请的某些实施例的表示数量，性质等的数字应理解为在某些情况下通过术语“约”，“近似”或“基本上”。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

本文中提及的所有专利、专利申请、专利申请公布和其他材料(如论文、书籍、说明书、出版物、记录、事物和/或类似的东西)均在此通过引用的方式全部并入本文以达到所有目的，与上述文件相关的任何起诉文档记录、与本文件不一致或冲突的任何上述文件或对迟早与本文件相关的权利要求书的广泛范畴有限定作用的任何上述文件除外。举例来说，如果任何并入材料相关的与本文件相关的描述、定义和/或术语使用之间有任何不一致或冲突，那么本文件中的描述、定义和/或术语使用应当优先。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

Claims (23)

1.一种用于驾驶辅助的***，包括控制单元，包括：

一个或以上存储介质，包括用于识别和定位车辆周围的一个或以上物体的一组指令；以及

一个或以上微型芯片以电子方式连接到所述一个或以上存储介质，其中在所述***的操作期间，所述一个或以上微型芯片执行所述指令用于：

获得检测基站周围的第一激光雷达(LiDAR)点云图像；

识别所述第一激光雷达点云图像中的一个或以上物体；

确定所述第一激光雷达点云图像中所述一个或以上物体的一个或以上位置；

为所述一个或以上物体中的每一个生成三维形状；以及

基于所述一个或以上物体的所述位置和所述三维形状标记所述第一激光雷达点云图像中的所述一个或以上物体来生成第二激光雷达点云图像。

2.根据权利要求1所述的***，还包括：

至少一个与所述控制单元通信的激光雷达设备，用于将所述第一激光雷达点云图像发送到所述控制单元；

至少一个与所述控制单元通信的照相机，用于将照相机图像发送到所述控制单元；以及

至少一个与所述控制单元通信的雷达设备，用于将雷达图像发送到所述控制单元。

3.根据权利要求1所述的***，其特征在于，所述基站是一种车辆；以及所述***还包括：

安装在所述车辆的方向盘、引擎盖或反光镜上的至少一个激光雷达设备，其中所述至少一个激光雷达设备的安装包括粘合剂粘合、螺栓和螺母连接、卡口配件或真空固定中的至少一种。

4.根据权利要求1所述的***，其特征在于，所述一个或以上微型芯片进一步：

获得包括所述一个或以上物体中的至少一个的第一照相机图像；

识别所述第一照相机图像中的所述一个或以上物体的至少一个目标物体和所述第一照相机图像中的所述至少一个目标物体的至少一个目标位置；以及

基于所述第一照相机图像中的所述至少一个目标位置和所述第二激光雷达点云图像中的所述至少一个目标物体的所述三维形状标记所述第一照相机图像中的所述至少一个目标物体来生成第二照相机图像。

5.根据权利要求4所述的***，其特征在于，标记所述第一照相机图像中的所述至少一个目标物体，所述一个或以上微型芯片进一步：

获得所述第一照相机图像中所述至少一个目标物体的二维形状；

关联所述第二激光雷达点云图像与所述第一照相机图像；

基于所述至少一个目标物体的所述二维形状和所述激光雷达点云图像与所述第一照相机图像之间的关联生成所述第一照相机图像中所述至少一个目标物体的三维形状；

基于所述第一照相机图像中的所述识别位置和所述第一照相机图像中所述至少一个目标物体的所述三维形状标记所述第一照相机图像中的所述至少一个目标物体来生成第二照相机图像。

6.根据权利要求4所述的***，其特征在于，为识别所述第一照相机图像中的所述至少一个目标物体和所述第一照相机图像中所述至少一个目标物体的所述位置，所述一个或以上微型芯片操作you only look once(YOLO)网络或小型YOLO(tiny you look only once,tiny-YOLO)网络来识别所述第一照相机图像中的所述至少一个目标物体和所述第一照相机图像中所述至少一个目标物体的所述位置。

7.根据权利要求1所述的***，其特征在于，为识别所述第一激光雷达点云图像中的所述一个或以上物体，所述一个或以上微型芯片进一步：

获得所述第一激光雷达点云图像中至少两个点的坐标，其中所述至少两个点包括不感兴趣的点和剩余点；

根据所述坐标从所述至少两个点中删除所述不感兴趣的点；

基于点云聚类算法聚类所述的剩余点为一个或以上聚类；以及

选择所述一个或以上聚类中的至少一个作为目标聚类，所述目标聚类中的每一个对应于一个物体。

8.根据权利要求1所述的***，其特征在于，为所述一个或以上物体中的每一个生成三维形状，所述一个或以上微型芯片进一步：

确定所述物体的初步三维形状；

调整所述初步三维形状的高度、宽度、长度、偏航或方向中的至少一个以产生三维形状建议；

计算所述三维形状建议的得分；

确定所述三维形状建议的所述得分是否满足预设条件；

响应于所述确定所述三维形状建议的所述得分不满足预设条件，进一步调整所述三维形状建议；以及

响应于所述确定所述三维形状建议或所述进一步调整的三维形状建议的所述得分满足所述预设条件，确定所述三维形状建议或进一步调整的三维形状建议为所述物体的所述三维形状。

9.根据权利要求8所述的***，其特征在于，所述三维形状建议的所述得分是根据所述三维形状建议内的所述第一激光雷达点云图像中的多个点、所述三维形状建议外的所述第一激光雷达点云图像中的多个点、或点与所述三维形状之间的距离中的至少一个来计算的。

10.根据权利要求1所述的***，其特征在于，所述一个或以上微型芯片进一步：

获得所述检测基站周围的第一雷达(Radar)图像；

识别所述第一雷达图像中的所述一个或以上物体；

确定所述第一雷达图像中的所述一个或以上物体的一个或以上位置；

为所述第一雷达图像中的所述一个或以上物体的每一个生成三维形状；

基于所述第一雷达图像中的所述一个或以上物体的所述位置和所述三维形状标记所述第一雷达图像中的所述一个或以上物体来生成第二雷达图像；以及

融合所述第二雷达图像和所述第二激光雷达点云图像生成补偿图像。

11.根据权利要求1所述的***，其特征在于，所述一个或以上微型芯片进一步：

获得所述基站周围两个不同时间帧的两个第一激光雷达点云图像；

根据所述两个第一激光雷达点云图像，生成所述两个不同时间帧的两个第二激光雷达点云图像；以及

基于所述两个第二激光雷达点云图像，通过内插法生成第三时间帧的第三激光雷达点云图像。

12.根据权利要求1所述的***，其特征在于，所述一个或以上微型芯片进一步：

获得所述基站周围至少两个不同时间帧的至少两个第一激光雷达点云图像；

根据所述至少两个第一激光雷达点云图像，生成所述至少两个不同时间帧的至少两个第二激光雷达点云图像；以及

基于所述至少两个第二激光雷达点云图像生成视频。

13.一种在计算设备上实现的方法，所述计算设备具有存储用于识别和定位车辆周围的一个或以上物体的指令的一个或以上存储介质，以及电子连接到所述一个或以上存储介质的一个或以上微型芯片，所述方法包括：

获得检测基站周围的第一激光雷达(LiDAR)点云图像；

识别所述第一激光雷达点云图像中的一个或以上物体；

确定所述第一激光雷达点云图像中所述一个或以上物体的一个或以上位置；

为所述一个或以上物体中的每一个生成三维形状；以及

基于所述一个或以上物体的所述位置和所述三维形状标记所述第一激光雷达点云图像中的所述一个或以上物体来生成第二激光雷达点云图像。

14.根据权利要求13所述的方法，还包括：

获得包括所述一个或以上物体中的至少一个的第一照相机图像；

识别所述第一照相机图像中的所述一个或以上物体的至少一个目标物体和所述第一照相机图像中的所述至少一个目标物体的至少一个目标位置；以及

基于所述第一照相机图像中的所述至少一个目标位置和所述第二激光雷达点云图像中的所述至少一个目标物体的所述三维形状标记所述第一照相机图像中的所述至少一个目标物体来生成第二照相机图像。

15.根据权利要求14所述的方法，其特征在于，所述标记所述第一照相机图像中的所述至少一个目标物体进一步包括：

获得所述第一照相机图像中所述至少一个目标物体的二维形状；

关联所述第二激光雷达点云图像与所述第一照相机图像；

基于所述至少一个目标物体的所述二维形状和所述激光雷达点云图像与所述第一照相机图像之间的关联生成所述第一照相机图像中所述至少一个目标物体的三维形状；

基于所述第一照相机图像中的所述识别位置和所述第一照相机图像中所述至少一个目标物体的所述三维形状标记所述第一照相机图像中的所述至少一个目标物体来生成第二照相机图像。

16.根据权利要求14所述的方法，其特征在于，所述识别所述第一照相机图像中的所述至少一个目标物体和所述第一照相机图像中所述至少一个目标物体的所述位置进一步包括：

操作you only look once(YOLO)网络或小型YOLO(tiny you look only once,tiny-YOLO)网络来识别所述第一照相机图像中的所述至少一个目标物体和所述第一照相机图像中所述至少一个目标物体的所述位置。

17.根据权利要求13所述的方法，其特征在于，所述识别所述第一激光雷达点云图像中的所述一个或以上物体进一步包括：

获得所述第一激光雷达点云图像中至少两个点的坐标，其中所述至少两个点包括不感兴趣的点和剩余点；

根据所述坐标从所述至少两个点中删除所述不感兴趣的点；

基于点云聚类算法聚类所述的剩余点为一个或以上聚类；以及

选择所述一个或以上聚类中的至少一个作为目标聚类，所述目标聚类中的每一个对应于一个物体。

18.根据权利要求13所述的方法，其特征在于，为所述一个或以上物体中的每一个生成三维形状还包括：

确定所述物体的初步三维形状；

调整所述初步三维形状的高度、宽度、长度、偏航或方向中的至少一个以产生三维形状建议；

计算所述三维形状建议的得分；

确定所述三维形状建议的所述得分是否满足预设条件；

响应于所述确定所述三维形状建议的所述得分不满足预设条件，进一步调整所述三维形状建议；以及

响应于所述确定所述三维形状建议或所述进一步调整的三维形状建议的所述得分满足所述预设条件，确定所述三维形状建议或进一步调整的三维形状建议为所述物体的所述三维形状。

19.根据权利要求18所述的方法，其特征在于，所述三维形状建议的所述得分是根据所述三维形状建议内的所述第一激光雷达点云图像中的多个点、所述三维形状建议外的所述第一激光雷达点云图像中的多个点或点与所述三维形状之间的距离中的至少一个来计算的。

20.根据权利要求13所述的方法，还包括：

获得所述检测基站周围的第一雷达(Radar)图像；

识别所述第一雷达图像中的所述一个或以上物体；

确定所述第一雷达图像中的所述一个或以上物体的一个或以上位置；

为所述第一雷达图像中的所述一个或以上物体的每一个生成三维形状；

基于所述第一雷达图像中的所述一个或以上物体的所述位置和所述三维形状标记所述第一雷达图像中的所述一个或以上物体来生成第二雷达图像；以及

融合所述第二雷达图像和所述第二激光雷达点云图像生成补偿图像。

21.根据权利要求13所述的方法，还包括：

获得所述基站周围两个不同时间帧的两个第一激光雷达点云图像；

根据所述两个第一激光雷达点云图像，生成所述两个不同时间帧的两个第二激光雷达点云图像；以及

基于所述两个第二激光雷达点云图像，通过内插法生成第三时间帧的第三激光雷达点云图像。

22.根据权利要求13所述的方法，还包括：

获得所述基站周围至少两个不同时间帧的至少两个第一激光雷达点云图像；

根据所述至少两个第一激光雷达点云图像，生成所述至少两个不同时间帧的至少两个第二激光雷达点云图像；以及

基于所述至少两个第二激光雷达点云图像生成视频。

23.一种非暂时性计算机可读介质，包括至少一组用于识别和定位车辆周围的一个或以上物体的指令，其特征在于，当由电子终端的微型芯片执行时，所述至少一组指令指示所述微型芯片执行：

获得检测基站周围的第一激光雷达(LiDAR)点云图像；

识别所述第一激光雷达点云图像中的一个或以上物体；

确定所述第一激光雷达点云图像中所述一个或以上物体的一个或以上位置；

为所述一个或以上物体中的每一个生成三维形状；以及

基于所述一个或以上物体的所述位置和所述三维形状标记所述第一激光雷达点云图像中的所述一个或以上物体来生成第二激光雷达点云图像。