CN112823294B - 用于标定相机和多线激光雷达的***和方法 - Google Patents

用于标定相机和多线激光雷达的***和方法 Download PDF

Info

Publication number
CN112823294B
CN112823294B CN201980001780.2A CN201980001780A CN112823294B CN 112823294 B CN112823294 B CN 112823294B CN 201980001780 A CN201980001780 A CN 201980001780A CN 112823294 B CN112823294 B CN 112823294B
Authority
CN
China
Prior art keywords
calibration plates
camera
calibration
dimensional data
same image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980001780.2A
Other languages
English (en)
Other versions
CN112823294A (zh
Inventor
朱保华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Voyager Technology Co Ltd
Original Assignee
Beijing Voyager Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Voyager Technology Co Ltd filed Critical Beijing Voyager Technology Co Ltd
Publication of CN112823294A publication Critical patent/CN112823294A/zh
Application granted granted Critical
Publication of CN112823294B publication Critical patent/CN112823294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及用于标定自动驾驶车辆的相机和多线激光雷达的***和方法。***可以执行以下方法：从相机获取其上包括至少两个标定板的一张图像；从激光雷达获取至少两个标定板的三维数据；以及基于所述图像和所述三维数据，确定所述相机相对于所述激光雷达的相对姿态。

Description

用于标定相机和多线激光雷达的***和方法
技术领域
本申请一般涉及用于自动驾驶的***和方法，尤其涉及用于标定自动驾驶车辆的相机和多线激光雷达的***和方法。
背景技术
基于多传感器融合的自动驾驶方案已越来越受欢迎。在上述方案中，车载多线激光雷达(LIDAR)和至少两个相机在自动驾驶中起着重要作用。然而，在某些情况下，可能需要标定激光雷达和至少两个相机中的每一个。在每次标定期间，可能必须多次移动自动驾驶车辆，并且必须获取在不同位置处的标定板的多张图像。因此，获取合适的标定数据是一个复杂的过程，这导致标定效率很低。因此，希望提供用于标定相机和多线激光雷达的***和方法，能够简单/容易地获取标定数据，从而提高标定效率。
发明内容
本申请的一个方面介绍了一种用于标定自动驾驶车辆相机和多线激光雷达的***。该***可以包括至少一个存储介质，其包括用于标定相机和多线激光雷达的一组指令；至少一个与存储介质通信的处理器，其中当执行一组指令时，所述至少一个处理器用于：从相机获取其上包括至少两个标定板的一张图像；从激光雷达获取所述至少两个标定板的三维数据；并基于所述图像和所述三维数据，确定所述相机相对于所述激光雷达的相对姿态。
在一些实施例中，所述至少两个标定板可以均匀地分布在所述图像上。
在一些实施例中，每个所述至少两个标定板的位置是可调节的。
在一些实施例中，所述至少两个标定板的至少一个第一标定板可以放置在离相机或自动驾驶车辆的第一距离处，并且所述至少一个第一标定板可以具有第一尺寸。
在一些实施例中，所述至少两个标定板的至少一个第二标定板可以放置在距相机或自动驾驶车辆的第二距离处，并且所述至少一个第二标定板可以具有第二尺寸。
在一些实施例中，所述第一距离可以大于所述第二距离，并且所述第一尺寸可以小于所述第二尺寸。
在一些实施例中，所述至少两个标定板可以包括六个或七个标定板。
在一些实施例中，为了确定相对姿态，所述至少一个处理器还用于：根据所述图像和所述三维数据，根据PnP(Perspective-n-Point)方法确定相对姿态。
根据本申请的另一方面，一种用于标定自动驾驶车辆的相机和多线激光雷达的方法。该方法可以包括：从相机获取其上包括至少两个标定板的一张图像；从激光雷达获取所述至少两个标定板的三维数据；并且基于所述图像和所述三维数据，确定所述相机相对于所述激光雷达的相对姿态。
根据本申请的又一方面，一种非暂时性计算机可读介质，包括至少一个兼容用于标定相机和多线激光雷达的一组指令。当由电子设备的至少一个处理器执行时，至少一个一组指令指示至少一个处理器执行方法。该方法可以包括：从相机获取其上包括至少两个标定板的一张图像；从激光雷达获取所述至少两个标定板的三维数据；并且基于所述图像和所述三维数据，确定所述相机相对于所述激光雷达的相对姿态。
根据本申请的又一方面，一种用于标定相机和多线激光雷达的***可以包括：图像获取模块，被配置为从相机获取其上包括至少两个标定板的一张图像；三维数据获取模块，被配置为从激光雷达获取所述至少两个标定板的三维数据；和相对姿态确定模块，被配置为基于所述图像和所述三维数据，确定所述相机相对于所述激光雷达的相对姿态。
本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。
附图说明
本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。附图未按比例绘制。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：
图1是根据本申请的一些实施例所示的示例性自动驾驶***的示意图；
图2是根据本申请的一些实施例所示的示例性计算设备的示例性硬件和/或软件组件的示意图；
图3是根据本申请的一些实施例所示的可以实现终端设备的示例性移动设备的示例性硬件和/或软件组件的示意图；
图4是根据本申请的一些实施例所示的示例性处理设备的框图；
图5是根据本申请的一些实施例所示的用于标定自动驾驶车辆的相机和多线激光雷达的示例性过程的流程图；
图6是根据本申请的一些实施例所示的其上包括至少两个标定板的示例性图像的示意图；以及
图7是根据本申请的一些实施例所示的自动驾驶车辆和至少两个标定板的示例性场景的示意图。
具体实施方式
以下描述是为了使本领域的普通技术人员能够实施和利用本申请，并且该描述是在特定的应用场景及其要求的环境下提供的。对于本领域的普通技术人员来讲，显然可以对所披露的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本申请并不限于所描述的实施例，而应该被给予与权利要求一致的最广泛的范围。
本申请中所使用的术语仅用于描述特定的示例性实施例，并不限制本申请的范围。如本申请使用的单数形式“一”、“一个”及“该”可以同样包括复数形式，除非上下文明确提示例外情形。还应当理解，如在本申请中，术语“包括”、“包含”仅提示存在所述特征、整体、步骤、操作、组件和/或部件，但并不排除存在或添加一个或以上其他特征、整体、步骤、操作、组件、部件和/或其组合的情况。
根据以下对附图的描述，本申请的这些和其他的特征、特点以及相关结构元件的功能和操作方法，以及部件组合和制造经济性，可以变得更加显而易见，这些附图都构成本申请说明书的一部分。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当理解的是，附图并不是按比例绘制的。
本申请中使用了流程图用来说明根据本申请的一些实施例的***所执行的操作。应当理解的是，流程图中的操作可以不按顺序执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将一个或以上其他操作添加到这些流程图中。也可以从流程图中删除一个或以上操作。
此外，虽然本申请中披露的***和方法主要涉及在自动驾驶***中标定相机和多线激光雷达，但应该理解，这仅是一个示例性实施例。本申请的***和方法可以应用于任意其他类型的运输***。例如，本申请的***和方法可以应用于不同环境的运输***，包括陆地、海洋、航空航天等，或其任意组合。运输***的自动驾驶车辆可以包括出租车、私家车、顺风车、公共汽车、火车、动车、高铁、地铁、船只、飞机、宇宙飞船、热气球等，或其任意组合。
本申请的一个方面涉及用于标定自动驾驶车辆的相机和多线激光雷达的***和方法。该***和方法可以捕获其上包括至少两个标定板的一张图像，而不是捕获至少两张图像，每张图像仅包括在不同位置的一个标定板。该***和方法可以使用其上包括至少两个标定板的图像和从激光雷达获取的三维数据来标定相机和多线激光雷达。以这种方式，通过简化从相机获取数据，相机和多线激光雷达的标定可以是高效的。
图1是根据本申请的一些实施例所示的示例性自动驾驶***100的示意图。在一些实施例中，自动驾驶***100可以包括车辆110(例如，车辆110-1、110-2......和/或110-n)、服务器120、终端设备130、存储设备140、网络150，以及定位和导航***160。
车辆110可以是任意类型的自动驾驶车辆，无人驾驶飞行器等。自动驾驶车辆或无人驾驶飞行器可以指能够实现一定程度的驾驶自主化的车辆。示例性的驾驶自主化水平可以包括车辆主要由人监督并且具有特定的自主功能(例如，自主转向或加速)的第一级，车辆具有一个或以上先进的司机辅助***(ADAS)(例如，自适应巡航控制***、车道保持***)，其可以控制车辆的制动、转向和/或加速的第二级，当满足一个或以上某些条件时车辆能够自动驾驶的第三级，车辆可在没有人为输入或疏忽的情况下操作，但仍然受到某些限制(例如，限于某一区域)的第四级，车辆可以在所有情况下自主操作的第五级等，或其任意组合。
在一些实施例中，车辆110可具有使车辆110能够移动或飞行的等效结构。例如，车辆110可以包括传统车辆的结构，例如，底盘、悬架、转向设备(例如，方向盘)、制动设备(例如，制动踏板)、加速器等。又例如，车辆110可具有车身和至少一个车轮。车身可以是任意车身类型，例如运动车辆、轿跑车、轿车、皮卡车、旅行车、运动型多功能车(SUV)、小型货车或转换车。至少一个车轮可以被配置用作全轮驱动(AWD)、前轮驱动(FWR)、后轮驱动(RWD)等。在一些实施例中，预期车辆110可以是电动车辆、燃料电池车辆、混合动力车辆、传统内燃机车辆等。
在一些实施例中，车辆110能够感测其环境并使用一个或以上检测单元112进行导航。至少两个检测单元112可以包括全球定位***(GPS)模块、雷达(例如、激光雷达(LiDAR))、惯性测量单元(IMU)、相机等，或其任意组合。雷达(例如，激光雷达)可以被配置为扫描周围环境并生成点云数据。然后，点云数据可用于制作车辆110周围的一个或以上物体的数字三维表示。GPS模块可以指能够从GPS卫星接收地理定位和时间信息然后计算设备的地理位置的设备。IMU传感器可以指使用各种惯性传感器测量并提供车辆的特定力、角速率，有时是车辆周围的磁场的电子设备。各种惯性传感器可以包括加速度传感器(例如，压电传感器)、速度传感器(例如，霍尔传感器)、距离传感器(例如，雷达、激光雷达、红外传感器)、转向角传感器(例如，倾斜传感器)、牵引相关传感器(例如，力传感器)等。相机可以被配置为获取与相机范围内的物体(例如，人、动物、树、路障、建筑物或车辆)相关的一个或以上图像。
在一些实施例中，服务器120可以是单个服务器，也可以是服务器组。所述服务器组可以是集中式的，也可以是分布式的(例如，服务器120可以是分布式的***)。在一些实施例中，服务器120可以是本地的，也可以是远程的。例如，服务器120可以经由网络150访问存储在终端设备130、检测单元112、车辆110、存储设备140和/或定位和导航***160中的信息和/或数据。又例如，服务器120可以直接连接到终端设备130、检测单元112、车辆110和/或存储设备140以访问存储信息和/或数据。在一些实施例中，服务器120可以在云平台或车载计算机上实现。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等，或其任意组合。在一些实施例中，服务器120可以在本申请中的图2描述的包含了一个或以上组件的计算设备200上执行。
在一些实施例中，服务器120可以包括处理设备122。处理设备122可以处理与自动驾驶相关联的信息和/或数据，以执行本申请中描述的一个或以上功能。例如，处理设备122可以标定相机和多线激光雷达。在一些实施例中，所述处理设备122可以包括一个或以上处理引擎(例如，单芯片处理引擎或多芯片处理引擎)。仅作为示例，处理设备122可以包括中央处理单元(CPU)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、图像处理单元(GPU)、物理运算处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等，或其任意组合。在一些实施例中，处理设备122可以集成到车辆110或终端设备130中。
在一些实施例中，终端设备130可以包括移动设备130-1、平板计算机130-2、膝上型计算机130-3、车辆130-4中的内置设备、可穿戴设备130-5等，或其任意组合。在一些实施例中，移动设备130-1可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、增强现实设备等，或其任意组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器控制设备、智能监控设备、智能电视、智能相机、对讲机等，或其任意组合。在一些实施例中，所述可穿戴设备可以包括智能手环、智能鞋袜、智能眼镜、智能头盔、智能手表、智能服装、智能背包、智能配件等，或其任意组合。在一些实施例中，智能移动设备可以包括智能电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)等，或其任意组合。在一些实施例中，虚拟现实设备和/或增强型虚拟现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等，或其任意组合。例如，虚拟现实设备和/或增强现实设备可以包括GoogleTM Glass、Oculus Rift、HoloLens、Gear VR等。在一些实施例中，车载设备130-4可以包括车载计算机、车载电视等。在一些实施例中，服务器120可以集成到终端设备130中。在一些实施例中，终端设备130可以是具有定位技术的设备，用于定位终端设备130的位置。
存储设备140可以存储数据和/或指令。在一些实施例中，存储设备140可以存储从车辆110、检测单元112、处理设备122、终端设备130、定位和导航***160和/或外部存储设备获取的数据。例如，存储设备140可以在检测单元112中存储从激光雷达获取的激光雷达数据(例如，至少两个标定板的三维数据)。又例如，存储设备140可以存储从检测单元112中的相机获取的相机数据(例如，其上包括至少两个标定板的图像)。在一些实施例中，存储设备140可以存储服务器120用来执行或使用来完成本申请中描述的示例性方法的数据和/或指令。例如，存储设备140可以存储处理设备122可以执行或用于标定相机和多线激光雷达的指令。在一些实施例中，存储设备140可以包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等，或其任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可以包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDR SDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可以包括掩模型只读内存(MROM)、可编程只读内存(PROM)、可擦除可编程只读内存(EPROM)、电可擦除可编程只读内存(EEPROM)、光盘只读内存(CD-ROM)和数字多功能磁盘只读内存等。在一些实施例中，所述存储设备140可在云端平台上执行。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等，或其任意组合。
在一些实施例中，存储设备140可以连接到网络150以与自动驾驶***100的一个或以上组件(例如，服务器120、终端设备130、检测单元112、车辆110和/或定位和导航***160)通信。自动驾驶***100的一个或以上组件可以经由网络150访问存储设备140中存储的数据或指令。在一些实施例中，存储设备140可以直接连接到自动驾驶***100的一个或以上组件(例如，服务器120、终端设备130、检测单元112、车辆110和/或定位和导航***160)或与之通信。在一些实施例中，存储设备140可以是服务器120的一部分。在一些实施例中，存储设备140可以集成到车辆110中。
网络150可以促进信息和/或数据的交换。在一些实施例中，自动驾驶***100的一个或以上组件(例如，服务器120、终端设备130、检测单元112、车辆110、存储设备140或定位和导航***160)可以经由网络150将信息和/或数据发送到自动驾驶***100的其他组件。例如，服务器120可以通过网络120从车辆110、终端设备130、存储设备140，和/或定位和导航***160获取激光雷达数据(例如，至少两个标定板的三维数据)或相机数据(例如，其上包括至少两个标定板的图像)。在一些实施例中，网络150可以为任意形式的有线或无线网络，或其任意组合。仅作为示例，网络150可以包括缆线网络、有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络、近场通信(NFC)网络等，或其任意组合。在一些实施例中，网络150可以包括一个或以上网络接入点。例如，网络150可以包括有线或无线网络接入点(例如，150-1、150-2)，通过该接入点，自动驾驶***100的一个或以上组件可以连接到网络150以交换数据和/或信息。
定位和导航***160可以确定与对象相关联的信息，例如，终端设备130、车辆110等。在一些实施例中，定位导航***160可以是全球定位***(GPS)、全球导航卫星***(GLONASS)、罗盘导航***(COMPASS)、北斗导航卫星***、伽利略定位***、准天顶卫星***(QZSS)等。信息可以包括物体的位置、高度、速度或加速度、当前时间等。定位和导航***160可以包括一个或以上的卫星，例如，卫星160-1、卫星160-2和卫星160-3。所述卫星160-1至160-3可以独立地或共同地确定上述所述信息。卫星定位和导航***160可以经由无线连接将上述信息发送到网络150、终端设备130或车辆110。
本领域普通技术人员将理解，当自动驾驶***100的元件(或组件)执行时，该元件可以通过电信号和/或电磁信号执行。例如，当终端设备130向服务器120发送请求时，终端设备130的处理器可以生成编码有该请求的电信号。然后，终端设备130的处理器可以将电信号发送到输出端口。如果终端设备130经由有线网络与服务器120通信，则输出端口可以物理地连接到电缆，电缆还可以将电信号发送到服务器120的输入端口。如果终端设备130经由无线网络与服务器120通信，则终端设备130的输出端口可以是一个或以上天线，其将电信号转换为电磁信号。在诸如终端设备130和/或服务器120的电子设备内，当其处理器处理指令，发出指令和/或执行动作时，指令和/或动作通过电信号进行。例如，当处理器从存储介质(例如，存储设备140)检索或保存数据时，它可以将电信号发送到存储介质的读/写设备，其可以在存储介质中读取或写入结构化数据。该结构数据可以通过电子设备的总线，以电信号的形式传输至处理器。此处，电信号可以指一个电信号、一系列电信号和/或至少两个不连续的电信号。
图2是根据本申请的一些实施例所示的示例性计算设备的示例性硬件和/或软件组件的示意图。在一些实施例中，服务器120和/或终端设备130可以在计算设备200上实现。例如，处理设备122可以在计算设备200上实现，并且被配置为执行本申请中披露的处理设备122的功能。
计算设备200可用于实现本申请的自动驾驶***100的组件。例如，自动驾驶***100的处理设备122可以通过其硬件、软件程序、固件或其组合在计算设备200上实现。尽管为了方便仅示出了一个这样的计算机，但是与这里描述的自动驾驶***100相关的计算机功能可以以分布式方式在多个类似平台上实现以分配处理负荷。
计算设备200可以包括连接到与其连接的网络(例如，网络150)的通信(COM)端口250，以促进数据通信。计算设备200还可以包括处理器(例如，处理器220)，其形式为一个或以上处理器(例如，逻辑电路)，用于执行程序指令。例如，处理器可以包括其中的接口电路和处理电路。接口电路可以被配置为从总线210接收电信号，其***号编码用于处理电路的结构化数据和/或指令。处理电路可以进行逻辑计算，然后将结论、结果和/或指令编码确定为电信号。然后，接口电路可以经由总线210从处理电路发出电信号。
计算设备200还可以包括不同形式的程序存储和数据存储，包括：例如磁盘270、只读内存(ROM)230或随机存取内存(RAM)240，用于存储由计算设备200处理和/或传输的各种数据文件。示例性计算设备200还可以包括存储在ROM 230、RAM 240和/或由处理器220执行的其他类型的非暂时性存储介质中的程序指令。本申请的方法和/或流程可以以程序指令的方式实现。计算设备200还包括I/O组件260，其支持计算设备200与其中的其他组件之间的输入/输出。计算设备200也可以通过网络通信接收编程和数据。
仅仅为了说明，在计算设备200中仅描述了一个处理器。然而，应当注意，本申请中的计算设备200还可以包括多个处理器，因此由本申请中描述的一个处理器执行的操作也可以由多个处理器联合或单独执行。例如，计算设备200的处理器执行操作A和操作B。又例如，操作A和操作B也可以由计算设备200中的两个不同的处理器联合或分开执行(例如，第一处理器执行操作A，第二处理器执行操作B，或者第一和第二处理器共同执行操作A和B)。
图3是根据本申请的一些实施例所示的可以实现终端设备的示例性移动设备的示例性硬件和/或软件组件的示意图。在一些实施例中，终端设备130可以在移动设备300上实现。如图3所示，移动设备300可以包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、I/O350、内存360、移动操作***(OS)370和存储器390。在一些实施例中，任意其他合适的组件，包括但不限于***总线或控制器(未示出)，也可以包括在移动设备300内。
在一些实施例中，移动操作***370(如，iOSTM、AndroidTM、Windows PhoneTM)和一个或以上应用程序380可以从存储器390加载到内存360中以便由CPU340执行。应用程序380可以包括浏览器或任意其他合适的移动应用程序，用于从处理设备122接收和呈现与定位或其他信息有关的信息。用户与信息流的交互可以通过I/O 350实现，并通过网络150提供给处理设备122和/或自动驾驶***100的其他组件。
为了实施本申请描述的各种模块、单元及其功能，计算机硬件平台可用作本文中描述的一个或以上组件的硬件平台。具有用户接口元素的计算机可用于实施个人计算机(PC)或任意其他类型的工作站或终端设备。若计算机被适当的程序化，计算机亦可用作服务器。
图4是根据本申请的一些实施例所示的示例性处理设备122的框图。处理设备122可以包括图像获取模块410、三维数据获取模块420和相对姿态确定模块430。
图像获取模块410可以被配置为从相机获取其上包括至少两个标定板的图像。例如，相机可以捕获图像，并经由网络150将图像发送到图像获取模块410。
三维数据获取模块420可以被配置为从激光雷达获取至少两个标定板的三维数据。例如，激光雷达可以扫描至少两个标定板以获取其三维数据。激光雷达还可以经由网络150将三维数据发送到三维数据获取模块420。
相对姿态确定模块430可以被配置为基于所述图像和所述三维数据，确定所述相机相对于所述激光雷达的相对姿态。
处理设备122中的模块可以通过有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合电缆等，或其任意组合。无线连接可以包括局域网络(LAN)、广域网络(WAN)、蓝牙、紫蜂网络、近场通信(NFC)等，或其任意组合。两个或以上模块可以合并成一个模块，以及任意一个模块可以被拆分成两个或以上单元。例如，处理设备122可以包括存储模块(未示出)，其用于存储与标定相机和多线激光雷达相关联的信息和/或数据(例如，三维数据、图像等)。
图5是根据本申请的一些实施例所示的用于标定自动驾驶车辆的相机和多线激光雷达的示例性过程500的流程图。在一些实施例中，过程500可以通过存储在ROM 230或RAM240中的一组指令(例如，应用程序)来实现。处理器220和/或图4中的模块可以执行一组指令，并且当执行指令时，处理器220和/或模块可以被配置以执行处理500。以下所示过程的操作仅出于说明的目的。在一些实施例中，过程500可以利用未描述的一个或以上附加操作和/或没有在此讨论的一个或以上操作来完成。另外，如图5所示和下面描述的过程操作的顺序不是限制性的。
在510中，处理设备122(例如，图像获取模块410、处理器220的接口电路)可以从相机获取其上包括至少两个标定板的一张图像。
在一些实施例中，标定板可以是参考板。例如，标定板可以包括其上具有固定间隔图案的平面板。例如，所述固定间隔图案可以包括棋盘、固定间隔圆阵列图案等，或其任意组合。
在一些实施例中，所述至少两个标定板可以均匀地分布在所述图像上。图6是根据本申请的一些实施例所示的其上包括至少两个标定板的示例性图像的示意图。如图6所示，至少两个标定板可以包括六个标定板。六个标定板可以均匀地分布在图像上。六个标定板中的每一个都可以完全显示而不被覆盖。
在一些实施例中，可以根据不同的场景确定至少两个标定板的数量。例如，至少两个标定板的数量可以由处理设备122根据机器学习算法确定。处理设备122可以学习用于标定相机和多线激光雷达的历史数据，以确定至少两个标定板的数量。又例如，至少两个标定板的数量可以由处理设备122的操作者根据操作经验确定。再例如，可以根据至少两个标定板的距离、尺寸、视角、图案等来确定至少两个标定板的数量。在一些实施例中，至少两个标定板的数量可以是至少四个且至多十个。例如，至少两个标定板的数量可以是四个、五个、六个、七个、八个、九个或十个。应当注意至少两个标定板的数量可以不受限制。
在一些实施例中，可以将所述至少两个标定板放置在相机的视野中，使得相机可以拍摄所述至少两个标定板的图像。在一些实施例中，每个所述至少两个标定板的位置可以是可调节的。例如，所述至少两个标定板可以分布在相机的不同的视角和/或距离相机不同的距离处。又例如，每个所述至少两个标定板的位置可以根据图像上的至少两个标定板的分布来确定。可以确定每个所述至少两个标定板的位置以确保所述至少两个标定板均匀地分布在所述图像上。
图7是根据本申请的一些实施例所示的自动驾驶车辆和至少两个标定板的示例性场景的示意图。如图7所示，至少两个标定板710和720可以放置在自动驾驶车辆740的相机730的前面。在一些实施例中，至少两个标定板的至少一个第一标定板710可以放置在距离相机或自动驾驶车辆的第一距离处。至少一个第一标定板710可具有第一尺寸。在一些实施例中，至少两个标定板的至少一个第二标定板720可以放置在距离相机或自动驾驶车辆的第二距离处。至少一个第二标定板720可以具有第二尺寸。在一些实施例中，第一距离可以大于第二距离，并且第一尺寸可以小于第二尺寸。例如，如图7所示，至少两个标定板可以包括六个标定板。六个标定板可以放置在相机730或自动驾驶车辆740前的两行中。仅作为示例，三个第一标定板710可以放置在离相机730或自动驾驶车辆740的10米处。三个第一标定板710中的每一个的尺寸可以是大约1×1米。三个第二标定板720可以放置在离相机730或自动驾驶车辆740的20米处。三个第二标定板720中的每一个的尺寸可以是大约3×3米。相机730可以拍摄包括六个标定板的图像。在所述图像上，六个标定板可以均匀分布而不被覆盖。
在一些实施例中，可以根据不同的场景确定相机或自动驾驶车辆距离所述至少两个标定板的距离和/或尺寸。例如，至少两个标定板的距离和/或尺寸可以由处理设备122根据机器学习算法确定。处理设备122可以学习用于标定相机和多线激光雷达的历史数据，以确定至少两个标定板的距离和/或尺寸。又例如，至少两个标定板的距离和/或尺寸可以由处理设备122的操作者根据操作经验确定。再例如，至少两个标定板的距离和/或尺寸可以根据至少两个标定板的视角，图案等来确定。
应该注意，图6和图7仅仅是出于说明的目的而提供的，并不旨在限制本申请的范围。例如，至少两个标定板中的每一个可以放置在距相机或自动驾驶车辆不同的距离处。又例如，每个至少两个标定板可以具有不同的尺寸。再例如，至少两个标定板中的一些可以放置在距照相机或自动驾驶车辆相同的距离处，并且至少两个标定板中的一些可以具有相同的尺寸。
在520中，处理设备122(例如，三维数据获取模块420、处理器220的接口电路)可以从激光雷达获取所述至少两个标定板的三维数据。
在一些实施例中，所述激光雷达可以是多线激光雷达。例如，所述激光雷达可以是4线、8线、16线、32线、64线、128线激光雷达等，或其任意组合。在一些实施例中，所述激光雷达可扫描所述至少两个标定板以获取所述至少两个标定板的三维数据。处理设备122可以通过网络150从激光雷达获取所述至少两个标定板的三维数据。在每个实施例中，每个所述至少两个标定板的三维数据可以反映每个标定板的表面形态和三维坐标。例如，三维数据可以包括所述至少两个标定板中的每一个的三维空间信息和激光强度信息。使用所述至少两个标定板的三维数据，可以建立所述至少两个标定板的点云。
在530中，处理设备122(例如，相对姿态确定模块430)可以基于图像和三维数据确定相机相对于激光雷达的相对姿态。
在一些实施例中，相机相对于激光雷达姿态的相对姿态可以是相机和多线激光雷达的标定结果。相机相对于激光雷达的相对姿态可以反映相机相对于激光雷达的方向、位置、姿态或旋转。相对姿态可以包括6个自由度(DOF)，其由相机相对于激光雷达的旋转(滚动、俯仰和偏转)和三维平移构成。例如，相对姿态可以表示为欧拉角、旋转矩阵、方位四元数等，或其任意组合。
在一些实施例中，处理设备122可以确定当图像上的所述至少两个标定板与从激光雷达获取的三维数据对齐时的相对姿态。例如，处理设备122可以在将图像上的至少两个标定板与三维数据对齐时的旋转和平移，确定为所述相机和多线激光雷达的相对姿态。
在一些实施例中，处理设备122可以根据数学方法，基于图像和三维数据，确定所述相对姿态。例如，所述数学方法可以包括Perspective-n-Point(PnP)方法、EfficientPerspective-n-Point(EPnP)方法、直接线性变换(DLT)方法、随机抽样一致性方法(RANSAC)等，或其任意组合。例如，处理设备122可以根据下面的等式(1)基于PnP方法确定所述相对姿态：
s pc＝K[R|T]pw (1)，
其中pw表示从激光雷达获取的齐次三维点，pc表示从相机获取的相应齐次图像点，K表示相机的内参矩阵，s表示图像点的比例因子，并且R和T表示所述相机从所述激光雷达的三维旋转和三维平移，其被确定为所述相机相对于所述激光雷达的相对姿态。例如，处理设备122可以从相机或存储设备(例如，存储设备140)获取相机的内参矩阵K和图像点的比例因子s。在一些实施例中，相机的内参矩阵K和图像点的比例因子s可以是已知的或预先确定的并存储在存储设备(例如，存储设备140)中。处理设备122还可以将从激光雷达获取的齐次三维点pw、从相机获取相应的齐次图像点pc、相机的内参矩阵K和图像点的比例因子s输入到等式(1)中，以计算三维旋转和三维平移[R|T]，作为相机相对于激光雷达的相对姿态。
在一些实施例中，所述自动驾驶车辆可以包括至少两个相机，用于检测自动驾驶车辆周围的环境。例如，至少两个相机可以安装在自动驾驶车辆的车顶上以形成用于检测自动驾驶车辆周围360°环境的一圈相机。对于所述至少两个相机中的每一个，处理设备122可以实施上述过程或方法500以标定相机和多线激光雷达。在一些实施例中，对于所述至少两个相机中的每一个，处理设备122可以移动自动驾驶车辆以获取至少两张图像，所述至少两张图像中的每一张图像上都包括至少两个标定板。处理设备122还可以获取在每张图像上拍摄的至少两个标定板的三维数据。处理设备122可以基于所述至少两张图像和所述三维数据来确定相机相对于激光雷达的相对姿态。
应该注意的是，上述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。例如，可以在过程500中的其他地方添加一个或以上其他可选操作(例如，存储操作)。在存储操作中，处理设备122可以存储本申请中其他地方披露的存储设备(例如，存储设备140)中的信息和/或数据(例如，相机和多线激光雷达之间的相对姿态)。又例如，处理设备122可以使用不同的方法标定自动驾驶车辆和激光雷达的每个相机。
上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任意新的和有用的过程、机器、产品或物质的组合，或对其任意新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括韧体、常驻软件、微代码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“单元”、“模块”或“***”。此外，本申请的各方面可以采取体现在一个或以上计算机可读介质中的计算机程序产品的形式，其中计算机可读程序代码包含在其中。
计算机可读信号介质可能包含一个内含有计算机程序代码的传播数据信号，例如在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任意合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任意计算机可读介质，该介质可以通过连接至一个指令执行***、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任意合适的介质进行传播，包括无线电、电缆、光纤电缆、RF等，或任意上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或以上程序语言编写，包括面向主体编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任意网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的***。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或以上发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (17)

1.一种用于标定自动驾驶车辆的相机和多线激光雷达的***，所述***包括：
至少一种存储介质，包括用于标定所述相机和所述激光雷达的一组指令；以及
至少一个与所述存储介质通信的处理器，当执行所述一组指令时，所述至少一个处理器用于：
从所述相机获取其上包括至少两个标定板的同一张图像，所述至少两个标定板放置在距所述相机的不同距离处，所述至少两个标定板在所述同一张图像上均匀分布且不被覆盖，且每个所述至少两个标定板的位置根据所述同一张图像上的至少两个标定板的所述分布确定；
从所述激光雷达获取所述至少两个标定板的三维数据；以及
基于所述同一张图像和所述三维数据，确定所述相机相对于所述激光雷达的相对姿态，将所述同一张图像上的至少两个标定板与所述三维数据对齐时的旋转和平移，确定为所述相机相对于所述激光雷达的所述相对姿态。
2.根据权利要求1所述的***，其特征在于，所述至少两个标定板中的每一个的位置是可调节的。
3.根据权利要求1或2所述的***，其特征在于，至少两个标定板中至少有一个第一标定板放在距离所述相机或所述自动驾驶车辆的第一距离处，以及所述至少一个第一标定板具有第一尺寸。
4.根据权利要求3所述的***，其特征在于，所述至少两个标定板中至少有一个第二标定板放在距离所述相机或所述自动驾驶车辆的第二距离处，以及所述至少一个第二标定板具有第二尺寸。
5.根据权利要求4所述的***，其特征在于，所述第一距离大于所述第二距离，以及所述第一尺寸小于所述第二尺寸。
6.根据权利要求1至5中任一项所述的***，其特征在于，所述至少两个标定板包括六或七个标定板。
7.根据权利要求1至6中任一项所述的***，其特征在于，确定所述相对姿态，所述至少一个处理器进一步用于：
基于所述图像和所述三维数据，根据PnP方法，确定所述相对姿态。
8.一种用于标定自动驾驶车辆的相机和多线激光雷达的方法，其在计算设备上实现，该计算设备包括包含一组指令的至少一个存储介质，以及与所述存储介质通信的至少一个处理器，所述方法包括：
从所述相机获取其上包括至少两个标定板的同一张图像，所述至少两个标定板放置在距所述相机的不同距离处，所述至少两个标定板在所述同一张图像上均匀分布且不被覆盖，且每个所述至少两个标定板的位置根据所述同一张图像上的至少两个标定板的所述分布确定；
从所述激光雷达获取所述至少两个标定板的三维数据；以及
基于所述同一张图像和所述三维数据，确定所述相机相对于所述激光雷达的相对姿态，将所述同一张图像上的至少两个标定板与所述三维数据对齐时的旋转和平移，确定为所述相机相对于所述激光雷达的所述相对姿态。
9.根据权利要求8所述的方法，其特征在于，所述至少两个标定板中的每一个的位置是可调节的。
10.根据权利要求8或9所述的方法，其特征在于，所述至少两个标定板中至少有一个第一标定板放在距离所述相机或所述自动驾驶车辆的第一距离处，并且所述至少一个第一标定板具有第一尺寸。
11.根据权利要求10所述的方法，其特征在于，所述至少两个标定板中至少有一个第二标定板放在距离所述相机或所述自动驾驶车辆的第二距离处，以及所述至少一个第二标定板具有第二尺寸。
12.根据权利要求11所述的方法，其特征在于，所述第一距离大于所述第二距离，所述第一尺寸小于所述第二尺寸。
13.根据权利要求8至12中任一项所述的方法，其特征在于，所述至少两个标定板包括六或七个标定板。
14.根据权利要求8至13中任一项所述的方法，其特征在于，确定所述相对姿态包括：
基于所述图像和所述三维数据，根据PnP方法，确定所述相对姿态。
15.一种非暂时性可读介质，包括用于标定自动驾驶车辆的相机和多线激光雷达的至少一组指令，其中当由电子设备的至少一个处理器执行时，所述至少一组指令指示所述至少一个处理器执行方法，所述方法包括：
从所述相机获取其上包括至少两个标定板的同一张图像，所述至少两个标定板放置在距所述相机的不同距离处，所述至少两个标定板在所述同一张图像上均匀分布且不被覆盖，且每个所述至少两个标定板的位置根据所述同一张图像上的至少两个标定板的所述分布确定；
从所述激光雷达获取所述至少两个标定板的三维数据；以及
基于所述同一张图像和所述三维数据，确定所述相机相对于所述激光雷达的相对姿态，将所述同一张图像上的至少两个标定板与所述三维数据对齐时的旋转和平移，确定为所述相机相对于所述激光雷达的所述相对姿态。
16.根据权利要求15所述的非暂时性可读介质，其特征在于，所述至少两个标定板中的每一个的位置是可调节的。
17.一种用于标定自动驾驶车辆的相机和多线激光雷达的***，其特征在于，包括：
图像获取模块，被配置为从所述相机获取其上包括至少两个标定板的同一张图像，所述至少两个标定板放置在距所述相机的不同距离处，所述至少两个标定板在所述同一张图像上均匀分布且不被覆盖，且每个所述至少两个标定板的位置根据所述同一张图像上的至少两个标定板的所述分布确定；
三维数据获取模块，被配置为从所述激光雷达获取所述至少两个标定板的三维数据；以及
相对姿态确定模块，被配置为基于所述同一张图像和所述三维数据，确定所述相机相对于所述激光雷达的相对姿态，将所述同一张图像上的至少两个标定板与所述三维数据对齐时的旋转和平移，确定为所述相机相对于所述激光雷达的所述相对姿态。
CN201980001780.2A 2019-09-18 2019-09-18 用于标定相机和多线激光雷达的***和方法 Active CN112823294B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/106348 WO2021051296A1 (en) 2019-09-18 2019-09-18 Systems and methods for calibrating a camera and a multi-line lidar

Publications (2)

Publication Number Publication Date
CN112823294A CN112823294A (zh) 2021-05-18
CN112823294B true CN112823294B (zh) 2024-02-02

Family

ID=74883293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980001780.2A Active CN112823294B (zh) 2019-09-18 2019-09-18 用于标定相机和多线激光雷达的***和方法

Country Status (3)

Country Link
US (1) US20220171060A1 (zh)
CN (1) CN112823294B (zh)
WO (1) WO2021051296A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11726189B2 (en) 2019-12-09 2023-08-15 Nio Technology (Anhui) Co., Ltd. Real-time online calibration of coherent doppler lidar systems on vehicles
US11520024B2 (en) 2019-12-24 2022-12-06 Nio Technology (Anhui) Co., Ltd. Automatic autonomous vehicle and robot LiDAR-camera extrinsic calibration
US11892560B2 (en) * 2020-02-03 2024-02-06 Nio Technology (Anhui) Co., Ltd High precision multi-sensor extrinsic calibration via production line and mobile station
CN113655466B (zh) * 2021-07-16 2023-09-29 国家石油天然气管网集团有限公司 一种基于结构光三角测量的标定***和标定方法
CN113702931B (zh) * 2021-08-19 2024-05-24 中汽创智科技有限公司 一种车载雷达的外参标定方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108020826A (zh) * 2017-10-26 2018-05-11 厦门大学 多线激光雷达与多路相机混合标定方法
CN108226906A (zh) * 2017-11-29 2018-06-29 深圳市易成自动驾驶技术有限公司 一种标定方法、装置及计算机可读存储介质
CN109212543A (zh) * 2017-07-06 2019-01-15 通用汽车环球科技运作有限责任公司 用于自主车辆操作的校准验证方法
CN109754433A (zh) * 2018-12-27 2019-05-14 中国科学院长春光学精密机械与物理研究所 一种标定图像采集方法、装置、设备及存储介质
CN109839132A (zh) * 2017-11-29 2019-06-04 德尔福技术有限责任公司 自动车辆传感器校准***
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110221275A (zh) * 2019-05-21 2019-09-10 菜鸟智能物流控股有限公司 一种激光雷达与相机之间的标定方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108369775B (zh) * 2015-11-04 2021-09-24 祖克斯有限公司 响应于物理环境的改变自适应制图以对自主车辆进行导航
US10268203B2 (en) * 2017-04-20 2019-04-23 GM Global Technology Operations LLC Calibration validation for autonomous vehicle operations
US10678260B2 (en) * 2017-07-06 2020-06-09 GM Global Technology Operations LLC Calibration methods for autonomous vehicle operations

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109212543A (zh) * 2017-07-06 2019-01-15 通用汽车环球科技运作有限责任公司 用于自主车辆操作的校准验证方法
CN108020826A (zh) * 2017-10-26 2018-05-11 厦门大学 多线激光雷达与多路相机混合标定方法
CN108226906A (zh) * 2017-11-29 2018-06-29 深圳市易成自动驾驶技术有限公司 一种标定方法、装置及计算机可读存储介质
CN109839132A (zh) * 2017-11-29 2019-06-04 德尔福技术有限责任公司 自动车辆传感器校准***
CN109754433A (zh) * 2018-12-27 2019-05-14 中国科学院长春光学精密机械与物理研究所 一种标定图像采集方法、装置、设备及存储介质
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110221275A (zh) * 2019-05-21 2019-09-10 菜鸟智能物流控股有限公司 一种激光雷达与相机之间的标定方法和装置

Also Published As

Publication number Publication date
WO2021051296A1 (en) 2021-03-25
US20220171060A1 (en) 2022-06-02
CN112823294A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN112823294B (zh) 用于标定相机和多线激光雷达的***和方法
US20220187843A1 (en) Systems and methods for calibrating an inertial measurement unit and a camera
US20220138896A1 (en) Systems and methods for positioning
WO2019242628A1 (en) Systems and methods for pose determination
AU2020200905A1 (en) Systems and methods for assisting two terminals to establish connections therebetween
CN112041210B (zh) 用于自动驾驶的***和方法
CN103727937A (zh) 一种基于星敏感器的舰船姿态确定方法
CN111854748B (zh) 一种定位***和方法
CN115439531A (zh) 一种获取目标对象的目标空间位置信息的方法与设备
CN115439528B (zh) 一种获取目标对象的图像位置信息的方法与设备
WO2021077315A1 (en) Systems and methods for autonomous driving
US20220178701A1 (en) Systems and methods for positioning a target subject
CN112840232B (zh) 用于标定相机和激光雷达的***和方法
US11940279B2 (en) Systems and methods for positioning
WO2021212297A1 (en) Systems and methods for distance measurement
CN114494423B (zh) 一种无人平台载荷非中心目标经纬度定位方法及***
CN110720025B (zh) 移动物体的地图的选择方法、装置、***和车辆/机器人
CN112673233B (zh) 地图构建***和方法
WO2021012243A1 (en) Positioning systems and methods
CN112805534B (zh) 定位目标对象的***和方法
CN113759365B (zh) 双目视觉三维光学图像与地基雷达数据融合方法和***
CN117765071A (zh) 结合视觉地点识别与数字孪生技术的位姿优化方法及***
CN113557548A (zh) 生成位姿图的***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230506

Address after: 100193 no.218, 2nd floor, building 34, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Applicant after: Beijing Track Technology Co.,Ltd.

Address before: 100193 No. 34 Building, No. 8 Courtyard, West Road, Dongbei Wanglu, Haidian District, Beijing

Applicant before: BEIJING DIDI INFINITY TECHNOLOGY AND DEVELOPMENT Co.,Ltd.

GR01 Patent grant
GR01 Patent grant