CN112840232B - 用于标定相机和激光雷达的***和方法 - Google Patents

用于标定相机和激光雷达的***和方法 Download PDF

Info

Publication number
CN112840232B
CN112840232B CN201980001809.7A CN201980001809A CN112840232B CN 112840232 B CN112840232 B CN 112840232B CN 201980001809 A CN201980001809 A CN 201980001809A CN 112840232 B CN112840232 B CN 112840232B
Authority
CN
China
Prior art keywords
target object
projection
autonomous vehicle
distance
lidar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980001809.7A
Other languages
English (en)
Other versions
CN112840232A (zh
Inventor
王镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Voyager Technology Co Ltd
Original Assignee
Beijing Voyager Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Voyager Technology Co Ltd filed Critical Beijing Voyager Technology Co Ltd
Publication of CN112840232A publication Critical patent/CN112840232A/zh
Application granted granted Critical
Publication of CN112840232B publication Critical patent/CN112840232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请涉及用于标定自动驾驶车辆的相机和激光雷达的***和方法。所述***可以执行以下方法：当自动驾驶车辆距目标物第一距离时，从相机获取目标物的第一投影；当自动驾驶车辆距目标物第二距离时，从激光雷达获取目标物的三维信息，其中第一距离大于第二距离；基于所述三维信息确定目标物的第二投影，其中第二投影是当自动驾驶车辆距所述目标物第一距离时，所述目标物的虚拟投影；并且基于第一投影和第二投影，确定所述相机相对于所述激光雷达的第一相对姿态。

Description

用于标定相机和激光雷达的***和方法
技术领域
本申请一般涉及用于自动驾驶的***和方法，尤其涉及用于标定自动驾驶车辆的相机和激光雷达的***和方法。
背景技术
结合了各种传感器的自动驾驶车辆已越来越受欢迎。车载激光雷达和相机在自动驾驶中发挥着重要作用。然而，在某些情况下，激光雷达只能获取短距离(例如0-60米)内的目标物的密集数据。因此，相机和激光雷达仅能够使用在短距离内获取的数据进行标定，并且所得到的标定对于检测处于远距离的物体是不准确的。因此，希望提供用于标记相机和激光雷达的***和方法，以提高检测位于远距离的物体的准确性。
发明内容
本申请的一个方面介绍了一种用于标定自动驾驶车辆的相机和激光雷达的***。该***可以包括至少一个存储介质，包括用于标定相机和激光雷达的一组指令；和至少一个与存储介质通信的处理器，其中，当执行一组指令时，所述至少一个处理器用于：当自动驾驶车辆与目标物相距第一距离时，从相机获取目标物的第一投影；当自动驾驶车辆距目标物第二距离时，从激光雷达获取目标物的三维信息，其中第一距离大于第二距离；根据所述三维信息确定目标物的第二投影，其中第二投影是当自动驾驶车辆距目标物的第一距离时，所述目标物的虚拟投影；并且基于所述第一投影和所述第二投影，确定相机相对于激光雷达的第一相对姿态。
在一些实施例中，第一投影与第二投影对齐。
在一些实施例中，为了确定目标物的第二投影，所述至少一个处理器还用于：当自动驾驶车辆在目标物的第一距离时，获取自动驾驶车辆相对于地球坐标系的第一车辆姿态；当自动驾驶车辆距目标物第一距离时，获取激光雷达相对于自动驾驶车辆的第一激光雷达姿态。
在一些实施例中，所述至少一个处理器还用于：当自动驾驶车辆距目标物第二距离时，获取自动驾驶车辆相对于地球坐标系的第二车辆姿态；当自动驾驶车辆距目标物第二距离时，获取激光雷达相对于自动驾驶车辆的第二激光雷达姿态。
在一些实施例中，所述至少一个处理器还用于：当自动驾驶车辆距目标物第二距离时，获取目标物相对于激光雷达的物体姿态。
在一些实施例中，所述至少一个处理器还用于：基于所述三维信息、所述自动驾驶车辆的第一车辆姿态、所述激光雷达的第一激光雷达姿态、所述自动驾驶车辆的第二车辆姿态、所述激光雷达的第二激光雷达姿态，以及所述目标物的物体姿态，确定目标物的第二投影。
在一些实施例中，所述至少一个处理器还用于：当自动驾驶车辆距目标物第二距离时，从相机获取目标物的第三投影；根据目标物的第三投影和目标物的三维信息，确定相机相对于激光雷达的第二相对姿态。
根据本申请的另一方面，一种用于标定自动驾驶车辆的相机和激光雷达的方法。该方法可以包括：当自动驾驶车辆与目标物处于第一距离时，从相机获取目标物的第一投影；当自动驾驶车辆与目标物处于第二距离时，从激光雷达获取目标物的三维信息，其中第一距离大于第二距离；根据所述三维信息确定目标物的第二投影，其中第二投影是当自动驾驶车辆位于距目标物的第一距离时，所述目标物的虚拟投影；基于第一投影和第二投影，确定相机相对于激光雷达的第一相对姿态。
根据本申请的又一方面，一种非暂时性计算机可读介质，包括至少一组指令兼容用于标定相机和激光雷达。当由电子设备的至少一个处理器执行时，至少一组指令指示至少一个处理器执行方法。该方法可以包括：当自动驾驶车辆与目标物处于第一距离时，从相机获取目标物的第一投影；当自动驾驶车辆与目标物处于第二距离时，从激光雷达获取目标物的三维信息，其中第一距离大于第二距离；根据所述三维信息确定目标物的第二投影，其中第二投影是当自动驾驶车辆位于距目标物的第一距离时，所述目标物的虚拟投影；基于第一投影和第二投影，确定相机相对于激光雷达的第一相对姿态。
根据本申请的另一方面，用于标定相机和激光雷达的***可以包括：第一投影获取模块，被配置为当自动驾驶车辆与目标物处于第一距离时，从相机获取目标物的第一投影；三维信息获取模块，被配置为当自动驾驶车辆与目标物处于第二距离时，从激光雷达获取目标物的三维信息，其中第一距离大于第二距离；第二投影确定模块，被配置为基于三维信息确定目标物的第二投影，其中第二投影是当自动驾驶车辆位于距目标物的第一距离时，目标物的虚拟投影；第一相对姿态确定模块，被配置用于基于第一投影和第二投影确定相机相对于激光雷达的第一相对姿态。
本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。
附图说明
本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。附图未按比例绘制。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：
图1是根据本申请的一些实施例所示的示例性自动驾驶***的示意图；
图2是根据本申请的一些实施例所示的示例性计算设备的示例性硬件和/或软件组件的示意图；
图3是根据本申请的一些实施例所示的示例性移动设备的示例性硬件和/或软件组件的示意图，在该示例性移动设备上可以根据本申请的一些实施例实现终端设备；
图4是根据本申请的一些实施例所示的示例性处理设备的框图；
图5是根据本申请的一些实施例所示的用于标定自动驾驶车辆的相机和激光雷达的示例性过程的流程图；
图6是根据本申请的一些实施例所示的确定目标物的第二投影的示例性过程的流程图；和
图7是根据本申请的一些实施例所示的用于确定相机相对于激光雷达的第二相对姿态的示例性过程的流程图。
具体实施方式
以下描述是为了使本领域的普通技术人员能够实施和利用本申请，并且该描述是在特定的应用场景及其要求的环境下提供的。对于本领域的普通技术人员来讲，显然可以对所披露的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本申请并不限于所描述的实施例，而应该被给予与权利要求一致的最广泛的范围。
本申请中所使用的术语仅用于描述特定的示例性实施例，并不限制本申请的范围。如本申请使用的单数形式“一”、“一个”及“该”可以同样包括复数形式，除非上下文明确提示例外情形。还应当理解，如在本申请中，术语“包括”、“包含”仅提示存在所述特征、整体、步骤、操作、组件和/或部件，但并不排除存在或添加一个或以上其他特征、整体、步骤、操作、组件、部件和/或其组合的情况。
根据以下对附图的描述，本申请的这些和其他的特征、特点以及相关结构元件的功能和操作方法，以及部件组合和制造经济性，可以变得更加显而易见，这些附图都构成本申请说明书的一部分。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当理解的是，附图并不是按比例绘制的。
本申请中使用了流程图用来说明根据本申请的一些实施例的***所执行的操作。应当理解的是，流程图中的操作可以不按顺序执行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将一个或以上其他操作添加到这些流程图中。也可以从流程图中删除一个或以上操作。
此外，虽然本申请中披露的***和方法主要是关于在自动驾驶***中标定相机和激光雷达来描述，但是应该理解，这仅是一个示例性实施例。本申请的***和方法可以应用于任何其他类型的运输***。例如，本申请的***和方法可以应用于不同环境的运输***，包括陆地、海洋、航空航天等，或其任何组合。自行驾驶车辆的运输***可能包括出租车、私家车、挂车、公共汽车、火车、动车、高铁、地铁、船只、飞机、宇宙飞船、热气球等，或其任何组合。
本申请的一个方面涉及用于标定自动驾驶车辆的相机和激光雷达的***和方法。该***和方法可以使用从激光雷达获取的距离自动驾驶车辆短距离的目标物的三维信息来预测所述目标物的投影。预测的投影可以预测假设所述目标物距离所述自动驾驶车辆远距离时，所述目标物的投影。该***和方法可以进一步将预测的投影与当所述自动驾驶车辆距离所述目标物远距离时，从所述相机获取的所述目标物的真实投影对齐，以计算相机相对于激光雷达的相对姿态。以这种方式，可以标定相机和激光雷达，以提高探测远距离的物体的准确度。
图1是根据本申请的一些实施例所示的示例性自动驾驶***100的示意图。在一些实施例中，自动驾驶***100可以包括车辆110(例如，车辆110-1、110-2......和/或110-n)、服务器120、终端设备130、存储设备140、网络150，以及定位和导航***160。
车辆110可以是任何类型的自动驾驶车辆、无人驾驶飞行器等。自动驾驶车辆或无人驾驶飞行器可以指能够实现一定程度的驾驶自动化的车辆。示例性的驾驶自动化水平可以包括车辆主要由人监督并且具有特定的自主功能(例如，自主转向或加速)的第一级，车辆具有一个或以上先进的司机辅助***(ADAS)(例如，自适应巡航控制***、车道保持***)，其可以控制车辆的制动、转向和/或加速的第二级，当满足一个或以上某些条件时车辆能够自主驾驶的第三级，车辆可在没有人为输入或监督的情况下操作，但仍然受到某些限制(例如，限于某一区域)的第四级，车辆可以在所有情况下自主操作的第五级等，或其任何组合。
在一些实施例中，车辆110可具有使车辆110能够移动或飞行的等效结构。例如，车辆110可包括传统车辆的结构，例如，底盘、悬架、转向设备(例如，方向盘)、制动设备(例如，制动踏板)、加速器等。又例如，车辆110可具有车身和至少一个车轮。车身可以是任何车身类型，例如运动车辆、轿跑车、轿车、皮卡车、旅行车、运动型多功能车(SUV)、小型货车或转换车。至少一个车轮可以被配置用作全轮驱动(AWD)、前轮驱动(FWR)、后轮驱动(RWD)等。在一些实施例中，预期车辆110可以是电动车辆、燃料电池车辆、混合动力车辆、传统内燃机车辆等。
在一些实施例中，车辆110能够感测其环境并利用一个或以上检测单元112进行导航。至少两个检测单元112可以包括全球定位***(GPS)模块、雷达(例如，激光雷达(LiDAR))、惯性测量单元(IMU)、相机等，或其任何组合。雷达(例如，LiDAR)可以被配置用于扫描周围环境并生成点云数据。然后，点云数据可用于制作车辆110周围的一个或以上物体的数字三维表示。GPS模块可以指的是能够从GPS卫星接收地理定位和时间信息然后计算设备的地理位置的设备。IMU传感器可以指的是使用各种惯性传感器测量并提供车辆的特定力，角速率，有时是车辆周围的磁场的电子设备。各种惯性传感器可以包括加速度传感器(例如，压电传感器)、速度传感器(例如，霍尔传感器)、距离传感器(例如，雷达、激光雷达、红外传感器)、转向角传感器(例如，倾斜传感器)、牵引相关传感器(例如，力传感器)等。相机可以被配置用于获取与相机范围内的物体(例如，人、动物、树、路障、建筑物或车辆)相关的一个或以上图像。
在一些实施例中，服务器120可以是单个服务器，也可以是服务器组。所述服务器组可以是集中式的，也可以是分布式的(例如，服务器120可以是分布式的***)。在一些实施例中，服务器120可以是本地的，也可以是远程的。例如，服务器120可以经由网络150访问存储在终端设备130、检测单元112、车辆110、存储设备140和/或定位和导航***160中的信息和/或数据。又例如，服务器120可以直接连接到终端设备130、检测单元112、车辆110和/或存储设备140以访问存储信息和/或数据。在一些实施例中，所述服务器120可以在云平台或车载电脑上实现。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，服务器120可以在本申请中的图2描述的包含了一个或以上组件的计算设备200上执行。
在一些实施例中，服务器120可包括处理设备122。处理设备122可以处理与自动驾驶相关联的信息和/或数据，以执行本申请中描述的一个或以上功能。例如，处理设备122可以标定相机和激光雷达。在一些实施例中，所述处理设备122可包括一个或以上处理引擎(例如，单芯片处理引擎或多芯片处理引擎)。仅作为示例，处理设备122可以包括中央处理单元(CPU)、专用集成电路(ASIC)、专用指令集处理器(ASIP)、图像处理单元(GPU)、物理运算处理单元(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等或其任意组合。在一些实施例中，处理设备122可以集成到车辆110或终端设备130中。
在一些实施例中，终端设备130可以包括移动设备130-1、平板计算机130-2、膝上型计算机130-3、车辆130-4中的内置设备、可穿戴设备130-5等，或其任何组合。在一些实施例中，移动设备130-1可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、增强现实设备等，或其任意组合。在一些实施例中，智能家居设备可以包括智能照明设备、智能电器控制设备、智能监控设备、智能电视、智能相机、对讲机等，或其任意组合。在一些实施例中，所述可穿戴设备可以包括智能手环、智能鞋袜、智能眼镜、智能头盔、智能手表、智能服装、智能背包、智能配件等，或其任意组合。在一些实施例中，智能移动设备可以包括智能电话、个人数字助理(PDA)、游戏设备、导航设备、销售点(POS)等，或其任意组合。在一些实施例中，虚拟现实设备和/或增强型虚拟现实设备可以包括虚拟现实头盔、虚拟现实眼镜、虚拟现实眼罩、增强现实头盔、增强现实眼镜、增强现实眼罩等，或其任意组合。例如，虚拟现实设备和/或增强实境设备可以包括GoogleTM Glass、Oculus Rift、HoloLens或GearVR等。在一些实施例中，车载设备130-4可以包括车载计算机、车载电视等。在一些实施例中，服务器120可以集成到终端设备130中。在一些实施例中，终端设备130可以是具有定位技术的设备，用于定位终端设备130的位置。
存储设备140可以存储数据和/或指令。在一些实施例中，存储设备140可以存储从车辆110、检测单元112、处理设备122、终端设备130、定位和导航***160和/或外部存储设备获取的数据。例如，存储设备140可以在检测单元112中存储从激光雷达获取的激光雷达数据(例如，目标物的三维信息)。又如，存储设备140可以存储从检测单元112中的相机获取的相机数据(例如，目标物的图像或投影)。在一些实施例中，存储设备140可以存储服务器120可以执行用于执行本发明中描述的示例性方法的数据和/或指令。例如，存储设备140可以存储处理设备122可以执行或用于标定相机和激光雷达的指令。在一些实施例中，存储设备140可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等或其任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性可移动存储器可以包括闪存驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机存取内存(RAM)。示例性RAM可包括动态随机存取内存(DRAM)、双倍数据速率同步动态随机存取内存(DDR SDRAM)、静态随机存取内存(SRAM)、晶闸管随机存取内存(T-RAM)和零电容随机存取内存(Z-RAM)等。示例性ROM可以包括掩模型只读内存(MROM)、可编程只读内存(PROM)、可擦除可编程只读内存(EPROM)、电可擦除可编程只读内存(EEPROM)、光盘只读内存(CD-ROM)和数字多功能磁盘只读内存等。在一些实施例中，所述存储设备140可在云端平台上执行。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。
在一些实施例中，存储设备140可以连接到网络150，以与自动驾驶***100的一个或以上组件(例如，服务器120、终端设备130、检测单元112、车辆110和/或定位和导航***160)通信。自动驾驶***100的一个或以上组件可以经由网络150访问存储设备140中存储的数据或指令。在一些实施例中，存储设备140可以直接连接到自动驾驶***100的一个或以上组件(例如，服务器120、终端设备130、检测单元112、车辆110和/或定位和导航***160)或与之通信。在一些实施例中，存储设备140可以是服务器120的一部分。在一些实施例中，存储设备140可以集成到车辆110中。
网络150可以促进信息和/或数据的交换。在一些实施例中，自动驾驶***100的一个或以上组件(例如，服务器120、终端设备130、检测单元112、车辆110、存储设备140或定位和导航***160)可以经由网络150将信息和/或数据发送到自动驾驶***100的其他组件。例如，服务器120可以经由网络150从车辆110、终端设备130、存储设备140和/或定位和导航***160获取激光雷达数据(例如，目标物的三维信息)或相机数据(例如，目标物的图像或者投影)。在一些实施例中，网络150可以为任意形式的有线或无线网络，或其任意组合。仅作为示例，网络150可以包括缆线网络、有线网络、光纤网络、远程通信网络、内部网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络、近场通信(NFC)网络等或其任意组合。在一些实施例中，网络150可以包括一个或以上网络接入点。例如，网络150可以包括有线或无线网络接入点(例如，150-1、150-2)，通过该接入点，自动驾驶***100的一个或以上组件可以连接到网络150以交换数据和/或信息。
定位和导航***160可以确定与对象相关联的信息，例如，终端设备130、车辆110等。在一些实施例中，定位导航***160可以是全球定位***(GPS)、全球导航卫星***(GLONASS)、罗盘导航***(COMPASS)、北斗导航卫星***、伽利略定位***、准天顶卫星***(QZSS)等。信息可包括物体的位置、高度、速度或加速度、当前时间等。定位和导航***160可以包括一个或以上的卫星，例如，卫星160-1、卫星160-2和卫星160-3。所述卫星160-1至160-3可以独立地或共同地确定上述所述信息。卫星定位和导航***160可以经由无线连接将上述信息发送到网络150、终端设备130或车辆110。
本领域普通技术人员将理解，当自动驾驶***100的元件(或组件)执行时，该元件可以通过电信号和/或电磁信号执行。例如，当终端设备130向服务器120发送请求时，终端设备130的处理器可以生成编码该请求的电信号。然后，终端设备130的处理器可以将电信号发送到输出端口。若终端设备130经由有线网络与服务器120通信，则输出端口可物理连接至电缆，其进一步将电信号传输给服务器120的输入端口。如果终端设备130经由无线网络与服务器120通信，则终端设备130的输出端口可以是一个或以上天线，其将电信号转换为电磁信号。在诸如终端设备130和/或服务器120的电子设备内，当其处理器处理指令，发出指令和/或执行动作时，指令和/或动作通过电信号进行。例如，当处理器从存储介质(例如，存储设备140)检索或保存数据时，它可以将电信号发送到存储介质的读/写设备，其可以在存储介质中读取或写入结构化数据。该结构数据可以通过电子设备的总线，以电信号的形式传输至处理器。此处，电信号可以指一个电信号、一系列电信号和/或至少两个不连续的电信号。
图2是根据本申请的一些实施例所示的示例性计算设备的示例性硬件和/或软件组件的示意图。在一些实施例中，服务器120和/或终端设备130可以在计算设备200上实现。例如，处理设备122可以在计算设备200上实现，并且被配置用于执行本申请中披露的处理设备122的功能。
计算设备200可用于实现本申请的自动驾驶***100的任何组件。例如，自动驾驶***100的处理设备122可以通过其硬件、软件程序、固件或其组合在计算设备200上实现。虽然为方便起见只显示了一台这样的电脑，如本文所述的与自动驾驶***100相关的计算机功能可以在多个类似平台上以分布式方式实现，以分配处理负荷。
计算设备200可以包括连接到与其连接的网络(例如，网络150)的通信(COM)端口250，以促进数据通信。计算设备200还可以包括处理器(例如，处理器220)，其形式为一个或以上处理器(例如，逻辑电路)，用于执行程序指令。例如，处理器可以包括其中的接口电路和处理电路。接口电路可以被配置为从总线210接收电信号，其***号编码用于处理电路的结构化数据和/或指令。处理电路可以进行逻辑计算，然后将结论、结果和/或指令编码确定为电信号。然后，接口电路可以经由总线210从处理电路发出电信号。
计算设备200还可以包括不同形式的程序存储和数据存储，包括：例如磁盘270、只读内存(ROM)230或随机存取内存(RAM)240，用于存储由计算设备200处理和/或传输的各种数据文件。示例性计算设备200还可以包括存储在ROM 230、RAM 240和/或由处理器220执行的其他类型的非暂时性存储介质中的程序指令。本申请的方法和/或流程可以以程序指令的方式实现。计算设备200还包括I/O组件260，其支持计算设备200与其中的其他组件之间的输入/输出。计算设备200也可以通过网络通信接收编程和数据。
仅仅为了说明，在计算设备200中仅描述了一个处理器。然而，应当注意，本申请中的计算设备200还可以包括多个处理器，因此由本申请中描述的一个处理器执行的操作也可以由多个处理器联合或单独执行。例如，计算设备200的处理器执行操作A和操作B.又例如，操作A和操作B也可以由计算设备200中的两个不同的处理器联合或分开执行(例如，第一处理器执行操作A，第二处理器执行操作B，或者第一和第二处理器共同执行操作A和B)。
图3是示出示例性移动设备的示例性硬件和/或软件组件的示意图，在该示例性移动设备上可以根据本申请的一些实施例实现终端设备。在一些实施例中，终端设备130可以在移动设备300上实现。如图3所示，移动设备300可以包括通信平台310、显示器320、图形处理单元(GPU)330、中央处理单元(CPU)340、I/O 350、内存360、移动操作***(OS)370和存储器390。在一些实施例中，任何其他合适的组件，包括但不限于***总线或控制器(未示出)，也可包括在移动设备300内。
在一些实施例中，移动操作***370(如，iOSTM、AndroidTM、Windows PhoneTM)和一个或以上应用程序380可以从存储器390加载到内存360中以便由CPU340执行。应用程序380可以包括浏览器或任何其他合适的移动应用程序，用于从处理设备122接收和呈现与定位或其他信息有关的信息。用户与信息流的交互可以通过I/O 350实现，并通过网络150提供给处理设备122和/或自动驾驶***100的其他组件。
为了实施本申请描述的各种模块、单元及其功能，计算机硬件平台可用作本文中描述的一个或以上组件的硬件平台。具有用户接口元素的计算机可用于实施个人计算机(PC)或任何其他类型的工作站或终端设备。若计算机被适当的程序化，计算机亦可用作服务器。
图4是根据本申请的一些实施例所示的示例性处理设备122的框图。处理设备122可以包括第一投影获取模块410、三维信息获取模块420、第二投影确定模块430、第一相对姿态确定模块440和第二相对姿态确定模块450。
第一投影获取模块410可以被配置为，当自动驾驶车辆与目标物相距第一距离时，从相机获取所述目标物的第一投影。
三维信息获取模块420可被配置为，当所述自动驾驶车辆与所述目标物相距第二距离时，从激光雷达获取所述目标物的三维信息。
第二投影确定模块430可以被配置为，基于所述三维信息确定所述目标物的第二投影。例如，所述第二投影确定模块430可以获取当所述自动驾驶车辆距离所述目标物第一距离时，所述自动驾驶车辆相对于地球坐标系的第一车辆姿态和所述激光雷达相对于所述自动驾驶车辆的第一激光雷达姿态。又例如，所述第二投影确定模块430可以获取当所述自动驾驶车辆距离所述目标物第二距离时，所述自动驾驶车辆相对于所述地球坐标系的第二车辆姿态、所述激光雷达相对于所述自动驾驶车辆的第二激光雷达姿态，以及所述目标物相对于所述激光雷达的物体姿态。作为又一示例，所述第二投影确定模块430可以基于所述三维信息、所述自动驾驶车辆的第一车辆姿态、所述激光雷达的第一激光雷达姿态、所述自动驾驶车辆的第二车辆姿态、所述激光雷达的第二激光雷达姿态，以及所述目标物的物体姿态，确定所述目标物的第二投影。
第一相对姿态确定模块440可以被配置为，基于所述第一投影和所述第二投影，确定所述相机相对于所述激光雷达的第一相对姿态。
第二相对姿态确定模块450可以被配置为，确定当所述自动驾驶车辆距离所述目标物第二距离时，所述相机相对于所述激光雷达的第二相对姿态。例如，当所述自动驾驶车辆距所述目标物第二距离时，所述第二相对姿态确定模块450可从所述相机获取所述目标物的第三投影。又例如，所述第二相对姿态确定模块450可以基于所述目标物的第三投影和所述目标物的三维信息，确定所述相机相对于所述激光雷达的第二相对姿态。
处理设备122中的模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合电缆等或其任意组合。无线连接可以包括局域网络(LAN)、广域网络(WAN)、蓝牙、紫蜂网络、近场通信(NFC)等或其任意组合。两个或以上模块可以合并成一个模块，以及任意一个模块可以被拆分成两个或以上单元。例如，处理设备122可以包括存储模块(未示出)，用于存储与标定相机和激光雷达相关联的信息和/或数据(例如，激光雷达数据、相机数据等)。
图5是根据本申请的一些实施例所示的用于标定自动驾驶车辆的相机和激光雷达的示例性过程500的流程图。在一些实施例中，过程500可以通过存储在ROM 230或RAM 240中的一组指令(例如，应用程序)来实现。处理器220和/或图4中的模块可以执行一组指令，并且当执行指令时，处理器220和/或模块可以被配置以执行处理500。以下所示过程的操作仅出于说明的目的。在一些实施例中，过程500可以利用未描述的一个或以上附加操作和/或没有在此讨论的一个或以上操作来完成。另外，如图5所示和下面描述的过程操作的顺序不是限制性的。
在510中，处理设备122(例如，第一投影获取模块410，处理器220的接口电路)可以从相机获取当自动驾驶车辆与目标物处于第一距离时，目标物的第一投影。
在一些实施例中，目标物可以是用于标定相机的参考物体。例如，目标物可包括其上具有固定间隔图案的平面板。例如，固定间隔图案可包括棋盘格、固定间隔圆阵列图案等，或其任何组合。在一些实施例中，可以将目标物放置在相机的视野中，使得相机可以捕获所述目标物的图像。例如，目标物可以放置在自动驾驶车辆的第一距离处。第一距离可以是由处理设备122或处理设备122的操作者设定的预定距离。例如，第一距离可以在一个预定范围内，例如60至1000米。
在一些实施例中，相机可以捕获目标物的图像或视频。相机可以将所述目标物投射在图像平面上，以获取目标物的第一投影。处理设备122可以经由网络150从相机获取目标物的第一投影。
在520中，处理设备122(例如，三维信息获取模块420、处理器220的接口电路)可以从激光雷达获取当自动驾驶车辆距离目标物第二距离时，所述目标物的三维信息。
在一些实施例中，目标物可以放在激光雷达的前面，这样激光雷达就可以探测到目标物。例如，目标物可以放置在自动驾驶车辆的第二距离处。第二距离可以是由处理设备122或处理设备122的操作者设定的预定距离。例如，第二距离可以在预定范围内，例如0到60米。在一些实施例中，第一距离可以大于第二距离。例如，第一距离是500米，第二距离是50米。在一些实施例中，激光雷达可以扫描目标物以获取目标物的三维信息。处理设备122可以经由网络150从激光雷达获取目标物的三维信息。
在530中，处理设备122(例如，第二投影确定模块430)可以基于所述三维信息，确定目标物的第二投影。在一些实施例中，所述第二投影可以是当自动驾驶车辆位于距目标物的第一距离时，所述目标物的虚拟投影。
在一些实施例中，当自动驾驶车辆距离目标物的第一距离时，激光雷达仅可以获取目标物的很少信息。处理设备122可以使用在第二距离处获取的目标物的三维信息来预测假设目标物距自动驾驶车辆的第一距离时，所述目标物的第二投影。在一些实施例中，处理设备122可以根据投影函数使用在第二距离处获取的目标物的三维信息来确定第二投影。例如，处理设备122可以获取自动驾驶车辆和地球坐标系之间、自动驾驶车辆和激光雷达之间的至少两个相对姿态。处理设备122还可以根据投影函数使用所述至少两个相对姿态和目标物的三维信息来确定第二投影。用于确定第二投影的过程或方法可以在本申请披露的其他地方找到(例如，图6及其描述)。
在540中，处理设备122(例如，第一相对姿态确定模块440)可以基于所述第一投影和第二投影，确定相机相对于激光雷达的第一相对姿态。
在一些实施例中，相机相对于激光雷达姿态的第一相对姿态可以反映相机和激光雷达在相对于第二距离更远处的第一距离时的标定结果。可以使用当自动驾驶车辆距离目标物第一距离时，目标物的第一投影，以及假设自动驾驶车辆距离目标物第一距离时的预测第二投影，来确定第一相对姿态。在一些实施例中，处理设备122可以在第一投影和第二投影彼此对齐时确定第一相对姿态。例如，处理设备122可以根据下面的等式(1)确定第一相对姿态：
其中m表示第一投影；m′表示第二投影；f(m,m′)表示描述第一投影和第二投影之间的对齐程度的函数；表示第一相对姿态的变量；以及/>表示第一相对姿态。根据等式(1)，处理设备122可以在第一投影与第二投影对齐时确定第一相对姿态。也就是说，处理设备122可以改变第一相对姿态/>的变量的值，并且当描述第一投影和第二投影之间的对齐程度的函数f(m,m′)最小时，确定第一相对姿态/>的变量的值作为第一相对姿态/>
在一些实施例中，当自动驾驶车辆距离目标物第一距离时，相机相对于激光雷达的第一相对姿态可以反映相机相对于激光雷达的方向、位置、姿态或旋转。第一相对姿态可以包括6个自由度(DOF)，其由相机相对于激光雷达的旋转(滚动，俯仰和偏转)和三维平移构成。例如，第一相对姿态可以表示为欧拉角、旋转矩阵、方位四元数等，或其任何组合。
在一些实施例中，相机相对于激光雷达的第一相对姿态可以在激光雷达只能获取远处物体的很少信息时，用于探测远处的物体。使用所述第一相对姿态，可以提高探测远处物体的准确度。
应该注意的是，上述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。例如，可以在过程500中的其他地方添加一个或以上其他可选操作(例如，存储操作)。在存储操作中，处理设备122可以存储本申请中其他地方披露的存储设备(例如，存储设备140)中的信息和/或数据(例如，相机和激光雷达之间的第一相对姿态)。
图6是根据本申请的一些实施例所示的用于确定目标物的第二投影的示例性过程600的流程图。在一些实施例中，过程600可以通过存储在ROM 230或RAM 240中的一组指令(例如，应用程序)来实现。处理器220和/或图4中的模块可以执行一组指令，并且当执行指令时，处理器220和/或模块可以被配置以执行处理600。以下所示过程的操作仅出于说明的目的。在一些实施例中，过程600可以利用未描述的一个或以上附加操作和/或没有在此讨论的一个或以上操作来完成。另外，如图6所示和下面描述的过程操作的顺序不是限制性的。
在610中，处理设备122(例如，第二投影确定模块430)可以获取当自动驾驶车辆距离目标物的第一距离时，所述自动驾驶车辆相对于地球坐标系的第一车辆姿态。
在一些实施例中，自动驾驶车辆可包括一个或多个传感器，用于感测自动驾驶车辆的位置。例如，自动驾驶车辆可包括GPS和IMU。当自动驾驶车辆距离目标物第一距离时，GPS和IMU可以一起工作以识别自动驾驶车辆的位置。该位置可以表明自动驾驶车辆(或IMU)相对于地球坐标系的第一车辆姿态。处理设备122可以经由网络150从GPS和IMU获取第一车辆姿态。
在620中，处理设备122(例如，第二投影确定模块430)可以获取当自动驾驶车辆距离目标物第一距离时，所述激光雷达相对于自动驾驶车辆的第一激光雷达姿态。
在一些实施例中，处理设备122可以当自动驾驶车辆位于目标物的第一距离时，标定激光雷达和自动驾驶车辆的IMU，并将第一激光雷达姿态存储在存储器(例如，存储设备140、ROM 230、RAM 240等)中。处理设备122可以访问存储器以获取第一激光雷达姿态。在一些实施例中，处理设备122可以当自动驾驶车辆位于距离目标物的第一距离时，基于自动驾驶车辆的一个或以上其他传感器(例如，相机)标定自动驾驶车辆的激光雷达和IMU。例如，处理设备122可以在自动驾驶车辆处于距目标物的第一距离时获取激光雷达和相机的标定结果以及相机和IMU的标定结果/>处理设备122可以基于激光雷达和相机的标定结果以及IMU和相机的标定结果来确定激光雷达相对于自动驾驶车辆的第一激光雷达姿态/>例如，第一激光雷达姿态/>可以是激光雷达和相机的标定结果/>以及相机和IMU的标定结果/>的乘积。
在630中，处理设备122(例如，第二投影确定模块430)可以获取当自动驾驶车辆位于距目标物第二距离时，所述自动驾驶车辆相对于地球坐标系的第二车辆姿态。
在一些实施例中，当自动驾驶车辆位于距目标物第二距离时，GPS和IMU可一起工作以识别自动驾驶车辆的位置。该位置可以表明自动驾驶车辆(或IMU)相对于地球坐标系的第二车辆姿态。处理设备122可以经由网络150从GPS和IMU获取第二车辆姿态。
在640中，处理设备122(例如，第二投影确定模块430)可以获取当自动驾驶车辆位于距目标物第二距离时，所述激光雷达相对于自动驾驶车辆的第二激光雷达姿态。
在一些实施例中，处理设备122可以当自动驾驶车辆位于目标物的第二距离时，标定激光雷达和自动驾驶车辆的IMU，并将第二激光雷达姿态存储在存储器(例如，存储设备140、ROM 230、RAM 240等)中。处理设备122可以访问存储器以获取第二激光雷达姿态。在一些实施例中，处理设备122可以当自动驾驶车辆位于距目标物第二距离时，基于自动驾驶车辆的一个或以上其他传感器(例如，相机)标定自动驾驶车辆的激光雷达和IMU。例如，处理设备122可以获取当自动驾驶车辆处于距目标物第二距离时，激光雷达和相机的标定结果以及相机和IMU的标定结果/>处理设备122可以基于激光雷达和相机的标定结果以及IMU和相机的标定结果来确定激光雷达相对于自动驾驶车辆的第二激光雷达姿态/>例如，第二激光雷达姿态/>可以是激光雷达和相机的标定结果/>以及相机和IMU的标定结果/>的乘积。
在650中，处理设备122(例如，第二投影确定模块430)可以获取当自动驾驶车辆距目标物第二距离时，所述目标物相对于激光雷达的的物体姿态。
在一些实施例中，当自动驾驶车辆位于距离目标物的第二距离时，激光雷达可扫描目标物以获取物体姿态。
在660中，处理设备122(例如，第二投影确定模块430)可以基于所述三维信息、所述自动驾驶车辆的第一车辆姿态、所述激光雷达的第一激光雷达姿态、所述自动驾驶车辆的第二车辆姿态、所述激光雷达的第二激光雷达姿态，以及所述目标物的物体姿态，确定目标物的第二投影。
在一些实施例中，处理设备122可以根据投影函数确定第二投影。例如，处理设备122可以根据下面的等式(2)确定第二投影：
其中，m′表示第二投影；表示激光雷达相对于相机的姿态；π表示投影函数；/>表示激光雷达相对于自动驾驶车辆的第二激光雷达姿态/>的转置矩阵；/>表示自动驾驶车辆相对于地球坐标系的第二车辆姿态/>的转置矩阵；/>表示自动驾驶车辆相对于地球坐标系的第一车辆姿态；/>表示激光雷达相对于自动驾驶车辆的第一激光雷达姿态；/>表示目标物相对于激光雷达的物体姿态；M表示目标物的三维信息。
根据等式(1)和等式(2)，处理设备122可以根据下面的等式(3)确定第一相对姿态：
其中，表示相机相对于激光雷达的第一相对姿态/>的转置矩阵的变量；以及表示相机相对于激光雷达的第一相对姿态/>的转置矩阵。根据等式(3)，处理设备122可以在第一投影与第二投影对齐时确定第一相对姿态。也就是说，处理设备122可以改变变量的值，并且当表示第一投影和第二投影之间的对齐程度的函数f(m,m′)最小时，确定变量/>的值，作为/>的值，进一步确定第一相对姿态/>
应该注意的是，上述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。例如，可以在过程600中的其他地方添加一个或以上其他可选操作(例如，存储操作)。在存储操作中，处理设备122可以存储本申请中其他地方披露的存储设备(例如，存储设备140)中的信息和/或数据(例如，第一车辆姿态、第一激光雷达姿态、第二车辆姿态、第二激光雷达姿态、物体姿态等)。
图7是根据本申请的一些实施例所示的用于确定相机相对于激光雷达的第二相对姿态的示例性过程700的流程图。在一些实施例中，过程700可以通过存储在ROM 230或RAM240中的一组指令(例如，应用程序)来实现。处理器220和/或图4中的模块可以执行一组指令，并且当执行指令时，处理器220和/或模块可以被配置以执行处理700。以下所示过程的操作仅出于说明的目的。在一些实施例中，过程700可以利用未描述的一个或以上附加操作和/或没有在此讨论的一个或以上操作来完成。另外，如图7所示和下面描述的过程操作的顺序不是限制性的。
在710中，处理设备122(例如，第二相对姿态确定模块450)可以从相机获取当自动驾驶车辆距目标物第二距离时，目标物的第三投影。
在一些实施例中，当自动驾驶车辆距目标物第二距离时，相机可以捕获目标物的图像或视频。相机可以将所述目标物投射在图像平面上，以获取目标物的第三投影。处理设备122可以经由网络150从相机获取目标物的第三投影。
在720中，处理设备122(例如，第二相对姿态确定模块450)可以基于目标物的第三投影和目标物的三维信息来确定相机相对于激光雷达的第二相对姿态。
在一些实施例中，相机相对于激光雷达姿态的第二相对姿态可以表示相机和激光雷达在与第一距离相比更近的第二距离时的标定结果。在一些实施例中，处理设备122可以使用当自动驾驶车辆距目标物的第二距离时，从相机和激光雷达获取的数据来确定第二相对姿态。例如，处理设备122可以根据perspective-n-point(PnP)方法，基于所述第三投影和目标物的三维信息，确定第二相对姿态。又例如，处理设备122可以将第三投影中的特征点与三维信息中的对应特征点进行匹配，并根据调整特征点的位置来确定第二相对姿态。
在一些实施例中，当自动驾驶车辆处于距目标物第二距离时，相机相对于激光雷达的第二相对姿态可以反映相机相对于激光雷达的方位、位置、姿态或旋转。第二相对姿态可以包括6个自由度(DOF)，其由相机相对于激光雷达的旋转(滚动、俯仰和偏转)和三维平移构成。例如，第二相对姿态可以表示为欧拉角、旋转矩阵、方位四元数等，或其任何组合。
在一些实施例中，相机相对于激光雷达的第二相对姿态可以用于，在激光雷达可以获取物体的大量信息时，探测短距离的物体。在一些实施例中，第一相对姿态和第二相对姿态可以组合使用，以提高在远距离或短距离处探测物体的精度。
应该注意的是，上述仅出于说明性目的而提供，并不旨在限制本申请的范围。对于本领域的普通技术人员来说，可以根据本申请的描述，做出各种各样的变化和修改。然而，这些变化和修改不会背离本申请的范围。例如，可以在过程700中的其他地方添加一个或以上其他可选操作(例如，存储操作)。在存储操作中，处理设备122可以存储本申请中其他地方披露的存储设备(例如，存储设备140)中的信息和/或数据(例如，目标物的第三投影)。
上文已对基本概念做了描述，显然，对于阅读此申请后的本领域的普通技术人员来说，上述发明披露仅作为示例，并不构成对本申请的限制。虽然此处并未明确说明，但本领域的普通技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。例如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特性。因此，应当强调并注意的是，本说明书中在不同位置两次或以上提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或以上实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域的普通技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的过程、机器、产品或物质的组合，或对其任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括韧体、常驻软件、微代码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“单元”、“模块”或“***”。此外，本申请的各方面可以采取体现在一个或以上计算机可读介质中的计算机程序产品的形式，其中计算机可读程序代码包含在其中。
计算机可读信号介质可能包含一个内含有计算机程序代码的传播数据信号，例如在基带上或作为载波的一部分。此类传播信号可以有多种形式，包括电磁形式、光形式等或任何合适的组合。计算机可读信号介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行***、装置或设备以实现通信、传播或传输供使用的程序。位于计算机可读信号介质上的程序代码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF等，或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或以上程序语言编写，包括面向主体编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序代码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的***组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的***。
同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或以上发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。然而，本申请的该方法不应被解释为反映所声称的待扫描对象物质需要比每个权利要求中明确记载的更多特征的意图。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

Claims (20)

1. 一种用于标定自动驾驶车辆的相机和激光雷达的***，其特征在于，包括：
至少一个存储介质，包括用于标定所述相机和所述激光雷达的一组指令；以及
至少一个与所述存储介质通信的处理器，其中当执行所述一组指令时，所述至少一个处理器用于：
当所述自动驾驶车辆与目标物相距第一距离时，从所述相机获取目标物的第一投影；
当所述自动驾驶车辆与所述目标物相距第二距离时，从所述激光雷达获取所述目标物的三维信息，其中所述第一距离大于所述第二距离；
基于所述三维信息确定所述目标物的第二投影，其中所述第二投影是当所述自动驾驶车辆距所述目标物第一距离时，所述目标物的虚拟投影；以及
基于所述第一投影和所述第二投影，确定所述相机相对于所述激光雷达的第一相对姿态。
2.根据权利要求1所述的***，其特征在于，所述第一投影与所述第二投影对齐。
3. 根据权利要求1所述的***，其特征在于，确定所述目标物的所述第二投影，所述至少一个处理器进一步用于：
当所述自动驾驶车辆与所述目标物相距所述第一距离时，获取所述自动驾驶车辆相对于地球坐标系的第一车辆姿态；以及
当所述自动驾驶车辆与所述目标物相距所述第一距离时，获取所述激光雷达相对于所述自动驾驶车辆的第一激光雷达姿态。
4. 根据权利要求3所述的***，其特征在于，所述至少一个处理器还用于：
当所述自动驾驶车辆与所述目标物相距所述第二距离时，获取所述自动驾驶车辆相对于所述地球坐标系的第二车辆姿态；以及
当所述自动驾驶车辆与所述目标物相距所述第二距离时，获取所述激光雷达相对于所述自动驾驶车辆的第二激光雷达姿态。
5.根据权利要求4所述的***，其特征在于，所述至少一个处理器还用于：
当所述自动驾驶车辆与所述目标物相距所述第二距离时，获取所述目标物相对于所述激光雷达的物体姿态。
6.根据权利要求5所述的***，其特征在于，所述至少一个处理器还用于：
基于所述三维信息、所述自动驾驶车辆的所述第一车辆姿态、所述激光雷达的所述第一激光雷达姿态、所述自动驾驶车辆的所述第二车辆姿态、所述激光雷达的所述第二激光雷达姿态，和所述目标物的所述物体姿态，确定所述目标物的所述第二投影。
7. 根据权利要求1至6中任一项所述的***，其特征在于，所述至少一个处理器还用于：
当所述自动驾驶车辆与所述目标物相距所述第二距离时，从所述相机获取所述目标物的第三投影；以及
基于所述目标物的所述第三投影和所述目标物的所述三维信息，确定所述相机相对于所述激光雷达的第二相对姿态。
8. 一种用于标定自动驾驶车辆的相机和激光雷达的方法，其特征在于，在包括至少一个存储介质和与所述存储介质通信的至少一个处理器的计算设备上实现 ，所述至少一个存储介质包括一组指令，所述方法包括：
当所述自动驾驶车辆与目标物相距第一距离时，从所述相机获取目标物的第一投影；
当所述自动驾驶车辆与所述目标物相距第二距离时，从所述激光雷达获取所述目标物的三维信息，其中所述第一距离大于所述第二距离；
基于所述三维信息确定所述目标物的第二投影，其中所述第二投影是当所述自动驾驶车辆距离所述目标物所述第一距离时，所述目标物的虚拟投影；以及
基于所述第一投影和所述第二投影，确定所述相机相对于所述激光雷达的第一相对姿态。
9.根据权利要求8所述的方法，其特征在于，所述第一投影与所述第二投影对齐。
10. 根据权利要求8所述的方法，其特征在于，所述确定所述目标物的所述第二投影进一步包括：
当所述自动驾驶车辆与所述目标物相距所述第一距离时，获取所述自动驾驶车辆相对于地球坐标系的第一车辆姿态；以及
当所述自动驾驶车辆与所述目标物相距所述第一距离时，获取所述激光雷达相对于所述自动驾驶车辆的第一激光雷达姿态。
11. 根据权利要求10所述的方法，其特征在于，进一步包括：
当所述自动驾驶车辆与所述目标物相距所述第二距离时，获取所述自动驾驶车辆相对于所述地球坐标系的第二车辆姿态；以及
当所述自动驾驶车辆与所述目标物相距所述第二距离时，获取所述激光雷达相对于所述自动驾驶车辆的第二激光雷达姿态。
12.根据权利要求11所述的方法，其特征在于，进一步包括：
当所述自动驾驶车辆距离所述目标物第二距离时，获取所述目标物相对于所述激光雷达的物体姿态。
13.根据权利要求12所述的方法，其特征在于，进一步包括：
基于所述三维信息、所述自动驾驶车辆的所述第一车辆姿态、所述激光雷达的所述第一激光雷达姿态、所述自动驾驶车辆的所述第二车辆姿态、所述激光雷达的所述第二激光雷达姿态，和所述目标物的所述物体姿态，确定所述目标物所述第二投影。
14.根据权利要求8至13中任一项所述的方法，其特征在于，进一步包括：
当所述自动驾驶车辆与所述目标物相距所述第二距离时，从所述相机获取所述目标物的第三投影；以及
基于所述目标物的所述第三投影和所述目标物的所述三维信息，确定所述相机相对于所述激光雷达的第二相对姿态。
15.一种非暂时性可读介质，其特征在于，包括至少一组指令用于标定自动驾驶车辆的相机和激光雷达，其中，当由电子设备的至少一个处理器执行时，所述至少一组指令指示所述至少一个处理器执行方法，所述方法包括：
当所述自动驾驶车辆与目标物相距第一距离时，从所述相机获取目标物的第一投影；
当所述自动驾驶车辆与所述目标物相距第二距离时，从所述激光雷达获取所述目标物的三维信息，其中所述第一距离大于所述第二距离；
基于所述三维信息确定所述目标物的第二投影，其中所述第二投影是当所述自动驾驶车辆距离所述目标物所述第一距离时，所述目标物的虚拟投影；以及
基于所述第一投影和所述第二投影，确定所述相机相对于所述激光雷达的第一相对姿态。
16.根据权利要求15所述的非暂时性可读介质，其特征在于，所述第一投影与所述第二投影对齐。
17. 根据权利要求15所述的非暂时性可读介质，其特征在于，所述确定所述目标物的所述第二投影还包括：
当所述自动驾驶车辆与所述目标物相距所述第一距离时，获取所述自动驾驶车辆相对于地球坐标系的第一车辆姿态；以及
当所述自动驾驶车辆与所述目标物相距所述第一距离时，获取所述激光雷达相对于所述自动驾驶车辆的第一激光雷达姿态。
18. 根据权利要求17所述的非暂时性可读介质，其特征在于，所述方法还包括：
当所述自动驾驶车辆与所述目标物相距所述第二距离时，获取所述自动驾驶车辆相对于所述地球坐标系的第二车辆姿态；以及
当所述自动驾驶车辆与所述目标物相距所述第二距离时，获取所述激光雷达相对于所述自动驾驶车辆的第二激光雷达姿态。
19. 根据权利要求18所述的非暂时性可读介质，其特征在于，所述方法还包括：
当所述自动驾驶车辆距离所述目标物第二距离时，获取所述目标物相对于所述激光雷达的物体姿态；以及
基于所述三维信息、所述自动驾驶车辆的所述第一车辆姿态、所述激光雷达的所述第一激光雷达姿态、所述自动驾驶车辆的所述第二车辆姿态、所述激光雷达的所述第二激光雷达姿态，和所述目标物的所述物体姿态，确定所述目标物所述第二投影。
20.一种用于标定自动驾驶车辆的相机和激光雷达的***，其特征在于，包括：
第一投影获取模块，用于当所述自动驾驶车辆与目标物相距第一距离时，从所述相机获取目标物的第一投影；
三维信息获取模块，用于当所述自动驾驶车辆与所述目标物相距第二距离时，从所述激光雷达获取所述目标物的三维信息，其中所述第一距离大于所述第二距离；
第二投影获取模块，用于基于所述三维信息确定所述目标物的第二投影，其中所述第二投影是当所述自动驾驶车辆距所述目标物第一距离时，所述目标物的虚拟投影；以及
第一相对姿态确定模块，用于基于所述第一投影和所述第二投影，确定所述相机相对于所述激光雷达的第一相对姿态。
CN201980001809.7A 2019-09-23 2019-09-23 用于标定相机和激光雷达的***和方法 Active CN112840232B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/107224 WO2021056132A1 (en) 2019-09-23 2019-09-23 Systems and methods for calibrating a camera and a lidar

Publications (2)

Publication Number Publication Date
CN112840232A CN112840232A (zh) 2021-05-25
CN112840232B true CN112840232B (zh) 2024-03-22

Family

ID=75165393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980001809.7A Active CN112840232B (zh) 2019-09-23 2019-09-23 用于标定相机和激光雷达的***和方法

Country Status (3)

Country Link
US (1) US20220187432A1 (zh)
CN (1) CN112840232B (zh)
WO (1) WO2021056132A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
JP2017096813A (ja) * 2015-11-25 2017-06-01 株式会社国際電気通信基礎技術研究所 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
CN108399643A (zh) * 2018-03-15 2018-08-14 南京大学 一种激光雷达和相机间的外参标定***和方法
CN109059902A (zh) * 2018-09-07 2018-12-21 百度在线网络技术（北京）有限公司 相对位姿确定方法、装置、设备和介质
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110223226A (zh) * 2019-05-07 2019-09-10 中国农业大学 全景图像拼接方法及***
CN110235026A (zh) * 2017-01-26 2019-09-13 御眼视觉技术有限公司 基于对齐的图像和激光雷达信息的车辆导航

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7417717B2 (en) * 2005-10-05 2008-08-26 Utah State University System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data
KR20150055183A (ko) * 2013-11-12 2015-05-21 현대오트론 주식회사 헤드업 디스플레이를 이용한 차선 표시 장치 및 방법
US10028102B2 (en) * 2014-12-26 2018-07-17 Here Global B.V. Localization of a device using multilateration
KR101866075B1 (ko) * 2016-10-20 2018-06-08 현대자동차주식회사 차선 추정 장치 및 방법
US10775488B2 (en) * 2017-08-17 2020-09-15 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
WO2019079219A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. CALIBRATION OF SENSORS MOUNTED ON AN AUTONOMOUS VEHICLE

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
JP2017096813A (ja) * 2015-11-25 2017-06-01 株式会社国際電気通信基礎技術研究所 キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
KR20180055292A (ko) * 2016-11-16 2018-05-25 국민대학교산학협력단 다중 라이다 좌표계 통합 방법
CN110235026A (zh) * 2017-01-26 2019-09-13 御眼视觉技术有限公司 基于对齐的图像和激光雷达信息的车辆导航
CN108399643A (zh) * 2018-03-15 2018-08-14 南京大学 一种激光雷达和相机间的外参标定***和方法
CN109059902A (zh) * 2018-09-07 2018-12-21 百度在线网络技术（北京）有限公司 相对位姿确定方法、装置、设备和介质
CN110223226A (zh) * 2019-05-07 2019-09-10 中国农业大学 全景图像拼接方法及***
CN109920011A (zh) * 2019-05-16 2019-06-21 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Chih-Ming Hsu ; .Online Recalibration of a Camera and Lidar System.2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC).2019,全文. *
一种自适应摄像机与激光雷达联合标定算法;姚文韬;沈春锋;董文生;;控制工程(S1);全文 *
基于梯形棋盘格的摄像机和激光雷达标定方法;贾子永;任国全;李冬伟;程子阳;;计算机应用(07);全文 *
激光雷达/相机组合的3D SLAM技术研究;李帅鑫;中国硕士学位论文全文数据库 信息科技辑;全文 *
激光雷达与摄像机的配准;彭骏驰;唐;王力;蔡自兴;;微计算机信息(04);全文 *
车载移动测量激光点云与线阵影像融合;张伟红;陈国平;王留召;;昆明冶金高等专科学校学报(第01期);全文 *

Also Published As

Publication number Publication date
US20220187432A1 (en) 2022-06-16
WO2021056132A1 (en) 2021-04-01
CN112840232A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
US20220187843A1 (en) Systems and methods for calibrating an inertial measurement unit and a camera
CN112823294B (zh) 用于标定相机和多线激光雷达的***和方法
US20220138896A1 (en) Systems and methods for positioning
US11781863B2 (en) Systems and methods for pose determination
CN112041210B (zh) 用于自动驾驶的***和方法
CN113984044A (zh) 一种基于车载多感知融合的车辆位姿获取方法及装置
CN111854748B (zh) 一种定位***和方法
CN115439531A (zh) 一种获取目标对象的目标空间位置信息的方法与设备
WO2021077315A1 (en) Systems and methods for autonomous driving
CN114440864A (zh) 一种汽车定位的方法及装置
CN112840232B (zh) 用于标定相机和激光雷达的***和方法
US20220178701A1 (en) Systems and methods for positioning a target subject
WO2021212297A1 (en) Systems and methods for distance measurement
US11940279B2 (en) Systems and methods for positioning
CN110720025B (zh) 移动物体的地图的选择方法、装置、***和车辆/机器人
WO2022120733A1 (en) Systems and methods for constructing map
CN112384756B (zh) 定位***和方法
CN114199220A (zh) 一种无人机空中在线磁罗盘校准方法和装置
US20220270288A1 (en) Systems and methods for pose determination
CN112400122B (zh) 定位目标对象的***和方法
CN112805534B (zh) 定位目标对象的***和方法
WO2021035748A1 (zh) 位姿获取方法、***和可移动平台
CN117387644A (zh) 定位方法、装置、电子设备、存储介质及程序产品
CN113557548A (zh) 生成位姿图的***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230506

Address after: 100193 no.218, 2nd floor, building 34, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Applicant after: Beijing Track Technology Co.,Ltd.

Address before: 100193 No. 34 Building, No. 8 Courtyard, West Road, Dongbei Wanglu, Haidian District, Beijing

Applicant before: BEIJING DIDI INFINITY TECHNOLOGY AND DEVELOPMENT Co.,Ltd.

GR01 Patent grant
GR01 Patent grant