CN117255190A - 维持照相机校准的方法、运载工具和计算机可读存储介质 - Google Patents

维持照相机校准的方法、运载工具和计算机可读存储介质 Download PDF

Info

Publication number
CN117255190A
CN117255190A CN202310715791.5A CN202310715791A CN117255190A CN 117255190 A CN117255190 A CN 117255190A CN 202310715791 A CN202310715791 A CN 202310715791A CN 117255190 A CN117255190 A CN 117255190A
Authority
CN
China
Prior art keywords
sensor
camera
external
translation
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310715791.5A
Other languages
English (en)
Inventor
彼得·利曼
N·穆哈辛
J·德维维迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN117255190A publication Critical patent/CN117255190A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本申请提供了维持照相机校准的方法、运载工具和计算机可读存储介质。用于维持IBIS照相机的校准的方法可以包括接收具有第一传感器的第一照相机的第一初始外部校准；基于当第一照相机捕获第一图像时第一传感器的第二位置来确定第一传感器的第一平移；至少基于第一平移来确定第一外部平移移位；以及更新第一初始外部校准以产生用于第一照相机的第一经修改的外部校准。还提供***和计算机程序产品。

Description

维持照相机校准的方法、运载工具和计算机可读存储介质
技术领域
本申请涉及用于维持IBIS照相机的校准的方法、运载工具和计算机可读存储介质。
背景技术
运载工具(诸如自主运载工具)使用传感器来识别周围环境中的对象。这些传感器可以包括照相机、LiDAR传感器、雷达传感器和其他类型的传感器。与单个传感器或单个类型的传感器的输出相比，可以合并多个传感器的输出以生成周围环境的更详细的表示。
发明内容
根据本申请的第一方面，提供了一种外部照相机校准的方法，包括：使用至少一个处理器，接收具有第一传感器的第一照相机的第一初始外部校准，其中，所述初始外部校准包括旋转矩阵和初始平移矩阵并且基于当所述第一照相机捕获初始图像时所述第一传感器的第一位置；使用所述至少一个处理器，基于当所述第一照相机捕获第一图像时所述第一传感器的第二位置来确定所述第一传感器的第一平移，所述第二位置不同于所述第一位置；使用所述至少一个处理器，至少基于所述第一平移来确定第一外部平移移位，其中，所述第一外部平移移位表示所述第一传感器的第一位置和第二位置之间的第一净平移；以及使用所述至少一个处理器，基于所述第一外部平移移位来更新所述第一初始外部校准以产生用于所述第一照相机的第一经修改的外部校准，其中，所述第一经修改的外部校准包括所述旋转矩阵和通过所述第一外部平移移位与所述初始平移矩阵之和给出的第一经调整平移矩阵。
根据本申请的第二方面，提供了一种运载工具，包括：至少一个计算机可读介质，其存储有计算机可执行指令；以及一个或多于一个处理器，其被配置为执行所述计算机可执行指令，所述执行用于实现根据本申请的上述方法。
根据本申请的第三方面，提供了一种非暂时性计算机可读存储介质，其包括使用第一装置的至少一个处理器来执行的至少一个程序，所述至少一个程序包括指令，所述指令在使用所述至少一个处理器执行时使所述第一装置进行根据本申请的上述方法。
附图说明
图1是可以实现包括自主***的一个或多于一个组件的运载工具的示例环境；
图2是包括自主***的运载工具的一个或多于一个***的图；
图3是图1和图2的一个或多于一个装置和/或一个或多于一个***的组件的图；
图4是自主***的某些组件的图；
图5-图7是用于维持IBIS照相机的校准的处理的实现方式的图；以及
图8是用于维持IBIS照相机的校准的处理的流程图。
具体实施方式
在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
在附图中，为了便于描述，例示了示意要素(诸如表示***、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其他要素结合。
此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其他示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其他特征、整数、步骤、操作、要素、组件和/或其群组。
如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、***、装置或***的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当…时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。
现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其他情况下，尚未详细描述众所周知的方法、过程、组件、电路和网络，以便不会不必要地使实施例的方面模糊。
总体概述
运载工具(诸如自动运载工具)可以具有一个或多于一个照相机和其他传感器(例如，另一照相机、LiDAR、雷达)以扫描运载工具周围的区域。照相机可以包括将照相机传感器平移以补偿振动和抖动的机身内图像稳定(IBIS)***。然而，照相机传感器的平移使得用于对来自照相机和其他传感器的数据进行融合的外部校准无效。提供了用于修改外部校准的方法，以补偿IBIS照相机的平移并维持外部校准。
外部校准修改处理允许在IBIS照相机之间维持外部校准，同时还保持IBIS照相机的益处。维持外部校准提供更准确的传感器融合以用于感知。照相机振动的减少还允许更长的曝光时间，这在低光条件下是有利的。将照相机图像传感器与运载工具振动隔离进一步减少了运动模糊。外部校准修改处理可以在不大量使用计算资源的情况下实时进行。
现在参考图1，例示示例环境100，在该示例环境100中，包括自主***的运载工具以及不包括自主***的运载工具进行操作。如所例示的，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程自主运载工具(AV)***114、队列管理***116和V2I***118。运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)***114、队列管理***116和V2I***118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)***114、队列管理***116和V2I***118中的至少一者互连。
运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与V2I装置110、远程AV***114、队列管理***116和/或V2I***118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多于一个运载工具102包括自主***(例如，与自主***202相同或类似的自主***)。
对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。
路线106a-106n(单独称为路线106且统称为路线106)各自与连接AV可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多于一个个体将要搭载AV的地点，并且第二状态或区包括搭载AV的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。
区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。
运载工具到基础设施(V2I)装置110(有时称为运载工具到基础设置(Vehicle-to-Infrastructure)或运载工具到万物(Vehicle-to-Everything)(V2X)装置)包括被配置为与运载工具102和/或V2I***118进行通信的至少一个装置。在一些实施例中，V2I装置110被配置为与运载工具102、远程AV***114、队列管理***116和/或V2I***118经由网络112进行通信。在一些实施例中，V2I装置110包括射频识别(RFID)装置、标牌、照相机(例如，二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，V2I装置110被配置为与运载工具102、远程AV***114和/或队列管理***116经由V2I***118进行通信。在一些实施例中，V2I装置110被配置为与V2I***118经由网络112进行通信。
网络112包括一个或多于一个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、***(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。
远程AV***114包括被配置为与运载工具102、V2I装置110、网络112、队列管理***116和/或V2I***118经由网络112进行通信的至少一个装置。在示例中，远程AV***114包括服务器、服务器组和/或其他类似装置。在一些实施例中，远程AV***114与队列管理***116位于同一位置。在一些实施例中，远程AV***114参与运载工具的组件(包括自主***、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中，远程AV***114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。
队列管理***116包括被配置为与运载工具102、V2I装置110、远程AV***114和/或V2I***118进行通信的至少一个装置。在示例中，队列管理***116包括服务器、服务器组和/或其他类似装置。在一些实施例中，队列管理***116与拼车公司(例如，用于控制多个运载工具(例如，包括自主***的运载工具和/或不包括自主***的运载工具)的操作等的组织)相关联。
在一些实施例中，V2I***118包括被配置为与运载工具102、V2I装置110、远程AV***114和/或队列管理***116经由网络112进行通信的至少一个装置。在一些示例中，V2I***118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中，V2I***118包括服务器、服务器组和/或其他类似装置。在一些实施例中，V2I***118与市政当局或私营机构(例如，用于维护V2I装置110的私营机构等)相关联。
提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。
现在参考图2，运载工具200(其可以与图1的运载工具102相同或类似)包括自主***202、动力总成控制***204、转向控制***206和制动***208或者与自主***202、动力总成控制***204、转向控制***206和制动***208相关联。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，自主***202被配置为赋予运载工具200自主驾驶能力(例如，实现如下的至少一个驾驶自主或基于操纵的功能、特征和/或装置等，该功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃对人类干预的依赖的运载工具，诸如级别5的ADS操作运载工具)、高度自主运载工具(例如，在某些情形下放弃对人类干预的依赖的运载工具，诸如级别4的ADS操作运载工具))、和/或有条件自主运载工具(例如，在有限情形下放弃对人类干预的依赖的运载工具，诸如级别3的ADS操作运载工具)等。在一个实施例中，自主***202包括在道路交通中操作运载工具200并且持续地进行部分或全部动态驾驶任务(DDT)所需的操作或策略功能。在另一实施例中，自主***202包括包含驾驶员支持特征的高级驾驶员辅助***(ADAS)。自主***202支持从无驾驶自主(例如，级别0)到完全驾驶自主(例如，级别5)的范围内的不同级别的驾驶自主。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考SAE国际标准J3016:道路上机动车自动驾驶***相关术语的分类和定义(SAE International's standard J3016:Taxonomy and Definitionsfor Terms Related to On-Road Motor Vehicle Automated Driving Systems)，其全部内容通过引用而被包含于此。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。
自主***202包括传感器套件，该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中，自主***202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)GPS接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主***202使用自主***202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主***202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个***使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主***202包括通信装置202e、自主运载工具计算202f和安全控制器202g。
照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(CCD)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，RAW、JPEG和/或PNG等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理***(例如，与图1的队列管理***116相同或类似的队列管理***)的多个照相机。在这样的示例中，自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。
在实施例中，照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航信息的其他物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，RAW、JPEG和/或PNG等)的一个或多于一个图像相关联的TLD(交通灯检测)数据。在一些实施例中，生成TLD数据的照相机202a与本文所述的包含照相机的其他***的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机，以生成与尽可能多的物理对象有关的图像。
光检测和测距(LiDAR)传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b包括被配置为从发光器(例如，激光发射器)发射光的***。由LiDAR传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由LiDAR传感器202b发射的光遇到物理对象(例如，运载工具)并被反射回到LiDAR传感器202b。在一些实施例中，由LiDAR传感器202b发射的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与LiDAR传感器202b相关联的至少一个数据处理***生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与LiDAR传感器202b相关联的至少一个数据处理***生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。
无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的***。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理***生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理***生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。
麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多于一个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多于一个***可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。
通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或线控DBW(线控)***202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(V2V)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。
自主运载工具计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW***202h进行通信的至少一个装置。在一些示例中，自主运载工具计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，自主运载工具计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地，在一些实施例中，自主运载工具计算202f被配置为与自主运载工具***(例如，与图1的远程AV***114相同或类似的自主运载工具***)、队列管理***(例如，与图1的队列管理***116相同或类似的队列管理***)、V2I装置(例如，与图1的V2I装置110相同或类似的V2I装置)和/或V2I***(例如，与图1的V2I***118相同或类似的V2I***)进行通信。
安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或DBW***202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制***204、转向控制***206和/或制动***208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。
DBW***202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中，DBW***202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制***204、转向控制***206和/或制动***208等)的一个或多于一个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，DBW***202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转向信号灯、前灯、门锁和/或挡风玻璃雨刮器等)。
动力总成控制***204包括被配置为与DBW***202h进行通信的至少一个装置。在一些示例中，动力总成控制***204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制***204从DBW***202h接收控制信号，并且动力总成控制***204使运载工具200做出纵向运载工具运动(诸如开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速等)、或者做出横向运载工具运动(诸如进行左转和/或进行右转等)。在示例中，动力总成控制***204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。
转向控制***206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中，转向控制***206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制***206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。换句话说，转向控制***206引起运载工具运动的y轴分量的调节所必需的活动。
制动***208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动***208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动***208包括自动紧急制动(AEB)***和/或再生制动***等。
在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中，运载工具200包括诸如全球定位***(GPS)接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。尽管制动***208在图2中示出为位于运载工具200的近侧，但是制动***208可以位于运载工具200中的任何地方。
现在参考图3，例示装置300的示意图。如所例示的，装置300包括处理器304、存储器306、存储组件308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中，装置300对应于：运载工具102的至少一个装置(例如，运载工具102的***的至少一个装置)；以及/或者网络112的一个或多于一个装置(例如，网络112的***的一个或多于一个装置)。在一些实施例中，运载工具102的一个或多于一个装置(例如，运载工具102的***的一个或多于一个装置)、以及/或者网络112的一个或多于一个装置(例如，网络112的***的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示，装置300包括总线302、处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。
总线302包括许可装置300的组件之间的通信的组件。在一些情况下，在一些示例中，处理器304包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如，现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。
存储组件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储组件308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。
输入接口310包括许可装置300诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的组件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测信息的传感器(例如，全球定位***(GPS)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的组件(例如，显示器、扬声器和/或一个或多于一个发光二极管(LED)等)。
在一些实施例中，通信接口314包括许可装置300与其他装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、接口和/或蜂窝网络接口等。
在一些实施例中，装置300进行本文所述的一个或多于一个处理。装置300基于处理器304执行由诸如存储器306和/或存储组件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。
在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储组件308中。存储器306和/或存储组件308中所存储的软件指令在执行时，使处理器304进行本文所述的一个或多于一个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。
存储器306和/或存储组件308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储组件308中的数据存储部或至少一个数据结构接收信息，将信息存储在该数据存储部或至少一个数据结构中，将信息通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中，该信息包括网络数据、输入数据、输出数据或其任何组合。
在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器执行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。
提供图3所例示的组件的数量和布置作为示例。在一些实施例中，与图3所例示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的一组组件(例如，一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多于一个功能。
现在参考图4，例示出自主运载工具计算400(有时称为“AV堆栈”)的示例框图。如所例示的，自主运载工具计算400包括感知***402(有时称为感知模块)、规划***404(有时称为规划模块)、定位***406(有时称为定位模块)、控制***408(有时称为控制模块)和数据库410。在一些实施例中，感知***402、规划***404、定位***406、控制***408和数据库410包括在运载工具的自动导航***(例如，运载工具200的自主运载工具计算202f)中和/或在该自动导航***中实现。附加地或可替代地，在一些实施例中，感知***402、规划***404、定位***406、控制***408和数据库410包括在一个或多于一个独立***(例如，与自主运载工具计算400相同或类似的一个或多于一个***等)中。在一些示例中，感知***402、规划***404、定位***406、控制***408和数据库41包括在位于运载工具中的一个或多于一个独立***以及/或者如本文所述的至少一个远程***中。在一些实施例中，自主运载工具计算400中所包括的***中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，自主运载工具计算400被配置为与远程***(例如，与远程AV***114相同或类似的自主运载工具***、与队列管理***116相同或类似的队列管理***116、以及/或者与V2I***118相同或类似的V2I***等)进行通信。
在一些实施例中，感知***402接收与环境中的至少一个物理对象相关联的数据(例如，感知***402检测至少一个物理对象所使用的数据)，并对该至少一个物理对象进行分类。在一些示例中，感知***402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如，表示该一个或多于一个物理对象)。在这样的示例中，感知***402基于物理对象(例如，自行车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知***402对物理对象进行分类，感知***402将与物理对象的分类相关联的数据传输到规划***404。
在一些实施例中，规划***404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划***404定期地或连续地从感知***402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划***404基于感知***402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。换句话说，规划***404可以进行在道路交通中操作运载工具102所需的策略功能相关任务。策略的努力涉及在行程期间在交通中操纵运载工具，包括但不限于决定是否和何时超越另一运载工具、改变车道、或选择适当的速率、加速度、去加速度等。在一些实施例中，规划***404从定位***406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划***404基于定位***406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。
在一些实施例中，定位***406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位***406接收与至少一个LiDAR传感器(例如，LiDAR传感器202b)所生成的至少一个点云相关联的LiDAR数据。在某些示例中，定位***406从多个LiDAR传感器接收与至少一个点云相关联的数据，并且定位***406基于各个点云来生成组合点云。在这些示例中，定位***406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2D)和/或三维(3D)地图进行比较。然后，基于定位***406将至少一个点云或组合点云与地图进行比较，定位***406确定运载工具在区域中的位置。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其他行驶信号灯等)的空间地点的地图。在一些实施例中，基于感知***所接收到的数据来实时地生成地图。
在另一示例中，定位***406接收由全球定位***(GPS)接收器所生成的全球导航卫星***(GNSS)数据。在一些示例中，定位***406接收与运载工具在区域中的地点相关联的GNSS数据，并且定位***406确定运载工具在区域中的纬度和经度。在这样的示例中，定位***406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位***406生成与运载工具的位置相关联的数据。在一些示例中，基于定位***406确定运载工具的位置，定位***406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义性质相关联的数据。
在一些实施例中，控制***408从规划***404接收与至少一个轨迹相关联的数据，并且控制***408控制运载工具的操作。在一些示例中，控制***408从规划***404接收与至少一个轨迹相关联的数据，并且控制***408通过生成并传输控制信号以使动力总成控制***(例如，DBW***202h和/或动力总成控制***204等)、转向控制***(例如，转向控制***206)和/或制动***(例如，制动***208)进行操作，来控制运载工具的操作。例如，控制***408被配置为进行诸如横向运载工具运动控制或纵向运载工具运动控制的操作功能。横向运载工具运动控制引起运载工具运动的y轴分量的调节所必需的活动。纵向运载工具运动控制引起运载工具运动的x轴分量的调节所必需的活动。在示例中，在轨迹包括左转的情况下，控制***408传输控制信号以使转向控制***206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制***408生成并传输控制信号以使运载工具200的其他装置(例如，前灯、转向信号灯、门锁和/或挡风玻璃雨刮器等)改变状态。
在一些实施例中，感知***402、规划***404、定位***406和/或控制***408实现至少一个机器学习模型(例如，至少一个多层感知器(MLP)、至少一个卷积神经网络(CNN)、至少一个递归神经网络(RNN)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知***402、规划***404、定位***406和/或控制***408单独地或与上述***中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中，感知***402、规划***404、定位***406和/或控制***408实现至少一个机器学习模型作为管道(例如，用于识别位于环境中的一个或多于一个对象的管道等)的一部分。
数据库410存储传输至感知***402、规划***404、定位***406和/或控制***408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储与操作相关的数据和/或软件、并使用自主运载工具计算400的至少一个***的存储组件(例如，与图3的存储组件308相同或类似的存储组件)。在一些实施例中，数据库410存储与至少一个区域的2D和/或3D地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(State)(例如，国家)等的2D和/或3D地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如，单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个LiDAR传感器(例如，与LiDAR传感器202b相同或类似的LiDAR传感器)生成与表示该至少一个LiDAR传感器的视场中所包括的对象的图像相关联的数据。
在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具***(例如，与远程AV***114相同或类似的自主运载工具***)、队列管理***(例如，与图1的队列管理***116相同或类似的队列管理***)中和/或V2I***(例如，与图1的V2I***118相同或类似的V2I***)等中。
现在参考图5-图8，其示出了用于维持IBIS照相机的校准的处理的实现500的图。在一些实施例中，实现方式500包括IBIS照相机502、校准***510和另一传感器516。
图5示出IBIS照相机502和相关联的组件。在一些实施例中，IBIS照相机502是照相机202a(图2)之一的示例。IBIS(机身内图像稳定)是通过移动传感器以补偿不想要的运动来减少振动和抖动的***。因此，IBIS照相机502的图像传感器504移动以补偿例如运载工具200(图2)的移动。当运载工具200移动并遇到引起振动和抖动的条件时，由IBIS照相机502产生的图像将是相对稳定的，并且不会表现出多个图像间的基于振动或抖动的变化。补偿由IBIS***506实现。
对不想要的运动的补偿会导致传感器融合性能问题。在一些实施例中，运载工具200的感知***402(图4)融合多个传感器***的输出。由于IBIS照相机的输出的在平移运动中的主动移位，多个传感器***的坐标系将不对齐。例如，如果感知***402融合IBIS照相机502和另一传感器516(例如，如图4所示的LiDAR传感器202b或雷达传感器202c，或另一照相机)的输出，则两者的坐标系必须对齐以使感知***402以空间上准确的方式融合两者的输出。
例如，如果感知***402将两个传感器(例如，照相机和LiDAR传感器)的输出投影到公共平面上以彼此重叠，则感知***402将两个传感器的坐标系平移到公共坐标系。因此，感知***402使用与两个坐标系之间的关系有关的信息来在公共平面上投影输出。这种技术有时被称为修正。
在一些实施例中，通常使用在运载工具工厂处进行的校准来将两个传感器***(例如，IBIS照相机502和LiDAR传感器202b)之间的坐标系在彼此之间平移。例如，两个传感器***各自具有其自身的坐标系，并且校准处理用于测量它们彼此的空间关系(例如，基于它们安装在运载工具200上的物理空间中的位置)。然后，校准处理生成用于将传感器之一的坐标系平移到另一传感器的坐标系的校准矩阵。该校准矩阵有时被称为外部校准矩阵。校准矩阵是外部校准矩阵，因为校准矩阵用于平移到具体传感器外部(例如，IBIS照相机502外部)的坐标系。换句话说，使用外部校准矩阵将传感器的坐标系平移到另一传感器的坐标系。
为了考虑由IBIS***506引起的图像传感器504的移动，感知***402(例如，实时地)重新校准坐标系之间的平移。在一些实施例中，与感知***402相关联的校准***510生成可以应用于现有外部校准矩阵512的外部平移移位508。
在使用中，校准***510基于由IBIS***506实现的图像传感器504的移动来确定外部平移移位508。在实施例中，校准***510从IBIS照相机502接收与由IBIS***506实现的图像传感器504的移动有关的信息。在示例场景中，在特定时刻，IBIS***506使图像传感器504在X轴上移位+2像素且在Y轴上移位-3像素。作为响应，校准***510生成外部平移移位508，其可以被添加到外部校准矩阵512以利用考虑IBIS***506的活动的方式平移两个传感器的坐标系。在一些实施例中，校准***510生成经修改的外部校准514，该经修改的外部校准514是外部校准矩阵512和外部平移移位508的组合。在一些实施例中，例如对于由IBIS照相机502产生的每个帧实时地确定外部平移移位508。类似地，在一些实施例中，对于由IBIS照相机502产生的每个帧生成经修改的外部校准514。
现在参考图6，其示出为了产生经修改的外部校准514而发生的操作的详细视图600。校准***510接收602初始的外部校准矩阵512。在一些实施例中，如图6所示，从IBIS照相机502(例如，从IBIS照相机502的存储器装置)获得外部校准矩阵512。在一些实施例中，从另一***获得外部校准矩阵512。在一些实施例中，外部校准矩阵512包括旋转矩阵和平移矩阵这两者，如图6表示的示例中所示。
在一些实施例中，IBIS照相机502确定例如由IBIS照相机502的图像传感器504的运动引起的图像平移数据604。在一些示例中，图像平移数据604包括关于图像传感器504的X轴和Y轴运动的信息。将图像平移数据604被提供606给校准***510。校准***510基于图像平移数据604来确定608外部平移移位508。在一些实施例中，外部平移移位508是例如指示X轴偏移和Y轴偏移的平移矩阵偏移。例如，由于IBIS***506影响图像传感器504相对于IBIS照相机502的X轴或Y轴运动，因此外部平移移位508包括平移矩阵偏移但不包括旋转矩阵偏移。与此相对，外部校准矩阵512包括平移矩阵和旋转矩阵，这是因为IBIS照相机502的取向可能与另一传感器不同(例如，以不同的Z轴为取向)。
然后，由校准***510将经修改的外部校准514提供610给例如感知***402，以用于将IBIS照相机502的输出与另一传感器的输出融合的目的。
现在参考图7，其示出当使用两个IBIS照相机502a、502b时(例如当来自两个照相机的图像将被感知***402融合时)为了产生经修改的外部校准514而发生的操作的详细视图700。当使用两个IBIS照相机502a、502b时，这两个照相机将使用平移移位。
校准***510接收702a、702b用于两个IBIS照相机502a、502b的初始外部校准矩阵。
在一些实施例中，IBIS照相机502a、502b确定相应的图像平移数据704a、704b。图像平移数据704a、704b表示由相应的照相机的图像传感器的运动引起的平移。第一IBIS照相机502a的图像平移数据704a与第二IBIS照相机502b的图像平移数据704b不同，这是因为IBIS照相机502a、502b的相应图像传感器彼此独立地移动。
来自各IBIS照相机502a、502b的图像平移数据704a、704b被提供706a、706b到校准***510。校准***510基于相应的图像平移数据704a、704b来确定708各IBIS照相机502a、502b的外部平移移位。
然后，由校准***510将用于两个照相机各自的经修改的外部校准提供710到例如感知***502，以用于将第一IBIS照相机502a的输出与第二IBIS照相机502b的输出融合的目的。
在一些实施例中，针对两个照相机生成单个外部平移移位和单个经修改的外部校准。在示例场景中，针对第一IBIS照相机502a的图像平移数据704a指示X轴上+2px且Y轴上-3px的平移，并且针对第二IBIS照相机502b的图像平移数据704b指示X轴上-2px且Y轴上+4px的平移。平移值的和是X轴上0px且Y轴上+1px。因此，在该示例场景中，由校准***510生成的单个外部平移移位表示X轴上0px且Y轴上+1px的移位，并且由校准***510提供的单个经修改的外部校准表示该单个外部平移移位。
现在参考图8，其示出维持IBIS照相机的校准的处理800的流程图。在一些实施例中，关于处理600描述的一个或多于一个步骤由校准***510(图5)(例如，完全和/或部分地等)进行。另外，或可替代地，在一些实施例中，关于处理800描述的一个或多于一个步骤由与校准***510分离或者包括校准***510的另一装置或装置组(例如，感知***402(图4))(例如，完全和/或部分地等)进行。
继续参考图8，校准***510接收具有第一传感器的第一照相机的第一初始外部校准。例如，第一照相机是IBIS照相机502，并且第一传感器是图像传感器504(图5)。初始外部校准包括旋转矩阵和初始平移矩阵，并且基于当第一照相机捕获初始图像时第一传感器的第一位置。例如，初始图像是用于例如在工厂校准处理中进行的第一照相机的初始校准的图像(框802)。
继续参考图8，校准***510基于当第一照相机捕获第一图像时第一传感器的第二位置来确定第一传感器的第一平移。第二位置不同于第一位置，例如，因为第一传感器由于IBIS***506(图5)的活动而改变了位置(框804)。
继续参考图8，校准***510至少基于第一平移来确定第一外部平移移位。第一外部平移移位表示第一传感器的第一位置和第二位置之间的第一净平移(框806)。
继续参考图8，校准***510基于第一外部平移移位来更新第一初始外部校准以产生用于第一照相机的第一经修改的外部校准。第一经修改的外部校准包括旋转矩阵和通过第一外部平移移位与初始平移矩阵之和给出的第一经调整平移矩阵(框808)。
在一些实施例中，继续参考图8，校准***510使得运载工具(例如，图2中示出的运载工具200)至少部分地基于第一照相机的输出来操作。
在一些实施例中，继续参考图8，校准***510基于当第一照相机捕获第二图像时第一传感器的第三位置来确定第一传感器的第二平移，第三位置不同于第一位置。在这样的实施例中，校准***510至少基于第二平移来确定第二外部平移移位。第二外部平移移位表示第一传感器的第一位置和第三位置之间的净平移。在这样的实施例中，校准***510基于第二外部平移移位来更新第一初始外部校准以产生用于第一照相机的第二经修改的外部校准。第二经修改的外部校准包括旋转矩阵和通过第二外部平移移位与初始平移矩阵之和给出的第二经调整平移矩阵。
在一些实施例中，继续参考图8，校准***510接收具有第二传感器的第二照相机的第二初始外部校准。第二初始外部校准包括旋转矩阵和初始平移矩阵，并且基于当第二照相机捕获初始图像时第二传感器的第一位置。在这样的实施例中，校准***510基于当第二照相机捕获第一图像时第二照相机的第二位置来确定第二传感器的第二平移，使得第二位置不同于第一位置。在这样的实施例中，校准***510至少基于第二平移来确定第二外部平移移位。第二外部平移移位表示第二传感器的第一位置和第二位置之间的第一净平移。在这样的实施例中，校准***510基于第二外部平移移位来更新第二初始外部校准以产生用于第二照相机的第二经修改的外部校准。第二经修改的外部校准包括旋转矩阵和通过第二外部平移移位与初始平移矩阵之和给出的第二经调整平移矩阵。
在一些实施例中，继续参考图8，校准***510将第一经修改的外部校准的数据与来自第三传感器的数据融合以修正至少一个第一图像。在这样的实施例中，第三传感器可以是LiDAR传感器或雷达传感器。
在一些实施例中，第一照相机是IBIS照相机。在一些实施例中，第二照相机是IBIS照相机。
在一些实施例中，第二传感器相对于第一传感器是静止的。
根据一些非限制性实施例或示例，提供外部照相机校准的方法，包括：
使用至少一个处理器，接收具有第一传感器的第一照相机的第一初始外部校准，其中，所述第一初始外部校准包括旋转矩阵和初始平移矩阵并且基于当所述第一照相机捕获初始图像时所述第一传感器的第一位置；
使用所述至少一个处理器，基于当所述第一照相机捕获第一图像时所述第一传感器的第二位置来确定所述第一传感器的第一平移，所述第二位置不同于所述第一位置；
使用所述至少一个处理器，至少基于所述第一平移来确定第一外部平移移位，其中，所述第一外部平移移位表示所述第一传感器的第一位置和第二位置之间的第一净平移；以及
使用所述至少一个处理器，基于所述第一外部平移移位来更新所述第一初始外部校准以产生用于所述第一照相机的第一经修改的外部校准，其中，所述第一经修改的外部校准包括所述旋转矩阵和通过所述第一外部平移移位与所述初始平移矩阵之和给出的第一经调整平移矩阵。
其它非限制性方面或实施例在以下编号条款中阐述：
条款1：一种外部照相机校准的方法，包括：使用至少一个处理器，接收具有第一传感器的第一照相机的第一初始外部校准，其中，所述第一初始外部校准包括旋转矩阵和初始平移矩阵并且基于当所述第一照相机捕获初始图像时所述第一传感器的第一位置；使用所述至少一个处理器，基于当所述第一照相机捕获第一图像时所述第一传感器的第二位置来确定所述第一传感器的第一平移，所述第二位置不同于所述第一位置；使用所述至少一个处理器，至少基于所述第一平移来确定第一外部平移移位，其中，所述第一外部平移移位表示所述第一传感器的第一位置和第二位置之间的第一净平移；以及使用所述至少一个处理器，基于所述第一外部平移移位来更新所述第一初始外部校准以产生用于所述第一照相机的第一经修改的外部校准，其中，所述第一经修改的外部校准包括所述旋转矩阵和通过所述第一外部平移移位与所述初始平移矩阵之和给出的第一经调整平移矩阵。
条款2：条款1的方法，还包括：使用所述至少一个处理器，基于当所述第一照相机捕获第二图像时所述第一传感器的第三位置来确定所述第一传感器的第二平移，所述第三位置不同于所述第一位置；使用所述至少一个处理器，至少基于所述第二平移来确定第二外部平移移位，其中，所述第二外部平移移位表示所述第一传感器的第一位置和第三位置之间的净平移；以及使用所述至少一个处理器，基于所述第二外部平移移位来更新所述第一初始外部校准以产生用于所述第一照相机的第二经修改的外部校准，其中，所述第二经修改的外部校准包括所述旋转矩阵和通过所述第二外部平移移位与所述初始平移矩阵之和给出的第二经调整平移矩阵。
条款3：条款1或2的条款，包括：使用所述至少一个处理器，接收具有第二传感器的第二照相机的第二初始外部校准，其中，所述第二初始外部校准包括旋转矩阵和初始平移矩阵并且基于当所述第二照相机捕获初始图像时所述第二传感器的第一位置；使用所述至少一个处理器，基于当所述第二照相机捕获第一图像时所述第二传感器的第二位置来确定所述第二传感器的第二平移，所述第二位置不同于所述第一位置；使用所述至少一个处理器，至少基于所述第二平移来确定第二外部平移移位，其中，所述第二外部平移移位表示所述第二传感器的第一位置和第二位置之间的第一净平移；以及使用所述至少一个处理器，基于所述第二外部平移移位来更新所述第二初始外部校准以产生用于所述第二照相机的第二经修改的外部校准，其中，所述第二经修改的外部校准包括所述旋转矩阵和通过所述第二外部平移移位与所述初始平移矩阵之和给出的第二经调整平移矩阵。
条款4：条款1至3中任一项的方法，还包括将所述第一经修改的外部校准的数据与来自第三传感器的数据融合以修正至少一个第一图像。
条款5：条款4的方法，其中，所述第三传感器包括LiDAR传感器或雷达传感器。
条款6：条款1至5中任一项的方法，其中，所述第一照相机包括IBIS照相机。
条款7：条款3至6中任一项的方法，其中，所述第二照相机包括IBIS照相机。
条款8：条款2至7中任一项的方法，其中，所述第二传感器相对于所述第一传感器是静止的。
条款9：条款1至8中任一项的方法，包括使得运载工具至少部分地基于所述第一照相机的输出来操作。
条款10：一种运载工具，包括：至少一个计算机可读介质，其存储有计算机可执行指令；以及一个或多于一个处理器，其被配置为执行计算机可执行指令，所述执行用于实现根据条款1至9中任一项所述的方法。
条款11：一种非暂时性计算机可读存储介质，其包括使用第一装置的至少一个处理器来执行的至少一个程序，所述至少一个程序包括指令，所述指令在使用所述至少一个处理器执行时使所述第一装置进行根据条款1至9中任一项所述的方法。
在先前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人期望是本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围，包括任何后续修改。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

Claims (11)

1.一种外部照相机校准的方法，包括：
使用至少一个处理器，接收具有第一传感器的第一照相机的第一初始外部校准，其中，所述第一初始外部校准包括旋转矩阵和初始平移矩阵并且基于当所述第一照相机捕获初始图像时所述第一传感器的第一位置；
使用所述至少一个处理器，基于当所述第一照相机捕获第一图像时所述第一传感器的第二位置来确定所述第一传感器的第一平移，所述第二位置不同于所述第一位置；
使用所述至少一个处理器，至少基于所述第一平移来确定第一外部平移移位，其中，所述第一外部平移移位表示所述第一传感器的第一位置和第二位置之间的第一净平移；以及
使用所述至少一个处理器，基于所述第一外部平移移位来更新所述第一初始外部校准以产生用于所述第一照相机的第一经修改的外部校准，其中，所述第一经修改的外部校准包括所述旋转矩阵以及通过所述第一外部平移移位与所述初始平移矩阵之和给出的第一经调整平移矩阵。
2.根据权利要求1所述的方法，还包括：
使用所述至少一个处理器，基于当所述第一照相机捕获第二图像时所述第一传感器的第三位置来确定所述第一传感器的第二平移，所述第三位置不同于所述第一位置；
使用所述至少一个处理器，至少基于所述第二平移来确定第二外部平移移位，其中，所述第二外部平移移位表示所述第一传感器的第一位置和第三位置之间的净平移；以及
使用所述至少一个处理器，基于所述第二外部平移移位来更新所述第一初始外部校准以产生用于所述第一照相机的第二经修改的外部校准，其中，所述第二经修改的外部校准包括所述旋转矩阵以及通过所述第二外部平移移位与所述初始平移矩阵之和给出的第二经调整平移矩阵。
3.根据权利要求1或2所述的方法，包括：
使用所述至少一个处理器，接收具有第二传感器的第二照相机的第二初始外部校准，其中，所述第二初始外部校准包括旋转矩阵和初始平移矩阵并且基于当所述第二照相机捕获初始图像时所述第二传感器的第一位置；
使用所述至少一个处理器，基于当所述第二照相机捕获第一图像时所述第二传感器的第二位置来确定所述第二传感器的第二平移，所述第二位置不同于所述第一位置；
使用所述至少一个处理器，至少基于所述第二平移来确定第二外部平移移位，其中，所述第二外部平移移位表示所述第二传感器的第一位置和第二位置之间的第一净平移；以及
使用所述至少一个处理器，基于所述第二外部平移移位来更新所述第二初始外部校准以产生用于所述第二照相机的第二经修改的外部校准，其中，所述第二经修改的外部校准包括所述旋转矩阵以及通过所述第二外部平移移位与所述初始平移矩阵之和给出的第二经调整平移矩阵。
4.根据权利要求1至3中任一项所述的方法，还包括将所述第一经修改的外部校准的数据与来自第三传感器的数据融合以修正至少一个所述第一图像。
5.根据权利要求4所述的方法，其中，所述第三传感器包括LiDAR传感器或雷达传感器。
6.根据权利要求1至5中任一项所述的方法，其中，所述第一照相机包括IBIS照相机。
7.根据权利要求3至6中任一项所述的方法，其中，所述第二照相机包括IBIS照相机。
8.根据权利要求2至7中任一项所述的方法，其中，所述第二传感器相对于所述第一传感器是静止的。
9.根据权利要求1至8中任一项所述的方法，包括使得运载工具至少部分地基于所述第一照相机的输出来操作。
10.一种运载工具，包括：
至少一个计算机可读介质，其存储有计算机可执行指令；以及
一个或多于一个处理器，其被配置为执行所述计算机可执行指令，所述执行实现根据权利要求1至9中任一项所述的方法。
11.一种非暂时性计算机可读存储介质，其包括使用第一装置的至少一个处理器来执行的至少一个程序，所述至少一个程序包括指令，所述指令在使用所述至少一个处理器执行时使所述第一装置进行根据权利要求1至9中任一项所述的方法。
CN202310715791.5A 2022-06-16 2023-06-16 维持照相机校准的方法、运载工具和计算机可读存储介质 Pending CN117255190A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/807,259 US11887338B2 (en) 2022-06-16 2022-06-16 Maintaining calibration of an IBIS camera
US17/807,259 2022-06-16

Publications (1)

Publication Number Publication Date
CN117255190A true CN117255190A (zh) 2023-12-19

Family

ID=87291571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310715791.5A Pending CN117255190A (zh) 2022-06-16 2023-06-16 维持照相机校准的方法、运载工具和计算机可读存储介质

Country Status (5)

Country Link
US (1) US11887338B2 (zh)
KR (1) KR20230173041A (zh)
CN (1) CN117255190A (zh)
DE (1) DE102023115560A1 (zh)
GB (1) GB2621674A (zh)

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8264553B2 (en) * 2009-11-12 2012-09-11 Microsoft Corporation Hardware assisted image deblurring
US8885049B2 (en) * 2010-03-19 2014-11-11 Sony Corporation Method and device for determining calibration parameters of a camera
WO2013059147A1 (en) * 2011-10-19 2013-04-25 Crown Equipment Corporation Identifying and evaluating multiple rectangles that may correspond to a pallet in an image scene
KR102137264B1 (ko) * 2013-07-09 2020-07-24 삼성전자주식회사 카메라 포즈 추정 장치 및 방법
JP6603094B2 (ja) * 2015-10-20 2019-11-06 クラリオン株式会社 キャリブレーション装置、キャリブレーション方法、及び、キャリブレーションプログラム
WO2017122552A1 (ja) * 2016-01-15 2017-07-20 ソニー株式会社 画像処理装置および方法、プログラム、並びに画像処理システム
CN107945234A (zh) * 2016-10-12 2018-04-20 杭州海康威视数字技术股份有限公司 一种立体摄像机外部参数的确定方法及装置
DE102016223422B4 (de) * 2016-11-25 2024-05-08 Continental Autonomous Mobility Germany GmbH Verfahren zur automatischen Ermittlung extrinsischer Parameter einer Kamera eines Fahrzeugs
US10547784B2 (en) * 2017-06-19 2020-01-28 SighTour Technologies, Inc. Image stabilization
JP6910219B2 (ja) * 2017-06-27 2021-07-28 ローム株式会社 撮像装置のキャリブレーション方法
US10621753B2 (en) * 2017-09-29 2020-04-14 Intel IP Corporation Extrinsic calibration of camera systems
WO2019079211A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. LIDAR-CAMERA CALIBRATION TO GENERATE HIGH DEFINITION MAPS
US11067693B2 (en) * 2018-07-12 2021-07-20 Toyota Research Institute, Inc. System and method for calibrating a LIDAR and a camera together using semantic segmentation
CN109242913B (zh) * 2018-09-07 2020-11-10 百度在线网络技术（北京）有限公司 采集器相对参数的标定方法、装置、设备和介质
WO2020069460A1 (en) * 2018-09-28 2020-04-02 Bounce Imaging, Inc. Panoramic camera and image processing systems and methods
JP7444162B2 (ja) * 2019-03-28 2024-03-06 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム
US10867409B2 (en) * 2019-04-22 2020-12-15 Great Wall Motor Company Limited Methods and systems to compensate for vehicle calibration errors
US11935266B2 (en) * 2019-04-24 2024-03-19 Nec Corporation Camera parameter estimation apparatus, camera parameter estimation method, and computer-readable recording medium
CN110264520B (zh) * 2019-06-14 2021-06-08 北京百度网讯科技有限公司 车载传感器与车辆位姿关系标定方法、装置、设备和介质
US10742969B1 (en) * 2019-06-28 2020-08-11 GM Cruise Holdings, LLC Control of dynamic scene motion by vehicle based on vehicle sensor capture
WO2021035524A1 (zh) * 2019-08-27 2021-03-04 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US11403891B2 (en) * 2019-11-01 2022-08-02 Gm Cruise Holdings Llc Autonomous setup and takedown of calibration environment for vehicle sensor calibration
US10726579B1 (en) * 2019-11-13 2020-07-28 Honda Motor Co., Ltd. LiDAR-camera calibration
US10838049B1 (en) * 2019-12-17 2020-11-17 The Boeing Company Calibration procedure for establishing an extrinsic relationship between lidar and camera sensors
US20220262069A1 (en) * 2020-06-26 2022-08-18 Standard Cognition, Corp. Systems and methods for extrinsic calibration of sensors for autonomous checkout
US20220194412A1 (en) * 2020-12-18 2022-06-23 Lyft, Inc. Validating Vehicle Sensor Calibration
KR20230000585A (ko) * 2021-06-25 2023-01-03 삼성전자주식회사 센서 캘리브레이션 방법 및 장치
US20230135230A1 (en) * 2021-11-01 2023-05-04 Sony Group Corporation Electronic device and method for spatial synchronization of videos

Also Published As

Publication number Publication date
GB202308864D0 (en) 2023-07-26
GB2621674A (en) 2024-02-21
US11887338B2 (en) 2024-01-30
US20230410365A1 (en) 2023-12-21
DE102023115560A1 (de) 2023-12-21
KR20230173041A (ko) 2023-12-26

Similar Documents

Publication Publication Date Title
CN115601250A (zh) 用于照相机对准的装置和方法
GB2613400A (en) Automatically detecting traffic signals using sensor data
US12033338B2 (en) Point cloud alignment systems for generating high definition maps for vehicle navigation
CN116892931A (zh) 用于运载工具的方法、***和可读介质
US11887338B2 (en) Maintaining calibration of an IBIS camera
US20240123975A1 (en) Guided generation of trajectories for remote vehicle assistance
US20230382427A1 (en) Motion prediction in an autonomous vehicle using fused synthetic and camera images
US20240125617A1 (en) Aggregation of Data Representing Geographical Areas
US20240126254A1 (en) Path selection for remote vehicle assistance
US20240051568A1 (en) Discriminator network for detecting out of operational design domain scenarios
US20230303124A1 (en) Predicting and controlling object crossings on vehicle routes
US20240116540A1 (en) Distributed Computing System For A Vehicle
US20230403471A1 (en) Multiple position rolling shutter imaging device
US20240123996A1 (en) Methods and systems for traffic light labelling via motion inference
US20240131984A1 (en) Turn signal assignment for complex maneuvers
US20230152796A1 (en) Vehicle control time delay compensation
US20240124009A1 (en) Optimizing alerts for vehicles experiencing stuck conditions
US20240070915A1 (en) Maintaining intrinsic calibration of cameras with in-body image stabilization systems
US20230219595A1 (en) GOAL DETERMINATION USING AN EYE TRACKER DEVICE AND LiDAR POINT CLOUD DATA
US20230373529A1 (en) Safety filter for machine learning planners
US20240125608A1 (en) Graph exploration forward search
WO2024086049A1 (en) Guided generation of trajectories for remote vehicle assistance
CN116483062A (zh) 用于运载工具的方法、***以及存储介质
WO2024081246A1 (en) Aggregation of data representing geographical areas
WO2024081192A1 (en) Optimizing alerts for vehicles experiencing stuck conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination