CN115601250A - 用于照相机对准的装置和方法 - Google Patents

用于照相机对准的装置和方法 Download PDF

Info

Publication number
CN115601250A
CN115601250A CN202210311828.3A CN202210311828A CN115601250A CN 115601250 A CN115601250 A CN 115601250A CN 202210311828 A CN202210311828 A CN 202210311828A CN 115601250 A CN115601250 A CN 115601250A
Authority
CN
China
Prior art keywords
camera
shape
image
processor
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210311828.3A
Other languages
English (en)
Inventor
N·穆哈辛
刘友光
J·德维维迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motional AD LLC
Original Assignee
Motional AD LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motional AD LLC filed Critical Motional AD LLC
Publication of CN115601250A publication Critical patent/CN115601250A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/003—Alignment of optical elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Geometry (AREA)

Abstract

本发明涉及用于照相机对准的装置和方法。提供使用预畸变目标进行照相机对准的***和方法。所描述的一些方法包括选择形状的配置，以及通过根据要对准的镜头***的畸变函数的逆畸变函数对形状进行预畸变来确定目标。然后，将预畸变目标的图像与形状的原始配置进行比较，以进行照相机对准。因此，对准以更简单、更准确的方式完成。还提供了***和计算机程序产品。

Description

用于照相机对准的装置和方法
技术领域
本发明涉及用于照相机对准的装置和方法，特别地，涉及使用预畸变目标的照相机对准的装置和方法。
背景技术
当前的数字照相机***通常采用一个或多于一个镜头以及用来检测镜头聚焦的光或其他辐射的传感器阵列。镜头和传感器阵列之间的对准是包括在诸如自主运载工具***等的应用中的照相机性能的重要因素。然而，照相机对准并非没有其挑战。例如，对准处理通常采用平目标板和准直器目标，其中在诸如广角照相机等的***中，这些平目标板和准直器目标可能会出现过度畸变，从而导致不准确的对准。照相机本身及其装配件两者中的对准公差也可能导致镜头中心的不准确估计，从而在进行诸如照相机校准等的处理时产生困难。
发明内容
本发明的一方面提供一种用于照相机对准的装置，包括：至少一个处理器；以及至少一个存储器，其存储有指令，当所述指令由所述至少一个处理器执行时，使所述至少一个处理器：确定至少一个第一形状，所述至少一个第一形状被选择以当所述至少一个第一形状通过照相机的镜头投影到所述照相机的传感器上以生成图像时，在所述照相机的该图像中生成至少一个预定第二形状；以及使所述至少一个第一形状投影到所述照相机的所述镜头上，以便于将所述照相机的所述镜头与所述照相机的所述传感器对准。
本发明的另一方面提供一种用于照相机对准的方法，包括：选择期望的形状输出图案；使用处理电路确定形状初始图案，所述形状初始图案在通过照相机的一个或多于一个标称镜头投影时，在所述照相机的图像中生成所述期望的形状输出图案；以及使所述形状初始图案投影到所述照相机的一个或多于一个实际镜头上，以在所述照相机的图像中生成形状输出图案，从而促进所述照相机的所述一个或多于一个实际镜头与所述照相机的传感器对准。
附图说明
图1是可以实现包括自主***的一个或多于一个组件的运载工具的示例环境；
图2是包括自主***的运载工具的一个或多于一个***的图；
图3是图1和图2的一个或多于一个装置和/或一个或多于一个***的组件的图；
图4是自主***的某些组件的图；
图5是使用预畸变目标的照相机对准的处理的实现的图；
图6是使用预畸变目标的照相机对准的处理的实现的更详细的图；以及
图7至图8是使用预畸变目标的照相机对准的处理的流程图。
具体实施方式
在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
在附图中，为了便于描述，例示了示意要素(诸如表示***、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其他要素结合。
此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其他示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其他特征、整数、步骤、操作、要素、组件和/或其群组。
如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、***、装置或***的组件、以及/或者它们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当…时”、“在…时”、“响应于确定为”和/或“响应于检测到”等。类似地，取决于上下文，短语“如果已确定”或“如果检测到[所陈述的条件或事件]”可选地被解释为意指“在确定…时”、“响应于确定为“或”在检测到[所陈述的条件或事件]时”和/或“响应于检测到[所陈述的条件或事件]”等。此外，如本文所使用的，术语“有”、“具有”或“拥有”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”意在是意味着“至少部分基于”。
现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其他情况下，尚未详细描述众所周知的方法、过程、组件、电路和网络，以便不会不必要地使实施例的方面模糊。
现在参考图1，例示示例环境100，在该示例环境100中，包括自主***的运载工具以及不包括自主***的运载工具进行操作。如所例示的，环境100包括运载工具102a-102n、对象104a-104n、路线106a-106n、区域108、运载工具到基础设施(V2I)装置110、网络112、远程自主运载工具(AV)***114、队列管理***116和V2I***118。运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)***114、队列管理***116和V2I***118经由有线连接、无线连接、或者有线或无线连接的组合互连(例如，建立用于通信的连接等)。在一些实施例中，对象104a-104n经由有线连接、无线连接、或者有线或无线连接的组合与运载工具102a-102n、运载工具到基础设施(V2I)装置110、网络112、自主运载工具(AV)***114、队列管理***116和V2I***118中的至少一者互连。
运载工具102a-102n(单独称为运载工具102且统称为运载工具102)包括被配置为运输货物和/或人员的至少一个装置。在一些实施例中，运载工具102被配置为与V2I装置110、远程AV***114、队列管理***116和/或V2I***118经由网络112进行通信。在一些实施例中，运载工具102包括小汽车、公共汽车、卡车和/或火车等。在一些实施例中，运载工具102与本文所述的运载工具200(参见图2)相同或类似。在一些实施例中，一组运载工具200中的运载工具200与自主队列管理器相关联。在一些实施例中，如本文所述，运载工具102沿着相应的路线106a-106n(单独称为路线106且统称为路线106)行驶。在一些实施例中，一个或多于一个运载工具102包括自主***(例如，与自主***202相同或类似的自主***)。
对象104a-104n(单独称为对象104且统称为对象104)例如包括至少一个运载工具、至少一个行人、至少一个骑车者和/或至少一个构造物(例如，建筑物、标志、消防栓等)等。各对象104(例如，位于固定地点处并在一段时间内)是静止的或(例如，具有速度且与至少一个轨迹相关联地)移动。在一些实施例中，对象104与区域108中的相应地点相关联。
路线106a-106n(单独称为路线106且统称为路线106)各自与连接AV可以导航所沿着的状态的一系列动作(也称为轨迹)相关联(例如，规定该一系列动作)。各个路线106始于初始状态(例如，与第一时空地点和/或速度等相对应的状态)，并且结束于最终目标状态(例如，与不同于第一时空地点的第二时空地点相对应的状态)或目标区(例如，可接受状态(例如，终止状态)的子空间)。在一些实施例中，第一状态包括一个或多于一个个体将要搭载AV的地点，并且第二状态或区包括搭载AV的一个或多于一个个体将要下车的一个或多于一个地点。在一些实施例中，路线106包括多个可接受的状态序列(例如，多个时空地点序列)，这多个状态序列与多个轨迹相关联(例如，限定多个轨迹)。在示例中，路线106仅包括高级别动作或不精确的状态地点，诸如指示在车行道交叉口处转换方向的一系列连接道路等。附加地或可替代地，路线106可以包括更精确的动作或状态，诸如例如车道区域内的特定目标车道或精确地点以及这些位置处的目标速率等。在示例中，路线106包括沿着具有到达中间目标的有限前瞻视界的至少一个高级别动作的多个精确状态序列，其中有限视界状态序列的连续迭代的组合累积地与共同形成在最终目标状态或区处终止的高级别路线的多个轨迹相对应。
区域108包括运载工具102可以导航的物理区域(例如，地理区)。在示例中，区域108包括至少一个州(例如，国家、省、国家中所包括的多个州中的单独州等)、州的至少一部分、至少一个城市、城市的至少一部分等。在一些实施例中，区域108包括至少一个已命名干道(本文称为“道路”)，诸如公路、州际公路、公园道路、城市街道等。附加地或可替代地，在一些示例中，区域108包括至少一个未命名道路，诸如行车道、停车场的一段、空地和/或未开发地区的一段、泥路等。在一些实施例中，道路包括至少一个车道(例如，道路的运载工具102可以穿过的部分)。在示例中，道路包括与至少一个车道标记相关联的(例如，基于至少一个车道标记所识别的)至少一个车道。
运载工具到基础设施(V2I)装置110(有时称为运载工具到万物(Vehicle-to-Everything)(V2X)装置)包括被配置为与运载工具102和/或V2I基础设施***118进行通信的至少一个装置。在一些实施例中，V2I装置110被配置为与运载工具102、远程AV***114、队列管理***116和/或V2I***118经由网络112进行通信。在一些实施例中，V2I装置110包括射频识别(RFID)装置、标牌、照相机(例如，二维(2D)和/或三维(3D)照相机)、车道标记、路灯、停车计时器等。在一些实施例中，V2I装置110被配置为直接与运载工具102进行通信。附加地或可替代地，在一些实施例中，V2I装置110被配置为与运载工具102、远程AV***114和/或队列管理***116经由V2I***118进行通信。在一些实施例中，V2I装置110被配置为与V2I***118经由网络112进行通信。
网络112包括一个或多于一个有线和/或无线网络。在示例中，网络112包括蜂窝网络(例如，长期演进(LTE)网络、第三代(3G)网络、***(4G)网络、第五代(5G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网(例如，公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络、云计算网络等、以及/或者这些网络中的一部分或全部的组合等。
远程AV***114包括被配置为与运载工具102、V2I装置110、网络112、队列管理***116和/或V2I***118经由网络112进行通信的至少一个装置。在示例中，远程AV***114包括服务器、服务器组和/或其他类似装置。在一些实施例中，远程AV***114与队列管理***116位于同一位置。在一些实施例中，远程AV***114参与运载工具的组件(包括自主***、自主运载工具计算和/或由自主运载工具计算实现的软件等)中的一部分或全部的安装。在一些实施例中，远程AV***114在运载工具的寿命期间维护(例如，更新和/或更换)这些组件和/或软件。
队列管理***116包括被配置为与运载工具102、V2I装置110、远程AV***114和/或V2I 118进行通信的至少一个装置。在示例中，队列管理***116包括服务器、服务器组和/或其他类似装置。在一些实施例中，队列管理***116与拼车公司(例如，用于控制多个运载工具(例如，包括自主***的运载工具和/或不包括自主***的运载工具)的操作等的组织)相关联。
在一些实施例中，V2I***118包括被配置为与运载工具102、V2I装置110、远程AV***114和/或队列管理***116经由网络112进行通信的至少一个装置。在一些示例中，V2I***118被配置为与V2I装置110经由不同于网络112的连接进行通信。在一些实施例中，V2I***118包括服务器、服务器组和/或其他类似装置。在一些实施例中，V2I***118与市政当局或私营机构(例如，用于维护V2I装置110的私营机构等)相关联。
提供图1所例示的要素的数量和布置作为示例。与图1例示的要素相比，可以存在附加的要素、更少的要素、不同的要素和/或不同布置的要素。附加地或可替代地，环境100的至少一个要素可以进行被描述为由图1的至少一个不同要素进行的一个或多于一个功能。附加地或可替代地，环境100的至少一组要素可以进行被描述为由环境100的至少一个不同组的要素进行的一个或多于一个功能。
现在参考图2，运载工具200包括自主***202、动力总成控制***204、转向控制***206和制动***208。在一些实施例中，运载工具200与运载工具102(参见图1)相同或类似。在一些实施例中，运载工具200具有自主能力(例如，实现如下的至少一个功能、特征和/或装置等，该至少一个功能、特征和/或装置使得运载工具200能够在无人类干预的情况下部分地或完全地操作，其包括但不限于完全自主运载工具(例如，放弃依赖人类干预的运载工具)和/或高度自主运载工具(例如，在某些情形下放弃依赖人类干预的运载工具)等)。对于完全自主运载工具和高度自主运载工具的详细描述，可以参考SAE国际标准J3016:道路上机动车自动驾驶***相关术语的分类和定义(SAE International's standard J3016:Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle AutomatedDriving Systems)，其全部内容通过引用而被包含。在一些实施例中，运载工具200与自主队列管理器和/或拼车公司相关联。
自主***202包括传感器套件，该传感器套件包括诸如照相机202a、LiDAR传感器202b、雷达(radar)传感器202c和麦克风202d等的一个或多于一个装置。在一些实施例中，自主***202可以包括更多或更少的装置和/或不同的装置(例如，超声波传感器、惯性传感器、(以下论述的)GPS接收器、以及/或者用于生成与运载工具200已行驶的距离的指示相关联的数据的里程计传感器等)。在一些实施例中，自主***202使用自主***202中所包括的一个或多于一个装置来生成与本文所述的环境100相关联的数据。由自主***202的一个或多于一个装置生成的数据可以由本文所述的一个或多于一个***使用以观测运载工具200所位于的环境(例如，环境100)。在一些实施例中，自主***202包括通信装置202e、自主运载工具计算202f和线控驱动(DBW)***202h。
照相机202a包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。照相机202a包括用以捕获包括物理对象(例如，小汽车、公共汽车、路缘和/或人员等)的图像的至少一个照相机(例如，使用诸如电荷耦合器件(CCD)等的光传感器的数字照相机、热照相机、红外(IR)照相机和/或事件照相机等)。在一些实施例中，照相机202a生成照相机数据作为输出。在一些示例中，照相机202a生成包括与图像相关联的图像数据的照相机数据。在该示例中，图像数据可以指定与图像相对应的至少一个参数(例如，诸如曝光、亮度等的图像特性、以及/或者图像时间戳等)。在这样的示例中，图像可以采用格式(例如，RAW、JPEG和/或PNG等)。在一些实施例中，照相机202a包括配置在(例如，定位在)运载工具上以为了立体影像(立体视觉)的目的而捕获图像的多个独立照相机。在一些示例中，照相机202a包括生成图像数据并将该图像数据传输到自主运载工具计算202f和/或队列管理***(例如，与图1的队列管理***116相同或类似的队列管理***)的多个照相机。在这样的示例中，自主运载工具计算202f基于来自至少两个照相机的图像数据来确定多个照相机中的至少两个照相机的视场中的到一个或多于一个对象的深度。在一些实施例中，照相机202a被配置为捕获在相对于照相机202a的距离(例如，高达100米和/或高达1千米等)内的对象的图像。因此，照相机202a包括为了感知在相对于照相机202a一个或多于一个距离处的对象而优化的诸如传感器和镜头等的特征。
在实施例中，照相机202a包括被配置为捕获与一个或多于一个交通灯、街道标志和/或提供视觉导航信息的其他物理对象相关联的一个或多于一个图像的至少一个照相机。在一些实施例中，照相机202a生成与一个或多于一个图像相关联的交通灯数据。在一些示例中，照相机202a生成与包括格式(例如，RAW、JPEG和/或PNG等)的一个或多于一个图像相关联的TLD数据。在一些实施例中，生成TLD数据的照相机202a与本文所述的包含照相机的其他***的不同之处在于：照相机202a可以包括具有宽视场(例如，广角镜头、鱼眼镜头、以及/或者具有约120度或更大的视角的镜头等)的一个或多于一个照相机，以生成与尽可能多的物理对象有关的图像。
LiDAR传感器202b包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。LiDAR传感器202b包括被配置为从发光器(例如，激光发射器)发射光的***。由LiDAR传感器202b发射的光包括在可见光谱之外的光(例如，红外光等)。在一些实施例中，在操作期间，由LiDAR传感器202b发射的光遇到物理对象(例如，运载工具)并被反射回到LiDAR传感器202b。在一些实施例中，由LiDAR传感器202b发射的光不会穿透该光遇到的物理对象。LiDAR传感器202b还包括至少一个光检测器，该至少一个光检测器在从发光器发射的光遇到物理对象之后检测到该光。在一些实施例中，与LiDAR传感器202b相关联的至少一个数据处理***生成表示LiDAR传感器202b的视场中所包括的对象的图像(例如，点云和/或组合点云等)。在一些示例中，与LiDAR传感器202b相关联的至少一个数据处理***生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在这样的示例中，该图像用于确定LiDAR传感器202b的视场中的物理对象的边界。
无线电检测和测距(雷达)传感器202c包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。雷达传感器202c包括被配置为发射(脉冲的或连续的)无线电波的***。由雷达传感器202c发射的无线电波包括预先确定的频谱内的无线电波。在一些实施例中，在操作期间，由雷达传感器202c发射的无线电波遇到物理对象并被反射回到雷达传感器202c。在一些实施例中，由雷达传感器202c发射的无线电波未被一些对象反射。在一些实施例中，与雷达传感器202c相关联的至少一个数据处理***生成表示雷达传感器202c的视场中所包括的对象的信号。例如，与雷达传感器202c相关联的至少一个数据处理***生成表示物理对象的边界和/或物理对象的表面(例如，表面的拓扑结构)等的图像。在一些示例中，该图像用于确定雷达传感器202c的视场中的物理对象的边界。
麦克风202d包括被配置为与通信装置202e、自主运载工具计算202f和/或安全控制器202g经由总线(例如，与图3的总线302相同或类似的总线)进行通信的至少一个装置。麦克风202d包括捕获音频信号并生成与该音频信号相关联(例如，表示该音频信号)的数据的一个或多于一个麦克风(例如，阵列麦克风和/或外部麦克风等)。在一些示例中，麦克风202d包括变换器装置和/或类似装置。在一些实施例中，本文所述的一个或多于一个***可以接收由麦克风202d生成的数据，并基于与该数据相关联的音频信号来确定对象相对于运载工具200的位置(例如，距离等)。
通信装置202e包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、自主运载工具计算202f、安全控制器202g和/或线控驱动(DBW)***202h进行通信的至少一个装置。例如，通信装置202e可以包括与图3的通信接口314相同或类似的装置。在一些实施例中，通信装置202e包括运载工具到运载工具(V2V)通信装置(例如，用于实现运载工具之间的数据的无线通信的装置)。
自主运载工具计算202f包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、安全控制器202g和/或DBW***202h进行通信的至少一个装置。在一些示例中，自主运载工具计算202f包括诸如客户端装置、移动装置(例如，蜂窝电话和/或平板电脑等)和/或服务器(例如，包括一个或多于一个中央处理单元和/或图形处理单元等的计算装置)等的装置。在一些实施例中，自主运载工具计算202f与本文所述的自主运载工具计算400相同或类似。附加地或可替代地，在一些实施例中，自主运载工具计算202f被配置为与自主运载工具***(例如，与图1的远程AV***114相同或类似的自主运载工具***)、队列管理***(例如，与图1的队列管理***116相同或类似的队列管理***)、V2I装置(例如，与图1的V2I装置110相同或类似的V2I装置)和/或V2I***(例如，与图1的V2I***118相同或类似的V2I***)进行通信。
安全控制器202g包括被配置为与照相机202a、LiDAR传感器202b、雷达传感器202c、麦克风202d、通信装置202e、自主运载工具计算202f和/或DBW***202h进行通信的至少一个装置。在一些示例中，安全控制器202g包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制***204、转向控制***206和/或制动***208等)的一个或多于一个控制器(电气控制器和/或机电控制器等)。在一些实施例中，安全控制器202g被配置为生成优先于(例如，覆盖)由自主运载工具计算202f生成和/或传输的控制信号的控制信号。
DBW***202h包括被配置为与通信装置202e和/或自主运载工具计算202f进行通信的至少一个装置。在一些示例中，DBW***202h包括被配置为生成和/或传输控制信号以操作运载工具200的一个或多于一个装置(例如，动力总成控制***204、转向控制***206和/或制动***208等)的一个或多于一个控制器(例如，电气控制器和/或机电控制器等)。附加地或可替代地，DBW***202h的一个或多于一个控制器被配置为生成和/或传输控制信号以操作运载工具200的至少一个不同的装置(例如，转向信号、前灯、门锁和/或挡风玻璃雨刮器等)。
动力总成控制***204包括被配置为与DBW***202h进行通信的至少一个装置。在一些示例中，动力总成控制***204包括至少一个控制器和/或致动器等。在一些实施例中，动力总成控制***204从DBW***202h接收控制信号，并且动力总成控制***204使运载工具200开始向前移动、停止向前移动、开始向后移动、停止向后移动、沿某方向加速、沿某方向减速、进行左转和/或进行右转等。在示例中，动力总成控制***204使提供至运载工具的马达的能量(例如，燃料和/或电力等)增加、保持相同或减少，由此使运载工具200的至少一个轮旋转或不旋转。
转向控制***206包括被配置为使运载工具200的一个或多于一个轮旋转的至少一个装置。在一些示例中，转向控制***206包括至少一个控制器和/或致动器等。在一些实施例中，转向控制***206使运载工具200的两个前轮和/或两个后轮向左或向右旋转，以使运载工具200左转或右转。
制动***208包括被配置为使一个或多于一个制动器致动以使运载工具200减速和/或保持静止的至少一个装置。在一些示例中，制动***208包括被配置为使与运载工具200的一个或多于一个轮相关联的一个或多于一个卡钳在运载工具200的相应转子上闭合的至少一个控制器和/或致动器。附加地或可替代地，在一些示例中，制动***208包括自动紧急制动(AEB)***和/或再生制动***等。
在一些实施例中，运载工具200包括用于测量或推断运载工具200的状态或条件的性质的至少一个平台传感器(未明确例示出)。在一些示例中，运载工具200包括诸如全球定位***(GPS)接收器、惯性测量单元(IMU)、轮速率传感器、轮制动压力传感器、轮转矩传感器、引擎转矩传感器和/或转向角传感器等的平台传感器。
现在参考图3，例示装置300的示意图。如所例示的，装置300包括处理器304、存储器306、存储组件308、输入接口310、输出接口312、通信接口314和总线302。在一些实施例中，装置300对应于：运载工具102的至少一个装置(例如，运载工具102的***的至少一个装置)[针对图1-3中预期的所有装置的类似方式的继续列表]中的至少一个装置；以及/或者网络112的一个或多于一个装置(例如，网络112的***的一个或多于一个装置)。在一些实施例中，运载工具102的一个或多于一个装置(例如，运载工具102的***的一个或多于一个装置)、以及/或者网络112的一个或多于一个装置(例如，网络112的***的一个或多于一个装置)包括至少一个装置300和/或装置300的至少一个组件。如图3所示，装置300包括总线302、处理器304、存储器306、存储组件308、输入接口310、输出接口312和通信接口314。
总线302包括许可装置300的组件之间的通信的组件。在一些实施例中，处理器304以硬件、软件、或者硬件和软件的组合来实现。在一些示例中，处理器304包括处理器(例如，中央处理单元(CPU)、图形处理单元(GPU)和/或加速处理单元(APU)等)、麦克风、数字信号处理器(DSP)、以及/或者可被编程为进行至少一个功能的任意处理组件(例如，现场可编程门阵列(FPGA)和/或专用集成电路(ASIC)等)。存储器306包括随机存取存储器(RAM)、只读存储器(ROM)、以及/或者存储供处理器304使用的数据和/或指令的另一类型的动态和/或静态存储装置(例如，闪速存储器、磁存储器和/或光存储器等)。
存储组件308存储与装置300的操作和使用相关的数据和/或软件。在一些示例中，存储组件308包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘等)、紧凑盘(CD)、数字多功能盘(DVD)、软盘、盒式磁带、磁带、CD-ROM、RAM、PROM、EPROM、FLASH-EPROM、NV-RAM和/或另一类型的计算机可读介质、以及相应的驱动器。
输入接口310包括许可装置300诸如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关、麦克风和/或照相机等)等接收信息的组件。附加地或可替代地，在一些实施例中，输入接口310包括用于感测信息的传感器(例如，全球定位***(GPS)接收器、加速度计、陀螺仪和/或致动器等)。输出接口312包括用于提供来自装置300的输出信息的组件(例如，显示器、扬声器和/或一个或多于一个发光二极管(LED)等)。
在一些实施例中，通信接口314包括许可装置300与其他装置经由有线连接、无线连接、或者有线连接和无线连接的组合进行通信的类似收发器那样的组件(例如，收发器和/或单独的接收器和发射器等)。在一些示例中，通信接口314许可装置300从另一装置接收信息和/或向另一装置提供信息。在一些示例中，通信接口314包括以太网接口、光接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、
Figure BDA0003567367240000141
接口和/或蜂窝网络接口等。
在一些实施例中，装置300进行本文所述的一个或多于一个处理。装置300基于处理器304执行由诸如存储器305和/或存储组件308等的计算机可读介质所存储的软件指令来进行这些处理。计算机可读介质(例如，非暂时性计算机可读介质)在本文被限定为非暂时性存储器装置。非暂时性存储器装置包括位于单个物理存储装置内的存储空间或跨多个物理存储装置分布的存储空间。
在一些实施例中，经由通信接口314从另一计算机可读介质或从另一装置将软件指令读取到存储器306和/或存储组件308中。存储器306和/或存储组件308中所存储的软件指令在执行时，使处理器304进行本文所述的一个或多于一个处理。附加地或可替代地，代替软件指令或与软件指令组合使用硬连线电路以进行本文所述的一个或多于一个处理。因此，除非另外明确说明，否则本文所描述的实施例不限于硬件电路和软件的任何特定组合。
存储器306和/或存储组件308包括数据存储部或至少一个数据结构(例如，数据库等)。装置300能够从存储器306或存储组件308中的数据存储部或至少一个数据结构接收信息，将信息存储在该数据存储部或至少一个数据结构中，将信息通信至该数据存储部或至少一个数据结构，或者搜索该数据存储部或至少一个数据结构中所存储的信息。在一些示例中，该信息包括网络数据、输入数据、输出数据或其任何组合。
在一些实施例中，装置300被配置为执行存储在存储器306和/或另一装置(例如，与装置300相同或类似的另一装置)的存储器中的软件指令。如本文所使用的，术语“模块”是指存储器306和/或另一装置的存储器中所存储的至少一个指令，该至少一个指令在由处理器304和/或另一装置(例如，与装置300相同或类似的另一装置)的处理器执行时，使装置300(例如，装置300的至少一个组件)进行本文所述的一个或多于一个处理。在一些实施例中，模块以软件、固件和/或硬件等来实现。
提供图3所例示的组件的数量和布置作为示例。在一些实施例中，与图3所例示的组件相比，装置300可以包括附加的组件、更少的组件、不同的组件或不同布置的组件。附加地或可替代地，装置300的一组组件(例如，一个或多于一个组件)可以进行被描述为由装置300的另一组件或另一组组件进行的一个或多于一个功能。
现在参考图4，例示出自主运载工具计算400(有时称为“AV堆栈”)的示例框图。如所例示的，自主运载工具计算400包括感知***402(有时称为感知模块)、规划***404(有时称为规划模块)、定位***406(有时称为定位模块)、控制***408(有时称为控制模块)和数据库410。在一些实施例中，感知***402、规划***404、定位***406、控制***408和数据库410包括在运载工具的自动导航***(例如，运载工具200的自主运载工具计算202f)中和/或在该自动导航***中实现。附加地或可替代地，在一些实施例中，感知***402、规划***404、定位***406、控制***408和数据库410包括在一个或多于一个独立***(例如，与自主运载工具计算400相同或类似的一个或多于一个***等)中。在一些示例中，感知***402、规划***404、定位***406、控制***408和数据库41包括在位于运载工具中的一个或多于一个独立***以及/或者如本文所述的至少一个远程***中。在一些实施例中，自主运载工具计算400中所包括的***中的任意和/或全部以软件(例如，存储器中所存储的软件指令)、计算机硬件(例如，通过微处理器、微控制器、专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)等)、或者计算机软件和计算机硬件的组合来实现。还将理解，在一些实施例中，自主运载工具计算400被配置为与远程***(例如，与远程AV***114相同或类似的自主运载工具***、与队列管理***116相同或类似的队列管理***116、以及/或者与V2I***118相同或类似的V2I***等)进行通信。
在一些实施例中，感知***402接收与环境中的至少一个物理对象相关联的数据(例如，感知***402检测至少一个物理对象所使用的数据)，并对该至少一个物理对象进行分类。在一些示例中，感知***402接收由至少一个照相机(例如，照相机202a)捕获到的图像数据，该图像与该至少一个照相机的视场内的一个或多于一个物理对象相关联(例如，表示该一个或多于一个物理对象)。在这样的示例中，感知***402基于物理对象(例如，自行车、运载工具、交通标志和/或行人等)的一个或多于一个分组来对至少一个物理对象进行分类。在一些实施例中，基于感知***402对物理对象进行分类，感知***402将与物理对象的分类相关联的数据传输到规划***404。
在一些实施例中，规划***404接收与目的地相关联的数据，并且生成与运载工具(例如，运载工具102)可以朝向目的地行驶所沿着的至少一个路线(例如，路线106)相关联的数据。在一些实施例中，规划***404定期地或连续地从感知***402接收数据(例如，上述的与物理对象的分类相关联的数据)，并且规划***404基于感知***402所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。在一些实施例中，规划***404从定位***406接收与运载工具(例如，运载工具102)的更新位置相关联的数据，并且规划***404基于定位***406所生成的数据来更新至少一个轨迹或生成至少一个不同轨迹。
在一些实施例中，定位***406接收与运载工具(例如，运载工具102)在区域中的地点相关联(例如，表示该地点)的数据。在一些示例中，定位***406接收与至少一个LiDAR传感器(例如，LiDAR传感器202b)所生成的至少一个点云相关联的LiDAR数据。在某些示例中，定位***406从多个LiDAR传感器接收与至少一个点云相关联的数据，并且定位***406基于各个点云来生成组合点云。在这些示例中，定位***406将该至少一个点云或组合点云与数据库410中所存储的区域的二维(2D)和/或三维(3D)地图进行比较。然后，基于定位***406将至少一个点云或组合点云与地图进行比较，定位***406确定运载工具在区域中的位置。在一些实施例中，地图包括运载工具的导航之前生成的该区域的组合点云。在一些实施例中，地图包括但不限于车行道几何性质的高精度地图、描述道路网连接性质的地图、描述车行道物理性质(诸如交通速率、交通流量、运载工具和自行车交通车道的数量、车道宽度、车道交通方向或车道标记的类型和地点、或者它们的组合等)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其他行驶信号等)的空间地点的地图。在一些实施例中，基于感知***所接收到的数据来实时地生成地图。
在另一示例中，定位***406接收由全球定位***(GPS)接收器所生成的全球导航卫星***(GNSS)数据。在一些示例中，定位***406接收与运载工具在区域中的地点相关联的GNSS数据，并且定位***406确定运载工具在区域中的纬度和经度。在这样的示例中，定位***406基于运载工具的纬度和经度来确定运载工具在区域中的位置。在一些实施例中，定位***406生成与运载工具的位置相关联的数据。在一些示例中，基于定位***406确定运载工具的位置，定位***406生成与运载工具的位置相关联的数据。在这样的示例中，与运载工具的位置相关联的数据包括与对应于运载工具的位置的一个或多于一个语义性质相关联的数据。
在一些实施例中，控制***408从规划***404接收与至少一个轨迹相关联的数据，并且控制***408控制运载工具的操作。在一些示例中，控制***408从规划***404接收与至少一个轨迹相关联的数据，并且控制***408通过生成并传输控制信号以使动力总成控制***(例如，DBW***202h和/或动力总成控制***204等)、转向控制***(例如，转向控制***206)和/或制动***(例如，制动***208)进行操作，来控制运载工具的操作。在示例中，在轨迹包括左转的情况下，控制***408传输控制信号以使转向控制***206调整运载工具200的转向角，由此使运载工具200左转。附加地或可替代地，控制***408生成并传输控制信号以使运载工具200的其他装置(例如，前灯、转向信号、门锁和/或挡风玻璃雨刮器等)改变状态。
在一些实施例中，感知***402、规划***404、定位***406和/或控制***408实现至少一个机器学习模型(例如，至少一个多层感知器(MLP)、至少一个卷积神经网络(CNN)、至少一个递归神经网络(RNN)、至少一个自动编码器和/或至少一个变换器等)。在一些示例中，感知***402、规划***404、定位***406和/或控制***408单独地或与上述***中的一个或多于一个结合地实现至少一个机器学习模型。在一些示例中，感知***402、规划***404、定位***406和/或控制***408实现至少一个机器学习模型作为管道(例如，用于识别位于环境中的一个或多于一个对象的管道等)的一部分。
数据库410存储传输至感知***402、规划***404、定位***406和/或控制***408的、从其接收到的、以及/或者由其更新的数据。在一些示例中，数据库410包括用于存储与操作相关的数据和/或软件、并使用自主运载工具计算400的至少一个***的存储组件(例如，与图3的存储组件308相同或类似的存储组件)。在一些实施例中，数据库410存储与至少一个区域的2D和/或3D地图相关联的数据。在一些示例中，数据库410存储与城市的一部分、多个城市的多个部分、多个城市、县、州和/或国家(State)(例如，国家)等的2D和/或3D地图相关联的数据。在这样的示例中，运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)可以沿着一个或多于一个可驾驶区(例如，单车道道路、多车道道路、高速公路、偏僻道路和/或越野道路等)驾驶，并且使至少一个LiDAR传感器(例如，与LiDAR传感器202b相同或类似的LiDAR传感器)生成与表示该至少一个LiDAR传感器的视场中所包括的对象的图像相关联的数据。
在一些实施例中，数据库410可以跨多个装置来实现。在一些示例中，数据库410包括在运载工具(例如，与运载工具102和/或运载工具200相同或类似的运载工具)、自主运载工具***(例如，与远程AV***114相同或类似的自主运载工具***)、队列管理***(例如，与图1的队列管理***116相同或类似的队列管理***)中和/或V2I***(例如，与图1的V2I***118相同或类似的V2I***)等中。
现在参考图5，示出了使用预畸变目标的照相机对准处理的实现的图。在一些实施例中，可以在针对照相机202a中的任意一个的对准处理中执行该实现。如图5所示，对准***500进行对准处理，以对准一个或多于一个照相机202a。在此处理中，投影仪502投影图像508以供照相机202a检测。投影仪502可以是能够投影适于供照相机202a检测的图像的任意装置(诸如显示装置(例如监控器、电视、其他平板显示器等)等)。图像508包括许多形状510的图像，这些形状510已被预畸变以产生当通过特定镜头***观看时的特定形状。例如，图像508可以包括许多形状510，这些形状被预畸变以产生当通过镜头***观看时使得形状510在照相机202a的镜头上的投影在照相机202a捕获的图像内的特定期望位置处产生特定期望形状的形状。在示例中，为了在照相机202a生成的图像中产生矩形阵列而计算形状510。本公开的实施例考虑了在照相机202a的图像中生成的任意期望形状，其中形状510是为了在照相机202a产生的图像中生成这些期望形状而计算出的那些形状。
在操作中，投影仪502将图像508投影到照相机202a的镜头上。图像508各自包含形状510，形状510被确定为使得当形状510穿过根据照相机202a的镜头的标称或指定尺寸而成形的镜头时在照相机202a输出的图像中生成预定形状。作为一个示例，计算并选择形状510，使得当利用具有照相机202a的镜头的标称尺寸的理论镜头观看时，照相机202a输出的图像包含诸如矩形等的特定的期望形状。也就是说，当对照相机202a输出的图像考虑任意期望形状时，形状510被确定为使得形状510在照相机202a输出的图像内生成那些期望形状。
然后，处理器506指引可操作地耦合到照相机202a的镜头的对准致动器504来操纵照相机202a的镜头的朝向，使得照相机202a图像中产生的形状在形状和位置上与期望形状紧密对应。也就是说，对准致动器504对准照相机202a的镜头，使得照相机202a输出的图像内的形状510的图像与期望形状及其位置紧密对准。紧密对准表示照相机202a的镜头和传感器阵列适当对准，由此，照相机202a的主点和有效焦距如下所述确定，促进更准确的校准。
图6更详细地示出了图5的处理。显示图像508以供照相机202a检测，其中图像508包含许多形状510。选择形状510使得当通过具有针对照相机202a的(一个或多于一个)镜头指定的尺寸和特性的理论或标称的一个或多于一个镜头来投影形状510时，在产生的图像中生成预定形状。例如，可以选择形状510，使得形状510在由照相机202a产生的图像600中呈现为矩形604。更具体地，当通过具有针对照相机202a的镜头指定的尺寸的假设的、完美对准的镜头来投影时，形状510可以被选择以产生特定尺寸的指定矩形604的阵列。然后，将图像600中呈现的实际形状602与由理想、完美成形且对准的镜头生成的矩形604进行比较，对准***500使用两者之间的对应度作为反馈来进行镜头对准。
以这种方式，首先选择在进行照相机对准时有用的形状604的图案。根据该图案，形状510被确定为当通过照相机202a的理论或标称的镜头观看时生成形状604的图案的那些形状。也就是说，形状510是当被照相机202a的理论或标称的镜头畸变时产生形状604的那些形状。因此，本公开的实施例采用了形状510，这些形状510被预畸变以便在受到形状510旨在对准的照相机202a的镜头的畸变时产生规则的或其他期望的形状604。因此，本公开的实施例生成特定于各个镜头***的预畸变图像或形状510，用于通过将产生的图像与(如果该镜头***完美对准，这些形状将产生的)理论图像进行比较来对准该镜头***。
虽然形状604在图6中显示为矩形，但注意的是，本公开的实施例考虑了形状604的任意几何形状，而没有限制。例如，形状604可以是正方形、任意多边形或多侧(multi-sided)形状、圆形、椭圆形等。在本公开的一些实施例中，形状604包括至少一些倾斜的直边，用于促进调制传递函数(MTF)计算。此外，本公开的实施例考虑了形状604的任意数量和布置，各个形状604可以是相同的形状，或者可以以任意方式彼此不同。
对准***500可以是用于对照相机进行对准处理的任意***，诸如能够操纵照相机镜头或其他组件以用于定心、对准等的主动对准站等。对准***500根据理想矩形604和图像600中实际呈现的形状602之间的对准度来对准镜头、传感器阵列或其他照相机组件。也就是说，使用图像600作为反馈，对准***500操纵诸如镜头和/或传感器阵列等的各种照相机202a组件，直到形状602与矩形604的大小、形状和位置如期望地紧密对准。然后，照相机202a组件被视为是对准的，或如期望地紧密对准。
现在参考图7，示出了用于使用预畸变目标的照相机对准的处理700的流程图。在一些实施例中，如上所述，当照相机202a安装在自主运载工具102中的同时，(例如，完全地和/或部分地)进行关于处理700描述的一个或多于一个步骤。附加地或可替代地，在一些实施例中，当照相机202a位于远离自主运载工具102的位置的同时，诸如在自主运载工具102中安装照相机202a之前等，对照相机202a(例如，完全地和/或部分地)进行关于处理700描述的一个或多于一个步骤。此外，预畸变形状510可在照相机202a对准之前的任意时间确定，或可在照相机对准期间由例如对准***500确定。
最初，当至少一个第一形状通过照相机202a的镜头投影到照相机202a的传感器或传感器阵列上时，对准***500确定所选择的至少一个第一形状(例如预畸变形状510)以在照相机202a的图像中生成至少一个预定第二形状(例如矩形604)(步骤702)。如上所述，对准***500选择自身很适合对准或其他处理的一个或多于一个第二形状(诸如矩形604等)的布置。例如，可以选择矩形604的阵列，但是可以选择任意形状的任意分布。然后，对准***500计算形状510，其中形状510在照相机202a的镜头畸变之后将产生图像600中的矩形604。也就是说，对准***500在照相机的输出图像600中选择期望图案，并计算当通过该照相机的标称镜头***投影时应产生该期望图案的那些形状。
接下来，对准***500将至少一个第一形状投影到照相机202a的镜头上，或引起至少一个第一形状在照相机202a的镜头上的投影，以便于照相机202a的镜头与照相机202a的传感器阵列对准(步骤704)。例如，对准***500在投影仪502上生成形状510的图像508，以将图像508投影到照相机202a上。然后，照相机202a生成由其传感器阵列捕获的一个或多于一个图像600，并将这些图像600传输到对准***500。然后，对准***500将图像600中至少一个第一形状(例如形状602)的投影与至少一个第二形状(例如矩形604)进行比较，以确定两者之间的差异(步骤706)。例如，如图6所示，对准***500可以将矩形604的图像叠加在形状602的图像600上，以直观地显示两者之间的差异。然后，对准***500根据形状602和矩形604之间的差异，使照相机202a的镜头与其传感器阵列对准(步骤708)。例如，对准***500经由对准致动器504自动操纵照相机202a的镜头和/或传感器阵列，以减少或最小化形状602和矩形604之间的大小、形状和/或位置的差异。可替代地，或者另外，对准***500可允许根据操作员感知和输入来经由对准致动器504手动操纵照相机202a的镜头和/或传感器阵列，以减少或最小化形状602和矩形604之间的大小、形状和/或位置的差异。在该处理中，照相机202a可诸如实时地或实质上实时地等输出多个图像600，以提供对准处理的连续反馈。
一旦对准***500使照相机202a的镜头和传感器阵列充分对准，则***500还确定照相机202a的其他光学特性，并对照相机202a进行其他期望的处理。在示例中，图像508包括许多形状510，这些形状被预畸变以产生当通过镜头***观看时使得形状510在照相机202a的镜头上的投影在照相机202a捕获的图像内的特定期望位置处产生特定期望形状的形状。在这样的示例中，对准***500基于图像600中至少一个第一形状的投影的几何中心(例如形状602的几何中心)，确定照相机202a的主点(步骤710)。也就是说，在本公开的实施例中，当照相机202a充分对准时，照相机202a的主点被确定为由预畸变形状510的显示产生的形状602的图案的几何中心。
一旦确定了主点，***500就会使附加形状以***500的输出图像600内对应于主点的位置投影到照相机202a的镜头上(步骤712)。也就是说，附加形状在确定的主点处被添加到图像508。本公开的实施例考虑使用任意形状以用作该附加形状。
本领域的普通技术人员将认识到，在确定了主点之后，还可以确定照相机202a的各种其他光学特性(诸如有效焦距和MTF等)。本领域的普通技术人员还将认识到，也可以对照相机202a执行诸如校准等的处理。因此，在图7的处理中，对准***500至少部分地根据该附加形状确定照相机202a的镜头***的有效焦距，并且还至少部分地根据图像600的第一形状(例如形状602)中的至少一个的边缘来确定照相机202a镜头***的MTF，以及进行或使得进行照相机202a的校准处理(步骤714)。
以这种方式，可以更简单、更准确的方式确定主点。此外，确定的主点可以用作照相机校准处理中的初始推测，从而根据更准确的初始主点估计得到更准确的校准。
图8是示出上述步骤702的进一步细节的流程图，用于确定预畸变形状510。如上所述，在示例中，图像508包括许多形状510，这些形状被预畸变以产生当通过镜头***观看时使得形状510在照相机202a的镜头上的投影在照相机202a捕获的图像内的特定期望位置处产生特定期望形状的形状。首先确定期望形状604，然后根据这些期望形状604和待使用的镜头的指定尺寸(例如，制造照相机202a的实际镜头所基于的标称或理论镜头)来确定预畸变形状510。因此，对准***500根据针对标称镜头指定的材料的尺寸和特性来确定标称镜头***的理论畸变函数(步骤802)。然后，对准***500计算该畸变函数的逆畸变函数(步骤804)，并选择期望形状604及其图案或布局(步骤806)。然后，对准***500通过将所选择的形状604的图案应用于逆畸变函数来生成目标形状510图案(步骤808)。以这种方式，形状510是期望形状604的预畸变版本，畸变使得标称镜头***的进一步畸变将形状510恢复为期望形状604。
在先前描述中，已经参考许多具体细节描述了本公开的方面和实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本发明范围的唯一且排他的指示、以及申请人所期望的本发明范围的内容是以发布权利要求书的具体形式从本申请发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。

Claims (20)

1.一种用于照相机对准的装置，包括：
至少一个处理器；以及
至少一个存储器，其存储有指令，当所述指令由所述至少一个处理器执行时，使所述至少一个处理器：
确定至少一个第一形状，所述至少一个第一形状被选择以当所述至少一个第一形状通过照相机的镜头投影到所述照相机的传感器上以生成图像时，在所述照相机的该图像中生成至少一个预定第二形状；以及
使所述至少一个第一形状投影到所述照相机的所述镜头上，以便于将所述照相机的所述镜头与所述照相机的所述传感器对准。
2.根据权利要求1所述的装置，其中，当所述指令由所述至少一个处理器执行时，所述指令还使所述至少一个处理器将所述图像中的所述至少一个第一形状的投影与所述至少一个预定第二形状进行比较，以确定所述至少一个第一形状的投影和所述至少一个预定第二形状之间的差异。
3.根据权利要求2所述的装置，其中，当所述指令由所述至少一个处理器执行时，所述指令还使所述至少一个处理器基于所确定的差异使所述照相机的所述镜头与所述照相机的传感器对准。
4.根据权利要求2或3所述的装置，其中，所述差异包括所述图像中的所述至少一个第一形状的投影的大小、形状和位置与相应的至少一个预定第二形状的相应大小、形状和位置中的一个或多于一个之间的差异。
5.根据权利要求1至4中任一项所述的装置，其中，当所述指令由所述至少一个处理器执行时，所述指令还使所述至少一个处理器根据所述图像中的所述至少一个第一形状的投影的几何中心来确定所述照相机的主点。
6.根据权利要求5所述的装置，其中，当所述指令由所述至少一个处理器执行时，所述指令还使所述至少一个处理器：
使附加形状以与所确定的主点相对应的所述图像内的位置投影到所述照相机的所述镜头上；以及
至少部分地根据所述附加形状来确定所述镜头的有效焦距。
7.根据权利要求5或6所述的装置，其中，当所述指令由所述至少一个处理器执行时，所述指令还使所述至少一个处理器至少部分地根据所确定的主点进行所述照相机的校准。
8.根据权利要求1至7中任一项所述的装置，其中，所述至少一个第一形状被选择以在投影到与所述照相机的所述镜头相对应的标称镜头上时，在所述照相机所捕获的图像中生成所述至少一个预定第二形状。
9.根据权利要求1至8中任一项所述的装置，其中，当所述指令由所述至少一个处理器执行时，所述指令还使所述至少一个处理器至少部分地根据当在所述照相机的图像中被捕获时所述至少一个第一形状的边缘来确定所述照相机的所述镜头的调制传递函数。
10.根据权利要求1至9中任一项所述的装置，其中，所述至少一个预定第二形状包括至少一个矩形。
11.一种用于照相机对准的方法，包括：
选择期望的形状输出图案；
使用处理电路确定形状初始图案，所述形状初始图案在通过照相机的一个或多于一个标称镜头投影时，在所述照相机的图像中生成所述期望的形状输出图案；以及
使所述形状初始图案投影到所述照相机的一个或多于一个实际镜头上，以在所述照相机的图像中生成形状输出图案，从而促进所述照相机的所述一个或多于一个实际镜头与所述照相机的传感器对准。
12.根据权利要求11所述的方法，还包括将所述形状输出图案与所述期望的形状输出图案进行比较，以确定所述形状输出图案与所述期望的形状输出图案之间的差异。
13.根据权利要求12所述的方法，还包括基于所确定的差异使所述照相机的所述一个或多于一个实际镜头与所述照相机的所述传感器对准。
14.根据权利要求12或13所述的方法，其中，所述差异包括所述形状输出图案的大小、形状和位置与相应的期望的形状输出图案的相应大小、形状和位置中的一个或多于一个之间的差异。
15.根据权利要求11至14中任一项所述的方法，还包括根据所述形状输出图案的几何中心来确定所述照相机的主点。
16.根据权利要求15所述的方法，还包括：
使附加形状以与所确定的主点相对应的位置投影到所述照相机的所述一个或多于一个实际镜头上；以及
至少部分地根据所述附加形状来确定所述一个或多于一个实际镜头的有效焦距。
17.根据权利要求15或16所述的方法，还包括至少部分地根据所确定的主点进行所述照相机的校准。
18.根据权利要求11至17中任一项所述的方法，还包括至少部分地根据当在所述照相机的图像中被捕获时所述形状输出图案的边缘来确定所述照相机的调制传递函数。
19.根据权利要求11至18中任一项所述的方法，其中，所述期望的形状输出图案包括至少一个矩形。
20.根据权利要求11至19中任一项所述的方法，其中，所述照相机是运载工具的照相机。
CN202210311828.3A 2021-06-28 2022-03-28 用于照相机对准的装置和方法 Withdrawn CN115601250A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/360,845 US11636623B2 (en) 2021-06-28 2021-06-28 Systems and methods for camera alignment using pre-distorted targets
US17/360,845 2021-06-28

Publications (1)

Publication Number Publication Date
CN115601250A true CN115601250A (zh) 2023-01-13

Family

ID=81254865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210311828.3A Withdrawn CN115601250A (zh) 2021-06-28 2022-03-28 用于照相机对准的装置和方法

Country Status (5)

Country Link
US (1) US11636623B2 (zh)
KR (1) KR20230001498A (zh)
CN (1) CN115601250A (zh)
DE (1) DE102022106461A1 (zh)
GB (1) GB2608484A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117091521A (zh) * 2023-10-19 2023-11-21 靖江市黄埔机械部件制造有限公司 一种制动器焊接设备自动输送上料厚度检测方法及***

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727597B2 (en) * 2018-12-21 2023-08-15 Sony Group Corporation Calibrating volumetric rig with structured light

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3912395A (en) 1970-04-06 1975-10-14 Itek Corp Optical system calibration method
GB2417790B (en) 2004-09-07 2006-11-08 Set Europ Ltd Lighting system
JP2008154195A (ja) 2006-11-21 2008-07-03 Nikon Corp レンズのキャリブレーション用パターン作成方法、レンズのキャリブレーション用パターン、キャリブレーション用パターンを利用したレンズのキャリブレーション方法、レンズのキャリブレーション装置、撮像装置のキャリブレーション方法、および撮像装置のキャリブレーション装置
US8576390B1 (en) 2012-07-31 2013-11-05 Cognex Corporation System and method for determining and controlling focal distance in a vision system camera
US9772465B2 (en) * 2015-06-04 2017-09-26 Qualcomm Incorporated Methods and devices for thin camera focusing alignment
US10788316B1 (en) 2016-09-21 2020-09-29 Apple Inc. Multi-sensor real-time alignment and calibration
CN110168511B (zh) 2017-09-29 2021-02-09 华为技术有限公司 一种电子设备和降低功耗的方法及装置
CN107833254A (zh) 2017-10-11 2018-03-23 中国长光卫星技术有限公司 一种基于衍射光学元件的相机标定装置
CN111373748A (zh) 2017-11-15 2020-07-03 奇跃公司 用于外部校准相机和衍射光学元件的***和方法
US11480793B2 (en) 2018-10-24 2022-10-25 Google Llc Systems, devices, and methods for aligning a lens in a laser projector
US11629835B2 (en) 2019-07-31 2023-04-18 Toyota Jidosha Kabushiki Kaisha Auto-calibration of vehicle sensors
US11074720B1 (en) 2020-02-07 2021-07-27 Aptiv Technologies Limited System and method for calibrating intrinsic parameters of a camera using optical raytracing techniques
US11887208B2 (en) 2020-06-16 2024-01-30 Magic Leap, Inc. Camera intrinsic calibration
US20210112238A1 (en) * 2020-12-22 2021-04-15 Intel Corporation Method and system of image processing with multi-object multi-view association

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117091521A (zh) * 2023-10-19 2023-11-21 靖江市黄埔机械部件制造有限公司 一种制动器焊接设备自动输送上料厚度检测方法及***
CN117091521B (zh) * 2023-10-19 2023-12-22 靖江市黄埔机械部件制造有限公司 一种制动器焊接设备自动输送上料厚度检测方法及***

Also Published As

Publication number Publication date
GB2608484A (en) 2023-01-04
US20220414931A1 (en) 2022-12-29
US20230334701A1 (en) 2023-10-19
US11636623B2 (en) 2023-04-25
GB202203487D0 (en) 2022-04-27
DE102022106461A1 (de) 2022-12-29
KR20230001498A (ko) 2023-01-04

Similar Documents

Publication Publication Date Title
CN115601250A (zh) 用于照相机对准的装置和方法
US12046049B2 (en) Automatically detecting traffic signals using sensor data
GB2619400A (en) Tracker position updates for vehicle trajectory generation
CN116519268A (zh) 校准目标***和校准照相机或传感器***的方法
US12051224B2 (en) Systems and methods for camera alignment using pre-distorted targets
US11887338B2 (en) Maintaining calibration of an IBIS camera
US20230403471A1 (en) Multiple position rolling shutter imaging device
US20240125617A1 (en) Aggregation of Data Representing Geographical Areas
US20240070915A1 (en) Maintaining intrinsic calibration of cameras with in-body image stabilization systems
US20230152796A1 (en) Vehicle control time delay compensation
US20230303124A1 (en) Predicting and controlling object crossings on vehicle routes
US20230296780A1 (en) Methods and systems for sensor operation
US20240123975A1 (en) Guided generation of trajectories for remote vehicle assistance
US20230382427A1 (en) Motion prediction in an autonomous vehicle using fused synthetic and camera images
US20240124009A1 (en) Optimizing alerts for vehicles experiencing stuck conditions
US20240051568A1 (en) Discriminator network for detecting out of operational design domain scenarios
US20230227032A1 (en) Vehicle Dynamics Classification for Collision and Loss of Control Detection
US20220414930A1 (en) Geometric intrinsic camera calibration using diffractive optical element
US20240126254A1 (en) Path selection for remote vehicle assistance
US20240038065A1 (en) Managing traffic light detections
WO2024081246A1 (en) Aggregation of data representing geographical areas
WO2024081192A1 (en) Optimizing alerts for vehicles experiencing stuck conditions
WO2024086049A1 (en) Guided generation of trajectories for remote vehicle assistance
WO2024081225A1 (en) Communicating precedence using vehicle to everything (v2x) messages
WO2024081118A1 (en) Color map layer for annotation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20230113