CN109683144A - 雷达传感器和摄像机传感器的三维对准 - Google Patents

雷达传感器和摄像机传感器的三维对准 Download PDF

Info

Publication number
CN109683144A
CN109683144A CN201811163861.6A CN201811163861A CN109683144A CN 109683144 A CN109683144 A CN 109683144A CN 201811163861 A CN201811163861 A CN 201811163861A CN 109683144 A CN109683144 A CN 109683144A
Authority
CN
China
Prior art keywords
radar
video camera
corner reflector
spin matrix
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811163861.6A
Other languages
English (en)
Inventor
M·斯卢茨基
D·I·多布金
S·维勒瓦尔
I·比利克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN109683144A publication Critical patent/CN109683144A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q3/00—Arrangements for changing or varying the orientation or the shape of the directional pattern of the waves radiated from an antenna or antenna system
    • H01Q3/26—Arrangements for changing or varying the orientation or the shape of the directional pattern of the waves radiated from an antenna or antenna system varying the relative phase or relative amplitude of energisation between two or more active radiating elements; varying the distribution of energy across a radiating aperture
    • H01Q3/2605—Array of radiating elements provided with a feedback control over the element weights, e.g. adaptive arrays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4039—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q15/00—Devices for reflection, refraction, diffraction or polarisation of waves radiated from an antenna, e.g. quasi-optical devices
    • H01Q15/14—Reflecting surfaces; Equivalent structures
    • H01Q15/18—Reflecting surfaces; Equivalent structures comprising plurality of mutually inclined plane surfaces, e.g. corner reflector

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种利用重叠视场区域来执行雷达和摄像机的三维对准的***和方法将角反射器定位在该区域中。该方法包括：利用雷达和摄像机获取用于角反射器的传感器数据，以及在区域内迭代地重新定位角反射器并且重复获取传感器数据。确定旋转矩阵和平移矢量，该旋转矩阵和平移矢量使雷达和摄像机对准以便使得由雷达进行的三维检测投射至由摄像机根据旋转矩阵和平移矢量获取的二维图像上的位置。

Description

雷达传感器和摄像机传感器的三维对准
引言
主题公开涉及雷达传感器和摄像机传感器的三维(3D)对准。
车辆(例如，汽车、农用设备、自动化工厂设备、施工设备)越来越多地包括用于促进增强动作或者自动化动作的传感器***。例如，光探测和测距(激光雷达)传感器和无线电探测和测距(雷达)传感器分别发出光脉冲或者射频能量并且基于被接收和处理的反射光或者能量来确定至目标的距离和角度。例如，摄像机(例如，静止摄影、录像机)会促进使用神经网络处理器来进行目标分类(例如，行人、卡车、树)。在自主驾驶中，传感器必须覆盖车辆周围的全部360度。覆盖相同区域的不只一种传感器通过传感器融合来提供功能安全和补充信息。就此而言，这些传感器必须在几何上对准以便在共享视场(FOV)内提供感测。然而，不同类型的传感器(例如，雷达、摄像机)在不同的坐标空间中获取不同类型的信息。因此，令人期望的是提供雷达传感器和摄像机传感器的3D对准。
发明内容
在一个示例性实施例中，一种利用重叠视场区域来执行雷达和摄像机的三维对准的方法包括：将角反射器定位在该区域内，并且利用雷达和摄像机获取用于角反射器的传感器数据。该方法还包括：在区域内迭代地重新定位角反射器并且重复获取传感器数据，以及确定旋转矩阵和平移矢量，该旋转矩阵和平移矢量使雷达和摄像机对准以便使得由雷达进行的三维检测投射至由摄像机根据旋转矩阵和平移矢量获取的二维图像上的位置。
除了本文所描述的一个或多个特征之外，利用摄像机获取传感器数据包括：确定设置在角反射器的顶点位置处的发光二极管在角反射器的图像中的位置。
除了本文所描述的一个或多个特征之外，利用雷达获取传感器数据包括：检测角反射器的作为点目标的顶点位置。
除了本文所描述的一个或多个特征之外，该方法包括：将通过利用旋转矩阵和平移矢量进行的雷达检测所获取的三维位置映射至二维图像上的位置。
除了本文所描述的一个或多个特征之外，该方法包括：限定作为平方马氏距离的总和的成本函数，该平方马氏距离处于如由摄像机确定的角反射器的中心位置与如由雷达确定的角反射器的中心位置之间并且针对角反射器在区域中的每个位置被投射在由摄像机获取的二维图像上。
除了本文所描述的一个或多个特征之外，确定旋转矩阵和平移矢量包括：确定使成本函数最小化的旋转矩阵和平移矢量。
除了本文所描述的一个或多个特征之外，确定旋转矩阵包括：确定三个角值。
除了本文所描述的一个或多个特征之外，确定平移矢量包括：确定三个位置分量。
除了本文所描述的一个或多个特征之外，利用摄像机获取传感器数据包括：使用***。
除了本文所描述的一个或多个特征之外，利用摄像机获取传感器数据包括：使用鱼眼摄像机。
在另一示例性实施例中，一种利用重叠视场区域来使雷达和摄像机对准的***包括：摄像机，该摄像机用于获取用于定位在区域内的不同位置处的角反射器的摄像机传感器数据；以及雷达，该雷达用于获取用于处于区域内的不同位置处的角反射器的雷达传感器数据。该***还包括控制器，该控制器用于确定旋转矩阵和平移矢量，该旋转矩阵和平移矢量使雷达和摄像机对准以便使得由雷达进行的三维检测投射至由摄像机根据旋转矩阵和平移矢量获取的二维图像上的位置。
除了本文所描述的一个或多个特征之外，摄像机在角反射器的图像中确定设置在角反射器的顶点位置处的发光二极管的位置。
除了本文所描述的一个或多个特征之外，雷达检测角反射器的作为点目标的顶点位置。
除了本文所描述的一个或多个特征之外，控制器将通过利用旋转矩阵和平移矢量进行的雷达检测所获取的三维位置映射至二维图像上的位置。
除了本文所描述的一个或多个特征之外，控制器限定作为平方马氏距离的总和的成本函数，该平方马氏距离处于如由摄像机确定的角反射器的中心位置与如由雷达确定的角反射器的中心位置之间并且针对角反射器在区域中的每个位置被投射在由摄像机获取的二维图像上。
除了本文所描述的一个或多个特征之外，控制器确定使成本函数最小化的旋转矩阵和平移矢量。
除了本文所描述的一个或多个特征之外，控制器确定作为三个角值的旋转矩阵。
除了本文所描述的一个或多个特征之外，控制器确定作为三个位置分量的平移矢量。
除了本文所描述的一个或多个特征之外，摄像机是***，并且真空摄像机和雷达位于车辆中。
除了本文所描述的一个或多个特征之外，摄像机是鱼眼摄像机，并且鱼眼摄像机和雷达位于车辆中。
当结合附图来看如下详细描述时，本公开的上述特征和优点、以及其它特征和优点容易显而易见。
附图说明
其它特征、优点和细节仅仅通过示例的方式出现在如下详细描述中，详细描述参照附图，在附图中：
图1是根据一个或多个实施例的执行雷达传感器和摄像机传感器的三维对准的车辆的框图；
图2描绘了根据一个或多个实施例的用于执行雷达和摄像机的三维对准的示例性布置；并且
图3是根据一个或多个实施例的执行雷达传感器和摄像机传感器的三维对准的方法的流程图。
具体实施方式
如下描述在性质上仅仅是示例性的并且不意在限制本公开、其应用或者使用。应理解，在附图中，对应的附图标号表示相似的或者对应的部件和特征。
如先前所指出的，车辆越来越多地包括诸如雷达传感器和摄像机传感器等传感器***。在自主车辆或者具有自主特征(例如，自主泊车)的车辆中，利用多于一个传感器对车辆周围进行的360度的覆盖会促进通过传感器融合来获取补充信息。然而，传感器融合(即，由每个传感器所获取的数据的组合)需要使共享FOV的各个传感器进行几何对准。如果各个传感器并未对准，则由一个传感器进行的被转换至其它传感器的参照系的检测会投射在错误的坐标处。例如，被转换至摄像机坐标系的雷达检测会投射在错误的图像坐标处。因此，投射位置与实际图像位置之间的距离(以像素计)是传感器的未对准的测量度。
本文详细描述的***和方法的实施例涉及雷达传感器和摄像机传感器的3D对准。具体地，确定出雷达与摄像机之间的转换参数以使两种类型的传感器几何对准。然后，被转换至摄像机参照系的雷达检测在正确的图像坐标处投射到目标图像上。在本文详细描述的示例性实施例中，角反射器用于确定转换参数。在雷达***中，角反射器作为强点状目标出现，其中，所有反射能量都来自顶点附近。通过将发光二极管(LED)***在角反射器的顶点中，在由摄像机获取的图像中的LED的图像坐标可以与由雷达***进行的顶点检测对准，如上文详细描述的。
根据示例性实施例，图1是执行雷达传感器110和摄像机传感器120的3D对准的车辆100的框图。在图1中示出的示例性车辆100是汽车101。除了雷达110和摄像机120之外，车辆100可以包括附加传感器(例如，激光雷达、附加雷达、附加摄像机)，其中，FOV被引导为覆盖车辆100的侧面和后方。车辆100包括控制器130，控制器130用于使雷达110和摄像机120对准。例如，控制器130可以是独立控制器或者可以是其中一个传感器的一部分或者车辆100的自动化***的一部分。控制器130包括处理电路，该处理电路可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或者固件程序的处理器(共享、专用或者成组)和存储器、组合逻辑电路、以及/或者提供所描述的功能的其它合适的部件。
三个目标140a、140b、140c(通常被称为140)处于雷达110和摄像机120两者的FOV中(在图1中指示了摄像机FOV 125)。因此，雷达110从各个目标140处接收到映像115a、115b、115c(通常被称为115)。这些映像115由雷达110处理以便获取关于每个目标140的位置(例如，距离、到达角)的3D信息。各个目标140也被摄像机120捕获在图像中。基于根据参照图2和图3讨论的过程成立的转换参数(即，旋转矩阵R、平移矢量T)，由雷达110检测到的目标140可以被转换至摄像机参照系并且在正确的图像坐标处被投射到由摄像机120捕获的图像上。
图2描绘了根据一个或多个实施例的用于执行雷达110和摄像机120的3D对准的示例性布置。如图2指示的，角反射器210定位在摄像机FOV125内和雷达110的FOV内，如由映像115所指示的。如先前所指出的，雷达110感知在其中心(顶点)处作为点目标的角反射器210。各个检测以高强度出现在零多普勒频移处并且位于顶点处或者附近。由雷达110进行的检测是以球极坐标(ρ、φ、υ)进行描述，因为雷达110给每一检测分配距离、方位角、仰角库(bin)。
同样如先前所指出的，角反射器210具有在中心(即，在顶点处)的LED 220，以便使得由控制器130在由摄像机120所获取的图像上执行的已知图像处理技术识别LED 220在图像内的位置。为了解释的目的，本文讨论了两种示例性摄像机120——***和鱼眼摄像机，但其它类型的已知摄像机120(即，任何校准摄像机120)也可以用在车辆100中并且可以根据参照图3所讨论的过程被对准。摄像机模型是已知的并且仅仅在本文进行概括的讨论。通常，摄像机120涉及从三维点至二维图像的映射F。
当摄像机120是***时，
在方程式1和2中，f是***的焦距，并且是***的主点。和是规范化(或者头射影)坐标。例如，在该模型中可以考虑到由摄像机120的透镜引起的失真以用于更加准确地代表LED220的位置。当摄像机120是鱼眼摄像机时，在等距离模型内，
在方程式3和4中，c是模型参数，并且和是规范化(或者射影)坐标。
当雷达获取用于角反射器210的检测位置qi[XiYiZi]T时，位置qi首先被转换至摄像机120的参照系中的位置pi。该转换是由如下给出：
pi＝Rqi+T [方程式5]
投射图像位置(即，基于从三维位置pi至二维图像的映射)是由如下给出：
在方程式2中，符号强调映射的矢量性质。当转换(R,T)是正确的时，则符合或者紧密地近似由摄像机120检测到的LED 220的图像位置参照图3详细描述了用于确定旋转矩阵R和平移矢量T的过程。
图3是根据一个或多个实施例的执行雷达传感器110和摄像机传感器120的3D对准的方法的流程图。在框310处，过程包括：将角反射器210定位在代表摄像机FOV 125和雷达FOV的重叠的区域内，并且利用雷达110和摄像机120捕获测量值以获取传感器数据。传感器数据指雷达110检测在其中心处作为点目标的角反射器210以及摄像机120捕获示出LED220处于角反射器210的中心处的图像。在框320处，检查角反射器210的位置是否是获取传感器数据的一组位置中的最后位置。如果角反射器210不是处于该组位置中的最后位置处，则将角反射器定位在该组位置中的下一位置处(在代表摄像机FOV 125和雷达FOV的重叠的区域内)并且在框310处重复该过程。如果角反射器210处于该组位置中的最后位置处，则在框330处执行该过程。在框330处，从传感器数据确定旋转矩阵R和平移矢量T涉及一组计算。
可以使用多点透视(PnP)方法来获取旋转矩阵R和平移矢量T的初始估值PnP指在给出世界中的一组n个3D点以及其在由摄像机获取的图像中的对应2D投影的情况下估计摄像机120的姿势的问题。在本示例中，n个3D点qi[XiYiZi]T(其中，i是从1至n的指数，并且T指示用于列矢量的转置)是由雷达110在雷达中心参照系中进行的检测。在摄像机中心参照系中，根据方程式5和6，对应的点具有坐标pi＝[X’iY’iZ’i]T，以便使得：
在框330处，确定旋转矩阵R和平移示例T涉及：确定使总体摄像机-雷达投影误差最小化的转换(R,T)。成本函数Φ被定义为促进该最小化。
具体地，成本函数Φ被定义为在每个不同位置处所检测的LDE中心与角反射器210的顶点的位置之间的平方马氏距离的总和，如由雷达110所检测并且投射到摄像机平均上的：
在方程式8中，∑指示协方差矩阵，其以空间误差为特征。使用方程式6，
如方程式9指示的，每个协方差矩阵∑由两个部分组成，一个部分涉及摄像机120(c)和图像上的LED 220的检测的协方差，并且另一部分涉及雷达110(r)和被投射在图像平面上的检测的协方差：
为了计算按照雷达检测在方程式10中的二维协方差中表明的三维误差的方式来进行分析。其中，p＝[X,Y,Z]T是摄像机120视场中的三维点，并且根据方程式6，其中，是p在图像上的投影，p的较小变化会导致：
按照分量记号，方程式11可以被写作：
其中，p1＝X，p2＝Y，p3＝Z，l1＝u，l2＝v，则所投射的协方差由如下给出：
在方程式13中，Γ是描述雷达检测的三维误差的协方差矩阵，j,k＝1,2,3，并且μ,υ＝1,2。
根据方程式8，确定使成本函数Φ最小化的R和T涉及一共解答六个参数。这是因为旋转矩阵R是通过三个角度(ψ、θ、φ)来参数化，并且平移示例T是通过三个分量Tx、Ty、Tz来参数化。通过在上执行柯列斯基分解来将方程式8重写为：
在方程式14中，L表示具有实对角项和正对角项的下三角矩阵。然后可以按照适合于非线性最小二乘优化的形式来重写成本函数Φ：
从方程式15，可以估计与R和T相关联的参数，以便使得：
用于确定参数R和T的优化可以是使用已知的工具和标准化数值例程来执行。可以从传感器(雷达110和摄像机120)安装的计算机辅助设计(CAD)图纸的几何测量值来获取初始估值。如先前所指出的，PnP估计可以用于透视摄像机120。
尽管已经参照示例性实施例对上述公开进行了描述，但本领域的技术人员将理解，在不背离本公开的范围的情况下，可以对其元件作出各种改变并且可以用等效物来取代。此外，在不背离本公开的基本范围的情况下，可以作出许多修改以便使特定情况或者材料适应于本公开的教导。因此，本公开并不意在限制于所公开的特定实施例，而是将包括落在其范围内的所有实施例。

Claims (10)

1.一种利用重叠视场区域来执行雷达和摄像机的三维对准的方法，所述方法包括：
将角反射器定位在所述区域内；
利用所述雷达和所述摄像机获取用于所述角反射器的传感器数据；
在所述区域内迭代地重新定位所述角反射器并且重复获取所述传感器数据；以及
确定旋转矩阵和平移矢量，所述旋转矩阵和所述平移矢量使所述雷达和所述摄像机对准以便使得由所述雷达进行的三维检测投射至由所述摄像机根据所述旋转矩阵和所述平移矢量获取的二维图像上的位置。
2.根据权利要求1所述的方法，其中，利用所述摄像机获取传感器数据包括：确定设置在所述角反射器的顶点位置处的发光二极管在所述角反射器的图像中的位置，并且利用所述雷达获取所述传感器数据包括：检测所述角反射器的作为点目标的所述顶点位置。
3.根据权利要求1所述的方法，进一步包括：将通过利用所述旋转矩阵和所述平移矢量进行的雷达检测所获取的三维位置映射至所述二维图像上的所述位置，并且限定作为平方马氏距离的总和的成本函数，所述平方马氏距离处于如由所述摄像机确定的所述角反射器的中心位置与如由所述雷达确定的所述角反射器的所述中心位置之间并且针对所述角反射器在所述区域中的每个位置被投射在由所述摄像机获取的所述二维图像上，其中，确定所述旋转矩阵和所述平移矢量包括：确定使所述成本函数最小化的所述旋转矩阵和所述平移矢量。
4.根据权利要求1所述的方法，其中，确定所述旋转矩阵包括：确定三个角值，并且确定所述平移矢量包括：确定三个位置分量。
5.根据权利要求1所述的方法，其中，利用所述摄像机获取所述传感器数据包括：使用***或者鱼眼摄像机。
6.一种利用重叠视场区域来使雷达和摄像机对准的***，所述***包括：
摄像机，所述摄像机配置为获取用于定位在所述区域内的不同位置处的角反射器的摄像机传感器数据；
雷达，所述雷达配置为获取用于处于所述区域内的所述不同位置处的所述角反射器的雷达传感器数据；以及
控制器，所述控制器配置为确定旋转矩阵和平移矢量，所述旋转矩阵和所述平移矢量使所述雷达和所述摄像机对准以便使得由所述雷达进行的三维检测投射至由所述摄像机根据所述旋转矩阵和所述平移矢量获取的二维图像上的位置。
7.根据权利要求6所述的***，其中，所述摄像机确定设置在所述角反射器的顶点位置处的发光二极管在所述角反射器的图像中的位置，并且所述雷达检测所述角反射器的作为点目标的所述顶点位置。
8.根据权利要求6所述的***，其中，所述控制器进一步配置为将通过利用所述旋转矩阵和所述平移矢量进行的雷达检测所获取的三维位置映射至所述二维图像上的所述位置，并且进一步配置为限定作为平方马氏距离的总和的成本函数，所述平方马氏距离处于如由所述摄像机确定的所述角反射器的中心位置与如由所述雷达确定的所述角反射器的所述中心位置之间并且针对所述角反射器在所述区域中的每个位置被投射在由所述摄像机获取的所述二维图像上，其中，所述控制器进一步配置为确定使所述成本函数最小化的所述旋转矩阵和所述平移矢量。
9.根据权利要求6所述的***，其中，所述控制器进一步配置为确定作为三个角值的所述旋转矩阵以及确定作为三个位置分量的所述旋转矢量。
10.根据权利要求6所述的***，其中，所述摄像机是***或者鱼眼摄像机，并且所述雷达和所述***或者所述鱼眼摄像机位于车辆中。
CN201811163861.6A 2017-10-19 2018-10-03 雷达传感器和摄像机传感器的三维对准 Pending CN109683144A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/788,048 US20190120934A1 (en) 2017-10-19 2017-10-19 Three-dimensional alignment of radar and camera sensors
US15/788048 2017-10-19

Publications (1)

Publication Number Publication Date
CN109683144A true CN109683144A (zh) 2019-04-26

Family

ID=65996544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811163861.6A Pending CN109683144A (zh) 2017-10-19 2018-10-03 雷达传感器和摄像机传感器的三维对准

Country Status (3)

Country Link
US (1) US20190120934A1 (zh)
CN (1) CN109683144A (zh)
DE (1) DE102018125676A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111796248A (zh) * 2020-09-08 2020-10-20 奥特酷智能科技(南京)有限公司 一种激光雷达和毫米波雷达的联合标定方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10852419B2 (en) 2017-10-20 2020-12-01 Texas Instruments Incorporated System and method for camera radar fusion
US10955516B2 (en) * 2018-06-26 2021-03-23 Intel Corporation Object detection enhancement using receiver perspective
CN109343061B (zh) * 2018-09-19 2021-04-02 百度在线网络技术（北京）有限公司 传感器标定方法、装置、计算机设备、介质和车辆
US20200217948A1 (en) * 2019-01-07 2020-07-09 Ainstein AI, Inc Radar-camera detection system and methods
US10997737B2 (en) 2019-05-02 2021-05-04 GM Global Technology Operations LLC Method and system for aligning image data from a vehicle camera
WO2021021869A1 (en) * 2019-07-30 2021-02-04 Brain Corporation Systems and methods for calibrating nonvisible light emitting sensors using alignment targets
CN110619666B (zh) * 2019-09-20 2022-05-27 阿波罗智能技术(北京)有限公司 用于标定相机的方法及装置
US11366233B2 (en) 2020-04-14 2022-06-21 Plusai, Inc. System and method for GPS based automatic initiation of sensor calibration
US11673567B2 (en) 2020-04-14 2023-06-13 Plusai, Inc. Integrated fiducial marker for simultaneously calibrating sensors of different types
US11635313B2 (en) * 2020-04-14 2023-04-25 Plusai, Inc. System and method for simultaneously multiple sensor calibration and transformation matrix computation
CN112070841A (zh) * 2020-07-01 2020-12-11 北京中科原动力科技有限公司 一种毫米波雷达与摄像头快速联合标定方法
CN113359097B (zh) * 2021-06-21 2022-09-02 北京易航远智科技有限公司 一种毫米波雷达和相机联合标定的方法
US20230085898A1 (en) * 2021-09-22 2023-03-23 Qualcomm Incorporated Automatic cross-sensor calibration using object detections
CN115166722B (zh) * 2022-09-05 2022-12-13 湖南众天云科技有限公司 用于路侧单元的无盲区单杆多传感器检测装置及控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101581575A (zh) * 2009-06-19 2009-11-18 南昌航空大学 基于激光和摄像机数据融合的三维重建方法
CN101699313A (zh) * 2009-09-30 2010-04-28 北京理工大学 基于摄像机和三维激光雷达的外部参数标定方法及***
CN101825442A (zh) * 2010-04-30 2010-09-08 北京理工大学 一种基于移动平台的彩色激光点云成像***
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
US20160116573A1 (en) * 2014-10-24 2016-04-28 Texas Instruments Incorporated Method and apparatus for generating alignment matrix for camera-radar system
CN106228537A (zh) * 2016-07-12 2016-12-14 北京理工大学 一种三维激光雷达与单目摄像机的联合标定方法
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10229334B4 (de) * 2002-06-29 2010-09-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung von Sensoren im Kraftfahrzeug mittels eines Kalibrierobjekts mit Triple-Spiegel als Bezugsmerkmal
US6834232B1 (en) * 2003-07-30 2004-12-21 Ford Global Technologies, Llc Dual disimilar sensing object detection and targeting system
US7337650B1 (en) * 2004-11-09 2008-03-04 Medius Inc. System and method for aligning sensors on a vehicle
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
US7706978B2 (en) * 2005-09-02 2010-04-27 Delphi Technologies, Inc. Method for estimating unknown parameters for a vehicle object detection system
US20090292468A1 (en) * 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
US8604968B2 (en) * 2008-10-08 2013-12-10 Delphi Technologies, Inc. Integrated radar-camera sensor
US10254395B2 (en) * 2013-12-04 2019-04-09 Trimble Inc. System and methods for scanning with integrated radar detection and image capture
US9599706B2 (en) * 2015-04-06 2017-03-21 GM Global Technology Operations LLC Fusion method for cross traffic application using radars and camera
US10578713B2 (en) * 2015-06-24 2020-03-03 Panasonic Corporation Radar axis displacement amount calculation device and radar axis displacement calculation method
WO2017057041A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
US10591586B2 (en) * 2017-07-07 2020-03-17 Infineon Technologies Ag System and method for identifying a target using radar sensors
US10852419B2 (en) * 2017-10-20 2020-12-01 Texas Instruments Incorporated System and method for camera radar fusion

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101581575A (zh) * 2009-06-19 2009-11-18 南昌航空大学 基于激光和摄像机数据融合的三维重建方法
CN101699313A (zh) * 2009-09-30 2010-04-28 北京理工大学 基于摄像机和三维激光雷达的外部参数标定方法及***
CN101825442A (zh) * 2010-04-30 2010-09-08 北京理工大学 一种基于移动平台的彩色激光点云成像***
CN103198302A (zh) * 2013-04-10 2013-07-10 浙江大学 一种基于双模态数据融合的道路检测方法
US20160116573A1 (en) * 2014-10-24 2016-04-28 Texas Instruments Incorporated Method and apparatus for generating alignment matrix for camera-radar system
CN106228537A (zh) * 2016-07-12 2016-12-14 北京理工大学 一种三维激光雷达与单目摄像机的联合标定方法
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111796248A (zh) * 2020-09-08 2020-10-20 奥特酷智能科技(南京)有限公司 一种激光雷达和毫米波雷达的联合标定方法

Also Published As

Publication number Publication date
DE102018125676A1 (de) 2019-04-25
US20190120934A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
CN109683144A (zh) 雷达传感器和摄像机传感器的三维对准
Domhof et al. An extrinsic calibration tool for radar, camera and lidar
US10366310B2 (en) Enhanced camera object detection for automated vehicles
Peršić et al. Extrinsic 6dof calibration of a radar–lidar–camera system enhanced by radar cross section estimates evaluation
CN104574406B (zh) 一种360度全景激光与多个视觉***间的联合标定方法
EP2154650A1 (en) 3D time-of-flight camera system and position/orientation calibration method therefor
Kümmerle et al. Automatic calibration of multiple cameras and depth sensors with a spherical target
CN105452806B (zh) 具有目标寻找功能的激光跟踪仪
Geiger et al. Automatic camera and range sensor calibration using a single shot
Underwood et al. Error modeling and calibration of exteroceptive sensors for accurate mapping applications
US20100002910A1 (en) Method and Apparatus for Developing Synthetic Three-Dimensional Models from Imagery
JP2019144238A (ja) レーダセンサを用いた関心空間の境界の決定のための方法
Hoang et al. Simple and efficient method for calibration of a camera and 2D laser rangefinder
Peršić et al. Extrinsic 6DoF calibration of 3D LiDAR and radar
CN110398726A (zh) 传感器校准
CN105190288A (zh) 用于在白天有雾时确定视距的方法和设备
CN113390426A (zh) 定位方法、装置、自移动设备和存储介质
Hochdorfer et al. 6 DoF SLAM using a ToF camera: The challenge of a continuously growing number of landmarks
CN112771575A (zh) 距离确定方法、可移动平台及计算机可读存储介质
CN109143167B (zh) 一种障碍信息获取装置及方法
Sun et al. High-accuracy three-dimensional measurement based on multi-directional cooperative target with weighted SfM algorithm
US20230186518A1 (en) Sensor calibration with relative object positions within a scene
Megalingam et al. Adding intelligence to the robotic coconut tree climber
Krause et al. Remission based improvement of extrinsic parameter calibration of camera and laser scanner
US11724407B2 (en) Target-free RGBD camera alignment to robots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190426