CN110573830B - 激光传感器的校准方法 - Google Patents

激光传感器的校准方法 Download PDF

Info

Publication number
CN110573830B
CN110573830B CN201780090131.5A CN201780090131A CN110573830B CN 110573830 B CN110573830 B CN 110573830B CN 201780090131 A CN201780090131 A CN 201780090131A CN 110573830 B CN110573830 B CN 110573830B
Authority
CN
China
Prior art keywords
point cloud
emitter
detector unit
vehicle
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780090131.5A
Other languages
English (en)
Other versions
CN110573830A (zh
Inventor
吴侃之
马陆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuojian Intelligent Manufacturing Co ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN110573830A publication Critical patent/CN110573830A/zh
Application granted granted Critical
Publication of CN110573830B publication Critical patent/CN110573830B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/042—Calibration or calibration artifacts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

一种用于校准由移动平台承载的激光传感器的方法，该方法包括：确定由激光传感器生成的点云数据的重叠区域；比较该重叠区域内的点云的表面特征；以及基于其生成校准规则。一种自动检测对由移动平台携带的发射器/检测器单元的干扰的方法，包括：将第一点云信息和第二点云信息转换为与移动平台相关联的参考系中的第一点云和第二点云，第一点云和第二点云信息在第一和第二时间点从发射器/检测器单元获得；确定第一点云与第二点云之间的重叠区域；比较重叠区域中第一点云和第二点云的表面属性；至少部分地基于比较表面属性来检测对发射器/检测器单元的干扰。

Description

激光传感器的校准方法
技术领域
本公开的技术总体上涉及对由移动平台承载的发射器/检测器传感器(例如，激光传感器)的校准。
背景技术
诸如LiDAR传感器之类的激光传感器通常向外发射脉冲激光信号、检测脉冲信号反射并测量环境中的三维信息(例如，激光器扫描点)以促进环境地图构建。为了实现对移动平台周围的环境的精确地图构建，具有360度水平视场(FOV)的全向激光传感器通常安装在移动平台上以不断地扫描其周围环境。全向激光传感器通常价格昂贵、不可定制，并且具有有限的垂直FOV。因此，仍然需要用于移动平台的改进的感测技术和设备。
发明内容
以下概述为了读者的方便而提供，并且指出本公开的技术的一些代表性实施例。
在一些实施例中，一种用于自动地校准均由公共移动平台承载的至少第一发射器/检测器单元和第二发射器/检测器单元的计算机实现的方法，包括：将从所述第一发射器/检测器单元获得的点云信息变换为与所述移动平台相关联的参考系中的第一点云；将从所述第二发射器/检测器单元获得的点云信息变换为与所述移动平台相关联的参考系中的第二点云；确定所述第一点云和所述第二点云之间的重叠区域；比较所述第一点云和所述第二点云在所述重叠区域中的表面属性；以及至少部分地基于比较所述表面属性，生成用于在所述第一发射器/检测器单元和所述第二发射器/检测器单元之间进行校准的至少一个校准规则。在一些实施例中，至少部分地基于第一组变换规则对从所述第一发射器/检测器单元获得的点云信息进行变换，根据所述第一发射器/检测器单元相对于所述移动平台的位置和取向来至少部分地定义所述第一组变换规则。在一些实施例中，与所述移动平台相关联的参考系包括坐标系。在一些实施例中，所述第一组变换规则包括变换矩阵。在一些实施例中，所述第一发射器/检测器单元包括至少一个激光传感器，所述至少一个激光传感器的视场(FOV)小于360度、180度、90度或60度中的至少一个。在一些实施例中，所述第一发射器/检测器单元包括相对于彼此刚性固定的多个激光传感器。在一些实施例中，确定重叠区域包括：针对所述第一点云中的至少一个点在所述第二点云中确定至少最近的相邻点。在一些实施例中，确定重叠区域包括：针对所述第一点云或所述第二点云中的至少一个点云创建树形结构的数据结构。在一些实施例中，比较表面属性包括：将与所述第一点云相关联的表面和与所述第二点相关联的表面进行匹配。在一些实施例中，比较表面属性还包括：评估至少部分地由所述第一点云和所述第二点云在所述重叠区域内的多个点定义的目标函数。在一些实施例中，生成至少一个校准规则包括优化所述目标函数。在一些实施例中，所述至少一个校准规则包括：用于在所述第一发射器/检测器单元和所述第二发射器/检测器单元的坐标系之间进行变换的规则。在一些实施例中，所述计算机实现的方法还包括检测所生成的至少一个校准规则与一个或多个先前生成的校准规则之间的差异。在一些实施例中，所述计算机实现的方法还包括根据所述至少一个校准规则对所述第一发射器/检测器单元和所述第二发射器/检测器单元进行校准。
在其他实施例中，一种非暂时性计算机可读介质，存储计算机可执行指令。所述指令在被执行时使与移动平台相关联的一个或多个处理器执行动作，所述动作包括：将从第一发射器/检测器单元获得的点云信息变换为与所述移动平台相关联的参考系中的第一点云；将从第二发射器/检测器单元获得的点云信息变换为与所述移动平台相关联的参考系中的第二点云；确定所述第一点云和所述第二点云之间的重叠区域；比较所述第一点云和所述第二点云在所述重叠区域中的表面属性；以及至少部分地基于比较所述表面属性，生成用于在所述第一发射器/检测器单元和所述第二发射器/检测器单元之间进行校准的至少一个校准规则。在一些实施例中，至少部分地基于第一组变换规则对从所述第一发射器/检测器单元获得的点云信息进行变换，根据所述第一发射器/检测器单元相对于所述移动平台的位置和取向来至少部分地定义所述第一组变换规则。在一些实施例中，与所述移动平台相关联的参考系包括坐标系。在一些实施例中，所述第一组变换规则包括变换矩阵。在一些实施例中，所述第一发射器/检测器单元包括至少一个激光传感器，所述至少一个激光传感器的视场(FOV)小于360度、180度、90度或60度中的至少一个。在一些实施例中，所述第一发射器/检测器单元包括相对于彼此刚性固定的多个激光传感器。在一些实施例中，确定重叠区域包括：针对所述第一点云中的至少一个点在所述第二点云中确定至少最近的相邻点。在一些实施例中，确定重叠区域包括：针对所述第一点云或所述第二点云中的至少一个点云创建树形结构的数据结构。在一些实施例中，比较表面属性包括：将与所述第一点云相关联的表面和与所述第二点相关联的表面进行匹配。在一些实施例中，比较表面属性还包括：评估至少部分地由所述第一点云和所述第二点云在所述重叠区域内的多个点定义的目标函数。在一些实施例中，生成所述至少一个校准规则包括优化所述目标函数。在一些实施例中，所述至少一个校准规则包括：用于在所述第一发射器/检测器单元和所述第二发射器/检测器单元的坐标系之间进行变换的规则。在一些实施例中，所述动作还包括检测所生成的至少一个校准规则与一个或多个先前生成的校准规则之间的差异。在一些实施例中，所述动作还包括根据所述至少一个校准规则对所述第一发射器/检测器单元和所述第二发射器/检测器单元进行校准。
在又一些其他实施例中，一种载运工具，包括被编程控制器，所述被编程控制器至少部分地控制所述载运工具的一个或多个运动。所述被编程控制器包括一个或多个处理器，所述一个或多个处理器被配置为：将从第一发射器/检测器单元获得的点云信息变换为与所述载运工具相关联的参考系中的第一点云；将从第二发射器/检测器单元获得的点云信息变换为与所述载运工具相关联的参考系中的第二点云；确定所述第一点云和所述第二点云之间的重叠区域；比较所述第一点云和所述第二点云在所述重叠区域中的表面属性；以及至少部分地基于对表面属性的比较，生成用于在所述第一发射器/检测器单元和所述第二发射器/检测器单元之间进行校准的至少一个校准规则。在一些实施例中，至少部分地基于第一组变换规则对从所述第一发射器/检测器单元获得的点云信息进行变换，根据所述第一发射器/检测器单元相对于所述载运工具的位置和取向来至少部分地定义所述第一组变换规则。至少部分地基于第二组变换规则来对从所述第二发射器/检测器单元获得的点云信息进行变换，并且其中，所述第二组变换规则不同于所述第一组变换规则。在一些实施例中，所述第一组变换规则包括变换矩阵。在一些实施例中，所述第一发射器/检测器单元包括相对于彼此刚性固定的多个激光传感器。在一些实施例中，确定重叠区域包括：针对所述第一点云中的至少一个点在所述第二点云中确定至少最近的相邻点。在一些实施例中，比较表面属性包括：将与所述第一点云相关联的表面和与所述第二点相关联的表面进行匹配，并且将与所述第一点云相关联的表面和与所述第二点相关联的表面进行匹配包括：确定关于所述第一点云的至少一部分的法向向量信息。在一些实施例中，比较表面属性还包括：评估至少部分地由所述第一点云和所述第二点云在所述重叠区域内的多个点定义的目标函数，所述目标函数包括旋转分量和平移分量。在一些实施例中，所述至少一个校准规则包括：用于在所述第一发射器/检测器单元和所述第二发射器/检测器单元的坐标系之间进行变换的规则。在一些实施例中，所述一个或多个处理器还被配置为检测所生成的至少一个校准规则与一个或多个先前生成的校准规则之间的差异。在一些实施例中，所述载运工具包括以下中的至少一项：无人机UAV、有人驾驶飞行器、自主汽车、自平衡载运工具或机器人。在一些实施例中，所述一个或多个处理器还被配置为根据所述至少一个校准规则对所述第一发射器/检测器单元和所述第二发射器/检测器单元进行校准。
在又一些实施例中，一种用于自动检测对由移动平台承载的发射器/检测器单元的干扰的计算机实现的方法，包括：将第一点云信息变换为与所述移动平台相关联的参考系中的第一点云，所述第一点云信息是在第一时间点从所述发射器/检测器单元获得的；将第二点云信息变换为与所述移动平台相关联的参考系中的第二点云，所述第二点云信息是在第二时间点从所述发射器/检测器单元获得的；确定所述第一点云和所述第二点云之间的重叠区域；比较所述第一点云和所述第二点云在所述重叠区域中的表面属性；以及至少部分地基于比较所述表面属性来检测对所述发射器/检测器单元的干扰。在一些实施例中，至少部分地基于一组变换规则对从所述发射器/检测器单元获得的第一点云信息进行变换，根据所述发射器/检测器单元相对于所述移动平台的位置和取向来至少部分地定义所述第一组变换规则。在一些实施例中，与所述移动平台相关联的参考系包括坐标系。在一些实施例中，与所述移动平台相关联的参考系对应于所述第一时间点的参考系。在一些实施例中，所述一组变换规则包括变换矩阵。在一些实施例中，所述发射器/检测器单元包括至少一个激光传感器，所述至少一个激光传感器的视场(FOV)小于360度、180度、90度或60度中的至少一个。在一些实施例中，所述发射器/检测器单元包括相对于彼此刚性固定的多个激光传感器。在一些实施例中，确定重叠区域包括：针对所述第一点云中的至少一个点在所述第二点云中确定至少最近的相邻点。在一些实施例中，确定重叠区域包括：针对所述第一点云或所述第二点云中的至少一个点云创建树形结构的数据结构，其中，所述树形结构的数据结构包括K维(KD)树数据结构。在一些实施例中，比较表面属性包括：将与所述第一点云相关联的表面和与所述第二点相关联的表面进行匹配，其中，将与所述第一点云相关联的表面和与所述第二点相关联的表面进行匹配包括：确定关于所述第一点云的至少一部分的法向向量信息。在一些实施例中，比较表面属性还包括：评估至少部分地由所述第一点云和所述第二点云在所述重叠区域内的多个点定义的目标函数，所述目标函数包括旋转分量和平移分量。在一些实施例中，检测对所述发射器/检测器单元的干扰包括：至少部分地基于最小二乘法来优化目标函数。在一些实施例中，检测对所述发射器/检测器单元的干扰还包括：生成用于在所述第一点云和所述第二点云之间进行变换的至少一个规则。在一些实施例中，所述移动平台包括以下中的至少一项：无人机UAV、有人驾驶飞行器、自主汽车、自平衡载运工具、地面机器人、智能可穿戴设备、虚拟现实VR头戴式显示器或增强现实AR头戴式显示器。在一些实施例中，所述计算机实现的方法还包括响应于检测到对所述发射器/检测器单元的干扰而发出警告。
附图说明
图1A示出了根据本公开的技术的一些实施例的可以使用的激光传感器的扫描图案。
图1B示出了根据本公开的技术的一些实施例的由激光传感器生成的三维点云。
图2示出了根据本公开的技术的一些实施例的由移动平台承载的多个激光传感器的布局，以实现广角(例如，全向)水平视场(FOV)覆盖。
图3示出了根据本公开的技术的一些实施例的包括可以使用的多个激光传感器的激光器单元。
图4示出了根据本公开的技术的一些实施例的由移动平台承载的多个激光器单元的布局，以实现广角(例如，全向)水平FOV覆盖。
图5示出了根据本公开的技术的一些实施例的具有两个激光器单元(或激光传感器)的移动平台，该两个激光器单元(或激光传感器)具有重叠FOV。
图6示出了根据本公开的技术的一些实施例的用于两个激光器单元(或激光传感器)的校准过程。
图7A示出了根据本公开的技术的一些实施例的移动平台从第一时间点到第二时间点的移动。
图7B示出了根据本公开的技术的一些实施例的用于检测对激光器单元的干扰的过程。
图8示出了根据本公开的技术的一些实施例的激光传感器的一帧激光点。
图9示出了根据本公开的技术的一些实施例的由在某个时间段内移动的移动平台承载的激光器单元(或激光传感器)生成的点数据帧序列。
图10示出了根据本公开的技术的一些实施例生成的组合点云。
图11示出了根据本公开的技术的一些实施例的除了激光器单元之外承载多个传感器的移动平台。
图12示出了根据本公开的技术的一些实施例的可以由图11的多个传感器提供的信息。
图13示出了根据本公开的技术的一些实施例的图11的多个传感器和激光器单元的数据收集频率差异。
图14示出了根据本公开的技术的一些实施例的用于组合由激光器单元生成的具有时间顺序的点信息以形成点云的过程。
图15示出了根据本公开的技术的一些实施例配置的移动平台的示例。
图16是示出了可用于实现本公开的技术的各个部分的计算机***或其他控制设备的代表性架构的框图。
具体实施方式
1、概述
为了实现准确和全面的环境地图构建，同时克服与全向激光传感器相关联的缺陷，可以使用多个激光传感器(例如，策略性地附于移动平台)以实现对周围环境较宽的水平视场(FOV)覆盖、全向水平覆盖、部分或完整的球面覆盖或任何其他适当的定制覆盖。具有有限FOV的激光传感器可以比全向激光传感器便宜得多，并且如本文中所使用的，通常是指水平FOV小于360度、180度、90度或60度的激光传感器。由于通常用于实现期望的角度覆盖的多个传感器，传感器之间的适当校准用于准确地对准由不同传感器生成的点云数据，从而提供对周围环境的有意义且可靠的地图构建。传感器之间的不正确校准可能使点云的对准失真，在环境地图构建过程中引起误差，并因此导致对移动平台的导航、移动和/或其他功能的不期望的改变。此外，当积极部署移动平台时，外部振动或其他干扰可能引起原始固定传感器的位置或取向改变，从而引起校准误差。因此，实时准确地检测这种变化可以进一步有助于移动平台的可靠性和安全性。
本文公开的技术总体上涉及校准和/或检测由移动平台承载的激光传感器中的误差。如下面将进一步详细讨论的，本公开的技术的一些实施例包括至少考虑以下各项的多激光器校准方法：1)激光传感器的FOV的极限；2)对通过多激光***实现的全向覆盖、球面覆盖和/或其他可定制覆盖的期望或要求。在一些实施例中，本公开的技术在***内使用各个激光器单元来减少校准次数，每个激光器单元包括多个固定的激光传感器。在一些实施例中，本公开的技术利用用于检测由至少两个激光传感器或单元生成的点云之间的公共重叠区域、以及在重叠区域内对点云进行表面匹配或比较的方法，来产生用于激光传感器或单元的高精度校准规则的规则。
为了清楚起见，在以下描述中没有阐述如下结构或过程的若干细节：这些结构或过程是公知的且普遍与移动平台(例如，UAV或其他类型的可移动物体)以及相应的***和子***相关联，但可能不必要地使本公开的技术的一些重要方面变得模糊。此外，尽管以下公开内容阐述了本公开的技术的不同方面的若干实施例，但是一些其它实施例可以具有与本文中所描述的不同的配置或不同的部件。相应地，本公开的技术可以具有其他实施例，这些实施例具有附加元件和/或不具有以下参考图1-16描述的若干元件。
提供了图1-图16以示出本公开的技术的代表性实施例。除非另有规定，否则附图不意在限制本申请中权利要求的范围。
以下描述的本技术的许多实施例可以采取计算机或控制器可执行指令的形式，包括由可编程计算机或控制器执行的例程。可编程计算机或控制器可以或可以不驻留在相应的移动平台上。例如，可编程计算机或控制器可以是移动平台的机载计算机，或者是与移动平台相关联的单独但专用的计算机，或者是基于网络或基于云的计算服务的一部分。相关领域技术人员将会理解，除了下文所示和所述的那些之外，还可以在计算机或控制器***上实施该技术。该技术可以体现在被专门编程、配置或构造为执行下文所述的一个或多个计算机可执行指令的专用计算机或数据处理器中。因此，本文通常使用的术语“计算机”和“控制器”是指任何数据处理器，并且可以包括互联网设备和手持设备(包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器***、基于处理器的或可编程的消费电子产品、网络计算机、迷你计算机等)。由这些计算机和控制器处理的信息可以呈现在包括LCD(液晶显示器)的任何适当的显示介质上。用于执行计算机或控制器可执行任务的指令可以存储在任何适当的计算机可读介质中或其上，包括硬件、固件或硬件和固件的组合。指令可以被包含在任何合适的存储设备中，包括例如闪存驱动器、通用串行总线(USB)设备和/或其他合适的介质。
2、代表性实施例
图1A示出了根据本公开的技术的一些实施例的可以使用的激光传感器的扫描图案102a。如图1A所示，激光传感器的FOV是有限的(例如，在水平方向和垂直方向上都不大于60度)。图1B示出了由激光传感器(例如，图1A中所示的激光传感器)生成的三维点云。与传统的全向激光传感器相比，具有有限FOV的激光传感器无法提供均匀分布的360度三维点云，但可以在其FOV的某些部分中提供更密集或更稀疏的扫描点(例如，如图1B所示，在传感器FOV的前向区域中点密度更高)。
图2示出了根据本公开的技术的一些实施例的由移动平台202承载的多个激光传感器202的布局，以实现广角(例如，全向)水平FOV覆盖。激光传感器204可以不同地分布和/或取向，以实现广角FOV覆盖、部分或完整的球面覆盖以及其他可定制的FOV覆盖。在图2的说明性布局中，取决于每个激光传感器204的FOV，两个相邻传感器204的FOV之间的重叠区域206可能是有限的，这可以为高分辨率校准提供不充足或不充分的几何信息。另外，取决于实现广角覆盖所需的激光传感器204的数量，传感器之间的校准次数可能很多。例如，即使仅执行相邻传感器204之间的成对校准，也需要针对图2中所示的布局确定至少十二组校准规则。
本公开的技术可以：1)在传感器之间实现尺寸足够大的重叠区域(例如，超过重叠FOV的阈值)；2)相对于移动平台策略性地分布和取向多个传感器，以实现广角(例如，全向)覆盖、球面覆盖和/或其他可定制的覆盖；和/或3)减少所使用的激光传感器的数量。在这方面，图3示出了根据本公开的技术的一些实施例的包括可以使用的多个激光传感器302、304和306的激光器单元300。
参考图3，激光器单元300可以包括机械结构308(例如，金属框架)，具有有限FOV的两个或更多个激光传感器相对于彼此以某个位置和取向刚性地或固定地连接到该机械结构308(例如，焊接到金属框架)。在一些实施例中，机械结构308可以对应于移动平台的一部分。在如图3所示的实施例中，以将每个传感器的60度水平FOV覆盖范围扩展到激光器单元300的约160度水平FOV的方式对三个激光传感器302、304和306进行定位和取向。说明性地，相邻激光器单元之间的角度可以设置为50度，以允许适当的FOV重叠。
用于在激光器单元300内的激光传感器之间或之中进行校准的校准规则可以是已知的和固定的。例如，可以使用与本文所公开的相同的校准技术，或者基于相关领域的技术人员已知的校准方法，相对于彼此手动地预校准一个激光器单元300内的激光传感器。如上所述，多个激光传感器的相对位置和取向不太可能在激光器单元300内改变。因此，基于预校准，激光器单元300可以一致地生成或以其他方式输出覆盖比每个组成激光传感器更宽的FOV的点云数据。
图4示出了根据本公开的技术的一些实施例的由移动平台402承载的多个激光器单元404的布局，以实现广角(例如，全向)水平FOV覆盖。每个激光器单元404可以具有与图3中所示的激光器单元300类似的配置。激光器单元404(可能结合上面参照图2描述的激光传感器204)可以不同地分布和/或取向，以实现广角FOV覆盖、部分或完整的球面覆盖以及其他可定制的FOV覆盖。参考图4，根据以移动平台402为中心的坐标系，四个激光器单元404在四个相应的方向上例如以45度、135度、225度和315度分布和取向。如前所述，各个激光器单元404内的激光传感器相对于彼此固定。因此，与图2的配置相比，(例如，激光器单元404之间)校准的次数减少。例如，如果仅执行相邻激光器单元404之间的成对校准，则仅需要确定四组校准规则。同时，相邻激光器单元404的FOV之间的重叠区域可以足够大以提供充足的几何信息来增强激光器单元404之间的校准精度。
图5示出了根据本公开的技术的一些实施例的具有第一激光器单元(或激光传感器)508和第二激光器单元510的移动平台512，该第一激光器单元508和第二激光器单元510具有重叠的相应FOV 504和506。如图5所示，两个激光器单元508和510以前视方式布置，并且它们之间的相对距离受到限制以提供尺寸足够大的重叠区域502。在其他实施例中，激光器单元或传感器可以以不同的方式布置，以提供尺寸足够大的重叠区域。参考图5，说明性地，一组指示符“x”表示由第一激光器单元508生成的点云514，并且一组指示符“o”表示由第二激光器单元510生成的点云516。
继续参考图5，移动平台512可以与坐标系Fr相关联，第一激光器单元508可以与坐标系
Figure BDA0002250518260000111
相关联，并且第二激光器单元510可以与坐标系
Figure BDA0002250518260000112
相关联。用于在移动平台坐标系Fr与激光器单元坐标系
Figure BDA0002250518260000113
和
Figure BDA0002250518260000114
之间变换坐标的初始变换矩阵可以分别表示为
Figure BDA0002250518260000115
和
Figure BDA0002250518260000116
在一些实施例中，可以例如根据相应激光器单元相对于移动平台的位置和取向在部署移动平台之前确定初始变换矩阵。可以使用相关领域的技术人员已知的适当的手动或半自动校准方法来确定初始变换矩阵。在一些实施例中，变换矩阵都是大小4×4的齐次矩阵。在一些实施例中，也可以例如基于
Figure BDA0002250518260000117
和
Figure BDA0002250518260000118
的值在部署移动平台之前确定用于直接在第一激光器单元508和第二激光器单元510的坐标系之间进行变换的初始变换矩阵
Figure BDA0002250518260000119
图6示出了根据本公开的技术的一些实施例的用于两个激光器单元(或激光传感器)的校准过程。图6的校准过程可以由控制器(例如，移动平台的机载计算机、相关联的计算设备和/或相关联的计算服务)来实现。在步骤605中，该过程包括基于初始变换规则将由两个激光器单元获得的点云信息变换为参考系中的点云。例如，激光点云514和516分别根据它们的对应坐标系
Figure BDA0002250518260000121
和
Figure BDA0002250518260000122
由两个激光器单元508和510捕获。激光点云514和516可以分别基于初始变换矩阵
Figure BDA0002250518260000123
和
Figure BDA0002250518260000124
被投影到移动平台512的坐标系Fr中，以形成对应的第一变换后点云
Figure BDA0002250518260000125
和第二变换后点云
Figure BDA0002250518260000126
在步骤610中，该过程包括在参考系中确定变换后点云之间的重叠区域。说明性地，假设初始变换矩阵
Figure BDA0002250518260000127
和
Figure BDA0002250518260000128
被正确地确定(例如，接近其真值)，则变换后点云
Figure BDA0002250518260000129
和
Figure BDA00022505182600001210
在重叠区域内的表面形状应该彼此之间没有显著偏差。说明性地，控制器根据被投影到移动平台512的坐标系的两个点云
Figure BDA00022505182600001211
和
Figure BDA00022505182600001212
分别建立K维(KD)树结构
Figure BDA00022505182600001213
和
Figure BDA00022505182600001214
通过使用这种类型的树结构，对于第一点云
Figure BDA00022505182600001215
的任何点，可以快速地检索第二点云
Figure BDA00022505182600001216
中的最近相邻点，反之亦然。如果第一点云(例如，
Figure BDA00022505182600001217
)中的查询点与第二点云(例如，
Figure BDA00022505182600001218
)中的最近相邻点之间的距离小于指定阈值，则该过程可以包括将查询点标记或分类为位于重叠区域中。该过程可以识别点云
Figure BDA00022505182600001219
和
Figure BDA00022505182600001220
之一或两者中满足阈值要求的所有查询点，从而确定重叠区域。
在步骤615中，该过程包括评估变换后点云在重叠区域中的表面之间的匹配。说明性地，对于特定变换后点云(例如，
Figure BDA00022505182600001221
)在重叠区域中的每个点，也可以通过使用在步骤610中建立的对应KD树结构(例如，
Figure BDA00022505182600001222
)快速地检索特定点云中其最近的相邻点。因此，对于特定的变换后点云的每个点，可以选择指定数量的(最近)相邻点以形成平面，从该平面可以容易地确定与该点相对应的法向向量。
在一些实施例中，为了匹配重叠区域中由点云表示或指示的表面，控制器可以实施点到平面迭代最近点(点到平面ICP)方法。说明性地，在找到重叠区域并且确定至少一个点云在重叠区域内的法向向量之后，控制器可以使用点到平面ICP方法来最小化以下目标函数：
Figure BDA0002250518260000131
其中，pi表示第一点云
Figure BDA0002250518260000132
在重叠区域内的点，qi表示第二点云
Figure BDA0002250518260000133
在重叠区域内的最近点，R表示旋转矩阵，t表示平移向量，ni表示相对于pi的法向向量。当在重叠区域中有足够数量的点(例如，超过阈值数量)可用时，可以基于例如最小二乘法来实现最小化。
在步骤620中，该过程包括生成用于在两个激光器单元或传感器之间进行校准的校准规则。说明性地，当目标函数被最小化时，实现最优变换解(例如，旋转矩阵R和平移向量t的最优值)。在一些实施例中，激光器单元或传感器之间的平移变化不太可能发生，这是因为不同的激光器单元或传感器(例如，通过支架)固定连接。然而，激光器单元或传感器更可能会旋转，例如在它们通过螺钉连接到支架的情况下。在这些实施例中，平移向量t可以固定为常数(例如，基于先前对目标函数的最小化而确定的值)，使得控制器可以更加高效地估计旋转矩阵R。在一些实施例中，在生成校准规则之后，控制器基于此校准两个激光器单元或传感器。说明性地，控制器可以使用旋转矩阵R和平移向量t来对准从两个激光器单元或传感器生成的点云，直到它们在下一轮校准中被更新为止。
在步骤625中，该过程包括将新生成的校准规则与先前生成的校准规则进行比较。说明性地，机载计算机可以将新确定的旋转矩阵R和/或平移向量t的最优值与在最初一轮校准、最近一轮校准、平均或加权平均的近期若干轮校准等中确定的最优值进行比较。在步骤630中，该过程包括确定从步骤625中的比较得出的差异是否超过阈值。如果未超过，则该过程进行到步骤605以进行新一轮校准。如果差异超过阈值，则过程进行到步骤635。
在步骤635中，该过程包括采取一个或多个进一步的动作。超过阈值的差异可以指示两个激光器单元或传感器不能彼此可靠地校准。例如，激光器单元或传感器中的至少一个的物理位置或取向可能已经基本上偏离预设配置。在这种情况下，控制器可以向移动平台的操作员发出警告。备选地，控制器可以以安全的方式暂停移动平台的导航或其他功能。
图7A示出了根据本公开的技术的一些实施例的移动平台702从第一时间点t1到第二时间点t2的移动。说明性地，用于在时间t1时移动平台的坐标系F1 r与时间t2时移动平台的坐标系
Figure BDA0002250518260000141
之间进行变换的变换矩阵
Figure BDA0002250518260000144
是已知的，或者可以例如基于由移动平台702承载的全球定位***和/或惯性测量单元采集的测量结果来确定。基于移动平台在两个不同时间点的两个位置之间的已知变换关系(例如，变换矩阵
Figure BDA0002250518260000145
)，代表性***可以检测对单个激光器单元(或激光传感器)704的坐标系之间的变换的干扰和/或对其进行校准，并且可以实现该移动平台主体。
图7B示出了根据本公开的技术的一些实施例的用于检测对激光器单元(例如，如图7A所示的，由移动平台702承载的激光器单元704)的干扰的过程。该过程可以由控制器(例如，移动平台的机载计算机、相关联的计算设备和/或相关联的计算服务)来实现。激光器单元704在时间t1和t2时的FOV可以具有足够大的重叠区域，以便于类似于上面参考图6描述的校准过程的干扰检测过程。类似于生成用于两个不同激光器单元之间的校准的校准规则，可以修改图6的过程以生成用于对两个时间点时(或处于两个位置/取向)的单个激光器单元进行校准的校准规则，并且基于其来检测对激光器单元的干扰。
干扰检测过程的步骤705包括将激光器单元在两个时间点获得的点云信息变换为参考系中的相应点云。说明性地，给定(1)两个时间t1和t2之间移动平台702的变换矩阵
Figure BDA0002250518260000143
(2)在时间t1时移动平台坐标系F1 r与激光器单元坐标系F1 l之间的变换矩阵
Figure BDA0002250518260000142
的初始值、以及(3)在时刻t2时移动平台坐标系
Figure BDA0002250518260000151
与激光器单元坐标系
Figure BDA0002250518260000152
之间的变换矩阵
Figure BDA0002250518260000153
的初始值，控制器可以将激光器单元704在时间t1和t2采集的点云投影到时间t1时移动平台的坐标系F1 r。如前所述，移动平台与激光器单元之间的变换矩阵的初始值可以是已知的，或者可以根据激光器单元相对于移动平台的位置和取向来预先确定。例如在部署移动平台之前，可以使用相关领域的技术人员已知的适当的手动或半自动校准方法来确定初始变换矩阵。因此，在一些实施例中，
Figure BDA0002250518260000154
和
Figure BDA0002250518260000155
的初始值可以相同。
干扰检测过程的步骤710包括确定变换后点云之间的重叠区域。说明性地，投影的点云可以表示为
Figure BDA00022505182600001512
(对于时间t1)和
Figure BDA00022505182600001513
(对于时间t2)，其中，理论上
Figure BDA00022505182600001511
类似于图6的校准过程，控制器可以分别针对两个投影的点云建立KD树结构并确定它们在重叠区域中的点的相应子集：
Figure BDA0002250518260000156
和
Figure BDA0002250518260000157
干扰检测过程的步骤715包括对重叠区域中由变换后点云指示或表示的表面之间的匹配进行评估。说明性地，类似于图6的校准过程，控制器可以比较两个投影的点云在重叠区域内的表面。在控制器针对
Figure BDA0002250518260000158
内的每个点估计法向向量n1，i之后，控制器可以评估以下目标函数：
Figure BDA0002250518260000159
其中，
Figure BDA00022505182600001510
干扰检测过程的步骤720包括检测是否存在对激光器单元的干扰。说明性地，控制器可以例如基于最小二乘法来最小化目标函数H。如果函数H的最小值超过阈值，或者如果旋转矩阵R和/或平移向量t超过或偏离某个阈值(例如，相对于
Figure BDA00022505182600001514
)，则在该过程的步骤725中，控制器可以确定激光器单元704在时间t1和t2之间被干扰(例如，由于螺钉松动或受外部物体撞击)。在这种情况下，该过程进行到步骤730，在该步骤730中可以采取一个或多个进一步的动作。例如，控制器可以向移动平台702的操作员发出警告和/或采取其他动作。如果在步骤725中未检测到干扰，则过程进行到步骤705。类似于图6的校准过程，使用单个激光器单元和移动平台主体的坐标系的此干扰检测过程可以在部署移动平台时重复地和周期性地执行。
在使用某些激光器单元或传感器时，单个帧中激光器扫描点的数量和/或分布可能无法提供足够密集的点云以便于校准、地图构建、物体检测和/或定位。在使用低成本的小角度LiDAR传感器时，这个问题可能特别明显。例如，对于典型的低成本小角度LiDAR，单帧中激光点的数量可能少于4000个甚至少于2000个，而较昂贵的全向LiDAR可以在单帧中产生288000个激光器扫描点。
图8示出了由激光传感器(例如，实现图1的扫描图案102a的小角度激光传感器)产生的一帧800激光器扫描点。如图所示，一组稀疏的激光器扫描点810以非均匀的方式分布在三维坐标系820中。在一些实施例中，点810稀疏且非均匀的分布可能无法提供足够多的重叠区域中的数据以用于可靠地执行本文公开的校准过程。
图9示出了由在某个时间段内移动的移动平台承载的激光器单元(或激光传感器)生成的扫描点数据帧序列。如图9所示，由移动平台910承载的激光器单元(或激光传感器)915在从ti到ti+k的时间段期间生成多帧920扫描点数据。例如，帧920a是用位于第一位置/取向的移动平台910(和激光器单元或传感器)在时间ti+1生成的，帧920b是用位于第二位置/取向的移动平台910(和激光器单元或传感器)在随后的时间ti+1生成的，并且帧920c是用位于第三位置/取向的移动平台910(和激光器单元或传感器)在随后的时刻ti+2生成的。本公开的技术的一些部分可以基于具有时间顺序的点数据集合(例如，帧序列920)生成组合点云。
图10示出了根据本公开的技术的一些实施例生成的组合点云1000。如图10所示，组合多组激光器扫描点(例如，类似于图8中的框架800的激光器扫描点)的一组密集的激光器扫描点1010以相对均匀的方式分布在三维坐标系1020中，以提供全面的三维环境信息。在一些实施例中，本文公开的校准过程使用这种组合点云而不是单帧点数据。
为了以降低噪声和误差的方式组合多帧点数据，本公开的技术包括通过使用由移动平台承载的多种类型的传感器来估计连续帧之间的相对变换矩阵。
图11示出了根据本公开的技术的一些实施例的除了激光器单元(或传感器)之外承载多个传感器的移动平台1120。如图所示，除了激光器单元1108之外，移动平台还可以承载立体相机1104、惯性测量单元1106、轮编码器1110和/或全球定位***(GPS)1102。相关领域的技术人员将理解，本公开的技术可以使用更少、更多或替代传感器。例如，代替使用立体相机804，可以使用多个相机的组、阵列或***。
图12示出了可以由图11的多个传感器提供的信息。立体相机1104可以提供环境特征1202(例如，在周围环境的三维空间中的一个或多个不同点)的三维坐标，其可以建立连续帧(例如，对应于来自两个不同位置1220a和1220b的观测结果)之间的约束关系。说明性地，立体相机1104的采样频率或数据采集速率在20Hz和40Hz之间。惯性测量单元1106可以提供高频加速度信息和角速度信息。说明性地，惯性测量单元的采样频率或数据采集速率为200Hz或更高。通过积分，可以计算移动平台1120两个连续帧之间的变换矩阵。轮编码器1110可以提供动力轮(例如，后轮)的转速和前轮的转向信息，并且可以根据已知的轮尺寸提供对前进速度和连续帧之间的偏转角度的约束。说明性地，轮编码器的采样频率或数据采集速率为约20Hz。根据室外信号条件，GPS 1102可以在全球***中提供移动平台1120的位置及其姿态信息。说明性地，GPS的采样频率或数据采集速率低于5Hz。说明性地，激光器单元1108(例如，包括一个或多个LiDAR传感器)具有10Hz的采样频率或数据采集速率。
下表总结了图11和图12中所示的代表性传感器的典型数据采集频率信息：
Figure BDA0002250518260000171
Figure BDA0002250518260000181
图13示出了根据本公开的技术的一些实施例的图11的多个传感器和激光器单元的数据收集频率差异。
图14示出了根据本公开的技术的一些实施例的用于组合由激光器单元生成的具有时间顺序的点信息以形成点云的过程。该过程可以由控制器(例如，移动平台的机载计算机、相关联的计算设备和/或相关联的计算服务)来实现。作为本公开的技术的一部分，生成组合点云可以包括估计某个时间段内与激光器单元相关联的相对状态，而不是估计相对于全局坐标系的所有后续状态。说明性地，本公开的技术的实施例估计激光器单元相对于其在所述时间段内生成的两个或更多个不同帧的相对位置信息，从而能够准确地从该时间段的不同帧中累积激光点数据。该方法可以便于或增强后续校准、物体检测、地图构建和/或定位操作。
该过程的步骤1405包括从多个观测传感器(例如，如图8所示的多个传感器)获得与某个时间段相对应的观测数据。在一些实施例中，根据本公开的技术的方法包括可以对来自不同传感器的数据是同步的进行近似。例如，在代表性情况下，目标激光器单元的数据采集频率为10Hz，立体相机的频率为40Hz，轮编码器的频率为20Hz，惯性测量单元的频率为200Hz，GPS的频率为5Hz。作为近似，可以认为来自不同传感器的观测数据根据不同的倍频被准确地对准。因此，以1秒时间窗为例，控制器可以获得200个加速度计和陀螺仪读数(来自惯性测量单元)、40帧立体相机观测结果、20组速度和偏转角度观测结果(来自轮编码器)以及5条GPS定位信息。基于这些，本公开的技术的实施例可以估计10个激光器单元数据采集事件之间的相对位置或其相对于特定局部坐标系(例如，与10个数据采集事件中的第一数据采集事件相对应的局部坐标系)的位置。
在一些实施例中，本公开的技术包括激光器单元的位置与立体相机的位置一致的进一步近似，从而进一步简化要解决的问题。如参考图12所讨论的，来自不同传感器的观测数据可以在数学上如下描述：
1)根据来自立体相机的观测数据，说明性地，可以从相机分别在位置1220a和1220b处产生的帧中提取一个或多个环境特征(例如，特征1202)的三维坐标和/或描述符。这些坐标和/或描述符可以相对于特征1202进行匹配。在用于优化的目标函数中，这种观测可以通过与将特征重新投影到相机坐标系上不同位置处有关的误差项来体现。例如，基于环境特征和两个连续立体相机观测帧的成本项包括3个部分：(a)左相机和右相机在与位置1220a相对应的帧处的重新投影误差；(b)左相机和右相机在与位置1220b相对应的帧处的重新投影误差；(c)左(或右)相机在两个位置1220a和1220b之间的重新投影误差。
2)根据来自具有已知时间戳和初始值的惯性测量单元的观测数据，旋转矩阵、平移向量和两个连续相机帧之间的速度的约束关系可以例如通过使用相关领域技术人员已知的适当的积分技术来计算。这种类型的观测可以通过目标函数中的积分后状态和实际状态之间的误差项来体现。说明性地，在每个帧(例如，与位置1220a和1220b相对应的相机帧)处要估计的变量包括相机的取向(例如，特殊正交群中的元素)以及位置和速度(例如，R3空间群中的元素)。使用从惯性测量单元捕获的观测结果的积分提供了上述变量之间的约束。在一些实施例中，在迭代地优化状态的同时，采用适当的预积分技术来提高计算效率。
3)可以基于来自轮编码器的观测数据推导出包括移动平台的速度和偏转角的运动模型。类似地，通过积分，可以获得连续相机帧之间的状态约束，并且这种类型的观测的表示可以类似于惯性测量单元的表示。在一些实施例中，与惯性测量单元的情况相反，基于车轮里程表观测结果仅对状态的子空间(例如，移动平台的位置和偏航角)构成约束。由于轮编码器的可能的噪声，在一些实施例中可以将该误差项的协方差设置得相对较大。
4)来自GPS的观测数据可以直接提供对移动平台在特定时间的状态的约束。在目标函数中，这种类型的观测结果可以表示为由GPS提供的估计状态与实际状态值之间的误差。由于在一些实施例中GPS的数据采集频率低，因此仅当GPS观测结果的噪声水平低于某个阈值和/或保证其准确度在某个范围内时才可以使用GPS观测结果。
在激光器单元的位置被近似为与立体相机的位置一致的实施例中，控制器(例如，移动平台的机载计算机、相关联的计算设备和/或相关联的计算服务)获得可以针对从时间1到时间k的时间段由传感器提供的观测数据。观测数据可以表示如下：
Zk＝{C1:k,I1:k-1,W1:p,G1:q}
其中
1)第一元素C1:K表示由立体相机获得的观测信息，并且可以定义如下：
Ci＝{zi，1，zi，2，...，zi，l}
其中，zi，j表示由立体相机获得的第i帧中的第j个特征的观测结果；
2)第二元素
Figure BDA0002250518260000201
表示惯性测量单元直到第k个时间点为止所获取的数据集合，其中，
Figure BDA0002250518260000202
表示在由相机产生的第i帧与由相机产生的第i+1帧之间惯性测量单元的所有观测结果的集合(例如，在两个连续的相机观测结果之间来自惯性测量单元的总共20个读数)；
3)第三元素
Figure BDA0002250518260000203
表示轮编码器的观测结果，该观测结果可以表示如下：
Figure BDA0002250518260000204
其中，
Figure BDA0002250518260000205
表示由轮编码器在第i个时间点和第j个时间点获得的速度信息，并且
Figure BDA0002250518260000206
表示旋转变换(例如，四元数表达式)，其可以在第i时间点与第j时间点之间通过偏转角计算导出或以其他方式获得；并且
4)最后一个元素
Figure BDA0002250518260000211
表示GPS获得的观测结果：
Figure BDA0002250518260000212
其中，
Figure BDA0002250518260000213
表示第i时间点的全局位置，
Figure BDA0002250518260000214
表示相对于全局坐标系的旋转。
该过程的步骤1410包括基于观测数据评估在该时间段内的不同时间点与激光器单元相关联的状态。例如，使用因子图，控制器可以建立与激光器单元的状态χk＝{xk}k＝1，...，n相关联的先验概率与后验概率之间的关系(与立体相机一致)：
Figure BDA0002250518260000215
其中，k＝[1，2，...，k]表示相机的观测指标，m表示GPS的观测指标的集合，并且激光器单元的状态可以表示为：
xk＝[pk，vk，qk]
其中，pk，vk，和qk分别表示在第k时间点激光器单元相对于特定坐标系的位置、速度和四元数(旋转)。在上面的公式中，每个pO被称为因子图的一个因子。
在一些实施例中，使用基于零均值高斯白噪声假设的数学推导，控制器可以通过求解以下公式的最小值来计算基于上述因子图的公式的最大后验：
Figure BDA0002250518260000216
其中，r*表示不同的残差类型，∑·表示与不同类型残差相对应的协方差矩阵，并用于描述观测结果的不确定性。在这方面，相关领域的技术人员可以确定不同传感器的残差模型并确定优化迭代之间的雅可比矩阵。控制器可以基于最小化(例如，基于以梯度为基础的优化方法)来计算激光器单元状态的最优值。
该过程的步骤1415包括确定用于在多个参考系(例如，在不同时间点的多个参考系)和目标参考系之间进行变换的变换规则。说明性地，根据以下近似：(1)立体相机和激光器单元的位置彼此一致；以及(2)激光器单元采集的数据和相机采集的数据的时间戳完全相同，控制器可以使用所确定的对应状态计算激光器单元在相对于目标时间点的不同时间点(即，当所针对的时间段开始时、在所针对的时间段的中间、或当所针对的时间段结束时)的相对变换矩阵。
在一些实施例中，未使用以下近似：(1)立体相机和激光器单元的位置相互一致；(2)激光器单元获取的数据和相机获取的数据的时间戳完全相同。在这些实施例中，本公开的技术可以考虑两个因子：(1)相对变化(例如，立体相机和激光器单元之间的变换矩阵
Figure BDA0002250518260000221
)；以及(2)不同传感器之间的时间戳差异。关于第一因子(1)，因为激光器单元和立体相机在所针对的时间段期间不可能相对于彼此移动，所以控制器可以通过简单地计算相机在时间q和时间p的相对位置来计算在所针对的时间段期间激光器单元在任何第q时间点相对于任何第p时间点的相对位置。对于不同传感器之间的时间戳不能完美同步的第二因子(2)，控制器可以使用插值(例如，基于多项式拟合)来计算在任何指定时间戳的时间在坐标系(例如，移动平台的坐标系)中的相对位置信息。
该过程的步骤1420包括基于变换规则对由激光器单元在不同时间点获得的数据进行变换。说明性地，使用在步骤1415中确定的相对变换矩阵，控制器可以将在所针对的时间段中的不同时间点(例如，不同帧)获取的数据(例如，激光器扫描点)重新投影到目标时间点。在一些实施例中，由于过大的噪声、数据误差或其他因素，控制器可以从重新投影过程中排除某些时间点。该过程的步骤1425包括使用变换后数据生成组合点云。说明性地，控制器可以将来自多个(选定的)帧的重新投影数据添加到初始与目标时间点相关联的点数据帧，从而累积具有时间顺序的数据帧以形成组合点云，犹如数据全都是由激光器单元在目标时间点获取的。
图15示出了根据本公开的技术的各种实施例配置的移动平台的示例。如图所示，本文公开的代表性移动平台可以包括以下中的至少一项：无人机(UAV)1502、有人驾驶飞行器1504、自主汽车1506、自平衡载运工具1508、地面机器人1510、智能可穿戴设备1512、虚拟现实(VR)头戴式显示器1514或增强现实(AR)头戴式显示器1516。
图16是示出了可用于实现本公开的技术的各个部分的计算机***或其他控制设备1500的架构的示例的框图。在图16中，计算机***1600包括经由互连1625连接的一个或多个处理器1605和存储器1610。互连1625可以表示通过适当的桥接器、适配器或控制器连接的任何一个或多个单独的物理总线、点对点连接或两者。因此，互连1625可以包括例如***总线、***组件互连(PCI)总线、超传输(HyperTransport)或工业标准体系结构(ISA)总线、小型计算机***接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线、或电气电子工程师协会(IEEE)标准674总线(有时称为“火线”)。
处理器1605可以包括中央处理单元(CPU)，以控制例如主计算机的整体操作。在某些实施例中，处理器1605通过执行存储在存储器1610中的软件或固件来实现这一点。处理器1605可以是或可以包括一个或多个可编程通用或专用微处理器、数字信号处理器(DSP)、可编程控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)等，或这些设备的组合。
存储器1610是或包括计算机***的主存储器。存储器1610表示任何形式的随机存取存储器(RAM)、只读存储器(ROM)、闪存等，或这些设备的组合。在使用中，存储器1610可以包含机器指令集等，当由处理器1605执行机器指令集时，使处理器1605执行操作以实现本发明的实施例。
通过互连1625还连接到处理器1605的是(可选的)网络适配器1615。网络适配器1615向计算机***1600提供与诸如存储客户端和/或其他存储服务器之类的远程设备通信的能力，并且可以是例如以太网适配器或光纤通道适配器。
本文介绍的技术可以通过例如用软件和/或固件编程的可编程电路(例如，一个或多个微处理器)来实现，或者完全在专用硬连线电路中实现，或者以这些形式的组合来实现。专用硬连线电路可以是例如一个或多个专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)等形式。
用于实现这里介绍的技术的软件或固件可以存储在机器可读存储介质上，并且可以由一个或多个通用或专用可编程微处理器来执行。本文使用的术语“机器可读存储介质”包括可以存储机器(机器可以是例如计算机、网络设备、蜂窝电话、个人数字助理(PDA)、制造工具、具有一个或多个处理器的任何设备等)可访问的形式的信息的任何机制。例如，机器可访问的存储介质包括可记录/不可记录的介质等(例如，只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光存储介质；闪存设备；等等)。
本文使用的术语“逻辑”可以包括例如用特定软件和/或固件编程的可编程电路、专用硬连线电路或其组合。
除了上述内容之外或代替上述内容，本公开的一些实施例具有其他方面、元件、特征和步骤。在本说明书的其余部分中描述了这些潜在的附加和替换内容。在本说明书中对“各个实施例”、“某些实施例”、“一些实施例”的引用表示结合实施例描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。这些实施例，甚至备选实施例(例如，称为“其他实施例”)不与其他实施例互斥。此外，描述了可以由一些实施例而不是由其他实施例展现的各种特征。类似地，描述了各种要求，这些要求可以是一些实施例的要求但不是其他实施例的要求。
如上所述，本公开的技术可以利用低成本激光传感器来实现广角FOV覆盖、提供激光传感器之间的高精度校准、检测对激光传感器的干扰、并基于在不同时间获得的点数据生成组合点云。尽管已经在这些实施例的上下文中描述了与本技术的某些实施例相关联的优点，但是其他实施例也可以显现出这样的优点，并且并非所有实施例都需要显现出这样的优点以落入本技术的范围之内。因此，本公开和相关技术可以涵盖本文中未明确示出或描述的其他实施例。
就本文并入的任何材料与本公开相冲突的方面而言，以本公开为准。

Claims (88)

1.一种用于校准均被附于公共自主汽车的第一激光器单元和第二激光器单元的计算机实现的方法，包括：
至少部分地基于第一变换矩阵将从所述第一激光器单元获得的点云信息变换为与所述自主汽车相关联的坐标系中的第一点云，所述第一变换矩阵至少部分地由所述第一激光器单元相对于所述自主汽车的位置和取向来定义；
至少部分地基于第二变换矩阵将从所述第二激光器单元获得的点云信息变换为与所述自主汽车相关联的坐标系中的第二点云，所述第二变换矩阵至少部分地由所述第二激光器单元相对于所述自主汽车的位置和取向来定义；
至少部分地基于所述第一点云和所述第二点云之间的成对点来确定所述第一点云和所述第二点云之间的重叠区域，其中，确定重叠区域包括：针对所述第一点云中的至少一个点在所述第二点云中确定至少最近的相邻点；
导出至少部分地表征所述第一点云在所述重叠区域中的表面的多个第一特征；
导出至少部分地表征所述第二点云在所述重叠区域中的表面的多个第二特征；
至少部分地基于评估至少包括所述第一特征和所述第二特征的函数，生成用于在所述第一激光器单元和所述第二激光器单元之间进行校准的至少一个校准规则；以及
基于所述至少一个校准规则在所述第一激光器单元和所述第二激光器单元之间进行校准。
2.一种用于校准均由公共移动平台承载的至少第一发射器/检测器单元和第二发射器/检测器单元的计算机实现的方法，包括：
将从所述第一发射器/检测器单元获得的点云信息变换为与所述移动平台相关联的参考系中的第一点云；
将从所述第二发射器/检测器单元获得的点云信息变换为与所述移动平台相关联的参考系中的第二点云；
确定所述第一点云和所述第二点云之间的重叠区域，其中，确定重叠区域包括：针对所述第一点云中的至少一个点在所述第二点云中确定至少最近的相邻点；
比较所述第一点云和所述第二点云在所述重叠区域中的表面属性；以及
至少部分地基于比较所述表面属性，生成用于在所述第一发射器/检测器单元和所述第二发射器/检测器单元之间进行校准的至少一个校准规则。
3.根据权利要求2所述的方法，其中，至少部分地基于第一组变换规则对从所述第一发射器/检测器单元获得的点云信息进行变换。
4.根据权利要求3所述的方法，其中，所述第一组变换规则至少部分地根据所述第一发射器/检测器单元相对于所述移动平台的位置和取向来定义。
5.根据权利要求3或4所述的方法，其中，至少部分地基于第二组变换规则来对从所述第二发射器/检测器单元获得的点云信息进行变换，并且其中，所述第二组变换规则不同于所述第一组变换规则。
6.根据权利要求3-4中任一项所述的方法，其中，与所述移动平台相关联的参考系包括坐标系。
7.根据权利要求3-4中任一项所述的方法，其中，所述第一组变换规则包括变换矩阵。
8.根据权利要求2所述的方法，其中，所述第一发射器/检测器单元包括至少一个激光传感器。
9.根据权利要求8所述的方法，其中，所述至少一个激光传感器的视场FOV小于360度、180度、90度或60度中的至少一个。
10.根据权利要求8或9所述的方法，其中，所述第一发射器/检测器单元包括相对于彼此刚性固定的多个激光传感器。
11.根据权利要求2所述的方法，其中，确定重叠区域包括：针对所述第一点云或所述第二点云中的至少一个点云创建树形结构的数据结构。
12.根据权利要求2或11所述的方法，其中，所述树形结构的数据结构包括K维(KD)树数据结构。
13.根据权利要求2所述的方法，其中，比较表面属性包括：将与所述第一点云相关联的表面和与所述第二点云相关联的表面进行匹配。
14.根据权利要求13所述的方法，其中，将与所述第一点云相关联的表面和与所述第二点云相关联的表面进行匹配包括：确定关于所述第一点云的至少一部分的法向向量信息。
15.根据权利要求2、13、14中任一项所述的方法，其中，比较表面属性还包括：评估至少部分地由所述第一点云和所述第二点云在所述重叠区域内的多个点定义的目标函数。
16.根据权利要求15所述的方法，其中，所述目标函数包括旋转分量和平移分量。
17.根据权利要求16所述的方法，其中，比较表面属性还包括：保持所述平移分量固定。
18.根据权利要求16-17中任一项所述的方法，其中，生成至少一个校准规则包括：优化所述目标函数。
19.根据权利要求18所述的方法，其中，优化所述目标函数至少部分地基于最小二乘法。
20.根据权利要求2、13-14、16-17、19中任一项所述的方法，其中，所述至少一个校准规则包括：用于在所述第一发射器/检测器单元和所述第二发射器/检测器单元的坐标系之间进行变换的规则。
21.根据权利要求2、13-14、16-17、19中任一项所述的方法，还包括检测所生成的至少一个校准规则与一个或多个先前生成的校准规则之间的差异。
22.根据权利要求2所述的方法，其中，所述移动平台包括以下中的至少一项：无人机UAV、有人驾驶飞行器、自主汽车、自平衡载运工具、机器人、智能可穿戴设备、虚拟现实VR头戴式显示器或增强现实AR头戴式显示器。
23.根据权利要求2-4、8-9、11、13-14、16-17、19、22中任一项所述的方法，还包括根据所述至少一个校准规则对所述第一发射器/检测器单元和所述第二发射器/检测器单元进行校准。
24.一种存储计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在被执行时使与移动平台相关联的一个或多个处理器执行动作，所述动作包括：
将从第一发射器/检测器单元获得的点云信息变换为与所述移动平台相关联的参考系中的第一点云；
将从第二发射器/检测器单元获得的点云信息变换为与所述移动平台相关联的参考系中的第二点云；
确定所述第一点云和所述第二点云之间的重叠区域，其中，确定重叠区域包括：针对所述第一点云中的至少一个点在所述第二点云中确定至少最近的相邻点；
比较所述第一点云和所述第二点云在所述重叠区域中的表面属性；以及
至少部分地基于比较所述表面属性，生成用于在所述第一发射器/检测器单元和所述第二发射器/检测器单元之间进行校准的至少一个校准规则。
25.根据权利要求24所述的计算机可读介质，其中，至少部分地基于第一组变换规则对从所述第一发射器/检测器单元获得的点云信息进行变换。
26.根据权利要求25所述的计算机可读介质，其中，所述第一组变换规则至少部分地根据所述第一发射器/检测器单元相对于所述移动平台的位置和取向来定义。
27.根据权利要求25-26中任一项所述的计算机可读介质，其中，至少部分地基于第二组变换规则来对从所述第二发射器/检测器单元获得的点云信息进行变换，并且其中，所述第二组变换规则不同于所述第一组变换规则。
28.根据权利要求25-26中任一项所述的计算机可读介质，其中，与所述移动平台相关联的参考系包括坐标系。
29.根据权利要求25-26中任一项所述的计算机可读介质，其中，所述第一组变换规则包括变换矩阵。
30.根据权利要求24所述的计算机可读介质，其中，所述第一发射器/检测器单元包括至少一个激光传感器。
31.根据权利要求30所述的计算机可读介质，其中，所述至少一个激光传感器的视场FOV小于360度、180度、90度或60度中的至少一个。
32.根据权利要求30或31所述的计算机可读介质，其中，所述第一发射器/检测器单元包括相对于彼此刚性固定的多个激光传感器。
33.根据权利要求25所述的计算机可读介质，其中，确定重叠区域包括：针对所述第一点云或所述第二点云中的至少一个点云创建树形结构的数据结构。
34.根据权利要求24或33所述的计算机可读介质，其中，所述树形结构的数据结构包括K维(KD)树数据结构。
35.根据权利要求24所述的计算机可读介质，其中，比较表面属性包括：将与所述第一点云相关联的表面和与所述第二点云相关联的表面进行匹配。
36.根据权利要求35所述的计算机可读介质，其中，将与所述第一点云相关联的表面和与所述第二点云相关联的表面进行匹配包括：确定关于所述第一点云的至少一部分的法向向量信息。
37.根据权利要求24、35、36中任一项所述的计算机可读介质，其中，比较表面属性还包括：评估至少部分地由所述第一点云和所述第二点云在所述重叠区域内的多个点定义的目标函数。
38.根据权利要求37所述的计算机可读介质，其中，所述目标函数包括旋转分量和平移分量。
39.根据权利要求38所述的计算机可读介质，其中，比较表面属性还包括：保持所述平移分量固定。
40.根据权利要求38-39中任一项所述的计算机可读介质，其中，生成至少一个校准规则包括：优化所述目标函数。
41.根据权利要求40所述的计算机可读介质，其中，优化所述目标函数至少部分地基于最小二乘法。
42.根据权利要求24、38-39、41中任一项所述的计算机可读介质，其中，所述至少一个校准规则包括：用于在所述第一发射器/检测器单元和所述第二发射器/检测器单元的坐标系之间进行变换的规则。
43.根据权利要求24、39-39、41中任一项所述的计算机可读介质，其中所述动作还包括检测所生成的至少一个校准规则与一个或多个先前生成的校准规则之间的差异。
44.根据权利要求24所述的计算机可读介质，其中，所述移动平台包括以下中的至少一项：无人机UAV、有人驾驶飞行器、自主汽车、自平衡载运工具、机器人、智能可穿戴设备、虚拟现实VR头戴式显示器或增强现实AR头戴式显示器。
45.根据权利要求24-26、30-31、33、35-36、38-39、41、44中任一项所述的计算机可读介质，其中，所述动作还包括根据所述至少一个校准规则对所述第一发射器/检测器单元和所述第二发射器/检测器单元进行校准。
46.一种载运工具，包括至少部分地控制所述载运工具的一个或多个运动的被编程控制器，其中，所述被编程控制器包括一个或多个处理器，所述一个或多个处理器被配置为：
将从第一发射器/检测器单元获得的点云信息变换为与所述载运工具相关联的参考系中的第一点云；
将从第二发射器/检测器单元获得的点云信息变换为与所述载运工具相关联的参考系中的第二点云；
确定所述第一点云和所述第二点云之间的重叠区域，其中，确定重叠区域包括：针对所述第一点云中的至少一个点在所述第二点云中确定至少最近的相邻点；
比较所述第一点云和所述第二点云在所述重叠区域中的表面属性；以及
至少部分地基于对表面属性的比较，生成用于在所述第一发射器/检测器单元和所述第二发射器/检测器单元之间进行校准的至少一个校准规则。
47.根据权利要求46所述的载运工具，其中，至少部分地基于第一组变换规则对从所述第一发射器/检测器单元获得的点云信息进行变换。
48.根据权利要求47所述的载运工具，其中，所述第一组变换规则至少部分地根据所述第一发射器/检测器单元相对于所述载运工具的位置和取向来定义。
49.根据权利要求46或47所述的载运工具，其中，至少部分地基于第二组变换规则来对从所述第二发射器/检测器单元获得的点云信息进行变换，并且其中，所述第二组变换规则不同于所述第一组变换规则。
50.根据权利要求47-48中任一项所述的载运工具，其中，与所述载运工具相关联的参考系包括坐标系。
51.根据权利要求47-48中任一项所述的载运工具，其中，所述第一组变换规则包括变换矩阵。
52.根据权利要求46所述的载运工具，其中，所述第一发射器/检测器单元包括至少一个激光传感器。
53.根据权利要求52所述的载运工具，其中，所述至少一个激光传感器的视场FOV小于360度、180度、90度或60度中的至少一个。
54.根据权利要求52或53所述的载运工具，其中，所述第一发射器/检测器单元包括相对于彼此刚性固定的多个激光传感器。
55.根据权利要求46所述的载运工具，其中，确定重叠区域包括：针对所述第一点云或所述第二点云中的至少一个点云创建树形结构的数据结构。
56.根据权利要求46或55所述的载运工具，其中，所述树形结构的数据结构包括K维(KD)树数据结构。
57.根据权利要求46所述的载运工具，其中，比较表面属性包括：将与所述第一点云相关联的表面和与所述第二点云相关联的表面进行匹配。
58.根据权利要求57所述的载运工具，其中，将与所述第一点云相关联的表面和与所述第二点云相关联的表面进行匹配包括：确定关于所述第一点云的至少一部分的法向向量信息。
59.根据权利要求46、57、58中任一项所述的载运工具，其中，比较表面属性还包括：评估至少部分地由所述第一点云和所述第二点云在所述重叠区域内的多个点定义的目标函数。
60.根据权利要求59所述的载运工具，其中，所述目标函数包括旋转分量和平移分量。
61.根据权利要求60所述的载运工具，其中，比较表面属性还包括：保持所述平移分量固定。
62.根据权利要求60-61中任一项所述的载运工具，其中，生成至少一个校准规则包括：优化所述目标函数。
63.根据权利要求62所述的载运工具，其中，优化所述目标函数至少部分地基于最小二乘法。
64.根据权利要求46、57-58、60-61、62中任一项所述的载运工具，其中，所述至少一个校准规则包括：用于在所述第一发射器/检测器单元和所述第二发射器/检测器单元的坐标系之间进行变换的规则。
65.根据权利要求46、57-58、60-61、62中任一项所述的载运工具，其中，所述一个或多个处理器还被配置为检测所生成的至少一个校准规则与一个或多个先前生成的校准规则之间的差异。
66.根据权利要求46所述的载运工具，其中，所述载运工具包括以下中的至少一项：无人机UAV、有人驾驶飞行器、自主汽车、自平衡载运工具或机器人。
67.根据权利要求46-48、52-53、55、57-58、60-61、63、66中任一项所述的载运工具，其中，所述一个或多个处理器还被配置为根据所述至少一个校准规则对所述第一发射器/检测器单元和所述第二发射器/检测器单元进行校准。
68.一种用于自动检测对移动平台承载的发射器/检测器单元的干扰的计算机实现的方法，包括：
将第一点云信息变换为与所述移动平台相关联的参考系中的第一点云，所述第一点云信息是在第一时间点从所述发射器/检测器单元获得的；
将第二点云信息变换为与所述移动平台相关联的参考系中的第二点云，所述第二点云信息是在第二时间点从所述发射器/检测器单元获得的；
确定所述第一点云和所述第二点云之间的重叠区域，其中，确定重叠区域包括：针对所述第一点云中的至少一个点在所述第二点云中确定至少最近的相邻点；
比较所述第一点云和所述第二点云在所述重叠区域中的表面属性；以及
至少部分地基于比较所述表面属性来检测对所述发射器/检测器单元的干扰。
69.根据权利要求68所述的方法，其中，至少部分地基于一组变换规则对从所述发射器/检测器单元获得的第一点云信息进行变换。
70.根据权利要求69所述的方法，其中，所述一组变换规则至少部分地根据所述发射器/检测器单元相对于所述移动平台的位置和取向来定义。
71.根据权利要求68-70中任一项所述的方法，其中，与所述移动平台相关联的参考系包括坐标系。
72.根据权利要求68-70中任一项所述的方法，其中，与所述移动平台相关联的参考系对应于所述第一时间点的参考系。
73.根据权利要求68-70中任一项所述的方法，其中，所述一组变换规则包括变换矩阵。
74.根据权利要求68所述的方法，其中，所述发射器/检测器单元包括至少一个激光传感器。
75.根据权利要求74所述的方法，其中，所述至少一个激光传感器的视场FOV小于360度、180度、90度或60度中的至少一个。
76.根据权利要求74或75中任一项所述的方法，其中，所述发射器/检测器单元包括相对于彼此刚性固定的多个激光传感器。
77.根据权利要求68所述的方法，其中，确定重叠区域包括：针对所述第一点云或所述第二点云中的至少一个点云创建树形结构的数据结构。
78.根据权利要求68或77所述的方法，其中，所述树形结构的数据结构包括K维(KD)树数据结构。
79.根据权利要求68所述的方法，其中，比较表面属性包括：将与所述第一点云相关联的表面和与所述第二点云相关联的表面进行匹配。
80.根据权利要求79所述的方法，其中，将与所述第一点云相关联的表面和与所述第二点云相关联的表面进行匹配包括：确定关于所述第一点云的至少一部分的法向向量信息。
81.根据权利要求68、79、80中任一项所述的方法，其中，比较表面属性还包括：评估至少部分地由所述第一点云和所述第二点云在所述重叠区域内的多个点定义的目标函数。
82.根据权利要求81所述的方法，其中，所述目标函数包括旋转分量和平移分量。
83.根据权利要求81所述的方法，其中，检测对所述发射器/检测器单元的干扰包括优化所述目标函数。
84.根据权利要求83所述的方法，其中，优化所述目标函数至少部分地基于最小二乘法。
85.权利要求68、79-80、82-84中任一项的方法，其中，检测对所述发射器/检测器单元的干扰还包括：生成用于在所述第一点云和所述第二点云之间进行变换的至少一个规则。
86.根据权利要求85所述的方法，其中，还基于所生成的至少一个规则与阈值之间的关系来检测对所述发射器/检测器单元的干扰。
87.根据权利要求68所述的方法，其中，所述移动平台包括以下中的至少一项：无人机UAV、有人驾驶飞行器、自主汽车、自平衡载运工具、机器人、智能可穿戴设备、虚拟现实VR头戴式显示器或增强现实AR头戴式显示器。
88.根据权利要求68-70、74-75、77、79-80、82-84、86-87中任一项所述的方法，还包括响应于检测到对所述发射器/检测器单元的干扰而发出警告。
CN201780090131.5A 2017-04-28 2017-04-28 激光传感器的校准方法 Active CN110573830B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/082584 WO2018195986A1 (en) 2017-04-28 2017-04-28 Calibration of laser sensors

Publications (2)

Publication Number Publication Date
CN110573830A CN110573830A (zh) 2019-12-13
CN110573830B true CN110573830B (zh) 2022-03-22

Family

ID=63916534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780090131.5A Active CN110573830B (zh) 2017-04-28 2017-04-28 激光传感器的校准方法

Country Status (4)

Country Link
US (3) US10120068B1 (zh)
EP (1) EP3616159A4 (zh)
CN (1) CN110573830B (zh)
WO (1) WO2018195986A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018195986A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser sensors
US10601678B2 (en) * 2017-08-24 2020-03-24 Nternational Business Machines Corporation Localized sensor quality analysis and control
CN109521403B (zh) * 2017-09-19 2020-11-20 百度在线网络技术（北京）有限公司 多线激光雷达的参数标定方法及装置、设备及可读介质
DE102018110775A1 (de) * 2018-05-04 2019-11-07 Valeo Schalter Und Sensoren Gmbh Verfahren zum Bestimmen einer Ausrichtung eines optoelektronischen Sensors mittels Abtastpunkten eines Sensorbildes sowie optoelektronischer Sensor
JP6821712B2 (ja) * 2018-06-25 2021-01-27 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 自然光景中での統合センサの較正
US11841437B2 (en) * 2018-10-12 2023-12-12 Baidu Usa Llc Automatic lidar calibration based on pre-collected static reflection map for autonomous driving
EP3869461B1 (en) * 2018-10-18 2022-10-05 Fujitsu Limited Calculation method, calculation program, and information processing device
CN109782258B (zh) * 2018-12-26 2022-03-25 阿波罗智能技术(北京)有限公司 车辆激光雷达的位置检测方法、装置及存储介质
DK180562B1 (en) 2019-01-31 2021-06-28 Motional Ad Llc Merging data from multiple lidar devices
CN110386147B (zh) * 2019-06-13 2020-09-01 北京百度网讯科技有限公司 应用于车辆的传感器的标定检测方法及装置
CN112208529B (zh) * 2019-07-09 2022-08-02 毫末智行科技有限公司 用于目标检测的感知***、驾驶辅助方法和无人驾驶设备
WO2021024712A1 (ja) * 2019-08-02 2021-02-11 日立オートモティブシステムズ株式会社 エイミング装置、運転制御システム、及びセンサデータの補正量の計算方法
CN110500978B (zh) * 2019-09-25 2021-05-25 上海交通大学 点激光传感器的光束方向矢量和零点位置在线标定方法
EP3825720B1 (en) * 2019-11-19 2024-03-27 Leica Geosystems AG Laser scanner with calibration functionality
RU2767949C2 (ru) 2019-12-30 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ (варианты) и система для калибровки нескольких лидарных датчиков
CN111198496A (zh) * 2020-01-03 2020-05-26 浙江大学 一种目标跟随机器人及跟随方法
US11360197B2 (en) * 2020-01-07 2022-06-14 Luminar, Llc Calibration of sensor systems
US20210294328A1 (en) * 2020-03-20 2021-09-23 Brain Corporation Systems and methods for determining a pose of a sensor on a robot
CN111398984B (zh) * 2020-03-22 2022-03-29 华南理工大学 基于扫地机器人的自适应激光雷达点云校正与定位方法
JP2021148746A (ja) * 2020-03-23 2021-09-27 株式会社リコー 測距装置及び測距方法
JP7192090B2 (ja) * 2020-05-15 2022-12-19 バイドゥドットコム タイムズ テクノロジー （ベイジン） カンパニー リミテッド ポイントクラウド融合のための検出器
CN111754535B (zh) * 2020-06-23 2024-05-31 自然资源部四川测绘产品质量监督检验站(四川省测绘产品质量监督检验站) 一种机载激光点云重叠度检测方法及***
US11769272B2 (en) 2020-07-30 2023-09-26 Toyota Research Institute, Inc. Distinguishing, in a point cloud data set represented by an image, a first object from a second object
US11703577B2 (en) * 2020-08-14 2023-07-18 Baidu Usa Llc Recalibration determination system for autonomous driving vehicles with multiple LiDAR sensors
CN113219489B (zh) * 2021-05-13 2024-04-16 深圳数马电子技术有限公司 多线激光的点对确定方法、装置、计算机设备和存储介质
US11911915B2 (en) * 2021-06-09 2024-02-27 Intrinsic Innovation Llc Determining robotic calibration processes
CN113483661B (zh) * 2021-07-06 2023-06-30 广东南方数码科技股份有限公司 一种点云数据获取方法、装置、设备及存储介质
CN113959362B (zh) * 2021-09-22 2023-09-12 杭州申昊科技股份有限公司 结构光三维测量***标定方法、巡检数据处理方法
CN114545469B (zh) * 2022-01-13 2024-06-14 国家电网有限公司 基于输电线路无人机载波相位差分技术的弧垂测量方法
CN114543666B (zh) * 2022-01-20 2022-11-29 大连理工大学 一种基于矿场环境感知的堆料面预测方法
WO2024019922A1 (en) * 2022-07-19 2024-01-25 Nvidia Corporation Ground surface estimation using depth information for autonomous systems and applications
CN115047479B (zh) * 2022-08-12 2022-11-01 中北大学 一种无人机激光测高仪用识别云烟干扰装置
JP2024077186A (ja) * 2022-11-28 2024-06-07 株式会社東芝 情報処理装置、情報処理システム、及びプログラム

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4283116A (en) 1977-04-22 1981-08-11 Jersey Nuclear-Avco Isotopes, Inc. Beam combiner
JPS63194211A (ja) 1987-02-09 1988-08-11 Sony Corp カメラのレンズ駆動装置
US5179565A (en) 1990-06-07 1993-01-12 Hamamatsu Photonics, K.K. Low noise pulsed light source utilizing laser diode and voltage detector device utilizing same low noise pulsed light source
US5249046A (en) 1992-03-30 1993-09-28 Kaman Aerospace Corporation Method and apparatus for three dimensional range resolving imaging
US6101455A (en) 1998-05-14 2000-08-08 Davis; Michael S. Automatic calibration of cameras and structured light sources
US6344937B1 (en) 1999-03-03 2002-02-05 Raytheon Company Beam steering optical arrangement using Risley prisms with surface contours for aberration correction
US6246258B1 (en) 1999-06-21 2001-06-12 Xilinx, Inc. Realizing analog-to-digital converter on a digital programmable integrated circuit
US6666855B2 (en) 1999-09-14 2003-12-23 Visx, Inc. Methods and systems for laser calibration and eye tracker camera alignment
US7085400B1 (en) 2000-06-14 2006-08-01 Surgical Navigation Technologies, Inc. System and method for image based sensor calibration
JP2002199682A (ja) 2000-12-26 2002-07-12 Toshiba Corp 中空モータおよび光波距離計
EP1576385A2 (en) 2002-11-26 2005-09-21 James F. Munro An apparatus for high accuracy distance and velocity measurement and methods thereof
EP1524494A1 (en) 2003-10-17 2005-04-20 inos Automationssoftware GmbH Method for calibrating a camera-laser-unit in respect to a calibration-object
JP2005321547A (ja) 2004-05-07 2005-11-17 Fujinon Corp 光源装置
JP2005321403A (ja) 2004-05-10 2005-11-17 Ibeo Automobile Sensor Gmbh 距離測定のための方法及び装置
FR2870428A1 (fr) 2004-05-11 2005-11-18 Gen Electric Machine a rayons x mobile
EP1600564A1 (de) 2004-05-24 2005-11-30 Leica Geosystems AG Verfahren zur Steuerung einer oberflächenverändernden Maschine
EP1612511B1 (en) 2004-07-01 2015-05-20 Softkinetic Sensors Nv TOF rangefinding with large dynamic range and enhanced background radiation suppression
DE102005017624A1 (de) 2005-04-15 2006-10-19 Robert Bosch Gmbh Verfahren zum Bestimmen der Rad- und/oder Achsgeometrie von Kraftfahrzeugen
US7336407B1 (en) 2005-07-28 2008-02-26 Lockheed Martin Corporation Scanner/pointer apparatus having super-hemispherical coverage
US7843448B2 (en) 2005-11-21 2010-11-30 Leica Geosystems Ag Identification of occluded edge regions from 3D point data
US7236299B1 (en) 2006-04-11 2007-06-26 Bae Systems Information And Electronic Systems Integration Inc. Compact periscopic beam director
US8490489B2 (en) 2006-11-10 2013-07-23 Siemens Medical Solutions Usa, Inc. Transducer array imaging system
CN101216562A (zh) 2007-01-05 2008-07-09 薛志强 激光测距***
CN101256232A (zh) 2007-02-28 2008-09-03 电装波动株式会社 用于目标三维探测的激光雷达装置
US8224097B2 (en) 2008-06-12 2012-07-17 Sri International Building segmentation for densely built urban regions using aerial LIDAR data
EP2304489B1 (en) 2008-06-27 2013-01-23 Danmarks Tekniske Universitet Rotating prism scanning device and method for scanning
NO332432B1 (no) 2008-08-12 2012-09-17 Kongsberg Seatex As System for deteksjon og avbildning av objekter i banen for marine fartoy
CA2753197C (en) 2009-02-20 2018-09-11 Digital Signal Corporation System and method for generating three dimensional images using lidar and video measurements
US20110285981A1 (en) 2010-05-18 2011-11-24 Irvine Sensors Corporation Sensor Element and System Comprising Wide Field-of-View 3-D Imaging LIDAR
US20120170024A1 (en) 2009-09-22 2012-07-05 Medhat Azzazy Long Range Acquisition and Tracking SWIR Sensor System Comprising Micro-Lamellar Spectrometer
US20120170029A1 (en) 2009-09-22 2012-07-05 ISC8 Inc. LIDAR System Comprising Large Area Micro-Channel Plate Focal Plane Array
US8488877B1 (en) 2009-12-02 2013-07-16 Hrl Laboratories, Llc System for object recognition in colorized point clouds
WO2011070927A1 (ja) 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
US8396293B1 (en) 2009-12-22 2013-03-12 Hrl Laboratories, Llc Recognizing geometrically salient objects from segmented point clouds using strip grid histograms
US8620089B1 (en) 2009-12-22 2013-12-31 Hrl Laboratories, Llc Strip histogram grid for efficient segmentation of 3D point clouds from urban environments
US20130107243A1 (en) 2010-05-03 2013-05-02 Irvine Sensors Corporation Fast, High Resolution 3-D Flash LADAR Imager
US9396545B2 (en) 2010-06-10 2016-07-19 Autodesk, Inc. Segmentation of ground-based laser scanning points from urban environment
CN102971657B (zh) 2010-07-22 2016-06-22 瑞尼斯豪公司 激光扫描设备和使用方法
US8324775B2 (en) 2010-08-05 2012-12-04 Hiwin Mikrosystem Corp. Brush DC motor with reduction mechanism
US20120121166A1 (en) 2010-11-12 2012-05-17 Texas Instruments Incorporated Method and apparatus for three dimensional parallel object segmentation
EP2647472B1 (en) 2010-12-02 2016-09-14 Makita Corporation Power tool
JP5787699B2 (ja) 2010-12-06 2015-09-30 株式会社アルファラボ・ソリューション 像ぶれ補正ユニット、像ぶれ補正装置及び光学装置
US9470548B2 (en) 2011-01-31 2016-10-18 Agency For Defense Development Device, system and method for calibration of camera and laser sensor
WO2012117542A1 (ja) 2011-03-02 2012-09-07 トヨタ自動車株式会社 レーザレーダ装置
US8581168B2 (en) 2011-03-29 2013-11-12 Flir Systems, Inc. Dual well read-out integrated circuit (ROIC)
US8605998B2 (en) 2011-05-06 2013-12-10 Toyota Motor Engineering & Manufacturing North America, Inc. Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping
CN202182717U (zh) 2011-08-30 2012-04-04 公安部第三研究所 一种基于tdc技术的激光测距装置
KR101740259B1 (ko) 2011-10-07 2017-05-29 한국전자통신연구원 3차원 포인트 클라우드의 공간 분할 방법
CN102508255A (zh) 2011-11-03 2012-06-20 广东好帮手电子科技股份有限公司 车载四线激光雷达***及其电路、方法
US8798372B1 (en) * 2012-03-07 2014-08-05 Hrl Laboratories, Llc Method for detecting bridges using lidar point cloud data
CA2871502C (en) 2012-04-26 2021-06-08 Neptec Design Group Ltd. High speed 360 degree scanning lidar head
JP5963353B2 (ja) 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
US9453907B2 (en) * 2012-08-15 2016-09-27 Digital Signal Corporation System and method for field calibrating video and lidar subsystems using facial features
US20140071121A1 (en) 2012-09-11 2014-03-13 Digital Signal Corporation System and Method for Off Angle Three-Dimensional Face Standardization for Robust Performance
US9383753B1 (en) 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
CN102944224B (zh) * 2012-11-09 2014-08-27 大连理工大学 一种无人驾驶车的自动环境感知***的工作方法
US20140132723A1 (en) * 2012-11-13 2014-05-15 Osmose Utilities Services, Inc. Methods for calibrating a digital photographic image of utility structures
CN103257342B (zh) * 2013-01-11 2014-11-05 大连理工大学 三维激光传感器与二维激光传感器的联合标定方法
JP2014145744A (ja) 2013-01-30 2014-08-14 Ricoh Co Ltd 物体検出装置
US8773182B1 (en) 2013-02-01 2014-07-08 Intel Corporation Stochastic beating time-to-digital converter (TDC)
US9128190B1 (en) 2013-03-06 2015-09-08 Google Inc. Light steering device with an array of oscillating reflective slats
JP6181388B2 (ja) 2013-03-08 2017-08-16 株式会社トプコン 計測装置
CN103257348B (zh) 2013-05-17 2015-05-20 南京航空航天大学 一种飞行器相对高度和相对姿态的测量***及其测量方法
US9430822B2 (en) * 2013-06-14 2016-08-30 Microsoft Technology Licensing, Llc Mobile imaging platform calibration
US8825260B1 (en) 2013-07-23 2014-09-02 Google Inc. Object and ground segmentation from a sparse one-dimensional range data
CN103499819B (zh) 2013-09-22 2015-06-24 中国科学院光电技术研究所 一种目标视线角偏移量及距离的测量装置和方法
CN203645633U (zh) 2013-12-31 2014-06-11 青岛歌尔声学科技有限公司 红外信号放大电路
US10061111B2 (en) 2014-01-17 2018-08-28 The Trustees Of Columbia University In The City Of New York Systems and methods for three dimensional imaging
JP6278721B2 (ja) 2014-01-31 2018-02-14 鎌倉光機株式会社 像安定化装置
US9633483B1 (en) 2014-03-27 2017-04-25 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
JP2015200555A (ja) 2014-04-08 2015-11-12 パナソニックＩｐマネジメント株式会社 距離測定装置
GB201407270D0 (en) 2014-04-24 2014-06-11 Cathx Res Ltd 3D data in underwater surveys
US9098753B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using multiple sensors
JP6249881B2 (ja) 2014-05-22 2017-12-20 オリンパス株式会社 固体撮像装置および撮像装置
CN103983963B (zh) * 2014-06-09 2016-08-17 北京数字绿土科技有限公司 一种多站地基激光雷达数据的自动配准方法
WO2016023224A1 (en) 2014-08-15 2016-02-18 SZ DJI Technology Co., Ltd. System and method for automatic sensor calibration
JP6442193B2 (ja) * 2014-08-26 2018-12-19 株式会社トプコン 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム
JP2016057108A (ja) 2014-09-08 2016-04-21 株式会社トプコン 演算装置、演算システム、演算方法およびプログラム
WO2016045009A1 (zh) 2014-09-24 2016-03-31 深圳市大疆创新科技有限公司 云台及其使用的成像装置、以及无人机
GB2532948B (en) 2014-12-02 2021-04-14 Vivo Mobile Communication Co Ltd Object Recognition in a 3D scene
CN104463872B (zh) 2014-12-10 2018-01-12 武汉大学 基于车载LiDAR点云数据的分类方法
CN104600902A (zh) 2015-01-09 2015-05-06 广东韦达尔科技有限公司 一种空心电机
EP3249422B1 (en) 2015-01-21 2021-12-29 Mitsubishi Electric Corporation Laser radar device
WO2016127357A1 (zh) 2015-02-12 2016-08-18 中国科学技术大学 一种基于fpga的时间数字变换器
US10315759B2 (en) 2015-04-04 2019-06-11 California Institute Of Technology Multi-rotor vehicle with yaw control and autorotation
GB2537681B (en) 2015-04-24 2018-04-25 Univ Oxford Innovation Ltd A method of detecting objects within a 3D environment
KR101665938B1 (ko) 2015-04-28 2016-10-13 전자부품연구원 미러 회전 방식의 다채널 라이더 스캐너 광학계
CN108400668B (zh) 2015-04-29 2020-10-23 深圳市大疆灵眸科技有限公司 电机、动力装置及使用该动力装置的无人飞行器
EP3098626B1 (de) 2015-05-29 2021-05-19 Hexagon Technology Center GmbH Zeitmessschaltung und optoelektronischer distanzmesser mit einer ebensolchen zeitmessschaltung
KR102653953B1 (ko) 2015-08-03 2024-04-02 톰톰 글로벌 콘텐트 비.브이. 위치파악 참조 데이터를 생성하고 사용하는 방법 및 시스템
US9760996B2 (en) 2015-08-11 2017-09-12 Nokia Technologies Oy Non-rigid registration for large-scale space-time 3D point cloud alignment
US10591600B2 (en) 2015-11-30 2020-03-17 Luminar Technologies, Inc. Lidar system with distributed laser and multiple sensor heads
US9644857B1 (en) 2015-12-01 2017-05-09 Nasser Ashgriz Virtual thermostat for a zonal temperature control
EP3391339A2 (en) 2015-12-18 2018-10-24 Iris Automation, Inc. Real-time visual situational awareness system
CN105759253B (zh) 2016-03-02 2018-01-12 四川经曼光电科技有限公司 激光扫描测距仪
CN105628026B (zh) 2016-03-04 2018-09-14 深圳大学 一种移动物体的定位定姿方法和***
WO2017204998A2 (en) 2016-04-29 2017-11-30 United Parcel Service Of America, Inc. Unmanned aerial vehicle pick-up and delivery systems
CN106019923B (zh) 2016-05-18 2018-11-13 中国科学技术大学 一种基于fpga的时间数字变换器
CN106093963B (zh) 2016-05-31 2018-08-24 中铁第四勘察设计院集团有限公司 一种提高铁路车载激光雷达扫描数据精度的方法
CN106019296A (zh) 2016-07-26 2016-10-12 北醒（北京）光子科技有限公司 一种混合固态多线光学扫描测距装置
CN106093958A (zh) 2016-08-24 2016-11-09 武汉万集信息技术有限公司 基于双apd的激光测距方法及装置
CN106597414B (zh) 2016-10-18 2020-01-10 浙江大学 一种定标偏振激光雷达增益比的方法
CN106597416B (zh) 2016-11-18 2019-04-09 长安大学 一种地面GPS辅助的LiDAR数据高程差的误差修正方法
WO2018195986A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Calibration of laser sensors
EP3615955A4 (en) * 2017-04-28 2020-05-13 SZ DJI Technology Co., Ltd. CALIBRATION OF LASER AND VISION SENSORS
US10866101B2 (en) 2017-06-13 2020-12-15 Tusimple, Inc. Sensor calibration and time system for ground truth static scene sparse flow generation
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
CN107037721B (zh) 2017-06-16 2019-06-21 中国科学技术大学 一种自修正型时间数字转换器

Also Published As

Publication number Publication date
EP3616159A1 (en) 2020-03-04
CN110573830A (zh) 2019-12-13
EP3616159A4 (en) 2020-05-13
US20210096230A1 (en) 2021-04-01
US10120068B1 (en) 2018-11-06
US10859685B2 (en) 2020-12-08
US20190064333A1 (en) 2019-02-28
US20180313942A1 (en) 2018-11-01
WO2018195986A1 (en) 2018-11-01
US11460563B2 (en) 2022-10-04

Similar Documents

Publication Publication Date Title
CN110573830B (zh) 激光传感器的校准方法
US10884110B2 (en) Calibration of laser and vision sensors
US11961208B2 (en) Correction of motion-based inaccuracy in point clouds
CN112567201B (zh) 距离测量方法以及设备
US20200208970A1 (en) Method and device for movable object distance detection, and aerial vehicle
CN109887057B (zh) 生成高精度地图的方法和装置
CN109690623B (zh) 用于识别场景中的相机的姿势的***和方法
EP3008489B1 (en) Mobile imaging platform calibration
Huh et al. Integrated navigation system using camera and gimbaled laser scanner for indoor and outdoor autonomous flight of UAVs
CN107067437B (zh) 一种基于多视几何和光束法平差的无人机定位***及方法
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
JP6773573B2 (ja) 位置特定装置、位置特定方法、位置特定システム、位置特定用プログラム、無人航空機および無人航空機識別用ターゲット
EP3155369B1 (en) System and method for measuring a displacement of a mobile platform
KR101737950B1 (ko) 지형참조항법에서 영상 기반 항법해 추정 시스템 및 방법
CN111308415B (zh) 一种基于时间延迟的在线估计位姿的方法和设备
García-Moreno et al. Error propagation and uncertainty analysis between 3D laser scanner and camera
Matsuyama et al. Estimation of pedestrian pose and velocity considering arm swing using point-cloud data
CN114076946A (zh) 一种运动估计方法及装置
JPH0524591A (ja) 垂直離着陸航空機の機***置測定方法
US20240112363A1 (en) Position estimation system, position estimation method, and program
CN117519124A (zh) 自移动设备的避障方法、自移动设备及存储介质
CN117557654A (zh) 外参标定方法、装置、电子设备及存储介质
KR20170008133A (ko) 회전 모듈과 거리 센서간의 위치 변환 관계 추정 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221124

Address after: 518107 302, 1402, building 1, Senyang Electronic Science and Technology Park, west area, Guangming Gaoxin Park, Tianliao community, Yutang street, Guangming District, Shenzhen, Guangdong

Patentee after: Shenzhen Dajiang Zhuojian Technology Co.,Ltd.

Address before: 518057 Shenzhen Nanshan High-tech Zone, Shenzhen, Guangdong Province, 6/F, Shenzhen Industry, Education and Research Building, Hong Kong University of Science and Technology, No. 9 Yuexingdao, South District, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SZ DJI TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
CP01 Change in the name or title of a patent holder

Address after: 518107 302, 1402, building 1, Senyang Electronic Science and Technology Park, west area, Guangming Gaoxin Park, Tianliao community, Yutang street, Guangming District, Shenzhen, Guangdong

Patentee after: Shenzhen Zhuojian Intelligent Manufacturing Co.,Ltd.

Address before: 518107 302, 1402, building 1, Senyang Electronic Science and Technology Park, west area, Guangming Gaoxin Park, Tianliao community, Yutang street, Guangming District, Shenzhen, Guangdong

Patentee before: Shenzhen Dajiang Zhuojian Technology Co.,Ltd.

CP01 Change in the name or title of a patent holder