CN113256483A - 用于目标识别的点云数据去抖动 - Google Patents

用于目标识别的点云数据去抖动 Download PDF

Info

Publication number
CN113256483A
CN113256483A CN202110159863.3A CN202110159863A CN113256483A CN 113256483 A CN113256483 A CN 113256483A CN 202110159863 A CN202110159863 A CN 202110159863A CN 113256483 A CN113256483 A CN 113256483A
Authority
CN
China
Prior art keywords
point cloud
cloud data
model
target
lidar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110159863.3A
Other languages
English (en)
Inventor
D·J·耶尔顿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Boeing Co
Original Assignee
Boeing Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Boeing Co filed Critical Boeing Co
Publication of CN113256483A publication Critical patent/CN113256483A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及用于目标识别的点云数据去抖动。通过将数据拟合到可能目标的3D模型来从目标的点云数据去除抖动。通过使点云数据在其坐标系中移位，直至在移位的数据与正在分析的3D模型之间观测到最小拟合误差，点云数据作为一组被去抖动。可依次评估不同的3D模型，直至标识出具有最小拟合误差的3D模型。具有最小拟合误差的3D模型最有可能表示目标身份。

Description

用于目标识别的点云数据去抖动
技术领域
本公开涉及激光成像领域，具体地，涉及减轻点云数据中的抖动以改进目标识别过程。
背景技术
激光雷达(光检测和测距)是一种通过利用激光照射目标并利用一个或更多个传感器测量反射光来测量距目标的距离的过程。然后，可使用激光返回时间和/或波长的差异来形成目标的数字3D表示。存在不同类型的激光雷达***，包括扫描激光雷达***和闪光激光雷达***。扫描激光雷达***利用扫描光学器件以激光来扫描目标，而闪光激光雷达***漫射激光以利用单次闪光照射目标。在闪光激光雷达***中，微小传感器的网格(例如，按行和列组织的平面光子检测器)捕获从目标反射的光。
闪光激光雷达与2D数字相机类似地操作，其具有像素传感器的行和列，它们具有基于照射激光脉冲的飞行时间生成距离信息的附加能力。还可基于激光源相对于光子传感器的取向来确定返回脉冲的方位角和仰角。可使用这种类型的信息(例如，角度-角度-距离数据)来生成3D坐标系中的点云数据，其表示关于正被照射的目标的表面的信息。
尽管点云数据表示关于目标的信息，但是点云数据中的抖动表示基础数据中的误差，其可能使得目标识别更困难。由于闪光激光雷达***中的各种组件相对于目标或相对于彼此(例如，激光源和检测器阵列)的相对运动而发生抖动。因此，抖动是点云数据中的一种形式的不准确性，其可被改进以便改进目标识别过程的准确性。
发明内容
在本公开中所描述的实施方式中，通过将数据拟合到可能目标的3D模型来从目标的点云数据去除抖动。通过将点云数据在其坐标系中移位，直至在移位的数据与正在分析的3D模型之间观测到最小拟合误差，将点云数据作为一组来去抖动。可依次评估不同的3D模型，直至标识出具有最小拟合误差的3D模型。具有最小拟合误差的3D模型最有可能表示目标的身份。
一个实施方式包括标识未知目标的方法。该方法包括：(a)生成目标的激光雷达点云数据；(b)从可能目标的多个3D模型选择3D模型；(c)将所选3D模型映射到激光雷达点云数据的空间坐标系中；以及(d)计算激光雷达点云数据与所选3D模型之间的拟合误差。该方法还包括：(e)使激光雷达点云数据作为一组在空间坐标系中重复地移位并且重新计算拟合误差，直至标识出所选3D模型的最小拟合误差；以及(f)针对多个3D模型中的不同3D模型重复步骤(b)-(e)。该方法还包括：(g)标识具有最小拟合误差的3D模型；以及(h)基于具有最小拟合误差的3D模型来标识目标。
在标识未知目标的方法的实施方式中，生成激光雷达点云数据的步骤(a)包括生成闪光激光雷达点云数据。
在标识未知目标的方法的实施方式中，目标包括飞行器。
在标识未知目标的方法的实施方式中，映射所选3D模型的步骤(c)包括基于目标的距离在激光雷达点云数据的空间坐标系中缩放3D模型。
在标识未知目标的方法的实施方式中，映射所选3D模型的步骤(c)包括基于目标的速度向量使3D模型在激光雷达点云数据的空间坐标系中取向。
在标识未知目标的方法的实施方式中，使激光雷达点云数据重复地移位的步骤(e)包括在空间坐标系中基于激光雷达点云数据的量化的空间特性的整体移位。
在标识未知目标的方法的实施方式中，计算激光雷达点云数据与所选3D模型之间的拟合误差的步骤(d)包括计算均方根拟合优度。
另一实施方式包括标识未知目标的另一方法。该另一方法包括：存储可能目标的多个3D模型；以及通过利用闪光测距装置对未标识目标进行测距来生成未标识目标的点云数据。针对各个3D模型，执行以下步骤：将3D模型映射到点云数据的空间坐标系中；计算点云数据与3D模型之间的拟合误差；以及使点云数据作为一组在空间坐标系中重复地移位并且重新计算拟合误差，直至标识出3D模型的最小拟合误差。该另一方法还包括：标识具有最小拟合误差的3D模型；以及基于具有最小拟合误差的3D模型来标识未标识目标。
在标识未知目标的该另一方法的实施方式中，闪光测距装置包括闪光激光雷达。
在标识未知目标的该另一方法的实施方式中，未标识目标包括飞行器。
在标识未知目标的该另一方法的实施方式中，映射3D模型的步骤包括基于到未标识目标的距离在激光雷达点云数据的空间坐标系中缩放3D模型。
在标识未知目标的该另一方法的实施方式中，映射3D模型的步骤包括基于未标识目标的速度向量使3D模型在激光雷达点云数据的空间坐标系中取向。
在标识未知目标的方法的实施方式中，使激光雷达点云数据重复地移位包括在空间坐标系中基于激光雷达点云数据的量化的空间特性的整体移位。
在标识未知目标的该另一方法的实施方式中，计算激光雷达点云数据与3D模型之间的拟合误差的步骤包括计算均方根拟合优度。
另一实施方式包括一种闪光激光雷达***，其包括激光器、发送器、存储器和处理器。激光器生成激光。发送器利用一个或更多个激光脉冲来照射目标。接收器检测从目标反射的激光并且生成目标的激光雷达点云数据。存储器存储可能目标的3D模型。处理器针对各个3D模型，将3D模型映射到激光雷达点云数据的空间坐标系中，计算激光雷达点云数据与3D模型之间的拟合误差，并且使激光雷达点云数据作为一组在空间坐标系中重复地移位并且重新计算拟合误差，直至标识出3D模型的最小拟合误差。处理器标识具有最小拟合误差的3D模型，并且基于具有最小拟合误差的3D模型来标识目标。
在闪光激光雷达***的实施方式中，接收器包括检测从目标反射的激光并且生成目标的激光雷达点云数据的盖革模式雪崩光电二极管(APD)的平面阵列。
在闪光激光雷达***的实施方式中，目标包括飞行器。
在闪光激光雷达***的实施方式中，处理器基于到目标的距离在激光雷达点云数据的空间坐标系中缩放3D模型。
在闪光激光雷达***的实施方式中，处理器基于目标的速度向量使3D模型在激光雷达点云数据的空间坐标系中取向。
在闪光激光雷达***的实施方式中，处理器执行激光雷达点云数据在空间坐标系中基于激光雷达点云数据的量化的空间特性的整体移位。
在闪光激光雷达***的实施方式中，处理器利用均方根拟合优度来计算拟合误差。
所讨论的特征、功能和优点可在各种实施方式中独立地实现，或者可在其它实施方式中组合，其进一步的细节可参考以下描述和附图看出。
附图说明
现在参照附图仅作为示例描述一些实施方式。在所有附图上相同的标号表示相同的元件或相同类型的元件。
图1描绘了例示性实施方式中的激光雷达***。
图2是例示性实施方式中的使用3D数据模型来标识目标以对激光雷达点云数据进行去抖动的方法的流程图。
图3描绘了例示性实施方式中的用于计算均方根(RMS)拟合优度的图2的方法的附加步骤。
图4描绘了点云数据中的数据点的2D表示以及可如何针对2D模型评估它们。
图5描绘了例示性实施方式中的使激光雷达数据移位的结果。
图6描绘了例示性实施方式中的计算残差平方和(RSS)拟合优度的图2的方法的附加步骤。
图7描绘了将3D模型映射到激光雷达点云数据的空间坐标系中的图2的方法的附加步骤。
具体实施方式
附图和以下描述示出了特定示例性实施方式。将理解，本领域技术人员将能够想到各种布置方式，其尽管未在本文中明确地描述或示出但是具体实现了本文所描述的原理并且包括在本说明书之后的权利要求的预期范围内。此外，本文所描述的任何示例旨在帮助理解本公开的原理，不应被解释为限制。结果，本公开不限于下面所描述的特定实施方式或示例，而是由权利要求及其等同物限制。
如先前讨论的，在激光雷达点云数据中生成的抖动表示数据中的潜在误差，如果减轻的话，可改进诸如目标识别的各种过程。通常，从单个激光脉冲或较短的一组脉冲生成的激光雷达点云数据在抖动方面相关性良好，这允许激光雷达点云数据作为一组被去抖动。在本文所描述的实施方式中，从未知目标生成的激光雷达点云数据作为一组在其空间坐标系中移位，同时在移位的数据与可能目标的3D模型之间执行拟合优度。针对移位的激光雷达点云数据生成最佳拟合的3D模型表示正被成像的目标。
通常，基于包括到未知目标的距离和所检测的未知目标的取向的若干因素将可能目标的3D模型映射到点云数据的空间坐标系中。例如，未知喷气式飞行器的速度向量为可能目标的不同3D模型可如何映射到点云数据的空间坐标系中提供了取向信息，因为大多数喷气式飞行器不可能向后飞。在另一示例中，表示在点云数据的空间坐标系中的3D模型的比例基于所检测的到未知飞行器的距离。
尽管确定移位的点云数据到3D模型的拟合优度可按若干不同的方式执行，但是本文所描述的一些示例性过程包括：在使点云数据移位的同时重复地计算均方根(RMS)拟合优度度量；重复地计算残差平方和(RSS)拟合优度度量；以及重复地计算绝对值(ABS)拟合优度度量。然而，由于统计分析中存在确定模型与数据的拟合程度的许多其它类型的数据拟合方法，所以本公开的申请适用于可用于确定激光雷达点云数据与本文所描述的3D模型的拟合优度的任何其它类型的数据拟合方法。
图1是例示性实施方式中的激光雷达***100的框图。在此实施方式中，激光雷达***100包括：激光器110，其包括生成脉冲激光的任何组件、***或装置；以及发送器120，其利用激光器110所生成的一个或更多个激光脉冲来照射目标130。根据应用，激光器110可在不同的频率范围内生成脉冲激光。例如，1550纳米激光在相对高的功率级别下对眼睛是安全的，因为此波长不会被眼睛强烈吸收。与较短的1000nm红外频率不同，1550nm激光在夜视镜中不可见。典型的空中应用使用1064nm频率，而水下应用使用穿透水的衰减比1064nm频率低的532nm频率。在一个实施方式中，目标130包括飞行器130-1，但是在其它实施方式中，目标130包括陆地车辆130-2或水下载具130-3。
发送器120包括传播脉冲激光以照射目标130的任何组件、***或装置。例如，发送器120可包括各种光学器件121、反射镜122、光学漫射器123等，其使得激光雷达***100能够利用脉冲激光照射目标130。激光雷达***100的接收器140包括接收从目标130反射的脉冲激光的任何组件、***或装置。接收器140可包括光学器件141、反射镜142、传感器143、定时电路144等，其检测从目标130反射的脉冲激光，并且为接收器140所接收的光子提供定时信息。作为设计选择，接收器140的传感器可包括各种类型的光子传感器。在一些实施方式中，接收器140包括布置成平面阵列的多个光子传感器，阵列中的各个像素传感器被配置为单独地感测从目标130反射的光子并且生成用于确定激光雷达***100与目标130之间的距离的定时信息。在一个这样的实施方式中，光子传感器的阵列利用盖革模式雪崩光电二极管(APD)，其是能够感测单个光子的快速感测装置。APD阵列143-1连同在基于激光器110的脉冲率和/或APD在检测连续光子之间的死区时间的范围内的量化的空间数据一起基于APD阵列143-1中的像素之间的距离来生成量化的空间数据。
激光雷达***100的处理器150联接到存储器160。处理器150包括任何组件、***或装置，其与接收器140接口并生成由存储器160存储的点云数据161。存储器160还存储3D模型162，其表示可由激光雷达***100检测的可能目标的不同模型。
点云数据161是表示目标130的被激光雷达***100照射的部分的3D形状的数据点集合。基于激光雷达***100针对从目标130接收的后向散射光子计算的角度-角度-距离数据来推导点云数据161。
处理器150包括能够执行功能的任何硬件装置。处理器150可包括一个或更多个中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)等。处理器的一些示例包括
Figure BDA0002936024730000061
CORETM处理器、高级精简指令集计算(RISC)机器
Figure BDA0002936024730000062
处理器等。
存储器160包括能够存储数据(包括点云数据161和3D模型162)的任何硬件装置。存储器160可包括一个或更多个易失性或非易失性动态随机存取存储器(DRAM)装置、FLASH装置、易失性或非易失性静态RAM装置、硬盘驱动器、固态盘(SSD)等。非易失性DRAM和SRAM的一些示例包括电池供电的DRAM和电池供电的SRAM。
图2是例示性实施方式中的使用3D数据模型来标识未知目标以对激光雷达点云数据进行去抖动的方法200的流程图。将关于激光雷达***100来描述方法200，但是方法200可应用于其它***(未示出)。方法200可包括其它步骤(未示出)，并且步骤可按另选顺序执行。
激光器110生成一个或更多个激光脉冲，其由发送器120施加以照射目标130。例如，发送器120从激光器110接收一个或更多个激光脉冲，并且使用光学漫射器123，生成照射目标130的激光的扩展3D场。此时被激光照射的目标130反射一部分激光脉冲，其被接收器140接收。然后，激光雷达***100基于从目标130接收的由激光器110生成的光子来为目标130生成点云数据161(参见步骤202)。例如，接收器140可利用包括按行和列组织的APD装置的APD阵列143-1，其在目标130被激光雷达***100照射时从目标130接收光子。
处理器150选择可能目标的3D模型162之一以供分析(参见步骤204)。在一些实施方式中，处理器150基于诸如激光雷达***100的地理位置、目标130的速度向量(如果正移动的话)、目标130的近似大小等的不同因素来滤除一些3D模型162不进行分析。例如，如果在激光雷达***100的地理位置不太可能找到一些3D模型162，则它们可被滤除。在另一示例中，如果目标130的速度向量超出一些3D模型162所表示的一些载具的已知能力，则这些3D模型162可被滤除。在另一示例中，如果目标130的大小(基于点云数据161和所测量的目标130的距离)与一些3D模型所表示的载具的大小不太吻合，则这些3D模型162可被滤除。
处理器150将所选3D模型116映射到点云数据161的空间坐标系中(参见步骤206)。处理器150计算点云数据161与所选3D模型116之间的拟合误差(参见步骤208)。作为设计选择，计算拟合误差可按若干不同的方式来执行。通常，在点云数据161中的数据点与所选3D模型116的表面上的数据点之间执行分析，以确定点云数据161与所选3D模型116的匹配程度。
响应于计算拟合误差，处理器150确定针对所选3D模型116是否找到最小拟合误差。由于这一次是通过方法200第一次评估所选模型116，所以通过使点云数据161在其空间坐标系中四处移位(参见步骤212)并针对移位的数据重新计算拟合误差(参见步骤208)来进行若干次拟合误差计算。通常，移位次数是有限的，并且在点云数据161的空间坐标系中的移位量和方向基于激光雷达***100中的预期抖动。通常，到目标130的距离内的抖动较低，而其它维度上的抖动更高。可在评估移位的数据与所选3D模型116的拟合程度时使用此类信息来约束点云数据161移位的方向和次数。
在一些实施方式中，基于如何生成点云数据161来将移位量化。例如，APD阵列143-1沿其平面表面基于各个传感器之间的距离(例如，x-y轴)来量化，而到目标130的距离在归于APD传感器的最小间歇时间的范围(例如，z轴)内量化
如果已确定所选3D模型116的最小拟合误差(例如，点云数据161中的附加移位没有导致该模型的更小拟合误差)，则处理器150确定是否还有要分析的附加3D模型162(参见步骤214)。如果还有要分析的附加3D模型162，则处理返回以选择另一3D模型116(参见步骤204)。
响应于分析点云数据161中的移位如何生成与不同3D模型162的拟合优度，处理器150标识具有最小拟合误差的一个3D模型162(参见步骤216)。最小拟合误差对应于与点云数据161的拟合优度最佳的3D模型116。处理器150基于所标识的3D模型116来标识目标130(参见步骤218)。使用方法200，通过将激光雷达数据拟合到各种3D模型162并且确定哪一3D模型162实现最佳拟合优度，点云数据161作为一组被去抖动。这允许激光雷达***100减轻点云数据161中的抖动。减轻点云数据161中的抖动具有允许激光雷达***100更准确地标识目标130的技术效果。
图3描绘了例示性实施方式中的方法200的附加步骤。在此实施方式中，计算点云数据161与所选3D模型116之间的拟合误差使用RMS拟合优度计算来执行。处理器150计算点云数据161中的各个数据点与映射到所选3D模型116的表面的数据点之间的平方距离(参见图3的步骤302)，并且处理器150标识点云数据161中的各个数据点的最短平方距离(参见图3的步骤304)。
图4描绘了点云数据161中的数据点的2D表示以及可如何针对2D模型402评估它们。尽管图4描述了关于两个维度(x,y)的拟合过程，但是该过程也可应用于3D空间坐标系。因此，图4中描绘2D空间坐标系仅是为了简化以下讨论。
在图4中，激光雷达数据404是2D点云，并且数据点406被映射到2D模型402的表面。针对激光雷达数据404的特定空间配置，示出在激光雷达数据404的各个点与映射到2D模型412的数据点406之间计算的最短平方距离408。
当使用RMS拟合优度度量时，则计算最短平方距离408的均值(参见图3的步骤306)，并且计算均值的平方根(参见步骤308)。均值的平方根表示2D模型402的RMS拟合优度度量。为了标识最小拟合误差(如方法200的步骤210中所描述的)，激光雷达数据404在示例x-y空间坐标系中移位，并且重复步骤302-308。
图5描绘了例示性实施方式中的使激光雷达数据404移位的结果。在此实施方式中，激光雷达数据404在箭头502的方向上移位，作为移位的结果，有新的最短平方距离504。图5所示的移位的结果导致激光雷达数据404与2D模型402上的数据点406之间的RMS拟合误差更低。在此实施方式中，激光雷达数据404作为一组移位，因为当使用单个激光脉冲或者较短的连续激光脉冲组对目标130进行成像时，激光雷达数据404中的抖动的相关性良好。
图6描绘了例示性实施方式中的方法200的附加步骤。在此实施方式中，计算点云数据161与所选3D模型116之间的拟合误差使用RSS拟合优度计算来执行。处理器150计算点云数据161中的各个数据点与映射到所选3D模型的表面的数据点之间的平方距离(参见图6的步骤302)，并且标识点云数据161中的各个数据点的最短平方距离(参见图6的步骤304)。使用最短平方距离408(参见图4)，处理器150计算最短平方距离408之和(参见图6的步骤602)。该和表示2D模型402的RSS拟合优度度量。为了标识最小拟合误差(如方法200的步骤210中所描述的)，激光雷达数据404在示例x-y空间坐标系中移位，并且重复图6的步骤302、304和602。图5描绘了激光雷达数据404在箭头502的方向上移位的结果，作为移位的结果，有新的最短平方距离504。图5所示的移位导致激光雷达数据404与2D模型402上的数据点406之间的RSS拟合误差更低。
图7描绘了例示性实施方式中的方法200的附加步骤。在此实施方式中，映射所选3D模型116包括基于到目标130的距离信息在点云数据161的空间坐标系中缩放所选3D模型116(参见步骤702)。除此之外或作为替代，映射所选3D模型116包括基于目标130的速度向量使所选3D模型116取向(参见步骤704)。
尽管描述了目标识别过程，但是存在可受益于对激光雷达点云数据进行去抖动的其它应用。例如，如果成像目标已知，则将激光雷达数据拟合到目标的模型允许确定激光雷达***100中的抖动，这可用于限制可被实现以确定与未知目标的模型的拟合的移位的次数和移位的空间方向。
附图中示出或本文中描述的各种元件中的任一个可被实现为硬件、软件、固件或者这些的一些组合。例如，元件可被实现为专用硬件。专用硬件元件可被称为“处理器”、“控制器”或者一些相似的术语。当由处理器提供时，可由单个专用处理器，由单个共享处理器，或者由多个单独的处理器(其中一些可被共享)提供功能。此外，术语“处理器”或“控制器”的明确使用不应被解释为专指能够执行软件的硬件，可隐含地包括(但不限于)数字信号处理器(DSP)硬件、网络处理器、专用集成电路(ASIC)或其它电路、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)、非易失性存储装置、逻辑或者一些其它物理硬件组件或模块。
另外，元件可被实现为指令，其可由处理器或计算机执行以执行元件的功能。指令的一些示例是软件、程序代码和固件。指令在由处理器执行时可指示处理器执行元件的功能。指令可被存储在可由处理器读取的存储装置上。存储装置的一些示例是数字或固态存储器、磁存储介质(例如，磁盘和磁带)、硬盘驱动器或光学可读数字数据存储介质。
尽管本文中描述了具体实施方式，但是范围不限于那些具体实施方式。相反，范围由随附权利要求及其任何等同物限定。

Claims (21)

1.一种方法(200)，该方法包括以下步骤：
(a)生成(202)目标的激光雷达点云数据；
(b)从可能目标的多个3D模型选择(204)3D模型；
(c)将所选3D模型映射(206)到所述激光雷达点云数据的空间坐标系中；
(d)计算(208)所述激光雷达点云数据与所选3D模型之间的拟合误差；
(e)使所述激光雷达点云数据作为一组在所述空间坐标系中重复地移位(210-212)并且重新计算所述拟合误差，直至标识出所选3D模型的最小拟合误差；
(f)针对所述多个3D模型中的不同3D模型重复步骤(b)-(e)；
(g)标识(216)具有所述最小拟合误差的所述3D模型；以及
(h)基于具有所述最小拟合误差的所述3D模型来标识(218)所述目标。
2.根据权利要求1所述的方法(200)，其中：
生成激光雷达点云数据的步骤(a)包括生成闪光激光雷达点云数据。
3.根据权利要求1所述的方法(200)，其中：
所述目标包括飞行器。
4.根据权利要求1所述的方法(200)，其中：
映射(702)所选3D模型的步骤(c)包括基于所述目标的距离在所述激光雷达点云数据的所述空间坐标系中缩放所述3D模型。
5.根据权利要求1所述的方法(200)，其中：
映射(704)所选3D模型的步骤(c)包括基于所述目标的速度向量使所述3D模型在所述激光雷达点云数据的所述空间坐标系中取向。
6.根据权利要求1所述的方法(200)，其中：
使所述激光雷达点云数据重复地移位的步骤(e)包括在所述空间坐标系中基于所述激光雷达点云数据的量化的空间特性的整体移位。
7.根据权利要求1所述的方法(200)，其中：
计算(302-308)所述激光雷达点云数据与所选3D模型之间的拟合误差的步骤(d)包括计算均方根拟合优度。
8.一种方法(200)，该方法包括以下步骤：
存储可能目标的多个3D模型；
通过利用闪光测距装置对未标识目标进行测距来生成(202)所述未标识目标的点云数据；
针对各个3D模型，执行以下步骤：
将所述3D模型映射(206)到所述点云数据的空间坐标系中；
计算(208)所述点云数据与所述3D模型之间的拟合误差；以及
使所述点云数据作为一组在所述空间坐标系中重复地移位(210-212)并且重新计算所述拟合误差，直至标识出所述3D模型的最小拟合误差；
标识(216)具有所述最小拟合误差的所述3D模型；以及
基于具有所述最小拟合误差的所述3D模型来标识(218)所述未标识目标。
9.根据权利要求8所述的方法(200)，其中：
所述闪光测距装置包括闪光激光雷达。
10.根据权利要求8所述的方法(200)，其中：
所述未标识目标包括飞行器。
11.根据权利要求8所述的方法(200)，其中：
映射(702)所述3D模型的步骤包括基于到所述未标识目标的距离在所述点云数据的所述空间坐标系中缩放所述3D模型。
12.根据权利要求8所述的方法(200)，其中：
映射(704)所述3D模型的步骤包括基于所述未标识目标的速度向量使所述3D模型在所述点云数据的所述空间坐标系中取向。
13.根据权利要求8所述的方法(200)，其中：
使所述点云数据重复地移位的步骤包括在所述空间坐标系中基于所述点云数据的量化的空间特性的整体移位。
14.根据权利要求8所述的方法(200)，其中：
计算(302-308)所述点云数据与所述3D模型之间的所述拟合误差的步骤包括计算均方根拟合优度。
15.一种闪光激光雷达***(100)，该闪光激光雷达***包括：
激光器(100)，该激光器被配置为生成激光；
发送器(120)，该发送器被配置为利用所述激光的一个或更多个脉冲来照射目标(130)；
接收器(140)，该接收器被配置为检测从所述目标反射的所述激光并且生成所述目标的激光雷达点云数据(161)；
存储器(160)，该存储器被配置为存储可能目标的3D模型(162)；以及
处理器(150)，该处理器被配置为针对各个所述3D模型，将所述3D模型映射到所述激光雷达点云数据的空间坐标系中，计算所述激光雷达点云数据与所述3D模型之间的拟合误差，并且使所述激光雷达点云数据作为一组在所述空间坐标系中重复地移位并且重新计算所述拟合误差，直至标识出所述3D模型的最小拟合误差，
其中，所述处理器还被配置为标识具有所述最小拟合误差的所述3D模型，并且基于具有所述最小拟合误差的所述3D模型来标识所述目标。
16.根据权利要求15所述的闪光激光雷达***(100)，其中：
所述接收器包括被配置为检测从所述目标反射的所述激光并且生成所述目标的激光雷达点云数据的盖革模式雪崩光电二极管(APD)的平面阵列(143-1)。
17.根据权利要求15所述的闪光激光雷达***(100)，其中：
所述目标包括飞行器(130-1)。
18.根据权利要求15所述的闪光激光雷达***(100)，其中：
所述处理器还被配置为基于到所述目标的距离在所述激光雷达点云数据的所述空间坐标系中缩放所述3D模型。
19.根据权利要求15所述的闪光激光雷达***(100)，其中：
所述处理器还被配置为基于所述目标的速度向量使所述3D模型在所述激光雷达点云数据的所述空间坐标系中取向。
20.根据权利要求15所述的闪光激光雷达***(100)，其中：
所述处理器还被配置为执行所述激光雷达点云数据在所述空间坐标系中基于所述激光雷达点云数据的量化的空间特性的整体移位。
21.根据权利要求15所述的闪光激光雷达***(100)，其中：
所述处理器还被配置为利用均方根拟合优度来计算所述拟合误差。
CN202110159863.3A 2020-02-08 2021-02-05 用于目标识别的点云数据去抖动 Pending CN113256483A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/785,572 2020-02-08
US16/785,572 US11536843B2 (en) 2020-02-08 2020-02-08 De-jitter of point cloud data for target recognition

Publications (1)

Publication Number Publication Date
CN113256483A true CN113256483A (zh) 2021-08-13

Family

ID=74550507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110159863.3A Pending CN113256483A (zh) 2020-02-08 2021-02-05 用于目标识别的点云数据去抖动

Country Status (3)

Country Link
US (1) US11536843B2 (zh)
EP (1) EP3862787A1 (zh)
CN (1) CN113256483A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11536843B2 (en) * 2020-02-08 2022-12-27 The Boeing Company De-jitter of point cloud data for target recognition
CN113642681B (zh) * 2021-10-13 2022-01-04 中国空气动力研究与发展中心低速空气动力研究所 一种飞行器模型表面标记点的匹配方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6044132A (en) 1997-12-31 2000-03-28 Siemens Corporate Research, Inc. Apparatus for providing markers on an image, for use in conjunction with C-arm calibration apparatus
US7616817B2 (en) 2007-04-12 2009-11-10 The United States Of America As Represented By The Secretary Of The Navy Three dimensional shape correlator
US8442304B2 (en) * 2008-12-29 2013-05-14 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
CN104271046B (zh) * 2012-03-07 2018-01-16 齐特奥股份有限公司 用于跟踪和引导传感器和仪器的方法和***
US9128185B2 (en) 2012-03-15 2015-09-08 GM Global Technology Operations LLC Methods and apparatus of fusing radar/camera object data and LiDAR scan points
US9329269B2 (en) 2012-03-15 2016-05-03 GM Global Technology Operations LLC Method for registration of range images from multiple LiDARS
US20130271461A1 (en) * 2012-04-11 2013-10-17 Pinpoint 3D Systems and methods for obtaining parameters for a three dimensional model from reflectance data
US9128188B1 (en) 2012-07-13 2015-09-08 The United States Of America As Represented By The Secretary Of The Navy Object instance identification using template textured 3-D model matching
US8948497B2 (en) 2012-09-04 2015-02-03 Digital Signal Corporation System and method for increasing resolution of images obtained from a three-dimensional measurement system
US9164511B1 (en) 2013-04-17 2015-10-20 Google Inc. Use of detected objects for image processing
KR101812001B1 (ko) * 2016-08-10 2017-12-27 주식회사 고영테크놀러지 3차원 데이터 정합 장치 및 방법
EP4194887A1 (en) * 2016-09-20 2023-06-14 Innoviz Technologies Ltd. Lidar systems and methods
KR102380216B1 (ko) 2016-11-29 2022-03-28 블랙모어 센서스 앤드 애널리틱스, 엘엘씨 포인트 클라우드 데이터 세트에서 객체의 분류를 위한 방법 및 시스템
DE102017111351A1 (de) * 2017-05-24 2018-11-29 Jena-Optronik Gmbh Verfahren zur Erfassung und autonomer Verfolgung eines Zielobjekts mittels eines LIDAR-Sensors
CN108286945B (zh) * 2017-11-10 2020-05-05 广东康云多维视觉智能科技有限公司 基于视觉反馈的三维扫描***和方法
US11073597B2 (en) * 2018-05-11 2021-07-27 Continental Automotive Systems, Inc. Three-dimensional point cloud generated by high-resolution flash LIDAR
GB2576322B (en) * 2018-08-13 2022-11-09 Imperial College Innovations Ltd Mapping object instances using video data
US10825259B2 (en) * 2019-01-02 2020-11-03 The Boeing Company Three-dimensional point data alignment with pre-alignment
US20210033706A1 (en) * 2019-07-30 2021-02-04 Toyota Research Institute, Inc. Methods and systems for automatically labeling point cloud data
US11536843B2 (en) * 2020-02-08 2022-12-27 The Boeing Company De-jitter of point cloud data for target recognition

Also Published As

Publication number Publication date
US20210247517A1 (en) 2021-08-12
US11536843B2 (en) 2022-12-27
EP3862787A1 (en) 2021-08-11

Similar Documents

Publication Publication Date Title
JP7361682B2 (ja) ３ｄ・ｌｉｄａｒ測定に基づく、多重解像度、同時位置特定、及びマッピング
CN110168311B (zh) 用于以点云数据集合对对象进行分类的方法和***
CN111868561A (zh) 使用本底噪声的自适应识别进行有效信号检测
CN111868560A (zh) 取决于脉冲类型选择lidar脉冲检测器
US20130202196A1 (en) Method and apparatus for remote sensing of objects utilizing radiation speckle
JP2008292449A (ja) 水中で対象物を検知し分類する自動目標識別システム
EP3862787A1 (en) De-jitter of point cloud data for target recognition
CN112513679A (zh) 一种目标识别的方法和装置
CN113111513B (zh) 传感器配置方案确定方法、装置、计算机设备及存储介质
US20130028482A1 (en) Method and System for Thinning a Point Cloud
US5424823A (en) System for identifying flat orthogonal objects using reflected energy signals
CN109061658B (zh) 激光雷达数据融合方法
CA2934760C (en) Method for detecting topographical features of a surface and device for such purpose
García-Moreno et al. Error propagation and uncertainty analysis between 3D laser scanner and camera
Vasile et al. Advanced coincidence processing of 3D laser radar data
CN117826179A (zh) 分类和去除光探测和测距点云中对象伪影以增强探测的***和方法
KR20100109216A (ko) 구조물 윤곽선 추출장치 및 방법
CN114755666B (zh) 点云膨胀的评估方法、装置及设备
KR101392222B1 (ko) 표적 윤곽을 추출하는 레이저 레이더, 그것의 표적 윤곽 추출 방법
Mandlburger et al. Feasibility investigation on single photon LiDAR based water surface mapping
Jawad et al. Measuring object dimensions and its distances based on image processing technique by analysis the image using sony camera
de Asís López et al. Geometric optimization of trough collectors using terrestrial laser scanning: Feasibility analysis using a new statistical assessment method
Ozendi et al. An emprical point error model for TLS derived point clouds
CN110476080B (zh) 用于对扫描角进行扫描并且用于分析处理探测器的激光雷达设备和方法
US11236990B2 (en) De-jitter of point cloud data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination