CN110914703A - 对点云中基于运动的不准确性的校正 - Google Patents

对点云中基于运动的不准确性的校正 Download PDF

Info

Publication number
CN110914703A
CN110914703A CN201780093179.1A CN201780093179A CN110914703A CN 110914703 A CN110914703 A CN 110914703A CN 201780093179 A CN201780093179 A CN 201780093179A CN 110914703 A CN110914703 A CN 110914703A
Authority
CN
China
Prior art keywords
point
vehicle
scan
point cloud
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780093179.1A
Other languages
English (en)
Inventor
李琛
马陆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN110914703A publication Critical patent/CN110914703A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本文公开了校正由扫描平台所承载的一个或多个传感器所生成的点云数据中的基于运动的不准确性、以及相关联的***和方法。有代表性的方法包括：将运动模型与点云的目标对象相关联；基于运动模型估计调整因子；以及使用调整因子调整点云中的扫描点。

Description

对点云中基于运动的不准确性的校正
技术领域
本技术总体上针对例如由扫描平台所承载的一个或多个发射器/检测器传感器(例如，激光传感器)所生成的点云中基于运动的不准确性的校正。
背景技术
扫描平台的周围的环境通常可以使用一个或多个发射器/检测器传感器来扫描或以其他方式检测。发射器/检测器传感器(例如，LiDAR传感器)通常向外发射脉冲信号(例如，激光信号)、检测脉冲信号反射、并识别环境中的三维信息(例如，激光扫描点)，从而便于对象检测和/或识别。典型的发射器/检测器传感器可以提供在短的时间段上累积的三维几何信息(例如，在与传感器或扫描平台相关联的三维坐标系中表示的扫描点)。所获得的关于对象位置的信息可以便于检测行人、载具和/或环境中的其他对象的过程，由此为目标跟踪、避障、路线规划和/或自动化或辅助导航操作中的其他应用提供基础。然而，存在至少部分由于扫描点的累积所引起的不准确性，其可以影响各种高层应用。因此，仍然存在对于改进的感测技术和装置的需要。
发明内容
以下概述为了读者的方便而提供，并且标识出所公开的技术的几个代表性实施例。
在一些实施例中，一种用于调整使用扫描平台所承载的至少扫描单元所生成的点云的计算机实现的方法包括：获得包括多个扫描点的基础点云，所述多个扫描点是由所述扫描单元在一时间段期间产生的，其中，所述扫描点中的每个扫描点指示目标对象的至少一个部分的位置，并且其中，所述目标对象与运动模型相关联。所述方法可以还包括：至少部分基于运动模型，确定适用于扫描点的一个或多个调整因子；以及至少部分基于所述一个或多个调整因子，变换扫描点的至少一个子集，以生成目标对象的经调整的点云。
在一些实施例中，由所述扫描点中的至少两个扫描点所指示的位置与不同的时间点相对应。在一些实施例中，由所述扫描点中的至少两个扫描点所指示的位置与目标对象的不同部分相对应。在一些实施例中，所述扫描点是在与所述至少一个扫描单元或扫描平台相关联的三维参照系之内表示的。在一些实施例中，运动模型包括平移运动分量和/或旋转运动分量。在一些实施例中，平移运动分量包括恒定平移速度因子。在一些实施例中，运动模型包括旋转运动分量。在一些实施例中，旋转运动分量包括恒定旋转速度因子。
在一些实施例中，确定所述一个或多个调整因子包括：至少部分基于与扫描点有关的体积来评估点云测量。在一些实施例中，评估点云测量包括：对扫描点应用运动模型；以及根据运动模型的应用，搜索在目标时间点由扫描点占据的最小数量的体积像素(体素)。在一些实施例中，评估点云测量包括：对扫描点应用运动模型；以及根据运动模型的应用，搜索在目标时间点由扫描点所包围的最小体积。
在一些实施例中，目标时间点与所述时间段的末尾相对应。在一些实施例中，所述一个或多个调整因子包括平移速度或旋转速度中的至少一项。在一些实施例中，变换扫描点的至少一个子集包括：至少部分基于所述一个或多个调整因子，重新定位所述子集的每个扫描点。在一些实施例中，重新定位每个扫描点至少部分基于与所述扫描点相关联的在产生所述扫描点的时间点与后续目标时间点之间的移动。在一些实施例中，目标对象和扫描平台之间的相对距离在所述时间段期间改变。
在一些实施例中，扫描平台包括以下中的至少一项：无人飞行器(UAV)、有人驾驶飞行器、自动驾驶汽车、自平衡载具、机器人、智能可穿戴式装置、虚拟现实(VR)头戴式显示器、或增强现实(AR)头戴式显示器。在一些实施例中，所述方法还包括：至少部分基于经调整的点云来定位目标对象。
前述方法中的任何方法可以经由存储计算机可执行指令的非暂时性计算机可读介质实现，所述计算机可执行指令在被执行时，使与扫描平台相关联的一个或多个处理器执行对应的动作；或者经由包括编程控制器的载具实现，所述编程控制器至少部分地控制载具的一个或多个运动，并且包括一个或多个处理器，所述一个或多个处理器被配置为执行对应的动作。
附图说明
图1A示出目标载具的示例点云，该示例点云包括基于平移运动的不准确性和基于旋转运动的不准确性二者。
图1B示出没有基于运动的不准确性的图1A的目标载具的示例点云。
图2示出根据当前公开的技术的一些实施例的用于生成基础点云和校正基于运动的不准确性的过程。
图3示出根据当前公开的技术的一些实施例的用于基于运动模型重新定位扫描点的过程。
图4示出根据当前公开的技术的一些实施例的用于确定误差的过程，其中使用统一运动模型。
图5是示出根据当前公开的技术的一些实施例的用于对点云中基于运动的不准确性的校正的方法的流程图。
图6示出根据当前公开的技术的各个实施例所配置的扫描平台的示例。
图7是示出可以用于实现当前公开的技术的各个部分的计算机***或其他控制装置700的架构的示例的框图。
具体实施方式
1、概述
当使用发射器/检测器传感器(例如，LiDAR传感器)扫描对象时，被扫描对象和例如由移动扫描平台所承载的传感器之间的相对移动可以引起三维(3D)点云中的不准确性(例如，污迹或模糊)，该三维点云包括在一时间段上累积的扫描点。因为不准确的扫描点不反映对象(或其部分)的真实位置，基于3D点云所重构的对象可能是不准确的，因此影响高层应用，例如，对象跟踪、避障等。当前所公开的技术可以使用传统的3D点云作为输入，分析移动对象的扫描结果，并且根据运动模型来校正基于运动的不准确性。基于当前所公开的技术所生成的经校正或经调整的点云可以促进高效和准确的对象检测或识别，因此为自动化或辅助导航过程中的各种应用提供可靠的基础。
为了清楚起见，在下面的描述中没有阐述描述结构和/或过程的若干细节，这些结构和/或过程是众所周知的并且经常与扫描平台(例如，UAV或其他类型的可移动平台)以及对应的***和子***相关联，但可能不必要地模糊当前所公开的技术的一些重要方面。而且，尽管以下公开阐述当前公开的技术的不同方面的若干实施例，但是若干其他实施例可以具有与本文所描述的配置或部件不同的配置或不同的部件。因此，当前所公开的技术可以具有其他实施例，这些其他实施例具有附加元件和/或不具有下面参考图1至图7所描述的若干元件。
提供图1-图7来示出当前所公开的技术的有代表性的实施例。除非另外提出，否则附图不旨在将权利要求的范围限制在本申请之中。
下文所描述的技术的许多实施例可以采用计算机可执行或控制器可执行的指令的形式，这些指令包括由可编程计算机或控制器执行的例程。可编程计算机或控制器可以或可以不驻留在对应的扫描平台上。例如，可编程计算机或控制器可以是扫描平台上安装的计算机，或者可以是单独的却与扫描平台相关联的专用计算机，或者可以是基于网络或云的计算服务的一部分。相关领域的技术人员将了解，所述技术可以在下文所示出和所描述的那些计算机或控制器***之外的计算机或控制器***上实践。所述技术可以被实现在被专门编程、配置或构造为执行下文描述的一个或多个计算机可执行指令的专用计算机或数据处理器中。因此，本文通常使用的术语“计算机”和“控制器”指任何数据处理器，并且可以包括互联网设备和手持装置(包括掌上计算机、可穿戴计算机、蜂窝或移动电话、多处理器***、基于处理器的或可编程的消费电子产品、网络计算机、微型计算机等)。由这些计算机和控制器处理的信息可以被呈现在包括液晶显示器(LCD)在内的任何合适的显示介质上。用于执行计算机或控制器可执行任务的指令可以被存储在包括硬件、固件、或硬件和固件的组合的任何合适的计算机可读介质中或其上。指令可以被包含在任何合适的存储器装置中，例如，该存储器装置包括闪存驱动器、通用串行总线(USB)装置和/或其他合适的介质。在特定实施例中，相应地，指令是非暂时性的。
2、代表性实施例
典型的3D点云可以包括在一个或多个时间段(例如，由传感器所产生的一帧或连续的几帧)上累积的扫描点。当正被扫描的目标对象在所述时间段期间相对于传感器移动时，点云的某些部分可以指示对象在空间中(关于当前时间点)的错误位置，产生污迹、模糊或拖曳“阴影”效果。阴影的长度和形状可能取决于目标对象的相对移动的性质。例如，目标对象的平移运动可以对平的、矩形的阴影有贡献，而旋转运动可以留下弧状轨迹。图1A示出目标载具的示例点云，该示例点云包括基于平移运动的不准确性和基于旋转运动的不准确性二者，而图1B示出没有基于运动的不准确性的目标载具的示例点云。
因为对象在空间中的运动可以是任意的，所以基于运动的不准确性的数学描述可能是复杂的。传统的点云处理***不优化和处理这种现象，且仅将错误点云部分当作是在物理空间中存在的所谓的对象部分。然而，对象形状和/或位置的这种错误感知可能导致在目标跟踪、避障、路径规划和/或其他应用中的错误估计或过度保守的决策。
图2示出根据当前公开的技术的一些实施例的用于生成基础点云和校正基于运动的不准确性的过程。如图2中所示，在时间段Δt期间，传感器210扫描目标对象205。在该时间段内的各个时间点t∈[0，Δt]产生扫描点215a-215e。换言之，每个扫描点215a-215e反映在对应时间点目标对象205的一部分距离传感器210的距离。如果目标对象205在时间段Δt期间相对于传感器210移动，则由传感器210在时间点t＝Δt之前所扫描的任一点反映在过去某个时间在目标对象部分和传感器210之间的距离(因此该距离要比应该的距离长)。这些扫描点215a-215e通常在单个或公共坐标系中累积，以形成基础点云225。
因此，基础点云225包括反映与目标对象205(或其一部分)在时间段Δt期间移动时的轨迹的信息。基础点云225的长度和形状至少部分地取决于目标对象205在扫描时间段期间的实际移动。当前所公开的技术可以经由重新定位扫描点215a-215e的至少子集，生成经校正或经调整的点云235，使得经校正或经调整的点云235更准确地反映目标对象205的至少某部分(例如，如图2中所示的车辆的前部)在特定时间点(例如，时间点t＝Δt)的形状和/或距离。
图3示出根据当前公开的技术的一些实施例的用于基于运动模型重新定位扫描点(例如，图2的扫描点215a-215d)的过程。目标对象的基础点云(例如，如图2中所示的目标对象205的基础点云225)中所包括的扫描点的集合可以被表示为：
Figure BDA0002366248120000061
其中，每个扫描点p∈PΔt与采集或产生该扫描点的扫描时间点tp相关联。
如果目标对象在时间点t以速度vt行进，则扫描点重新定位之后的经校正或经调整的点云可以包括以下集合：
Figure BDA0002366248120000062
其中，积分操作计算基础点云中的每个扫描点在扫描时间点tp之后应该已经产生的附加位移量。如果产生对象的平移运动vt和旋转运动rt二者，则经校正或经调整的点云中所包括的点集合可以被表示为：
Figure BDA0002366248120000063
其中，ct与对象在时间点t绕其旋转的点(例如，对象的质心)相对应，pt与在时间点t的点p的位置相对应，而数学运算符*代表对应的旋转变换。
图4示出根据当前公开的技术的一些实施例的用于确定误差的过程，其中使用一个或多个统一运动模型。给定目标对象的实际线速度v和加速度a，目标对象在时间段Δt中行进的距离是：
Figure BDA0002366248120000071
类似的分析可以被应用于减速的对象。因此，如图4中所示，在使用统一运动模型的实施例中，经校正或经调整的点云的误差对应于加速度方向上和减速度的反方向上的距离
Figure BDA0002366248120000072
给定目标对象加速度a上的限制或约束，该误差距离可以与安全驾驶距离或期望应用的其他安全性或操作阈值相比，从而确定用于基础点云生成的最大时间段Δt。
图5是示出根据当前公开的技术的一些实施例的用于校正点云中的一个或多个基于运动的不准确性的方法500的流程图。图5的方法可以通过控制器(例如，扫描平台上安装的计算机、相关联的计算装置和/或相关联的计算服务)实现。
在框505处，该方法包括：获得关于对象(例如，载具、行人、飞行器等)的扫描点的基础点云。如上文所讨论的，在一时间段期间采集扫描点，且各个扫描点可以指示对象的不同部分在不同时间点的位置。例如，基础点云可以包括由发射器/检测器传感器(例如，LiDAR传感器)所产生的单帧的扫描点。一帧内的各个扫描点可以不同时生成。例如，在一些实施例中，尽管传感器数据(例如，扫描点)被连续地采集，但扫描点的帧根据一些离散时间间隔生成或发送。换言之，帧可以与在特定时间段(例如，0.1秒)上累积的传感器数据(例如，扫描点)的集合相对应。在一些实施例中，基础点云还可以包括由一个或多个传感器所产生的多个连续帧的扫描点。
在框510处，该方法包括：确定用于该时间段期间的对象的移动的运动模型。该运动模型可以包括平移运动分量、旋转运动分量、振动运动分量和/或其他运动分量。例如，如上文所讨论的公式(2)可以被选择为在该时间段期间与对象相关联的运动模型。
在框515处，该方法包括：评估点云测量，以确定适用于扫描点的估计运动模型因子。基于运动的不准确性可以引起基础点云的错误的、增大的尺寸。因此，该方法可以包括：评估与体积或尺寸有关的点云测量，以确定估计运动模型因子。例如，该方法可以搜索最少数量的体积像素或体素(例如，围绕扫描平台的三维空间上均匀划分的0.001立方米的立方体)，每个体素包含至少一个扫描点。换言之，描述点云的最少数量的体素可以与静态位置中的对象的最接近的近似相对应。在数学上，最小化函数可以被表示为：
Figure BDA0002366248120000081
其中，v，r代表对象的恒定平移速度和旋转速度(它们是要被估计的运动模型因子)，函数GIRD(P)计算由P占据的体素量，而函数Es(v，r)可以与用于观测平移速度和旋转速度的先验项相对应，其可以采用以下形式：
Es(v，r)＝|v-v′|2+|r-r′|2 (5)
其中，v′，r′可以与根据不同的传感器方法(例如，通过对准与不同时间相对应的对象的点云，或通过使用其他传感器(例如，激光转速计或毫米波雷达))所获得的观测相对应。在一些实施例中，公式(3)不需要Es(v，r)项。在这些实施例中，最小化搜索可能在计算上更昂贵(例如，更久才收敛)。
基于公式(4)的体素量最小化过程可以包括确定对象的多个旋转中心ct。在一些实施例中，为了计算的高效和方便，该方法包括两步近似，在该两步近似中，旋转变换在平移变换之后。例如，在这些实施例中，点云测量评估可以根据以下公式执行：
Figure BDA0002366248120000082
其中，C可以与中间点云(例如，根据公式(1)的
Figure BDA0002366248120000083
Figure BDA0002366248120000084
)的质心点相对应，中间点云仅针对平移运动被优化。在一些实施例中，C可以被定义为与关于中间点云的其他位置相对应(例如，指示车辆的转向轮之间的中点)。
在一些实施例中，该方法可以包括评估由点云所包围的体积。类似于体素量评估，这种方法可以使用基于运动模型的公式，以计算测量(例如，由点云的外表面(例如，连接所有外表面扫描点的网格)所包围的体积)。与寻求最小化“骨架”体积的体素量评估不同，所包围的体积的评估可以评估整个尺寸的点云。在一些实施例中，该方法可以包括：评估点云的多个测量(例如，体素量和所包围的体积测量二者)；以及计算根据多个评估所产生的估计运动模型因子的加权平均。在一些实施例中，运动模型可以包括非恒定形式的因子。例如，要被估计的对象的平移速度和/或旋转速度可以被定义为时间t的函数。
根据一些实施例，搜索点云测量(例如，体素量或所包围的体积)的最小化可以包括：找到测量的全局最小值或局部最小值，或者(例如，出于计算效率、约束和/或经济的原因)仅找到减小的(但不一定是最小的)测量值。
在框520处，该方法包括：根据估计运动模型因子来变换基础点云中的扫描点，以形成经校正或经调整的点云。例如，该方法可以包括：根据适用的运动模型(例如，公式(1)或公式(2))，至少部分基于所估计的平移速度v和/或所估计的旋转速度r，重新定位最初在基础点云中包括的扫描点的至少子集。重新定位将子集中的每个扫描点从扫描点被采集或被产生的时间点tp的位置移动到在时间段Δt的末尾的扫描点的估计位置。该方法可以标记或另外结合在时间段的末尾采集或产生的任何扫描点使用变换后的扫描点，以形成针对该对象的经校正或经调整的点云。
在框525处，该方法包括：基于经校正或经调整的点云，采取一个或多个其他动作。例如，控制器可以确定质心、轮廓、形状，和/或可以基于经校正的点云来识别对象，其可以比使用基础点云更准确。控制器还可以基于经校正的点云，确定传感器(或扫描平台)和对象的各个部分之间的距离，并由此促进避障、目标跟踪、路线规划和/或其他自动化/辅助导航应用。图5的方法可以响应于获得每个传感器数据帧、响应于某些事件(例如，扫描平台进入具有更多数量的障碍物的区域)和/或基于用户命令实现。
图6示出根据当前公开的技术的各个实施例所配置的扫描平台的示例。如图所示，如本文所公开的有代表性的扫描平台可以包括以下中的至少一项：无人飞行器(UAV)602、有人驾驶飞行器604、自动驾驶汽车606、自平衡载具608、陆上机器人610、智能可穿戴式装置612、虚拟现实(VR)头戴式显示器614或增强现实(AR)头戴式显示器616。
图7是示出可以用于实现当前公开的技术的各个部分的计算机***或其他控制装置700的架构的示例的框图。在图7中，计算机***700包括经由互连部725连接的一个或多个处理器705和存储器710。互连部725可以表示以下中的任何一项或多项：通过适合的网桥、适配器或控制器连接的单独的物理总线、点对点连接或二者。因此，例如，互连部725可以包括：***总线、***部件互联(PCI)总线、超传输或工业标准结构(ISA)总线、小型计算机***接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线或国际电气和电子工程师协会(IEEE)标准674总线(有时被称为“火线”)。
处理器705可以包括用于控制(例如，主计算机的)总体操作的中央处理单元(CPU)。在某些实施例中，处理器705通过执行存储器710中存储的软件或固件完成控制。处理器705可以是或可以包括：一个或多个可编程通用或专用微处理器、数字信号处理器(DSP)、可编程控制器、专用集成电路(ASIC)、可编程逻辑器件(PLD)等、或这些装置的组合。
存储器710可以是或可以包括计算机***的主存储器。存储器710表示任何合适形式的随机存取存储器(RAM)、只读存储器(ROM)、闪存等、或这些装置的组合。在使用时，存储器710可以包含机器指令集等，当机器指令集由处理器705执行时，使处理器705执行用于实现当前所公开的技术的实施例的操作。
(可选的)网络适配器715也通过互连部725被连接至处理器705。网络适配器715提供具有与远程装置(例如，存储客户端和/或其他存储服务器)通信的能力的计算机***700，并且，例如，可以是以太网适配器或光纤信道适配器。
例如，本文描述的技术可以通过以下实现：利用软件和/或固件编程的、或完全在专用硬件电路中的、或在这些形式的组合中的可编程电路(例如，一个或多个微处理器)。例如，专用硬件电路可以是以下形式：一个或多个专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)等。
用于实现此处所介绍的技术的软件或固件可以被存储在机器可读存储介质上并且可以由一个或多个通用或专用可编程微处理器执行。如本文所使用的术语“机器可读存储介质”包括可以存储由机器可访问的形式的信息的任何装置(例如，所述机器可以是计算机、网络装置、蜂窝电话、个人数字助理(PDA)、制造工具、具有一个或多个处理器的任何装置等)。例如，机器可访问的存储介质包括：可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存装置等)等。
例如，如本文使用的术语“逻辑”可以包括：利用特定软件和/或固件、专用硬件电路或其组合编程的可编程电路。
本公开的一些实施例具有上文所述的方面、元素、特征和/或步骤之外或替换其的其他方面、元素、特征和/或步骤。这些可能的添加或替换在整个说明书的其余部分中描述。在本说明书中对“各个实施例”、“某些实施例”或“一些实施例”的引用表示结合实施例所描述的特定特征、结构或特性被包括在本公开的至少一个实施例中。这些实施例，甚至是备选实施例(例如，被称为“其他实施例”)不与其他实施例相互排斥。而且，各种特征被描述为可以通过一些实施例而不通过其他实施例体现。类似地，各种要求被描述为可以是针对一些实施例而不针对其他实施例的要求。例如，一些实施例仅说明平移运动，其他实施例仅说明旋转运动，还有一些考虑二者。作为另一个示例，一些实施例寻求最小化体素量，其他实施例寻求最小化所包围的体积，还有一些使用这两种技术。
就本文通过引用并入的任何材料与本公开相冲突的方面而言，以本公开为准。

Claims (61)

1.一种用于调整使用扫描平台所承载的至少一个扫描单元所生成的点云的计算机实现的方法，所述方法包括：
获得包括多个扫描点的基础点云，所述多个扫描点是由所述扫描单元在一时间段期间产生的，其中，所述扫描点中的每个扫描点指示目标对象的至少一个部分的位置，并且其中，所述目标对象在所述时间段期间相对于所述扫描单元移动；
将运动模型与目标单元相关联，其中，所述运动模型包括恒定速度平移运动分量和恒定速度旋转运动分量；
至少部分基于在所述时间段上应用所述运动模型，评估与所述基础点云有关的体积测量；
至少部分基于所述体积测量的评估，确定适用于所述扫描点的一个或多个调整因子；
至少部分基于所述一个或多个调整因子，变换所述扫描点的至少子集，以生成经校正的点云；以及
至少部分基于所述经校正的点云，定位所述目标对象。
2.一种用于调整使用扫描平台所承载的至少一个扫描单元所生成的点云的计算机实现的方法，所述方法包括：
获得包括多个扫描点的基础点云，所述多个扫描点是由所述扫描单元在一时间段期间产生的，其中，所述扫描点中的每个扫描点指示目标对象的至少一个部分的位置，并且其中，所述目标对象与运动模型相关联；
至少部分基于所述运动模型，确定适用于所述扫描点的一个或多个调整因子；以及
至少部分基于所述一个或多个调整因子，变换所述扫描点的至少一个子集，以生成所述目标对象的经调整的点云。
3.根据权利要求2所述的方法，其中，由所述扫描点中的至少两个扫描点所指示的位置与不同的时间点相对应。
4.根据权利要求2或3中任一项所述的方法，其中，由所述扫描点中的至少两个扫描点所指示的位置与所述目标对象的不同部分相对应。
5.根据权利要求2-4中任一项所述的方法，其中，所述扫描点是在与所述至少一个扫描单元或所述扫描平台相关联的三维参照系之内表示的。
6.根据权利要求2所述的方法，其中，所述运动模型包括平移运动分量。
7.根据权利要求6所述的方法，其中，所述平移运动分量包括恒定平移速度因子。
8.根据权利要求6所述的方法，其中，所述平移运动分量包括非恒定平移速度因子。
9.根据权利要求2或6-8中任一项所述的方法，其中，所述运动模型包括旋转运动分量。
10.根据权利要求9所述的方法，其中，所述旋转运动分量包括恒定旋转速度因子。
11.根据权利要求9所述的方法，其中，所述旋转运动分量包括非恒定旋转速度因子。
12.根据权利要求2所述的方法，其中，确定所述一个或多个调整因子包括：至少部分基于与所述扫描点有关的体积来评估点云测量。
13.根据权利要求12所述的方法，其中，评估所述点云测量包括：
对所述扫描点应用所述运动模型；以及
根据所述运动模型的应用，搜索在目标时间点由所述扫描点占据的最小数量的体积像素。
14.根据权利要求12所述的方法，其中，评估所述点云测量包括：
对所述扫描点应用所述运动模型；以及
根据所述运动模型的应用，搜索在目标时间点由所述扫描点所包围的最小体积。
15.根据权利要求13或14所述的方法，其中，所述目标时间点与所述时间段的末尾相对应。
16.根据权利要求2或12-15中任一项所述的方法，其中，所述一个或多个调整因子包括平移速度或旋转速度中的至少一项。
17.根据权利要求2所述的方法，其中，变换所述扫描点的所述至少一个子集包括：至少部分基于所述一个或多个调整因子，重新定位所述子集的每个扫描点。
18.根据权利要求17所述的方法，其中，重新定位每个扫描点至少部分基于与所述扫描点相关联的、在产生所述扫描点的时间点与后续目标时间点之间的移动。
19.根据权利要求2所述的方法，其中，所述目标对象和所述扫描平台之间的相对距离在所述时间段期间改变。
20.根据权利要求2或19中任一项所述的方法，其中，所述扫描平台包括以下中的至少一项：无人飞行器UAV、有人驾驶飞行器、自动驾驶汽车、自平衡载具、机器人、智能可穿戴式装置、虚拟现实VR头戴式显示器、或增强现实AR头戴式显示器。
21.根据权利要求2-20中任一项所述的方法，还包括：至少部分基于所述经调整的点云来定位所述目标对象。
22.一种存储计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在被执行时使与扫描平台相关联的一个或多个处理器执行动作，所述动作包括：
获得包括多个扫描点的基础点云，所述多个扫描点是由至少一个扫描单元在一时间段期间产生的，其中，所述扫描点中的每个扫描点指示目标对象的至少一个部分的位置，并且其中，所述目标对象与运动模型相关联；
至少部分基于所述运动模型，确定适用于所述扫描点的一个或多个调整因子；以及
至少部分基于所述一个或多个调整因子，变换所述扫描点的至少一个子集，以生成所述目标对象的经调整的点云。
23.根据权利要求22所述的计算机可读介质，其中，由所述扫描点中的至少两个扫描点所指示的位置与不同时间点相对应。
24.根据权利要求22或23中任一项所述的计算机可读介质，其中，由所述扫描点中的至少两个扫描点所指示的位置与所述目标对象的不同部分相对应。
25.根据权利要求中22-24中任一项所述的计算机可读介质，其中，所述扫描点是在与所述至少一个扫描单元或所述扫描平台相关联的三维参照系之内表示的。
26.根据权利要求22所述的计算机可读介质，其中，所述运动模型包括平移运动分量。
27.根据权利要求26所述的计算机可读介质，其中，所述平移运动分量包括恒定平移速度因子。
28.根据权利要求26所述的计算机可读介质，其中，所述平移运动分量包括非恒定平移速度因子。
29.根据权利要求22或26-28中任一项所述的计算机可读介质，其中，所述运动模型包括旋转运动分量。
30.根据权利要求29所述的计算机可读介质，其中，所述旋转运动分量包括恒定旋转速度因子。
31.根据权利要求29所述的计算机可读介质，其中，所述旋转运动分量包括非恒定旋转速度因子。
32.根据权利要求22所述的计算机可读介质，其中，确定所述一个或多个调整因子包括：至少部分基于与所述扫描点有关的体积来评估点云测量。
33.根据权利要求32所述的计算机可读介质，其中，评估所述点云测量包括：
对所述扫描点应用所述运动模型；以及
根据所述运动模型的应用，搜索在目标时间点由所述扫描点占据的最小数量的体积像素(体素)。
34.根据权利要求32所述的计算机可读介质，其中，评估所述点云测量包括：
对所述扫描点应用所述运动模型；以及
根据所述运动模型的应用，搜索在目标时间点由所述扫描点所包围的最小体积。
35.根据权利要求33或34中任一项所述的计算机可读介质，其中，所述目标时间点与所述时间段的末尾相对应。
36.根据权利要求22或32-35中任一项所述的计算机可读介质，其中，所述一个或多个调整因子包括平移速度或旋转速度中的至少一项。
37.根据权利要求22所述的计算机可读介质，其中，变换所述扫描点的所述至少一个子集包括：至少部分基于所述一个或多个调整因子，重新定位所述子集的每个扫描点。
38.根据权利要求37所述的计算机可读介质，其中，重新定位每个扫描点至少部分基于与所述扫描点相关联的、在产生所述扫描点的时间点与后续目标时间点之间的移动。
39.根据权利要求22所述的计算机可读介质，其中，所述目标对象和所述扫描平台之间的相对距离在所述时间段期间改变。
40.根据权利要求22或39中任一项所述的计算机可读介质，其中，所述扫描平台包括以下中的至少一项：无人飞行器UAV、有人驾驶飞行器、自动驾驶汽车、自平衡载具、机器人、智能可穿戴式装置、虚拟现实VR头戴式显示器、或增强现实AR头戴式显示器。
41.根据权利要求22-40中任一项所述的计算机可读介质，其中，所述动作还包括：至少部分基于所述经调整的点云来定位所述目标对象。
42.一种包括编程控制器的载具，所述编程控制器至少部分地控制所述载具的一个或多个运动，其中，所述编程控制器包括一个或多个处理器，所述一个或多个处理器被配置为：
获得包括多个扫描点的基础点云，所述多个扫描点是由至少一个扫描单元在一时间段期间产生的，其中，所述扫描点中的每个扫描点指示目标对象的至少一个部分的位置，并且其中，所述目标对象与运动模型相关联；
至少部分基于所述运动模型，确定适用于所述扫描点的一个或多个调整因子；以及
至少部分基于所述一个或多个调整因子，变换所述扫描点的至少一个子集，以生成所述目标对象的经调整的点云。
43.根据权利要求42所述的载具，其中，由所述扫描点中的至少两个扫描点所指示的位置与不同的时间点相对应。
44.根据权利要求42或43中任一项所述的载具，其中，由所述扫描点中的至少两个扫描点所指示的位置与所述目标对象的不同部分相对应。
45.根据权利要求42-44中任一项所述的载具，其中，所述扫描点是在与所述至少一个扫描单元或所述载具相关联的三维参照系之内表示的。
46.根据权利要求42所述的载具，其中，所述运动模型包括平移运动分量。
47.根据权利要求46所述的载具，其中，所述平移运动分量包括恒定平移速度因子。
48.根据权利要求46所述的载具，其中，所述平移运动分量包括非恒定平移速度因子。
49.根据权利要求42或46-48中任一项所述的载具，其中，所述运动模型包括旋转运动分量。
50.根据权利要求49所述的载具，其中，所述旋转运动分量包括恒定旋转速度因子。
51.根据权利要求49所述的载具，其中，所述旋转运动分量包括非恒定旋转速度因子。
52.根据权利要求42所述的载具，其中，确定所述一个或多个调整因子包括：至少部分基于与所述扫描点有关的体积来评估点云测量。
53.根据权利要求52所述的载具，其中，评估所述点云测量包括：
对所述扫描点应用所述运动模型；以及
根据所述运动模型的应用，搜索在目标时间点由所述扫描点占据的最小数量的体积像素(体素)。
54.根据权利要求52所述的载具，其中，评估所述点云测量包括：
对所述扫描点应用所述运动模型；以及
根据所述运动模型的应用，搜索在目标时间点由所述扫描点所包围的最小体积。
55.根据权利要求53或54中任一项所述的载具，其中，所述目标时间点与所述时间段的末尾相对应。
56.根据权利要求42或52-55中任一项所述的载具，其中，所述一个或多个调整因子包括平移速度或旋转速度中的至少一项。
57.根据权利要求42所述的载具，其中，变换所述扫描点的所述至少一个子集包括：至少部分基于所述一个或多个调整因子，重新定位所述子集的每个扫描点。
58.根据权利要求57所述的载具，其中，重新定位每个扫描点至少部分基于与所述扫描点相关联的、在产生所述扫描点的时间点与后续目标时间点之间的移动。
59.根据权利要求42所述的载具，其中，所述目标对象和所述扫描平台之间的相对距离在所述时间段期间改变。
60.根据权利要求42或59中任一项所述的载具，其中，所述载具包括以下中的至少一项：无人飞行器UAV、有人驾驶飞行器、自动驾驶汽车、自平衡载具、机器人、智能可穿戴式装置、虚拟现实VR头戴式显示器、或增强现实AR头戴式显示器。
61.根据权利要求42-60中任一项所述的载具，其中，所述一个或多个处理器还被配置为：至少部分基于所述经调整的点云来定位所述目标对象。
CN201780093179.1A 2017-07-31 2017-07-31 对点云中基于运动的不准确性的校正 Pending CN110914703A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/095300 WO2019023892A1 (en) 2017-07-31 2017-07-31 MOTION-BASED IMPRESSION CORRECTION IN POINT CLOUDS

Publications (1)

Publication Number Publication Date
CN110914703A true CN110914703A (zh) 2020-03-24

Family

ID=64502747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780093179.1A Pending CN110914703A (zh) 2017-07-31 2017-07-31 对点云中基于运动的不准确性的校正

Country Status (5)

Country Link
US (3) US10152771B1 (zh)
EP (1) EP3631508A4 (zh)
KR (1) KR102284565B1 (zh)
CN (1) CN110914703A (zh)
WO (1) WO2019023892A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114442101A (zh) * 2022-01-28 2022-05-06 南京慧尔视智能科技有限公司 基于成像毫米波雷达的车辆导航方法、装置、设备及介质

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2009244190B2 (en) 2008-05-07 2016-02-25 Salix Pharmaceuticals, Ltd. Methods of treating bowel disease by administering a bowel cleanser and an antibiotic
JP2014532723A (ja) 2011-11-02 2014-12-08 サリックス ファーマスーティカルズ，リミテッド 過敏性腸症候群（ｉｂｓ）及び感染症を治療するための方法
JP2019128641A (ja) * 2018-01-22 2019-08-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US11204605B1 (en) * 2018-08-03 2021-12-21 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a LIDAR data segmentation system
DE102018213554A1 (de) * 2018-08-10 2020-02-13 Audi Ag Verfahren und Anzeigeeinrichtung zur Visualisierung einer Anordnung sowie Wirkungsweise von Umfeldsensoren eines Kraftfahrzeugs
US11048254B2 (en) 2019-04-10 2021-06-29 Waymo Llc Generating simplified object models to reduce computational resource requirements for autonomous vehicles
RU2767955C1 (ru) 2019-05-27 2022-03-22 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для определения компьютером наличия динамических объектов
CN112015938B (zh) * 2019-05-28 2024-06-14 杭州海康威视数字技术股份有限公司 点云标签传递方法、装置及***
GB2591332B (en) * 2019-12-19 2024-02-14 Motional Ad Llc Foreground extraction using surface fitting
US11151788B2 (en) * 2019-12-27 2021-10-19 Woven Planet North America, Inc. Systems and methods for presenting a reconstructed representation of a moving object detected in a scene
CN112150635A (zh) * 2020-09-02 2020-12-29 北京捷安申谋军工科技有限公司 基于数字孪生的ar单兵与机器人混编作战***及其方法
US11792644B2 (en) 2021-06-21 2023-10-17 Motional Ad Llc Session key generation for autonomous vehicle operation
CN115661935B (zh) * 2022-10-31 2023-07-11 海信集团控股股份有限公司 一种人体动作准确度确定方法和设备
CN116091533B (zh) * 2023-01-03 2024-05-31 中国人民解放军海军航空大学 一种Qt开发环境下的激光雷达目标演示与提取方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110124892A (ko) * 2010-05-12 2011-11-18 삼성전자주식회사 움직임 보상 3차원 필터링 방법 및 장치
CN102317972A (zh) * 2009-02-13 2012-01-11 哈里公司 3d点云数据对于2d电光图像数据的对准
US20140071121A1 (en) * 2012-09-11 2014-03-13 Digital Signal Corporation System and Method for Off Angle Three-Dimensional Face Standardization for Robust Performance
US9031809B1 (en) * 2010-07-14 2015-05-12 Sri International Method and apparatus for generating three-dimensional pose using multi-modal sensor fusion
CN105628026A (zh) * 2016-03-04 2016-06-01 深圳大学 一种移动物体的定位定姿方法和***
US9383753B1 (en) * 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
CN106093963A (zh) * 2016-05-31 2016-11-09 中铁第四勘察设计院集团有限公司 一种提高铁路车载激光雷达扫描数据精度的方法
WO2017021778A2 (en) * 2015-08-03 2017-02-09 Tomtom Global Content B.V. Methods and systems for generating and using localisation reference data
CN106461383A (zh) * 2014-06-25 2017-02-22 微软技术许可有限责任公司 机器人臂/传感器/工作区***的自动现场配准和校准
CN106570905A (zh) * 2016-11-02 2017-04-19 北京控制工程研究所 一种非合作目标点云初始姿态验证方法

Family Cites Families (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4283116A (en) 1977-04-22 1981-08-11 Jersey Nuclear-Avco Isotopes, Inc. Beam combiner
JPS6076541A (ja) 1983-10-01 1985-05-01 Sekisui Chem Co Ltd 発泡用組成物
JPS63194211A (ja) 1987-02-09 1988-08-11 Sony Corp カメラのレンズ駆動装置
US5179565A (en) 1990-06-07 1993-01-12 Hamamatsu Photonics, K.K. Low noise pulsed light source utilizing laser diode and voltage detector device utilizing same low noise pulsed light source
US5249046A (en) 1992-03-30 1993-09-28 Kaman Aerospace Corporation Method and apparatus for three dimensional range resolving imaging
US6101455A (en) 1998-05-14 2000-08-08 Davis; Michael S. Automatic calibration of cameras and structured light sources
US6344937B1 (en) 1999-03-03 2002-02-05 Raytheon Company Beam steering optical arrangement using Risley prisms with surface contours for aberration correction
US6246258B1 (en) 1999-06-21 2001-06-12 Xilinx, Inc. Realizing analog-to-digital converter on a digital programmable integrated circuit
US6666855B2 (en) 1999-09-14 2003-12-23 Visx, Inc. Methods and systems for laser calibration and eye tracker camera alignment
US7085400B1 (en) 2000-06-14 2006-08-01 Surgical Navigation Technologies, Inc. System and method for image based sensor calibration
JP2002199682A (ja) 2000-12-26 2002-07-12 Toshiba Corp 中空モータおよび光波距離計
AU2003295944A1 (en) 2002-11-26 2005-02-04 James F. Munro An apparatus for high accuracy distance and velocity measurement and methods thereof
EP1524494A1 (en) 2003-10-17 2005-04-20 inos Automationssoftware GmbH Method for calibrating a camera-laser-unit in respect to a calibration-object
JP2005321547A (ja) 2004-05-07 2005-11-17 Fujinon Corp 光源装置
JP2005321403A (ja) 2004-05-10 2005-11-17 Ibeo Automobile Sensor Gmbh 距離測定のための方法及び装置
FR2870428A1 (fr) 2004-05-11 2005-11-18 Gen Electric Machine a rayons x mobile
EP1600564A1 (de) * 2004-05-24 2005-11-30 Leica Geosystems AG Verfahren zur Steuerung einer oberflächenverändernden Maschine
EP1612511B1 (en) 2004-07-01 2015-05-20 Softkinetic Sensors Nv TOF rangefinding with large dynamic range and enhanced background radiation suppression
DE102005017624A1 (de) * 2005-04-15 2006-10-19 Robert Bosch Gmbh Verfahren zum Bestimmen der Rad- und/oder Achsgeometrie von Kraftfahrzeugen
US7336407B1 (en) 2005-07-28 2008-02-26 Lockheed Martin Corporation Scanner/pointer apparatus having super-hemispherical coverage
US7843448B2 (en) 2005-11-21 2010-11-30 Leica Geosystems Ag Identification of occluded edge regions from 3D point data
US7236299B1 (en) 2006-04-11 2007-06-26 Bae Systems Information And Electronic Systems Integration Inc. Compact periscopic beam director
US8490489B2 (en) 2006-11-10 2013-07-23 Siemens Medical Solutions Usa, Inc. Transducer array imaging system
CN101216562A (zh) 2007-01-05 2008-07-09 薛志强 激光测距***
CN101256232A (zh) 2007-02-28 2008-09-03 电装波动株式会社 用于目标三维探测的激光雷达装置
CN101842661A (zh) * 2007-11-07 2010-09-22 电子地图有限公司 将范围传感器数据映射在图像传感器数据上的方法及布置
US8224097B2 (en) 2008-06-12 2012-07-17 Sri International Building segmentation for densely built urban regions using aerial LIDAR data
WO2009155924A1 (en) 2008-06-27 2009-12-30 Danmarks Tekniske Universitet Rotating prism scanning device and method for scanning
NO332432B1 (no) 2008-08-12 2012-09-17 Kongsberg Seatex As System for deteksjon og avbildning av objekter i banen for marine fartoy
CA2753197C (en) * 2009-02-20 2018-09-11 Digital Signal Corporation System and method for generating three dimensional images using lidar and video measurements
US20120170024A1 (en) 2009-09-22 2012-07-05 Medhat Azzazy Long Range Acquisition and Tracking SWIR Sensor System Comprising Micro-Lamellar Spectrometer
US20110285981A1 (en) 2010-05-18 2011-11-24 Irvine Sensors Corporation Sensor Element and System Comprising Wide Field-of-View 3-D Imaging LIDAR
US20120170029A1 (en) 2009-09-22 2012-07-05 ISC8 Inc. LIDAR System Comprising Large Area Micro-Channel Plate Focal Plane Array
US8488877B1 (en) 2009-12-02 2013-07-16 Hrl Laboratories, Llc System for object recognition in colorized point clouds
WO2011070927A1 (ja) 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
US8620089B1 (en) 2009-12-22 2013-12-31 Hrl Laboratories, Llc Strip histogram grid for efficient segmentation of 3D point clouds from urban environments
US8396293B1 (en) 2009-12-22 2013-03-12 Hrl Laboratories, Llc Recognizing geometrically salient objects from segmented point clouds using strip grid histograms
US20130107243A1 (en) 2010-05-03 2013-05-02 Irvine Sensors Corporation Fast, High Resolution 3-D Flash LADAR Imager
US9396545B2 (en) 2010-06-10 2016-07-19 Autodesk, Inc. Segmentation of ground-based laser scanning points from urban environment
WO2012010839A1 (en) 2010-07-22 2012-01-26 Renishaw Plc Laser scanning apparatus and method of use
US8324775B2 (en) 2010-08-05 2012-12-04 Hiwin Mikrosystem Corp. Brush DC motor with reduction mechanism
US20120121166A1 (en) 2010-11-12 2012-05-17 Texas Instruments Incorporated Method and apparatus for three dimensional parallel object segmentation
US9731410B2 (en) 2010-12-02 2017-08-15 Makita Corporation Power tool
JP5787699B2 (ja) 2010-12-06 2015-09-30 株式会社アルファラボ・ソリューション 像ぶれ補正ユニット、像ぶれ補正装置及び光学装置
US9470548B2 (en) 2011-01-31 2016-10-18 Agency For Defense Development Device, system and method for calibration of camera and laser sensor
CN103403577B (zh) 2011-03-02 2015-02-11 丰田自动车株式会社 激光雷达装置
US8581168B2 (en) 2011-03-29 2013-11-12 Flir Systems, Inc. Dual well read-out integrated circuit (ROIC)
US8605998B2 (en) 2011-05-06 2013-12-10 Toyota Motor Engineering & Manufacturing North America, Inc. Real-time 3D point cloud obstacle discriminator apparatus and associated methodology for training a classifier via bootstrapping
CN202182717U (zh) 2011-08-30 2012-04-04 公安部第三研究所 一种基于tdc技术的激光测距装置
KR101740259B1 (ko) 2011-10-07 2017-05-29 한국전자통신연구원 3차원 포인트 클라우드의 공간 분할 방법
CN102508255A (zh) 2011-11-03 2012-06-20 广东好帮手电子科技股份有限公司 车载四线激光雷达***及其电路、方法
US8798372B1 (en) 2012-03-07 2014-08-05 Hrl Laboratories, Llc Method for detecting bridges using lidar point cloud data
EP2856240A4 (en) 2012-04-26 2016-03-02 Neptec Design Group Ltd LIDAR HEAD FOR HIGH-SPEED 360 DEGREE SCAN
JP5963353B2 (ja) 2012-08-09 2016-08-03 株式会社トプコン 光学データ処理装置、光学データ処理システム、光学データ処理方法、および光学データ処理用プログラム
US9453907B2 (en) 2012-08-15 2016-09-27 Digital Signal Corporation System and method for field calibrating video and lidar subsystems using facial features
CN102944224B (zh) 2012-11-09 2014-08-27 大连理工大学 一种无人驾驶车的自动环境感知***的工作方法
US20140132723A1 (en) 2012-11-13 2014-05-15 Osmose Utilities Services, Inc. Methods for calibrating a digital photographic image of utility structures
CN103257342B (zh) 2013-01-11 2014-11-05 大连理工大学 三维激光传感器与二维激光传感器的联合标定方法
JP2014145744A (ja) 2013-01-30 2014-08-14 Ricoh Co Ltd 物体検出装置
US8773182B1 (en) 2013-02-01 2014-07-08 Intel Corporation Stochastic beating time-to-digital converter (TDC)
US9830736B2 (en) * 2013-02-18 2017-11-28 Tata Consultancy Services Limited Segmenting objects in multimedia data
US9128190B1 (en) 2013-03-06 2015-09-08 Google Inc. Light steering device with an array of oscillating reflective slats
JP6181388B2 (ja) 2013-03-08 2017-08-16 株式会社トプコン 計測装置
CN103257348B (zh) 2013-05-17 2015-05-20 南京航空航天大学 一种飞行器相对高度和相对姿态的测量***及其测量方法
US9430822B2 (en) 2013-06-14 2016-08-30 Microsoft Technology Licensing, Llc Mobile imaging platform calibration
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
US8825260B1 (en) 2013-07-23 2014-09-02 Google Inc. Object and ground segmentation from a sparse one-dimensional range data
CN103499819B (zh) 2013-09-22 2015-06-24 中国科学院光电技术研究所 一种目标视线角偏移量及距离的测量装置和方法
CN203645633U (zh) 2013-12-31 2014-06-11 青岛歌尔声学科技有限公司 红外信号放大电路
US10061111B2 (en) 2014-01-17 2018-08-28 The Trustees Of Columbia University In The City Of New York Systems and methods for three dimensional imaging
JP6278721B2 (ja) 2014-01-31 2018-02-14 鎌倉光機株式会社 像安定化装置
US9633483B1 (en) 2014-03-27 2017-04-25 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
JP2015200555A (ja) 2014-04-08 2015-11-12 パナソニックＩｐマネジメント株式会社 距離測定装置
GB201407270D0 (en) 2014-04-24 2014-06-11 Cathx Res Ltd 3D data in underwater surveys
US9098753B1 (en) 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using multiple sensors
JP6249881B2 (ja) 2014-05-22 2017-12-20 オリンパス株式会社 固体撮像装置および撮像装置
CN103983963B (zh) 2014-06-09 2016-08-17 北京数字绿土科技有限公司 一种多站地基激光雷达数据的自动配准方法
CN106030431B (zh) 2014-08-15 2017-11-03 深圳市大疆创新科技有限公司 传感器的自动标定***及方法
JP6442193B2 (ja) 2014-08-26 2018-12-19 株式会社トプコン 点群位置データ処理装置、点群位置データ処理システム、点群位置データ処理方法およびプログラム
JP2016057108A (ja) 2014-09-08 2016-04-21 株式会社トプコン 演算装置、演算システム、演算方法およびプログラム
WO2016045009A1 (zh) 2014-09-24 2016-03-31 深圳市大疆创新科技有限公司 云台及其使用的成像装置、以及无人机
GB2532948B (en) 2014-12-02 2021-04-14 Vivo Mobile Communication Co Ltd Object Recognition in a 3D scene
CN104463872B (zh) 2014-12-10 2018-01-12 武汉大学 基于车载LiDAR点云数据的分类方法
CN104600902A (zh) 2015-01-09 2015-05-06 广东韦达尔科技有限公司 一种空心电机
JP6076541B2 (ja) 2015-01-21 2017-02-08 三菱電機株式会社 レーザレーダ装置
WO2016127357A1 (zh) 2015-02-12 2016-08-18 中国科学技术大学 一种基于fpga的时间数字变换器
WO2016164280A1 (en) 2015-04-04 2016-10-13 Skylift Global Multi-rotor vehicle with yaw control and autorotation
GB2537681B (en) 2015-04-24 2018-04-25 Univ Oxford Innovation Ltd A method of detecting objects within a 3D environment
KR101665938B1 (ko) 2015-04-28 2016-10-13 전자부품연구원 미러 회전 방식의 다채널 라이더 스캐너 광학계
CN106063089B (zh) 2015-04-29 2018-06-12 深圳市大疆灵眸科技有限公司 电机、动力装置及使用该动力装置的无人飞行器
EP3098626B1 (de) 2015-05-29 2021-05-19 Hexagon Technology Center GmbH Zeitmessschaltung und optoelektronischer distanzmesser mit einer ebensolchen zeitmessschaltung
US9760996B2 (en) 2015-08-11 2017-09-12 Nokia Technologies Oy Non-rigid registration for large-scale space-time 3D point cloud alignment
EP3411660A4 (en) 2015-11-30 2019-11-27 Luminar Technologies, Inc. LIDAR SYSTEM WITH DISTRIBUTED LASER AND MULTIPLE SENSOR HEADS AND PULSED LASER FOR LIDAR SYSTEM
US9644857B1 (en) * 2015-12-01 2017-05-09 Nasser Ashgriz Virtual thermostat for a zonal temperature control
US10242455B2 (en) 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
US20170242104A1 (en) * 2016-02-18 2017-08-24 Aeye, Inc. Ladar Transmitter with Induced Phase Drift for Improved Gaze on Scan Area Portions
CN105759253B (zh) 2016-03-02 2018-01-12 四川经曼光电科技有限公司 激光扫描测距仪
WO2017213767A2 (en) 2016-04-29 2017-12-14 United Parcel Service Of America, Inc. Unmanned aerial vehicle pick-up and delivery systems
CN106019923B (zh) 2016-05-18 2018-11-13 中国科学技术大学 一种基于fpga的时间数字变换器
CN106019296A (zh) 2016-07-26 2016-10-12 北醒（北京）光子科技有限公司 一种混合固态多线光学扫描测距装置
CN106093958A (zh) 2016-08-24 2016-11-09 武汉万集信息技术有限公司 基于双apd的激光测距方法及装置
US10210320B2 (en) * 2016-09-21 2019-02-19 Lextron Systems, Inc. System and method for secure 5-D user identification
CN106597414B (zh) 2016-10-18 2020-01-10 浙江大学 一种定标偏振激光雷达增益比的方法
EP4253153A3 (en) * 2016-11-01 2024-01-10 Panasonic Intellectual Property Corporation of America Display method and display device
CN106597416B (zh) * 2016-11-18 2019-04-09 长安大学 一种地面GPS辅助的LiDAR数据高程差的误差修正方法
US10866101B2 (en) 2017-06-13 2020-12-15 Tusimple, Inc. Sensor calibration and time system for ground truth static scene sparse flow generation
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
CN107037721B (zh) 2017-06-16 2019-06-21 中国科学技术大学 一种自修正型时间数字转换器

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102317972A (zh) * 2009-02-13 2012-01-11 哈里公司 3d点云数据对于2d电光图像数据的对准
KR20110124892A (ko) * 2010-05-12 2011-11-18 삼성전자주식회사 움직임 보상 3차원 필터링 방법 및 장치
US9031809B1 (en) * 2010-07-14 2015-05-12 Sri International Method and apparatus for generating three-dimensional pose using multi-modal sensor fusion
US20140071121A1 (en) * 2012-09-11 2014-03-13 Digital Signal Corporation System and Method for Off Angle Three-Dimensional Face Standardization for Robust Performance
US9383753B1 (en) * 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
CN106461383A (zh) * 2014-06-25 2017-02-22 微软技术许可有限责任公司 机器人臂/传感器/工作区***的自动现场配准和校准
WO2017021778A2 (en) * 2015-08-03 2017-02-09 Tomtom Global Content B.V. Methods and systems for generating and using localisation reference data
CN105628026A (zh) * 2016-03-04 2016-06-01 深圳大学 一种移动物体的定位定姿方法和***
CN106093963A (zh) * 2016-05-31 2016-11-09 中铁第四勘察设计院集团有限公司 一种提高铁路车载激光雷达扫描数据精度的方法
CN106570905A (zh) * 2016-11-02 2017-04-19 北京控制工程研究所 一种非合作目标点云初始姿态验证方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114442101A (zh) * 2022-01-28 2022-05-06 南京慧尔视智能科技有限公司 基于成像毫米波雷达的车辆导航方法、装置、设备及介质
CN114442101B (zh) * 2022-01-28 2023-11-14 南京慧尔视智能科技有限公司 基于成像毫米波雷达的车辆导航方法、装置、设备及介质

Also Published As

Publication number Publication date
US10152771B1 (en) 2018-12-11
US11961208B2 (en) 2024-04-16
KR102284565B1 (ko) 2021-07-30
US11238561B2 (en) 2022-02-01
US20220138908A1 (en) 2022-05-05
WO2019023892A1 (en) 2019-02-07
US20190043170A1 (en) 2019-02-07
EP3631508A4 (en) 2020-06-24
EP3631508A1 (en) 2020-04-08
KR20200015722A (ko) 2020-02-12

Similar Documents

Publication Publication Date Title
US11961208B2 (en) Correction of motion-based inaccuracy in point clouds
US10436884B2 (en) Calibration of laser and vision sensors
US11460563B2 (en) Calibration of laser sensors
CN109521756B (zh) 用于无人驾驶车辆的障碍物运动信息生成方法和装置
Kellner et al. Instantaneous ego-motion estimation using multiple Doppler radars
CN111708048B (zh) 点云的运动补偿方法、装置和***
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
CN112631266A (zh) 一种移动机器人感知障碍信息的方法、装置
CN110007313A (zh) 基于无人机的障碍物检测方法及装置
CN113933818A (zh) 激光雷达外参的标定的方法、设备、存储介质及程序产品
EP3155369B1 (en) System and method for measuring a displacement of a mobile platform
Sakic et al. Camera-LIDAR object detection and distance estimation with application in collision avoidance system
CN117387604A (zh) 基于4d毫米波雷达和imu融合的定位与建图方法及***
CN117968682B (zh) 基于多线激光雷达和惯性测量单元的动态点云去除方法
Matsuyama et al. Estimation of pedestrian pose and velocity considering arm swing using point-cloud data
WO2023017624A1 (en) Drive device, vehicle, and method for automated driving and/or assisted driving
CN113865588B (zh) 一种机器人定位方法和装置
CN117968682A (zh) 基于多线激光雷达和惯性测量单元的动态点云去除方法
Vu et al. Targeted trajectories optimization from 2D LIDAR measurements
CN118226401A (zh) 基于激光雷达三维点云的固定翼飞机位姿测量方法及装置
Beam et al. GPU-Accelerated Cross-Modal SAR-EO Image Homography Estimation
CN116678396A (zh) 一种数据处理方法、装置、计算设备及存储介质
Liseykin Computer Vision System for Precise Hovering and Landing of Vertical Take-Off and Landing Unmanned Aerial Vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200324