CN110226184B - 用于机器感知的***和方法 - Google Patents

用于机器感知的***和方法 Download PDF

Info

Publication number
CN110226184B
CN110226184B CN201780084810.1A CN201780084810A CN110226184B CN 110226184 B CN110226184 B CN 110226184B CN 201780084810 A CN201780084810 A CN 201780084810A CN 110226184 B CN110226184 B CN 110226184B
Authority
CN
China
Prior art keywords
cameras
objects
camera
emitter
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780084810.1A
Other languages
English (en)
Other versions
CN110226184A (zh
Inventor
杰拉德·迪尔克·施密茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jie LadeDierkeShimici
Original Assignee
Jie LadeDierkeShimici
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jie LadeDierkeShimici filed Critical Jie LadeDierkeShimici
Publication of CN110226184A publication Critical patent/CN110226184A/zh
Application granted granted Critical
Publication of CN110226184B publication Critical patent/CN110226184B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4868—Controlling received signal intensity or exposure of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一种用于确定一个或多个对象的位置的***包括：发射器，所述发射器用于发射光子束以顺序地照射一个或多个对象的区域；多个相机，所述多个相机间隔开，其中每个相机具有用于检测光子的像素阵列；以及一个或多个处理器设备，所述一个或多个处理器设备执行存储的指令以执行方法的动作，包括：引导所述发射器用所述光子束顺序地照射一个或多个对象的区域；对于所述区域中的每一个，从所述相机接收检测到由所述一个或多个对象的区域反射或散射的所述束的光子的每个像素的阵列位置；以及，对于由所述相机检测的区域中的每一个，使用所接收到的检测到由该区域反射或散射的所述束的光子的所述像素的阵列位置来确定所述区域的位置。

Description

用于机器感知的***和方法
相关申请的交叉引用
本申请是基于先前提交的于2016年12月27日提交的美国临时专利申请序列号62/498,534和于2017年10月10日提交的美国临时专利申请序列号62/606,879的实用专利申请，特此根据美国法典第35条第119(e)款要求所述申请的提交日的权益并且所述申请各自进一步通过引用整体地并入。
技术领域
本发明一般地涉及成像***并且涉及制造和使用该成像***的方法。本发明还涉及一种顺序地照射每个体素并使用多个接收器来进行检测的顺序体素成像***。
背景技术
许多常规成像***试图将3D运动现实捕获为一系列静止图像。图像被捕获为帧，即由在共享时间段内并行捕获的数百万个像素组成的批量观察结果。通过将图像视为帧，可以迫使常规多视图***进入光子饥饿与运动模糊之间的霍布森选择，从而产生时空多义性和计算复杂性。常规基于帧的运动捕获***的传统的示例是立体相机、结构化光3D感知***和来自运动***的结构。
为了确保足够的光子可用以满足每个相机中的数百万个像素的最小信号要求，通过快门控制的帧曝光时段通常是若干毫秒。每个像素通常需要至少100个光子；所以为了在10兆像素相机中最低限度地曝光单个帧需要至少十亿个光子，这在正常照射条件下会花费若干毫秒。
在此时间段期间的任何运动可引起显著的运动模糊。例如，对于1毫秒曝光，以10m/sec(22.5mph)的适度速度横过4K传感器的四米视场(FoV)的对象的边缘将在1ms内移动10mm，从而引起10个像素的运动模糊(即运动将***的空间分辨率有效地降低到1/10，或者仅400个像素跨过相机的FoV，而不是4k)。较短的曝光能降低这种模糊，但是它们会导致光子的不足，这会进而显著地降低对比度，使得边缘和形状变得难以检测。例如，1/10曝光时间会以三个光子的固有(例如，泊松波动)噪声(即，33％信噪比)将光子预算降低到十个光子(100个光子中的1/10)。较大的光圈通常包括较大的、更昂贵的传感器和光学器件并且降低***的焦深。
常规多视图***可以创建模糊或曝光不足的有噪声的运动图像，其严重缺少边缘对比度。这可导致推测的常常错误的特征匹配。后者形成统计总异常值，其抑制传统的特征匹配算法，诸如SIFT和梯度下降方法，并且需要诸如RanSaC这样的计算密集的异常值抑制算法。许多常规多视图感知***中的逐帧方法具有第二主要缺点：它导致固有计算复杂性，其随着相机数(N)和每相机的像素数(M)以(MN)的量级按二阶指数方式增加。
在基于帧的多视图***中，添加视图或像素可快速地导致计算过载并且带来巨大的设置和校准挑战。特别是当在多个图像之间建立准确的像素级对应时出现计算问题。例如，在3相机***(N＝3)中建立准确的、密集(像素级)对应性可能需要在重叠的10兆像素之间排序并找到多达一百万个三方对应，这在计算上是复杂的(例如，通过1021个可能的像素-像素-像素组合(MN＝107x3)来搜索和排序)。
阶数(MN)的类似计算复杂性出现在需要遍及多个帧发现并跟踪连续帧之间的图像(或像素)对应性的运动恢复结构(SfM)***中。
附图说明
图1示出可以实现本发明的各种实施例的示例性环境的实施例；
图2图示可以被包括在诸如图1中所示的***这样的***中的示例性移动计算机的实施例；
图3示出可以被包括在诸如图1中所示的***这样的***中的示例性网络计算机的实施例；
图4A图示示例性位置确定***的一部分的二维视图的实施例；
图4B图示使用顺序照射进行位置确定的示例性方法的逻辑流程图的实施例；
图5图示四个点的照射和使用三个相机的检测的实施例；
图6A图示示出了示例性阵列位置矢量的示例性位置确定***的一部分的二维视图的实施例；
图6B图示示出了示例性阵列位置矢量的示例性位置确定***的一部分的二维视图的另一实施例；
图7A图示机动车辆中的示例性位置确定***的实施例；
图7B图示机动车辆中的示例性位置确定***的另一实施例；
图7C图示增强现实(AR)型头戴式显示器(HMD)***中的示例性位置确定***的第三实施例；
图8图示使用两个发射器的示例性位置确定***的一部分的实施例；
图9图示使用手持发射器和手持监测设备的示例性位置确定***的实施例；
图10A图示辅助立体配置中的示例性位置确定***的实施例；
图10B图示头戴式布置中的示例性位置确定***的实施例；
图11A至图11F图示使用两个扫描器或投影器的示例性位置确定方法的实施例；
图12图示并入位置确定***的示例性机器人或其他设备的实施例；
图13A和图13B图示示例性基准跟踪***的实施例；
图14图示具有束轨迹流形和扫描对象流形的示例性位置确定***的实施例；
图15图示示例性随机通知多视图相机重叠***的实施例；
图16图示示例性全息视频捕获***的实施例；
图17A和图17B图示示例性目标选择性3D基准监测***的实施例；
图18图示利用颜色照射的示例性位置确定***的实施例；
图19图示具有位置确定***的示例性车辆的实施例；
图20图示允许换出相机的示例性位置确定***的实施例；
图21A图示由投影器产生的光束轨迹的一个实施例；
图21B图示具有扫描和预测轨迹部分的一个光束轨迹的实施例；
图22图示投影器的应用的实施例，所述投影器将扫描图案投影在表面上并且图案被从不同的相机视角观察；
图23图示通过相机的像素进行的检测事件的踪迹和基于该踪迹对光子束的轨迹的插值的实施例；
图24A图示通过相机1的像素进行的检测事件的踪迹和基于该踪迹对光子束的轨迹的插值的另一实施例；
图24B图示通过相机2的像素进行的检测事件的踪迹和基于该踪迹对光子束的轨迹的插值的另一实施例；以及
图24C图示图24A和图24B(被旋转)的踪迹和轨迹的覆盖图。
具体实施方式
现在将在下文中参考附图更充分地描述各种实施例，附图形成其一部分，并且通过图示的方式来示出可以用来实践本发明的具体实施例。然而，实施例可以以许多不同的形式具体实现，而不应该被解释为限于本文阐述的实施例；相反，提供这些实施例，使得本公开将是彻底且完整的，并且会将实施例的范围充分地传达给本领域的技术人员。除了别的之外，各种实施例还可以是方法、***、介质或设备。因此，各种实施例可以采取完全硬件实施例、完全软件实施例或组合软件和硬件方面的实施例的形式。因此，以下详细描述不应在限制性意义上进行。
贯穿本说明书和权利要求书，除非上下文另外清楚地规定，否则以下语采取本文显式地关联的含义。如本文所使用的短语“在一个实施例中”不一定指代同一实施例，但是它可以。此外，如本文所使用的短语“在另一实施例中”不一定指代不同的实施例，但是它可以。因此，如下所述，在不脱离本发明的范围或精神的情况下，可以容易地组合本发明的各种实施例。
另外，如本文所使用的，除非上下文另外清楚地规定，否则术语“或”是包括性“或”操作符，并且相当于术语“和/或”。除非上下文另外清楚地规定，否则术语“基于”不是排他性的并且允许基于未描述的附加因素。另外，贯穿本说明书，“一”、“一个”和“该”的含义包括复数引用。“在……中”的含义包括“在……中”和“在……上”。
如本文所使用的，术语“光子束”、“光束”、“电磁束”、“图像束”或“束”指代电磁(EM)频谱内的各种频率或波长的光子或EM波的稍微局部化(在时间和空间上)束或集束(bundle)。传出光束是通过本文公开的各种实施例中的各种实施例所发射的束。传入光束是通过本文公开的各种实施例中的各种实施例所检测到的束。
如本文所使用的，术语“光源”、“光子源”或“源”指代能够发射、提供、发射或者产生EM频谱内的一个或多个波长或频率的一个或多个光子或EM波的各种设备。光或光子源可以发射一个或多个传出光束。光子源可以是激光器、发光二极管(LED)、有机发光二极管(OLED)、灯泡等。光子源可以经由原子或分子的受激发射、白炽过程或产生EM波或一个或多个光子的各种其他机制来产生光子。光子源可以提供预定频率或一系列频率的连续或脉冲传出光束。传出光束可以是相干光束。由光源发射的光子可以具有各种波长或频率。
如本文所使用的，术语“接收器”、“光子接收器”、“光子检测器”、“光检测器”、“检测器”、“光子传感器”、“光传感器”或“传感器”指代对EM频谱的一个或多个波长或频率的一个或多个光子的存在敏感的各种设备。光子检测器可以包括光子检测器的阵列，诸如多个光子检测或感测像素的布置。一个或多个像素可以是对一个或多个光子的吸收敏感的光电传感器。光子检测器可以响应于一个或多个光子的吸收而产生信号。光子检测器可以包括一维(1D)像素阵列。然而，在其他实施例中，光子检测器可以包括至少二维(2D)像素阵列。像素可以包括各种光子敏感技术，诸如以下各项中的一种或多种：有源像素传感器(APS)、电荷耦合器件(CCD)、单光子雪崩检测器(SPAD)(在雪崩模式或盖革模式下操作)、互补金属氧化物半导体(CMOS)器件、硅光电倍增管(SiPM)、光伏电池、光电晶体管、颤动像素等。光子检测器可以检测一个或多个传入光束。
如本文所使用的，术语“目标”是反射或者散射入射光、EM波或光子的至少一部分的一个或多个各种2D或3D体。目标还可以被称为“对象”。例如，目标或对象可以散射或者反射通过本文公开的各种实施例中的各种实施例所发射的传出光束。在本文描述的各种实施例中，一个或多个光源可以处于与一个或多个接收器和/或一个或多个目标或对象的相对运动中。类似地，一个或多个接收器可以处于与一个或多个光源和/或一个或多个目标或对象的相对运动中。一个或多个目标或对象可以处于与一个或多个光源和/或一个或多个接收器的相对运动中。
如本文所使用的，术语“体素”是3D空间流形(例如，3D形表面)的采样表面元素。
下文简要地描述本发明的实施例以便提供本发明的一些方面的基本理解。此简要描述不旨在作为广泛的概述。其不旨在识别关键或临界元素，或者描绘或者以其他方式缩小范围。其目的仅仅是为了以简化形式呈现一些构思作为稍后呈现的更详细描述的序言。
简而言之，各种实施例涉及用于确定一个或多个对象的位置的方法或***。这些方法或***利用束布置来发射光子束以顺序地照射对象的区域(或体素)。这些方法和***还包括彼此间隔开的多个相机，其中每个相机具有像素阵列以检测由像素接收到的光子，并且特别地，以检测来自束的由被照射对象反射或者以其他方式散射的光子。(尽管在本文中使用术语“反射”，但应理解的是，除非另外指示，否则此术语还旨在包含其他光散射机制。)***指示束布置用光子束顺序地照射对象的区域或体素。对于这些被照射区域中的每一个，相机中的一个或多个(优选地，至少两个或三个)检测由该区域反射或者以其他方式散射的光子，然后相机提供检测到由一个或多个对象的区域反射或者散射的束的光子的像素的阵列位置。然后可使用这些阵列位置来确定对象的区域的位置。
在至少一些实施例中，这种像素/体素顺序成像方法利用接收器(例如，相机)，所述接收器将现实观察为(被照射(一个或多个)对象的)体素的非常快速的顺序流。在至少一些实施例中，***(例如，PhotonJet VoxelFlow***)在唯一纳秒照射间隔期间观察每个体素，一次一个体素。在至少一些实施例中，此方法可产生每秒数亿个体素的精确的3D位置数据的流量。
图示的操作环境
图1示出可以实践本发明的各种示例性实施例的示例性环境的一个实施例的示例性组件。实践本发明可能并不需要所有组件，并且在不脱离本发明的精神或范围的情况下，可以做出组件的布置和类型方面的变化。如所示，图1的***100包括包含光源的发射器104、多个接收器(例如，相机)106a、106b、106c、106d和***计算机设备110。来自发射器104的光子照射一个或多个对象或目标108上的区域(即，体素)，这些区域将光子的一部分反射回接收器106a、106b、106c、106d。在一些实施例中，***100可以包括或者耦合到网络102和一个或多个其他计算机，诸如但不限于膝上型计算机112和/或移动计算机，诸如但不限于智能电话或平板电脑114。在一些实施例中，发射器104和/或接收器106a、106b、106c、106d可以包括包含在计算机中的一个或多个组件，所述计算机诸如但不限于计算机110、112或114中的各种计算机。发射器104和接收器106a、106b、106c、106d可通过任何无线或有线技术直接耦合到计算机110、112或114，或者可以通过网络102耦合到计算机110、112或104。
对象108可以是三维对象并且可以是任何数量的单独的对象。对象108不是理想化黑体，即它反射或者散射入射光子的至少一部分。
发射器104可以包括用于发射光或光子束的一个或多个光源。适合的光源的示例包括激光器、激光二极管、发光二极管、有机发光二极管等。例如，发射器104可以包括一个或多个可见和/或非可见激光源。在至少一些实施例中，发射器104包括红色(R)激光源、绿色(G)激光源或蓝色(B)激光源中的一个或多个。在至少一些实施例中，光源包括一个或多个非可见激光源，诸如近红外(NIR)或红外(IR)激光器。光源可以提供预定频率或一系列频率的连续或脉冲光束。所提供的光束可以是相干光束。发射器104可以包括计算机设备的特征、组件或功能性中的各种特征、组件或功能性，所述计算机设备包括但不限于图2的移动计算机200和/或图3的网络计算机300。
发射器104还可以包括光学***，所述光学***包括用于引导或者聚焦所发射的或传出光束的光学组件。光学***可以瞄准并使传出光束的空间和时间束轮廓成形。光学***可以准直、扇出或者以其他方式操纵传出光束。发射器104可以包括可遍及对象108将光子作为束扫描的扫描布置。
发射器104单独地扫描一个或多个对象108上的区域(例如，体素)。可将体素描述为3D空间流形(例如，3D形表面)的采样表面元素。在至少一些实施例中，体素是相对小的并且可以被描述为“像素大小的”。与通过接收器(例如，相机)进行的顺序实时像素定位检测耦合的体素的顺序照射可改进多视图3D感测***。通过从多个相机流动的时间顺序像素数据的并行流的同步汇合的布置，***的性能被“涡轮增压”。在至少一些实施例中，这些顺序像素数据流与通过发射器104的扫描激光探测束的反射所提供的时间基准的节拍同步。
在至少一些实施例中，可选地在校准期间由发射器发射一系列短脉冲，使得当通过相机检测到反射信号时，可通过比较中央定位处的每个检测信号路径的差分到达时间(例如，在图15中图示的事件并发性检查(ECC)电路中)来确定信号路径的“抖动”(例如，由于传感器或信号链中的差异而导致)。
接收器106a、106b、106c、106d可以包括一个或多个光子敏感或检测光子的传感器像素阵列。传感器像素阵列检测从目标108反射的连续或脉冲光束。像素阵列可以是一维阵列或二维阵列。像素可以包括在照射时拥至一个或几个传入光子的SPAD像素或其他光敏元件。像素在检测大约几纳秒的单个或几个光子时可以具有超快响应时间。像素可能对由发射器104发射或者发射的频率敏感并且对其他频率相对不敏感。接收器106a、106b、106c、106d还可包括光学***，所述光学***包括用于跨越像素阵列引导和聚焦所接收到的束的光学组件。接收器106a、106b、106c、106d可以包括计算机设备的特征、组件或功能性中的各种特征、组件或功能性，所述计算机设备包括但不限于图2的移动计算机200和/或图3的网络计算机300。
在下面结合图2至图3更详细地描述计算机设备110的各种实施例(例如，计算机设备110可以是图2的移动计算机200和/或图3的网络计算机300的实施例)。然而，简要地，计算机设备110实际上包括被实现来基于对从一个或多个表面(包括但不限于对象或目标108的表面)反射的光子的检测来执行本文讨论的各种位置确定过程和/或方法的各种计算机设备。基于所检测到的光子或光束，计算机设备110可以更改或者以其他方式修改发射器104和接收器106a、106b、106c、106d的一个或多个配置。应该理解的是，计算机设备110的功能性可以由发射器104、接收器106a、106b、106c、106d或其组合执行，而不用与单独的设备进行通信。
在一些实施例中，位置确定功能性中的至少一些可以由其他计算机执行，所述其他计算机包括但不限于膝上型计算机112和/或移动计算机，诸如但不限于智能电话或平板114。在下面结合图2的移动计算机200和/或图3的网络计算机300更详细地描述这样的计算机的各种实施例。
网络102可以被配置为将网络计算机与其他计算设备耦合，所述其他计算设备包括发射器104、光子接收器106、跟踪计算机设备110、膝上型计算机112或智能电话/平板114。网络102可以包括用于与远程设备进行通信的各种有线和/或无线技术，诸如但不限于USB电缆、
Figure BDA0002144942220000091
Figure BDA0002144942220000092
等。在一些实施例中，网络102可以是被配置为将网络计算机与其他计算设备耦合的网络。在各种实施例中，在设备之间传递的信息可以包括各种种类的信息，包括但不限于处理器可读指令、远程请求、服务器响应、程序模块、应用、原始数据、控制数据、***信息(例如，日志文件)、视频数据、语音数据、图像数据、文本数据、结构化/非结构化数据等。在一些实施例中，可以使用一种或多种技术和/或网络协议来在设备之间传递此信息。
在一些实施例中，这样的网络可以包括各种有线网络、无线网络或其各种组合。在各种实施例中，可以使得网络102能够采用各种形式的通信技术、拓扑、计算机可读介质等，以用于将信息从一个电子设备传递到另一电子设备。例如，网络102除了包括因特网之外还可包括LAN、WAN、个域网(PAN)、校园区域网、城域网(MAN)、直接通信连接(诸如通过通用串行总线(USB)端口)等或其各种组合。
在各种实施例中，在网络内和/或在网络之间的通信链路可以包括但不限于双绞线对、光纤、空中激光、同轴电缆、普通老式电话服务(POTS)、波导、声学、全部或部分专用数字线路(诸如T1、T2、T3或T4)、电子载波、综合服务数字网(ISDN)、数字订户线路(DSL)、无线链路(包括卫星链路)或其他链路和/或为本领域的技术人员已知的载波机制。此外，通信链路可以进一步采用各种数字信令技术中的各种技术，包括但不限于例如DS-0、DS-1、DS-2、DS-3、DS-4、OC-3、OC-12、OC-48等。在一些实施例中，路由器(或其他中间网络设备)可以作为各种网络之间的链路—包括基于不同的架构和/或协议的那些链路—以使得能够将信息从一个网络转移到另一网络。在其他实施例中，远程计算机和/或其他相关电子设备能经由调制解调器和临时电话链路连接到网络。实质上，网络102可以包括信息可以用来在计算设备之间行进的各种通信技术。
在一些实施例中，网络102可以包括各种无线网络，其可以被配置为耦合各种便携式网络设备、远程计算机、有线网络、其他无线网络等。无线网络可以包括各种子网络中的各种子网络，所述各种子网络可以进一步覆盖独立自组织网络等，以为至少客户端计算机(例如，膝上型计算机112或智能电话或平板计算机114)(或其他移动设备)提供面向基础设施的连接。这样的子网络可以包括网状网络、无线LAN(WLAN)网络、蜂窝网络等。在各种实施例中的一个或多个中，***可以包括多于一个无线网络。
网络102可以采用多种有线和/或无线通信协议和/或技术。可以由网络采用的各代(例如，第三代(3G)、***(4G)或第五代(5G))通信协议和/或技术的示例可以包括但不限于全球移动通信***(GSM)、通用分组无线电服务(GPRS)、增强型数据GSM环境(EDGE)、码分多址(CDMA)、宽带码分多址(W-CDMA)、码分多址2000(CDMA2000)、高速下行链路分组接入(HSDPA)、长期演进(LTE)、通用移动电信***(UMTS)、演进数据优化(Ev-DO)、全球微波接入互操作性(WiMax)、时分多址(TDMA)、正交频分复用(OFDM)、超宽带(UWB)、无线应用协议(WAP)、用户数据报协议(UDP)、传输控制协议/网际协议(TCP/IP)、开放***互连(OSI)模型协议的各个部分、会话发起协议/实时传输协议(SIP/RTP)、短消息服务(SMS)、多媒体消息传送服务(MMS)，或各种其他通信协议和/或技术中的各种通信协议和/或技术。本质上，网络可以包括信息可以用来在发射器104、光子接收器106和跟踪计算机设备110以及未图示的其他计算设备之间行进的通信技术。
在各种实施例中，可以将网络102的至少一部分布置为可以通过各种通信链路来连接的节点、链路、路径、终端、网关、路由器、交换机、防火墙、负载均衡器、转发器、重发器、光电转换器等的自主***。这些自主***可以被配置为基于当前操作条件和/或基于规则的策略自我组织，使得可以修改网络的网络拓扑。
说明性移动计算机
图2示出可以包括比所示的那些示例性组件更多或更少的组件的示例性移动计算机200的一个实施例。移动计算机200可以表示例如图1的***100的膝上型计算机112、智能电话/平板114和/或计算机110的一个或多个实施例。因此，移动计算机200可以包括移动设备(例如，智能电话或平板)、固定/台式计算机等。
客户端计算机200可以包括经由总线206与存储器204通信的处理器202。客户端计算机200还可以包括电源208、网络接口210、处理器可读固定存储设备212、处理器可读可移动存储设备214、输入/输出接口216、相机218、视频接口220、触摸接口222、硬件安全模块(HSM)224、投影器226、显示器228、键区230、照射器232、音频接口234、全球定位***(GPS)收发器236、空中手势接口238、温度接口240、触觉接口242和指点设备接口244。客户端计算机200可以可选地与基站(未示出)进行通信，或者直接与另一计算机进行通信。并且在一个实施例中，尽管未示出，然而可以在客户端计算机200内采用陀螺仪以用于测量和/或维持客户端计算机200的定向。
电源208可以向客户端计算机200提供电力。可以使用可再充电或非可再充电电池来提供电力。电力还可以由外部电源提供，所述外部电源例如为AC适配器或对电池进行补充和/或再充电的电动对接支架。
网络接口210包括用于将客户端计算机200耦合到一个或多个网络的电路，并且被构造用于与一种或多种通信协议和技术一起使用，所述一种或多种通信协议和技术包括但不限于实现OSI模型的各个部分的协议和技术、全球移动通信***(GSM)、CDMA、时分多址(TDMA)、UDP、TCP/IP、SMS、MMS、GPRS、WAP、UWB、WiMax、SIP/RTP、GPRS、EDGE、WCDMA、LTE、UMTS、OFDM、CDMA2000、EV-DO、HSDPA，或各种其他无线通信协议中的各种无线通信协议。网络接口210有时被称为收发器、收发设备或网络接口卡(NIC)。
音频接口234可以被布置为产生和接收诸如人类语音的声音这样的音频信号。例如，音频接口234可以耦合到扬声器和麦克风(未示出)以使得能实现与其他人的远程通信并且/或者为某个动作产生音频确认。音频接口234中的麦克风还可被用于向客户端计算机200输入或者控制客户端计算机200，例如使用语音识别、基于声音检测触摸等。
显示器228可以是液晶显示器(LCD)、气体等离子体、电子墨水、发光二极管(LED)、有机LED(OLED)或可与计算机一起使用的各种其他类型的光反射或光透射显示器。显示器228还可以包括被布置为接收来自诸如触针这样的对象的输入或来自人手的数字的触摸接口222，并且可以使用电阻式、电容式、表面声波(SAW)、红外、雷达或其他技术来感测触摸和/或手势。
投影器226可以是能够将图像投影在远程墙壁或诸如远程屏幕这样的各种其他反射对象上的远程手持投影器或集成投影器。
视频接口220可以被布置为捕获视频图像，诸如静止照片、视频分段、红外视频等。例如，视频接口220可以耦合到数码视频相机、web相机等。视频接口220可以包括透镜、图像传感器和其他电子装置。图像传感器可以包括互补金属氧化物半导体(CMOS)集成电路、电荷耦合器件(CCD)，或用于感测光的各种其他集成电路。
键区230可以包括被布置为接收来自用户的输入的各种输入设备。例如，键区230可以包括按钮数字拨号盘或键盘。键区230还可以包括与选择和发送图像相关联的命令按钮。
照射器232可以提供状态指示并且/或者提供光。照射器232可以在具体时间段内或者响应于事件消息而保持活动。例如，如果照射器232是活动的，则它可以从背后照亮键区230上的按钮并且在客户计算机被供电的同时保持打开。另外，如果执行特定动作，诸如拨号另一客户端计算机，则照射器232可以按照各种图案从背后照亮这些按钮。照射器232还可以使定位在客户端计算机的透明或半透明壳体内的光源响应于动作而照亮。
进一步地，客户端计算机200还可以包括用于提供附加防篡改安全措施以便产生、存储和/或使用诸如密钥、数字证书、密码、密码短语、双因素认证信息等这样的安全/密码信息的HSM 224。在一些实施例中，硬件安全模块可以被用于支持一个或多个标准公钥基础设施(PKI)，并且可以被用于产生、管理和/或存储密钥对等。在一些实施例中，HSM 224可以是独立计算机，在其他情况下，可以将HSM 224布置为可以被添加到客户端计算机的硬件卡。
客户端计算机200还可以包括用于与外部***设备或诸如其他客户端计算机和网络计算机这样的其他计算机进行通信的输入/输出接口216。***设备可以包括音频头戴式设备、虚拟现实头戴式设备、显示屏眼镜、远程扬声器***、远程扬声器和麦克风***等。输入/输出接口216可利用一种或多种技术，诸如通用串行总线(USB)、红外、Wi-FiTM、WiMax、BluetoothTM等。
输入/输出接口216还可以包括一个或多个传感器以用于确定地理定位信息(例如，GPS)、监测电力状况(例如，电压传感器、电流传感器、频率传感器等)、监测天气(例如，恒温器、气压计、风速计、湿度检测器、降水量表等)等。传感器可以是收集和/或测量在客户端计算机200外部的数据的一个或多个硬件传感器。
触觉接口242可以被布置为向客户端计算机的用户提供触觉反馈。例如，如果计算机的另一用户正在呼叫，则可以采用触觉接口242来使客户端计算机200以特定方式振动。温度接口240可以用于向客户端计算机200的用户提供温度测量输入和/或温度改变输出。例如，通过使用单个或立体视频相机、雷达、由用户握持或者穿戴的计算机内部的陀螺仪传感器等，空中手势接口238可以感测客户端计算机200的用户的物理手势。相机218可以用于跟踪客户端计算机200的用户的物理眼睛移动。
GPS收发器236可确定客户端计算机200在地球的表面上的物理坐标，所述GPS收发器236通常按照纬度和经度值输出定位。GPS收发器236还可采用其他地理定位机制，包括但不限于三角测量、辅助GPS(AGPS)、增强型观察时间差(E-OTD)、小区标识符(CI)、服务区域标识符(SAI)、增强型定时提前(ETA)、基站子***(BSS)等，以进一步确定客户计算机200在地球的表面上的物理定位。应理解的是在不同的条件下，GPS收发器236可确定客户端计算机200的物理定位。然而，在一个或多个实施例中，客户端计算机200可以通过其他组件来提供可以被采用来确定客户端计算机的物理定位的其他信息，包括例如介质访问控制(MAC)地址、IP地址等。
人类接口组件可以是物理上与客户端计算机200分离的***设备，从而允许远程输入和/或输出到客户端计算机200。例如，像这里描述的那样通过诸如显示器228或键区230这样的人类接口组件所路由的信息可替代地通过网络接口210被路由到远程定位的适当的人类接口组件。可以为远程的人类接口***组件的示例包括但不限于音频设备、指点设备、键区、显示器、相机、投影器等。这些***组件可以通过诸如BluetoothTM、ZigbeeTM等这样的微型网络进行通信。具有这样的***人类接口组件的客户端计算机的一个非限制性示例是可穿戴计算机，其可能包括远程微型投影器以及一个或多个相机，所述一个或多个相机与单独地定位的客户端计算机进行远程通信，以感测用户朝向由微型投影器投影到诸如墙壁或用户的手这样的反射表面上的图像的各部分的手势。
存储器204可以包括RAM、ROM和/或其他类型的存储器。存储器204图示用于存储诸如计算机可读指令、数据结构、程序模块或其他数据这样的信息的计算机可读存储介质(设备)的示例。存储器204可以存储用于控制客户端计算机200的低级操作的BIOS 246。存储器还可以存储用于控制客户端计算机200的操作的操作***248。应领会的是，此组件可以包括诸如UNIX或LINUXTM的版本这样的通用操作***，或诸如Windows PhoneTM或
Figure BDA0002144942220000151
操作***这样的专用客户端计算机通信操作***。操作***可以包括使得能够经由Java应用程序控制硬件组件和/或操作***操作的Java虚拟机模块，或者与该Java虚拟机模块对接。
存储器204可以进一步包括一个或多个数据存储装置250，其可由客户端计算机200利用来除了别的之外还存储应用252和/或其他数据。例如，还可以采用数据存储装置250来存储描述客户端计算机200的各种能力的信息。在各种实施例中的一个或多个中，数据存储装置250可以存储位置信息251。然后可以基于各种方法中的各种方法将信息251提供给另一设备或计算机，包括在通信期间作为报头的一部分被发送、被应请求而发送等。还可以采用数据存储装置250来存储包括地址簿、好友列表、别名、用户简档信息等的社交联网信息。数据存储装置250可以进一步包括程序代码、数据、算法等，以供由处理器(诸如处理器202)使用来实行和执行动作。在一个实施例中，数据存储装置250的至少一些还可能被存储在客户端计算机200的另一组件上，所述另一组件包括但不限于非暂时性处理器可读固定存储设备212、处理器可读可移动存储设备214，或者甚至在客户端计算机外部。
应用252可以包括计算机可执行指令，所述计算机可执行指令如果由客户端计算机200执行，则发送、接收和/或以其他方式处理指令和数据。应用252可以包括例如位置确定客户端引擎254、其他客户端引擎256、web浏览器258等。客户端计算机可以被布置为与应用服务器、网络文件***应用和/或存储管理应用交换通信，诸如查询、搜索、消息、通知消息、事件消息、警报、性能度量、日志数据、API调用等、其组合。
Web浏览器引擎226可以被配置为接收和发送web页面、基于web的消息、图形、文本、多媒体等。客户端计算机的浏览器引擎226可以实际上采用各种编程语言，包括无线应用协议消息(WAP)等。在一个或多个实施例中，浏览器引擎258被实现来采用手持设备标记语言(HDML)、无线标记语言(WML)、WMLScript、JavaScript、标准广义标记语言(SGML)、超文本标记语言(HTML)、可扩展标记语言(XML)、HTML5等。
应用程序的其他示例包括日历、搜索程序、电子邮件客户端应用、IM应用、SMS应用、网际协议语音(VOIP)应用、联系人管理器、任务管理器、转码器、数据库程序、字处理程序、安全应用、电子表格程序、游戏、搜索程序等。
附加地，在一个或多个实施例(图中未示出)中，客户端计算机200可以包括嵌入式逻辑硬件设备代替CPU，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程阵列逻辑(PAL)等或其组合。嵌入式逻辑硬件设备可以直接执行其嵌入式逻辑以执行动作。另外，在一个或多个实施例(图中未示出)中，客户端计算机200可以包括硬件微控制器代替CPU。在一个或多个实施例中，微控制器可以直接执行其自身的嵌入式逻辑以执行动作并且访问其自身的内部存储器以及其自身的外部输入和输出接口(例如，硬件引脚和/或无线收发器)以执行动作，诸如片上***(SOC)等。
说明性网络计算机
图3示出可以被包括在实现各种实施例中的一个或多个的示例性***中的示例性网络计算机300的一个实施例。网络计算机300可以包括比图3中所示的那些组件更多或更少的组件。然而，所示组件足以公开用于实践这些创新的说明性实施例。网络计算机300可以包括台式计算机、膝上型计算机、服务器计算机、客户端计算机等。网络计算机300可以表示例如图1的***100的膝上型计算机112、智能电话/平板电脑114和/或计算机110中的一个或多个的一个实施例。
如图3中所示，网络计算机300包括可以经由总线306与存储器304通信的处理器302。在一些实施例中，处理器302可以包括一个或多个硬件处理器或一个或多个处理器核心。在一些情况下，一个或多个处理器中的一个或多个可以是被设计来执行一个或多个专门动作(诸如本文描述的那些动作)的专门处理器。网络计算机300还包括电源308、网络接口310、处理器可读固定存储设备312、处理器可读可移动存储设备314、输入/输出接口316、GPS收发器318、显示器320、键盘322、音频接口324、指点设备接口326和HSM 328。电源308向网络计算机300提供电力。
网络接口310包括用于将网络计算机300耦合到一个或多个网络的电路，并且被构造用于与一种或多种通信协议和技术一起使用，所述一种或多种通信协议和技术包括但不限于实现开放***互连模型(OSI模型)的各个部分的协议和技术、全球移动通信***(GSM)、码分多址(CDMA)、时分多址(TDMA)、用户数据报协议(UDP)、传输控制协议/网际协议(TCP/IP)、短消息服务(SMS)、多媒体消息传送服务(MMS)、通用分组无线电服务(GPRS)、WAP、超宽带(UWB)、IEEE 802.16全球微波接入互操作性(WiMax)、会话发起协议/实时传输协议(SIP/RTP)，或各种其他有线和无线通信协议中的各种有线和无线通信协议。网络接口310有时被称为收发器、收发设备或网络接口卡(NIC)。网络计算机300可以可选地与基站(未示出)进行通信，或者直接与另一计算机进行通信。
音频接口324被布置为产生和接收诸如人类语音的声音这样的音频信号。例如，音频接口324可以耦合到扬声器和麦克风(未示出)以使得能实现与其他人的远程通信并且/或者为某个动作产生音频确认。音频接口324中的麦克风还可被用于向网络计算机300输入或者控制网络计算机300，例如，使用语音识别。
显示器320可以是液晶显示器(LCD)、气体等离子体、电子墨水、发光二极管(LED)、有机LED(OLED)或可与计算机一起使用的各种其他类型的光反射或光透射显示器。显示器320可以是能够将图像投影在墙壁或其他对象上的手持投影器或微型投影器。
网络计算机300还可以包括用于与图3中未示出的外部设备或计算机进行通信的输入/输出接口316。输入/输出接口316可利用一种或多种有线或无线通信技术，诸如USBTM、FirewireTM、Wi-FiTM、WiMax、ThunderboltTM、红外、BluetoothTM、ZigbeeTM、串行端口、并行端口等。
另外，输入/输出接口316还可以包括一个或多个传感器以用于确定地理定位信息(例如，GPS)、监测电力状况(例如，电压传感器、电流传感器、频率传感器等)、监测天气(例如，恒温器、气压计、风速计、湿度检测器、降水量表等)等。传感器可以是收集和/或测量在网络计算机300外部的数据的一个或多个硬件传感器。人类接口组件可物理上与网络计算机300分离，从而允许用于远程输入和/或输出到网络计算机300。例如。像这里描述的那样通过诸如显示器320或键盘322这样的人类接口组件所路由的信息可替代地通过网络接口310被路由到位于网络上别处的适当的人类接口组件。人类接口组件包括允许计算机从计算机的人类用户取得输入或者向计算机的人类用户发送输出的各种组件。因此，诸如鼠标、触针、跟踪球等这样的指点设备可以通过指点设备接口326来通信以接收用户输入。
GPS收发器318可确定网络计算机300在地球的表面上的物理坐标，所述GPS收发器318通常按照纬度和经度值输出定位。GPS收发器318还可采用其他地理定位机制，包括但不限于三角测量、辅助GPS(AGPS)、增强型观察时间差(E-OTD)、小区标识符(CI)、服务区域标识符(SAI)、增强型定时提前(ETA)、基站子***(BSS)等，以进一步确定网络计算机300在地球的表面上的物理定位。应理解的是在不同的条件下，GPS收发器318可确定网络计算机300的物理定位。然而，在一个或多个实施例中，网络计算机300可以通过其他组件来提供可以被用于确定客户端计算机的物理定位的其他信息，包括例如介质访问控制(MAC)地址、IP地址等。
存储器304可以包括随机存取存储器(RAM)、只读存储器(ROM)和/或其他类型的存储器。存储器304图示用于存储诸如计算机可读指令、数据结构、程序模块或其他数据这样的信息的计算机可读存储介质(设备)的示例。存储器304存储用于控制网络计算机300的低级操作的基本输入/输出***(BIOS)330。存储器还存储用于控制网络计算机300的操作的操作***332。应领会的是，此组件可以包括诸如UNIX或LINUXTM的版本这样的通用操作***，或诸如微软公司的
Figure BDA0002144942220000181
操作***或苹果公司的/>
Figure BDA0002144942220000182
操作***这样的专用操作***。操作***可以包括使得能够经由Java应用程序控制硬件组件和/或操作***操作的Java虚拟机模块，或者与该Java虚拟机模块对接。同样地，可以包括其他运行时环境。
存储器304可以进一步包括一个或多个数据存储装置334，其可由网络计算机300利用来除了别的之外还存储应用336和/或其他数据。例如，还可以采用数据存储装置334来存储描述网络计算机300的各种能力的信息。在各种实施例中的一个或多个中，数据存储装置334可以存储位置信息335。然后可以基于各种方法中的各种方法将位置信息335提供给另一设备或计算机，包括在通信期间作为报头的一部分被发送、被应请求而发送等。还可以采用数据存储装置334来存储包括地址簿、好友列表、别名、用户简档信息等的社交联网信息。数据存储装置334可以进一步包括程序代码、数据、算法等，以供由一个或多个处理器(诸如处理器302)使用来实行和执行诸如在下面描述的那些动作这样的动作。在一个实施例中，数据存储装置334的至少一些还可能被存储在网络计算机300的另一组件上，所述另一组件包括但不限于非暂时性处理器可读固定存储设备312内部的非暂时性介质、处理器可读可移动存储设备314，或在网络计算机300内或者甚至在网络计算机300外部的各种其他计算机可读存储设备。
应用336可以包括计算机可执行指令，其如果由网络计算机300执行，则发送、接收和/或以其他方式处理消息(例如，SMS、多媒体消息传送服务(MMS)、即时消息(IM)、电子邮件和/或其他消息)、音频、视频，并且使得能实现与另一移动计算机的另一用户的远程通信。应用程序的其他示例包括日历、搜索程序、电子邮件客户端应用、IM应用、SMS应用、网际协议语音(VOIP)应用、联系人管理器、任务管理器、转码器、数据库程序、字处理程序、安全应用、电子表格程序、游戏、搜索程序等。应用336可以包括执行在下面进一步描述的动作的位置确定引擎346。在各种实施例中的一个或多个中，可以将一个或多个应用实现为另一应用程序的模块和/或组件。进一步地，在各种实施例中的一个或多个中，可以将应用实现为操作***扩展、模块、插件等。
此外，在各种实施例中的一个或多个中，位置确定引擎346可以在基于云的计算环境中操作。在各种实施例中的一个或多个中，这些应用和其他应用可以正在可以在基于云的计算环境中管理的虚拟机和/或虚拟服务器内执行。在各种实施例中的一个或多个中，在此上下文中应用可以取决于通过云计算环境自动地管理的性能和缩放考虑事项而从基于云的环境内的一个物理网络计算机流向另一物理网络计算机。同样地，在各种实施例中的一个或多个中，可以自动地提供并解除投用专用于位置确定引擎346的虚拟机和/或虚拟服务器。
另外，在各种实施例中的一个或多个中，位置确定引擎346等可以位于在基于云的计算环境中运行的虚拟服务器中，而不是被绑定到一个或多个具体物理网络计算机。
进一步地，网络计算机300可以包括用于提供附加防篡改安全措施以便产生、存储和/或使用诸如密钥、数字证书、密码、密码短语、双因素认证信息等这样的安全/密码信息的HSM 328。在一些实施例中，硬件安全模块可以被采用来支持一个或多个标准公钥基础设施(PKI)，并且可以被采用来产生、管理和/或存储密钥对等。在一些实施例中，HSM 328可以是独立网络计算机，在其他情况下，可以将HSM 328布置为可以被安装在网络计算机中的硬件卡。
附加地，在一个或多个实施例(图中未示出)中，网络计算机可以包括一个或多个嵌入式逻辑硬件设备代替一个或多个CPU，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程阵列逻辑(PAL)等或其组合。嵌入式逻辑硬件设备可以直接执行嵌入式逻辑以执行动作。另外，在一个或多个实施例(图中未示出)中，网络计算机可以包括一个或多个硬件微控制器代替CPU。在一个或多个实施例中，一个或多个微控制器可以直接执行它们自己的嵌入式逻辑以执行动作并且访问它们自己的内部存储器以及它们自己的外部输入和输出接口(例如，硬件引脚和/或无线收发器)以执行动作，诸如片上***(SOC)等。
图示的***
图4A图示包括发射器104和相机106a、106b、106c、106d的***100的一部分。(除非另外指示，否则在本文中可互换地使用术语“相机”和“接收器”。)***100一次顺序地照射一个或多个目标108的一个体素。如图4A中所图示的，被扫描体素照射由多个相机106a、106b、106c、106d捕获或者检测并且使像素数据的若干体素照射同步流流向中央处理***，诸如***计算机设备110(图1)。在与对象108的单个体素的照射相关联的每个时间段t(或t+1或t-1)，相机106a、106b、106c、106d中的每一个均检测从目标108的体素散射的光，并且在检测到光的相机的阵列中提供检测位置，例如用于第i个相机的(xi,yi)。例如，在时间t，四个相机106a、106b、106c、106d可产生位置[x1,y1]t、[X2,Y2]t、[X3,Y3]t、[x4,y4]t的集合，同时在t+1和t-1及其他时间段产生类似的集合，如图4中所图示的。
每个时间段t对应于对象108的单个体素的照射期望由每个相机接收到的时间的长度。可以至少部分地基于相机之间的距离来选择时间段t的长度。例如，10纳秒的时间段能被用于一组相机，其中4个相机中心之间的相对距离小于10英尺(或者小于3米)。在一些实施例中，时间段t被选择为使得多个相机处的一组时间上接近的检测事件可与由发射器104对单个体素的照射相关联。在至少一些实施例中，时间段t是至少1、5、10、15、20、25、40、50或100纳秒或更多。通过顺序地且单独地照射对象108的每个体素，每个被照射体素时间上与多个相机处的一组空间上分离的检测实例相关联。然后可使用这些检测实例来确定体素的位置。可快速地且单独地观察体素。
检测位置的集合被发送到中央处理***，诸如***计算机设备110，其组合来自多个相机的检测位置的这些流并且以计算方式(例如，通过一系列矩阵乘法)组合它们，从而将来自相机的多个像素流(优选地以最小等待时间)融合成单个体素流(例如，对象108的被照射体素的位置(诸如用于对象108的体素a的(xa,ya,za))的流)，所述单个体素流然后可被直接馈送到例如下游感知***中。
图4B图示确定体素的位置的方法的一个实施例。在步骤402中，发射器104照射对象108的体素。体素反射(或者以其他方式散射)然后由相机106a、106b、106c、106d接收的光。在步骤404中，***计算机设备从相机接收用于检测到由体素反射的光子的像素的阵列位置。在步骤406中，根据所接收到的阵列位置来确定体素的位置。在步骤408中，确定了是否要观察附加体素。如果是这样的话，则针对体素中的每一个重复步骤402-406。只要通过相机检测到像素事件(例如，三个或更多个像素在时间段内颤动)的充足性，过程就可以自动地继续重复。
图5图示具有三个相机106a、160b、106c的布置，其中来自光源的扫描束(例如，窄准直的像素大小的激光束)跨越某个体积空间段(扫描锥)扫描。对象的空间流形(3D形表面)反映扫描轨迹的至少一部分。在图5中，扫描束分别在时间t1、t2、t3和t4照射四个点P1、P2、P3和P4。3D表面上的四个点朝向按相机投影中心O1、O2和O3而定位的三个相机反射束的一部分。从每个点P到这些相机中心的每一个存在一条主光线。存在十二条这样的主光线。这些主光线投影到如下十二个像素位置中的相机上：P1’、P2’、P3’、P4’、P1”、P2”、P3”、P4”、P1”’、P2”’、P3”’和P4”’。由三个相机捕获的这十二个离散位置足以导出相机中心以及四个3D点P1、P2、P3和P4的完整位置。作为示例，这十二个传感器坐标对足以得出完整三焦点张量的27个元素(3x 3x 3矩阵)。
与常规观看相比较，这种顺序照射通过消除密集对应挑战来开辟解决复杂性的计算捷径，所述密集对应挑战迄今为止一直是多视图***中的计算瓶颈。在此体素顺序***100的至少一些实例中，添加附加相机(或甚至冗余观察者)实际上可以降低计算复杂性，增加***鲁棒性并且改进***准确度，因为额外的传感器数据有利于统计和AI方法以便确定3D现实的显着结构方面，诸如对象和表面的外观、运动或形状或其任何组合。注意的是，通过向***添加相机产生附加观察结果，从而使***变得更鲁棒且更准确，同时不需要更多的照射。
在至少一些实施例中，***100可递送锐利地定义的3D边缘以及对象的3D定位、速度和加速度，并且可以现有技术水平的相机分辨率产生可与同样细粒度的图像体素数据(例如，RGB图像对比度函数)匹配(例如，融合)的细粒度的体素运动数据。
在至少一些实施例中，更多的像素和视角(例如，相机或接收器)产生对3D现实的更鲁棒感知。通过增量视角所提供的额外的数据流可使得能实现新水平的计算确定性。在***100的至少一些实施例中，添加附加视图(例如，相机或接收器)产生视图之间的高度重叠。这种重叠可减少遮挡，改进相机姿态估计和对象运动跟踪，改进运动连续性并且降低***噪声，诸如量化误差和其他采样赝像。
通过使数据流成流线型并消除上游瓶颈，***100可利用较高分辨率相机并且在相机视角中采用较大重叠度。针对每个被照射体素自动地建立重叠度，即在3D视图空间中同时地观看被照射体素的相机的数量。该***优于许多常规***的感知优势具有直观意义：在传统的多视图设置中，数码相机中的每一个均将微妙的连续(模拟)3D光场缩减成2D颜色对比度的简单离散和粗光栅化的Bayer图案马赛克，从而沿途固有地引入大量的量化误差。另外，被感测对象与相机之间的任何高速相对运动引起模糊和传感器噪声。校准漂移或不完美的光学器件将引入另外的***误差。
在像素顺序照射***(诸如***100)中，每个体素被扫描激光器照射持续仅有限的时间，例如1-10纳秒。这种超短强烈的照射曝光可以消除运动模糊和光子不足，从而允许***以高空间以及时间分辨率跟踪特征。例如，在至少一些实施例中可以观察到每秒高达1百万度的旋转速度(1/100度旋转/在100纳秒的时段内观察)。
跨越多个相机匹配所观察到的像素定位为每一顺序地照射的体素产生N个同时的(或几乎同时的)视角。使用此布置，***100可以高体素数据速率高效地实现极端精确的3D位置检测。
添加更多的相机添加了附加视角。这些附加同时的观察结果可减少采样误差。在至少一些实施例中，所添加的相机不需要设置或任何特定对准或校准。在至少一些实施例中，不需要相机位置随着时间的推移在几何上稳定。它们可以例如附接到可变形或振动结构，诸如机翼或框架支柱。
在至少一些实施例中，可利用附加点观察结果来实现相机的内部校准。在至少一些实施例中，不需要提前知道相机(光学器件和畸变)的内部(固有)特性。利用更多的观察结果，可确定这样的特性。
在至少一些实施例中，***100使得移动观察者能够作为相机或接收器(例如，小群飞行配备相机的四轴飞行器)。这些移动相机可用于观察通过扫描探测束点亮的复杂动态3D场景(其中3D场景的斑点被顺序地照射)并且详细地以例如每秒1亿个体素的检测速度(或可能与和每个体素相关联的时间段t有关的较快或较慢的检测速度)准确地映射这样的3D场景。
通常，***100包含N个相机(或其他光接收器或检测器)，其中N是至少两个或三个并且可以是四个、五个、六个、七个、八个、十个、十二个、十五个、二十个或更多个或任何其他数量。***100包括具有光源(诸如一个激光束)的发射器104，从而使用光子束射出的光线来照射视场并横过一段空间。光子的这种光线或束具有瞬时指向方向，例如，通过两个坐标方位角(α)和仰角(ε)来定义。这两个角坐标可能是(i)由扫描***控制，或者(ii)它们可能通过诸如在例如美国专利号8,282,222、8,430,512和8,696,141中所描述的某种视觉反馈回路来观察(跟踪)，所有专利都通过引用整体地并入本文，或者(iii)这些坐标既不可能被控制也不可能被跟踪。在至少一些实施例中，在任何相机在任何一个时间的视图中，存在仅一个被照射斑点，其作为通过对象108的表面上的区域(例如，体素)对激光束的反射而出现。***优选地操作，使得在任何一个时刻在空间中(例如，在对象108上的区域或体素上)的至多一个位置P(t)反射探测束。如果点P落入此相机的视场内并且假定在其方向上反射的光足够强以致被检测到，即光子的充足性到达相机的像素中的至少一个，则N个相机中的任一个可能在点P处观察到此反射束。
在至少一些实施例中，每个相机被配置为瞬时地或几乎瞬时地(例如，在不超过上述的时间段t的1/10或1/100的时间内)检测光。可使用任何适合的相机，包括任何适合的像素化相机。像素化相机的示例包括但不限于被布置为时空分选阵列(SSA)(例如，快速异步SPAD(单光子雪崩二极管)像素的阵列)的像素，其记录方向和到达时间两者。可在美国专利号8,282,222、8430512和8,696,141中找到SSA阵列的示例，所有专利通过引用整体地并入本文。可将时空分选阵列类比为具有定位在成像***的焦平面中的探测器阵列的相机，所述探测器阵列在空间上量化传入光线方向，从而使传入方向的小集束与单独的像素相匹配。SSA可以实际上是具有2D像素阵列的相机或可替代地如美国专利号8,282,222、8,430,512、8,696,141、8,711,370、9,377,553、9,753,126以及美国专利申请公开号2013/0300637和2016/0041266中所描述的异步感测阵列中的任一个，所有专利都通过引用整体地并入本文。相机包括至少二维(2D)像素阵列。像素可以包括各种光子敏感技术，诸如以下各项中的一种或多种：有源像素传感器(APS)、电荷耦合器件(CCD)、单光子雪崩检测器(SPAD)(在雪崩模式或盖革模式下操作)、互补金属氧化物半导体(CMOS)器件、硅光电倍增管(SiPM)、光伏电池、光电晶体管、颤动像素等。光子检测器可以检测一个或多个传入光束。通过引用整体地并入本文的美国专利No.9,753,125将“颤动像素”描述为传感器阵列像素，一旦光电流超过最小水平，所述传感器阵列像素就提供几乎瞬时的信号输出。例如，在至少一些实施例中，“颤动像素”可以是连接到立即放大光电二极管的电流的源极跟随器或其他电路的光电二极管。经放大的信号进而连接到感测线。感测线可以是这样的“颤动像素”的整列或整行之间的共享功能。像素的基本“颤动”功能是二元的；其主要功能是报告信号光子已到达相机的时间和/或位置。优选地，相机的像素是“颤动像素”，或者高度敏感的CCD、APD、SPAD型像素可检测或者“触发”几个光子或甚至单个光子的到达。
可以连续地照射束，从而扫描束的FoV内的对象的表面以横过空间中的这些3D流形。在至少一些实施例中，扫描束可以非常快速地(可选地以伪随机方式)扫描3D表面，但是以连续平滑的扫描方式横过FoV中的空间。
替代地，束的照射可能以快速且强烈的方式脉动。例如，可能使用非连续扫描，从而在空间中或者在具体地选取的方向上随机地探测光的“点”或脉冲或者使用某个感兴趣方向(诸如例如四旋翼飞行器的飞行路径)周围的成凹，或者使用任何其他规则或不规则的图案。快速非连续扫描***的示例是相控阵列(例如，MEMS带光学相控阵列)。
作为示例，可能以10纳秒间隔通过扫描机制(发射器TX)(诸如发射器104)来发射光子的短100ps脉冲串。反射脉冲被限于已知间隔(例如，100皮秒(ps))并且与阵列中的单个像素唯一地匹配。
当像素检测从连续照射的体素定位反射的光时，相机顺序地报告像素的定位。在一些实施例中，来自像素或相机的所报告的数据可能是最小和二元的，诸如例如仅报告像素定位(例如，列号和行号)。在其他实施例中，数据流可以是较丰富的，包括例如当单独的像素检测到光子时的时间戳。在至少一些实施例中，这些时间戳会促进下游数据的无序后处理或者提供用于更准确的运动插值。
可能从相机获得的附加数据能包括每种原色(或某个其他颜色集)的强度或其他信息。可能以例如模拟值(诸如用作光强度(光子数或瞬时峰值光子电流强度或“灰度”)的代理的放大光电二极管电压或电流)和可选地实测颜色强度值(R、G、B和/或M、C、Y和/或一个或多个NIR波长)的形式捕获此附加信息。
在至少一些实施例中，接收***(诸如计算机设备110)在每个观察事件之后几乎实时地(例如，在数纳秒内)接收此数据或信息。作为示例，相机1在时间t检测到足够的光子到达相机的第j行、第i列处的像素，同时可选地，检测红色、绿色和蓝色(或其他颜色或波长集)的原色强度。在至少一些实施例中，来自相机的数据可以由检测矢量[相机#,i,j,t,r,g,b]构成，其中六个值各自可能是数据的一个或多个字节。
图6A图示***100的一部分的一个实施例。通过由扫描发射器104所产生的紧密准直的激光探测束(或其他光源)与表面S上的位置P相交。通过束递送的光子在t＝0在所有方向上反射(例如，以朗伯方式)。定位在投影中心O1、O2、O3和O4处的四个相机各自在几纳秒后从这些反射中的每一个捕获光子的小集束。每个集束具有进入四个相机中的每一个的光圈的中心的主光线(CR)。CR1在t1进入第一相机并落在列号700和行号500上。其他三个相机类似地在10纳秒窗口内记录事件。
因此，从表面S上的点P反射的光由四个相机检测到从而产生四个矢量：
相机1：(#1,700,500,t1)
相机2：(#2,680,250,t2)
相机3：(#3,350,250,t3)
相机4：(#4,250,500,t4)
第一值是相机号，第二值是列号，第三值是行号，并且第四值是到达时间。此示例中的四个时间戳彼此在10纳秒内，因为4个相机中心之间的相对距离小于10英尺。注意的是，这样的四相机配置相机间差分时间极限将最可能适用于布置在甚至大型车辆上的***。在大多数情况下相机之间的相对距离将小于5英尺，使得观察到的光子可与5纳秒的唯一体素照射时段相关联。所以，可甚至以每秒1亿个体素的速率不含糊地使在四个相机中观察到的任何光子与单独地顺序地照射的体素相关联。
相机的相对定向和位置确定所有三个变量。相机朝向观察点P的相对定向通过从点P反射的主光线相对于相机的当前中央光轴的方位角和仰角来给出。在图6A中，从每个传感器中指示(0,0)的左上部像素起对像素位置进行计数。被观察到的任何相对时间延迟表示光子从表面S上的点P处的反射体素行进到四个相机中的每一个中的像素所需要的ToF(飞行时间)时间(每纳秒英尺)中的差异。即使在不知道最终在点P处照射体素的光子的离开时间的情况下，相对ToF差异也可以直接通知每个相机离点P的相对距离。
注意的是，在简单快速扫描LIDAR(如例如通过引用整体地并入本文的美国专利申请序号15/799,149中所描述的)的具体情况下，可估计从点P到相机的距离，因为点P的定向是已知的，因此在如由扫描发射***Tx所驱动的光源的最近快速扫描轨迹期间的脉冲的隐式离开时间也是已知的。可估计特定离开时间。它是通过光源和发射***Tx在点P的方向上发射的光的发射的最近时刻。相反，如果例如在相机中使用SPAD，则将会以皮秒精度获得非常准确的脉冲到达时间。可以厘米为单位而不是以英尺为单位大大准确地确定相对距离。这会通知每个相机在观察时的行踪。实际上，四个观察者之间的相对运动在纳秒观察间隔期间可以是可忽视的。
在图6B中表示的四视图***中，扫描发射***Tx 104及其光源根据时间t扫描空间轨迹τ(t)。Tx 104和光源的位置是事先已知的或者可用诸如三焦点张量方法这样的几何方法来计算，从而将Tx 104和光源视为具有投影中心OT的第五相机的等同物，其中每条发射光线的方向从Tx的电子反馈和控制获知(与每条接收光线的方向通过传感器中的像素位置来确定的相机相比较)。因此，通过如在别处所描述的几何方法，可确定Tx的位置OT以及P、O1、O2、O3和O4的位置。对于最近扫描轨迹τ(t)，存在与在某个唯一时间t的某个快速光学扫描角度α(t)相对应的唯一扫描方向OtP。稍后的时间t是在时间t1、t2、t3和t4到达、由四个接收相机稍后观察到的光子中的任一个的离开时间td。
如果从几何计算中获知P的相对位置并因此获知了方向OtP，则可通过非常精确的ToF方法来细化这些计算如下：通过按与Tx的扫描方向碰巧光学上精确地与点P的已知位置对准的时刻一致的皮秒精度用脉冲调制光源。将以皮秒为单位获知光源短暂(皮秒持续时间)脉冲串离开时间，并且在点P处反射之后，将以皮秒为单位同样地解析四个到达时间(例如通过四个“颤动像素”的点火(SPAD或新SiPM型APS雪崩可被以皮秒为单位准确地计时))。因此，可将通过四条主光线(CR1-4)行进的距离计算为英寸(在1ns下的ToF时钟准确度≈1英尺(大约0.3米)内，在100ps下≈1英寸(大约2.54cm))。
在至少一些实施例中，像素顺序照射***(诸如***100)可消除或者减少许多常规照射***(诸如与结构化即编码照射一起采用完全2D帧或1D全扫描线的结构化光或无源立体***)中固有的观察多义性。在至少一些实施例中，每个附加点观察(例如，每个附加相机或其他接收器)添加可用于使得***能够自校准相机的位置、定向和内联函数的知识。
在至少一些实施例中，利用每秒数百万个扫描点，点顺序照射***(诸如***100)可以快速地收敛于并且快速地且高效地揭示现实的可观察到的不变性—可观察到的图案、刚性或可变形结构。
在至少一些实施例中，出于机器视觉的目的，诸如卷积神经网络(CNN)这样的计算方法可容易地从来自相机的这些结果得到的丰富、不含糊的数据流中学习。用不变空间几何的数百万个顺序观察结果来训练这些CNN，这些新颖的机器视觉方法将按精度快速地收敛于3D解。
在至少一些实施例中，诸如使用***100获得的点顺序照射的优点可以包括以下各项中的一个或多个：a)运动模糊的消除或减少，所述运动模糊在常规***中严重限制空间测量结果，以及b)由于时间被以高得多的分辨度测量的事实而到纳秒级(单个单独的像素的曝光时间)的附加运动估计精确度。因此，当添加体素顺序照射时，用于跟踪移动对象或者估计非刚性(可变形)时变3D表面几何和运动的过程或算法方法可以是更精确的。
在至少一些实施例中，添加附加相机消除或者减少遮挡问题。更多的观察者(例如，相机或其他接收器)产生更多的观察结果，使***变得对遮挡更鲁棒。直观地，在***中存在的视点越多，观察表面的任何一个点的相机的充足性就越有可能。可能的是，深裂缝和陨石坑仍可能最终被遮挡。
在至少一些实施例中，像素顺序照射***(诸如***100)建立精确的像素级对应可能是相对容易的。在足够短的时刻期间，所有传入光线源自3D空间中的同一体素。在至少一些情况下，在几纳秒的跨度内同时地观察到的事件或几乎同时地观察到的事件产生具有相机的位置和定向以及观察点(即，对象上的体素)的3D坐标的完整坐标集。
在至少一些实施例中，随着更多的相机被添加到***，更多的视角被同时地捕获，发生更少的遮挡，可以更快地并以较大的运动保真扫描表面，并且可以以越来越短的间隔扫描细节。利用更多的相机，从相同的体素照射捕获更多的光子，这可以对观察结果产生较大的信号准确度和较大的确定性或置信度。非可变形表面(诸如内墙壁、建筑物和街道)的3D扫描累积地添加较精细的细节，因此其结果得到的3D点云图像快速地获得保真。
图7A至图7C图示像素顺序照射***的一个示例性实施例。在图7A(侧视图)中，驾驶员正通过他的车窗看着前方路径中的对象。扫描激光束(来自发射器)照射对象上的点P。驾驶员正穿戴头戴式显示器设备(HMD)，诸如可以将立体图像投影到经由车辆的驾驶员侧窗内侧的反射可见的回复反射表面上的头戴式设备。(在图7A中未示出投影的立体成像路径)。可穿戴设备创建AR HUD的这种使用类似于例如通过引用整体地并入本文的美国专利申请公开号2017/0208292的图15E中所示的配置。该图中的可穿戴设备描绘基准在驾驶员的客舱内部的头部跟踪，并且使用高分辨率机器视觉相机来观察前方道路。本文描述的新***具有逐体素照射外部世界的束。
同样安装在驾驶员的眼睛的任何一侧的两个相机(RxL和RxR，图7B)看到对象上的被照射体素P的宽基线视图。在驾驶员上方是还可看到前方道路的第三高分辨率相机106。第三相机还指出体素P在其高分辨率传感器的参考平面中的位置。体素P存在总共三个视图，因此在四个这样的点已被照射在对象上之后，对象位置(一系列体素在对象的表面上的位置)以及头戴式设备和高度分辨率相机的位置两者都是已知的，从而渲染驾驶员的头部凝视的相当准确的定向以及他/她对对象的瞬时视角(他的HMD的视角)。因此，***可在用户的3D视图体积中准确地定位诸如警告(例如，“小心这里！”)这样的标签。应认识到，可使用其他相机布置。
图7B示出相同布置的俯视图，其中高分辨率相机被安装在高中央定位中，诸如在后视镜前面。可替代地，可能将此相机或相机阵列安装在车辆的顶部上以得到环境的更通畅视图。图7C示出具有内置3D相机(RxT)的增强现实型头戴式设备，使得实际上有三个相机观察视图(与穿戴者“一起看”)并且此视图可能是凹的，扫描***的成凹通过穿戴者的注意和凝视来驱动，通过头戴式设备中的眼睛跟踪传感器来跟踪。
图22图示头戴式相机602，其使得能够使用反射束608来确定观察者604在空间中相对于来自投影器402(和投影图像束606)在表面114上的投影的相对位置。
可以采用多个扫描束。在至少一些实施例中，注意避免两个或更多个斑点同时地相对极为接近出现在流形(对象)表面的任何部分上、从而使扫描轨迹在空间和时间上重叠的多义性，两个斑点的反射更难以在相机的平面中区分。在一些实施例中，当使用多个照射斑点时，类似搜索束的轨迹不应该在本地扫描同一表面；被扫描斑点轨迹不应该相互交叉。无论轨迹何时何地重叠，都在相机平面中引起“碰撞”，可检测这些“碰撞”，并且例如通过控制***反馈回路，可暂时熄灭这些束中的一个。可采用多个束来以不同的角度到达对象的表面并从对象的表面反射，例如以避免阴影或遮挡。为了完全避免多束检测多义性，它们可以是例如工作循环的(例如，给定交替时隙或任何其他适合的时间布置)。
在图8中，由两个发射器Tx1和Tx2产生的两个激光束(或其他光束)正在沿着对象108的表面上的相同线性扫描轨迹(侧视图)从在时间t1的体素位置V1扫描到分别在时间t2和t3的体素位置V2和V3。来自Tx1的束可以照射从V1到V3的整个轨迹，或者可替代地，Tx1可以沿着此轨迹照射各位置直到在t2到达体素位置V2为止，并且Tx2从V2向V3照射，从而完成轨迹。Tx2可以在时刻t瞬间地接管并且沿着相同轨迹继续，或者可替代地，源Tx2可以被安排在稍后的时间完成。(在此示例中两个扫描源及其扫描运动被布置为共平面)。在至少一些实施例中，交替扫描激光源的这种布置可以产生更明亮的反射，以被定位在对象周围的相机观察到。进一步地，布置允许***以少得多的遮挡扫描具有显著表面曲率的对象。
如图9中所图示的，当扫描房间或详细的3D赝像时，手持激光扫描器104’可用于将“细节”体素添加到累积集。手持工具可以是简单的激光指示器或“激光电刷”(例如，沿着固定或准随机扫描图案顺序地照射的激光器)，并且它可以包括诸如智能电话这样的第二手持设备106’，如图9中所示，图9示出在进行中的“绘画”。第二手持设备106’它本身可以包含一个或多个相机，或者在通过激光指示器104’照射的每个体素可由至少3个相机看到的布置中，相机C1、C2、C3可以被单独地松散地定位在空间周围(如图9中所示)。
三个相机C1、C2、C3可以从附近直接观察精细的“绘画”(电刷周围的连续照射点)，同时放置在待扫描的对象(或面部)周围的其他相机被布置在周围区域中。这些其他相机可以不是手持的，但是它们不必是固定的。所以，可以采用围绕待扫描的对象的一组相机甚至是安装在机器人臂上的飞行四轴飞行器或相机来捕捉尽可能多的激光点照射位置(对于每个体素最少三个观察视角)。
在图9中图示的示例中，三个相机C1、C2和C3可被按照三焦点布置定位在对象周围。手持监测设备106’使得能够监测“绘画”的进展，从而揭示被扫描对象的精细结构细节。手持监测设备可能是移动电话。同样是手持的激光电刷设备用扫描激光束照射对象，所述扫描激光束在对象表面上创建激光的数千个“刷涂”。三个或更多个相机跟踪每个刷涂。如指出的，相机可能是“颤动像素”或SPAD阵列传感器型的，能够精细地作三角测量，或者例如通过ToF方法以其他方式进行，所述ToF方法定位激光束在对象的表面上的瞬时位置。可替代地，激光电刷可能发射时空编码方案，其使得相机能够消除歧义、识别并匹配由三个或更多个相机从不同的视角观察的每个被照射体素。可选地，可能采用DeBruin或其他颜色型编码方案，如在下面更详细地描述的。
辅助立体布置具有三个共线设备，例如，一对立体相机的基线上的图像投影器，如图10A中所图示的。这种“立体”配置可以是图像三联体几何的特殊情况：由两个相机观察到的投影图像产生总共三个2D图像和一个投影现实。在三焦点张量中完全捕获三个图像的相对定向。
在图10A中，在“辅助立体”布置中存在三个视图：一个投影器(即发射器)Tx以及一对立体相机RxL和RxR。在发射器Tx的共振扫描***中，从扫描镜弹开的扫描束的瞬时指向方向是周期性函数，并且在任何时刻t，可通过来自镜机制的电气或光学反馈回路精确地估计确切的指向方向。因此，连续地在时间t1至t4通过扫描束顺序地照射四个点P1、P2、P3和P4。两个相机观察这四个被照射体素位置。四个激光束指向方向和四个被照射体素位置的四对投影被反射并成像到两个相机的传感器平面中的每一个上。在三焦点张量T中完全捕获这十二个2D观测结果，然后可使用所述三焦点张量T来确定点P1、P2、P3和P4的位置。
现有技术水平的辅助立体***通常采用与激光扫描投影器呈极线对准配置的一对立体滚动快门RGB相机。用于在***100中使用的简单替代布置包括一对高分辨率单色颤动像素相机和单个主激光扫描器。附加选项(诸如“预期”激活(参见例如美国专利申请序号15/799,149，其通过引用整体地并入本文)和窄带通滤波器)甚至在无需滚动快门、极线对准的情况下使这样的布置对于日光变得足够鲁棒。***(诸如***100)可最低限度地由两个颤动像素相机和单个单色投影器构成。在至少一些实施例中，这三个中的每一个均可以被装配在几立方毫米的体积中，并且三个组件中的每一个均可被安装在HMD中的不同位置处，从而使得能实现灵活、可调整非刚性舒适且超轻的头戴式设备，如图10B中所图示的。
如例如美国专利申请公开号2015/0278992和US2017/028292(两者都通过引用并入本文)中所描述的，头戴式显示器***可具有被定位在用户的眼睛中的每一个附近的2个图像投影设备TxL和TxR。这些投影设备将图像投影到回复反射投影表面上，回复反射图像提供左右眼视图视角。存在被回复反射显示器表面的窄回复反射成角度地且狭窄地限制和分离的两个单独的“眼框”。原则上即使用户靠近眼睛穿戴投影器，任何种类的滤镜、透镜或光学器件也不遮挡用户的视图。可在“辅助立体模式”下使用相同的扫描投影***来扫描可能在用户的手中的对象以作为虚拟协作会话的一部分被扫描。
图11A至图11F示出了两个投影器可被布置为在例如25kHz附近具有快速扫描运动，使得跨越FoV的扫描线花费不到20微秒。还可使用其他扫描速率。可在相反方向上设置每个投影器的快速扫描轴，使得它将在两个横向方向上准确地跟踪诸如手指这样的对象的轮廓。
在图11A中左侧投影器束在5微秒内横过用户的手指，从而在相隔约5微秒的t0和t1锐利地标记边缘轮廓点。跨越手指产生多达500个光码或体素(对于每个照射各自为约10纳秒)的图案。在稍后的时刻，在图11B中，在从时间t3开始并在时间t4结束的第二时间间隔期间，第二束在对角线相反的方向上横过手指，从而散布约500个光码或体素的另一系列。使用本文所描述的***和方法，在至少一些实施例中，跟踪***因此指出可在约1/100000秒内扫描约1000个高度精确的3D体素位置，并且实现了亚毫米精确的手指位置并且运动数据全部是三维的，同时等待时间几乎为零。图11C示出用户的头部的顶视图，其中左投影器LP对角地向上扫描，而在图11D中，右投影器RP对角地向下扫描。
另一实施例是具有安装在多个手或抓器或其他附体中的相机C1、C2、C3、C4、C5、C6(例如，具有“颤动像素”传感器阵列的相机)的多臂机器人(或其他设备)，如图12中所图示的。这些相机位于杆上并且是高度可移动的。附体可使相机在六个自由度上平移和旋转，所以这些跟踪相机可被最佳地定位在被检查的对象周围。此外，它们可在检查期间被连续地移动，通过***的实时和不断重新校准功能来实现。
被检查的对象可能是移动它本身。其表面可能是可变形的或者它可能甚至是活的！在至少一些实施例中，附体LB1、LB2中的一个或多个保持可由其控制***灵巧地操纵的发射器、光源或光电刷，以便能够照射对象的表面的每一个角落和裂缝(可选地，而不用触摸它)，使得至少三个相机检测反射。可替代地或附加地，设备可能包括设置在该设备的主体或其他非附体部分上的发射器或光源。在至少一些实施例中，确保对于每个激光照射的表面点(对于待记录的每个体素)观察到至少三次反射可包括反复试验的反复过程。例如，可打开光源(例如，激光器)以扫描小区域。可移动相机中的一个或多个，直到至少三个相机相对于彼此在预期时间段内检测到光子(例如，相机可以检测到具有“颤动”像素的传感器的“颤动”，或可替代地，SPAD阵列中的像素的几乎同时的雪崩。)不久之后，与具有几乎相同的时间戳的事件一起观察到事件数据流。“几乎”在每种情况下可以是例如1、5、10、15、20或25纳秒的间隔内的事件。
可能期望具有多于三个相机和多于一个光源。例如，检查机器人(其可能可用于水下检查或其他用途)可能被配备来同时地采用六个相机和两个光源或任何其他数量的相机和光源。图12图示具有配备有相机C1-C6的六个臂以及用于扫描被检查区域的单独的补片的2个激光电刷LB1和LB2(即，光源)的机器人。
在至少一些实施例中，多臂机器人可同时地找到、检查和跟踪多个表面上的结构特征可以是有利的。由于任何已知结构可能被用作六自由度(DoF)空间基准参考，所以使用摄影测量，允许机器人相对于环境中的任何适合的位置基准(优选地，固定的)(例如，港口底部的锚)在6DoF上非常精确地跟踪它自己的位置和定向。类似地，额外的一组臂可以被用于在奇怪形状的障碍物周围进行非常精确的微机动，其中机器人使用一组臂来相对于对象光学上锚定它本身，同时第二组臂快速地扫描对象的精细3D特写。
在一些实施例中，设备的任何机器人臂或其他附体可以具有光源和相机两者并且在操作期间可互换地部署这些特征，从而将激光束或脉冲引导到表面并观察反射。在至少一些实施例中，基于处理器的中央控制***监测在进行中的检查。在至少一些实施例中，过程使用CV算法和控制软件。
可检查表面是否有缺陷，诸如磨损、腐蚀或其他损坏。在至少一些实施例中，检查过程可以是完全自主的和自我引导的，其中在检测到异常的区域上放大的严格检查使用例如基于AI(人工智能)的计算机视觉***。作为示例，不受限检查可能包括用于检查海洋中的船体或钻井平台、管线或井口的结构完整性的一个或多个高度可机动的水下机器人或设备。其他应用还可包括用在管线的智能“清管”中的所谓的“智能猪”。“智能猪”是记录关于管线的内部状况的信息的检查设备。在检查期间，“智能猪”被***到管线中并且被管线中的流动产品推动。
这些应用是敏捷可行的智能感知的示例，其中实时观察结果可以导致立即“现场”动作(例如，更严格检查，可能清理碎片并进行修复)。可行且敏捷的机器感知优选地利用足够强大且低等待时间的板上计算资源。
利用由例如100+TeraFlop(TeraOP)类的GPU和专用AI加速器提供的足够的处理能力，当与使用上面描述有三焦点激光感知的***100的超快扫描组合时，机器人(诸如图12中图示的机器人)可自主地、快速且高效地、优选地在无需监督或干预的情况下工作。后者在数据连接有限或者不存在的地方中是有利的。
敏捷可行的3D感知对于隐形监视应用来说并且当在极端遥远的场所(诸如行星探测器(由于光速和所有信令的局限性而产生极端的等待时间)中操作时或者对于远程自主卫星检查来说是重要的。
在***100的至少一些实施例中，可以一秒1百万个体素或更大的速率检查对象或表面的每一毫米，从而产生完整的、详细的“细粒度的”3D结构图。这样的图可能包括揭示诸如震颤及结构共振和变形这样的高速动力学的精确的运动观测结果。
如果每个体素是一平方毫米，则***100的至少一些实施例可每秒扫描高达100平方米。在扫描过程期间，仅来自对源自光源的反射光子的三个或更多个同时检测的数据事件前进到下一个计算阶段。这些N元组(其中N>＝3)事件观察结果被处理，然后(至少在一些实施例中，几乎瞬间地)产生准确的体素数据流。利用准确的观察结果，3D扫描的所有段可快速地且准确地被拼接在一起，并且至少在一些实施例中，高效地存储在板上存储器中。相反，许多常规***现今必须存储原始未经处理的多视图视频流，从而对被检查的对象需要过大的存储和/或多次跳脱。
***可使用实时数据流作为反馈回路的一部分来连续地且自动地移动其臂以确保体素数据的连续高速流动，从而确保对3D表面的高效、快速和完整检查。
在至少一些实施例中，经计算的体素被提供有具有纳秒的准确度的时间戳。时间戳实现此纳秒精度，因为它们与3D流形中的体素位置的顺序照射同步。
在至少一些实施例中，单独地观察的体素的这种精确的定时使得检查机器人***能够将从不同视角观察到的表面的补片的观察结果合并、融合并拼接在一起，并且保持运动和加速度的准确记录—在至少一些实施例中，在纳秒精确的时间尺度上—但是它还允许一个***的观察结果实时或稍后在不丢失此准确度的情况下与任何其他这样的体素顺序***合并(拼接或者融合—即经由数据融合的过程)。在至少一些实施例中，这样的***中的两个或更多个的观察结果应该对到百万分之一秒观察的表面的每一mm的位置、速度、加速度和颜色达成一致。这种唯一时间和空间准确度大大地简化融合这些***中的两个或更多个的数据的过程。
在至少一些实施例中，在四个成功地观察到的体素之后，进一步的观察结果使得利用感知***100的机器人能够校准每个移动臂(在六个DoF上)的位置及定向、速度和加速度，并且可能在肘部关节上进行校准，使得它能够在工作空间中重新校准它自己的定向、速度和轨迹。所以在操作的数微秒内，适合地配备的机器检查和操纵***获得被称作本体感觉的身体意识的版本。作为亚里士多德时代的第六感提出的，本体感觉是肢***置和移动的确切感觉，是身体在空间中的认知意识。
因为机器人中的每个相机(或眼睛，例如，颤动像素或SPAD阵列)以每秒高达一百万次的速率通知它自己的位置，所以机器人的所有移动部件和段可使用共享观察结果来在六个DoF上立即(或几乎立即)定向和协调所有部件。因此，跟踪机器人的每个关节位置和姿势可以消除对于额外的硬件IMU或旋转解码器的需要。
本体感觉可以使得能实现或者增强灵巧性、敏捷性和碰撞避免，并且改进像从例如比萨饼递送机器人(或具有许多顾客或其他个体或危险的地方中的其他机器人或设备)所预期的那样在人群中航行所需要的基本敏捷的机动性。这种额外的灵巧性、机动性、动能敏捷性和本体感觉、平衡和优雅使感知***100变得适合于餐馆中的机器人服务员或女服务员以及其他类似的用途。
激光“刷涂”可以被应用于AR(增强现实)位置感测***，以准确地检测并快速地且高效地检查形状，但是还能够使逼真的外观增补无缝地适合所检测到的现实。后者在将增补附着到诸如生命面部或手指这样的生活可变形的东西(珠宝、牙冠、鼻环、纹身、胡须、帽子、角等)时特别重要。
使用***100，头戴式显示器(HMD)可以使用三焦点传感器布置来高效地跟踪现实世界中的对象以进行增补。HMD可以使用端到端像素顺序***，诸如***100(例如，采用“颤动像素”传感器)，或者可替代地，HMD可以是如下所述像素通过激光顺序地照射但是使用常规基于帧的RGB传感器以及例如DeBruijn型颜色和/或强度光编码结构化光技术来跟踪经编码的激光扫描进展的混合***架构。
机器视觉科学家越来越依靠新颖基于“AI”的计算方法，诸如卷积神经网络(CNN或“CovNet”)。加州大学伯克利分校的研究人员最近已表明，当针对自主驾驶RC模型汽车来训练CNN时，将立体相机对视为仅两个单独的相机数据流就足够了。当在RC汽车的驾驶员训练会话期间捕获的视觉运动图像上训练CNN时，CNN最终隐式地学习立体几何的等同物。这消除了对于几何变换(诸如可以是计算密集操作的右和左立体像素对匹配)的需要。从原始像素直接转到驾驶员动作在驾驶时产生较快的响应速度和更精简的计算预算。在训练之后，经训练的神经网络然后隐式地使用立体视觉推理来通知其动作。
通过类推，从N相机***100输出的数据流能用于针对机器人、自主驾驶***以及其他设备和***来训练CNN以像视觉皮层一样起作用。神经网络感知***的前几层提供有效细粒度的低等待时间3D时空感知能力。
这表明，像人类大脑一样，神经网络可掌握未知3D现实景观中的高速导航的基本显着性，而无需显式地基于直接通过摄影测量、视觉测距或SLAM通知的数学显式规则被告知空间几何(或者针对空间几何进行训练)并且通过利用训练的神经网络“由直觉知道”净效应来驱动。
看起来在具有立体相机的遥控汽车中不需要显式基于规则的几何变换并且不需要从在一系列立体图像对中捕获3D现实的两个相机中显式地提取3D体素。双目人类因在不断运动中的一对低分辨率眼睛而相当很好地幸存。因此有理由认为，为了在未知3D环境中以高速度机动，具有相机(如上所述，具有足够的视点(N+个视图))的机器人将是有效的。演进建议类似于跳跃蜘蛛的视觉***的仿生伪随机扫描视觉***。
集束调整是用于在统计最优问题中同时地估计内部和外部相机参数以及场景点的3D坐标的统计方法。相机和场景点的数量可以是任意大的。在概念上，它解决计算机图形的逆问题：给定未知场景的图像，任务是为了恢复场景结构，即，可见表面以及描述用于拍摄图像的相机的参数，从而利用所有可用的信息。参见例如W Forstner和B.P.Wrobel,Photogrammetric Computer Vision中的第15章，其通过引用整体地并入本文。
在例如SfM(运动恢复结构)中，存在一系列观察结果(例如，由移动相机拍摄的顺序视频帧)。每个帧是当时间被假定在观察期间静止不动时的准瞬时观察结果。通过相机它本身相对于场景中的对象的运动所引起的帧之间的变化视角通知场景的底层3D几何和相机的轨迹两者。
在上述的三焦点张量方法中，四个或更多个3D场景点被至少三个相机观察到。场景点、其3D空间流形表面和相机可能在运动中。所述多个同时视图像LSD SLAM(大规模直接单目同时定位和映射)中的移动立体相机一样，使得能实现SLAM(同时定位和映射)的高级形式。
在至少一些实施例中，***100顺序地照射体素定位的轨迹，从而使得在三个或更多个相机(多个N个相机，其中N等于或大于3)中发生几乎瞬时的同时检测事件。这立即建立三个(或更多个)相机中的像素定位之间的对应：在三个不同的相机中的检测光子的像素的坐标对，例如[列号和行号]。原则上那意味着对于照射的每个时刻(假定每10纳秒)，可对所有在先估计(表面、对象和相机中心的轨迹)进行更新。
基本上，利用每个连续的体素照射，***可更准确地导出这些参数，因此此方法和***使得能够基于大量连续的三焦点观察结果确定非常准确的过去的、现在的和将来的(预测的)3D运动轨迹(假定惯性动力学)。
具有来自一系列连续地照射的体素的N个视角(其中数量N大于或等于3)的同时观察结果的三焦点(多视图)应用或***100使得能实现比基于帧的常规方法更复杂的SLAM。可高效地完成计算相机***外联函数，其中一个人不必每次重新计算整组参数，或者，如果一个人必须重新计算，则程序可变快并且高效地，用来自在先最近的观察结果的值接种。在微秒的时间尺度下，运动“定格”即变化是最小的。基于最近的观察结果的预测—例如，卡尔曼滤波器估计—很可能极端接近。
转向图13A和图13B，例如，通过用于识别3D世界中的感兴趣点的常规立体或结构化光方法，正常相机图像被处理为2D图像或者为初始粗略扫描的3D扫描。扫描器激光光源Tx用于照射常规滚动快门相机的视图并且此相机的视角与扫描激光照射器位于一处，使得可大大准确地确定相机中的每个像素Pij的照射力矩Tij。在图13A中，来自由Tx发射的扫描激光束的光反射离开对象Oc的表面点P。位于一处的相机Rx中的像素Pij在时间Tij接收到反射脉冲，从而标记点P处的表面的时间、定位和颜色(对象对于所发射的颜色R、G、B的反照率)。在图13B中，***在例如对象上的四个斑点处标记基准标记t1、...t4。现在其他相机C1...Cn也可看到(检测)那些被照射标记并且在它们的视图中“裁切”选择对象。可选地，检测到这些标记中的四个(或更多个)的三个或更多个相机可使用如上面关于***100所描述的三焦点张量计算来快速地计算所标记的点的3D定位。可选地可以选择性地照射对象，并且/或者选择性地记录(“3D裁切”)对象以便减少来自N个相机的数据流。
像素大小的RGB激光束因此会将每个记录的像素的行踪在时间上限制到Tij(以纳秒为单位)并且在空间上限制到相机的分辨率的极限。后者在方位角或仰角方面可和1/100度一样精细，例如在经济的8M像素“4k”传感器情况下，在40乘20度FoV情况下，因为40度/4000列是每列1/100度，假定良好的光学器件。
即使对于高速运动视频记录，***100的像素顺序照射也消除或者减少运动模糊。一系列激光照射的帧使得计算机***能够识别、跟踪和预测感兴趣点的定位。***然后可以***特殊照射帧(或仅几条扫描线)，其中仅那些感兴趣点被照射(或者可替代地，专门地配备的相机可以选择性地激活或者读出仅被所照射的参考点“括在一起”的像素)。
观察***中的其他相机(C1...Cn)然后可以记录这些选择的感兴趣点的定位。因为这些照射可以是稀疏的且顺次的，所以可更容易地识别并选择性地跟踪感兴趣的对象，诸如图13A和图13B中的立方体形对象Oc。
用于闭环***3D基准跟踪***的程序的一个示例性实施例包括：
1.开始第一相机的整个帧的照射。(可选地，使用***100来移除或者减少所有运动模糊并且使得能实现高速高保真动作捕获)。
2.逐像素地识别帧中的感兴趣点。
3.在稍后的帧中重新识别感兴趣点。(此稍后的帧可以是下一个帧，可能将搜索限制到先前识别的对象定位周围的小区域)
4.针对一系列帧重复上述步骤3，直到已获取适当的点集(2D像素相机定位)和每个点的时间戳为止。
5.确定感兴趣点的运动轨迹(若有的话)。
6.针对扫描束的接下来(几)遍预测其位置。
7.沿着其预测轨迹照射仅仅这些感兴趣点。(这些可以是从发射器和第一相机的视角观看的2D轨迹和2D位置。)
8.在一系列相机位置的每一个中标记尽可能多的照射点的像素定位。
9.可选地，点可以被颜色编码照射(假定附加观察者相机是可通过颜色来识别点定位的常规RGB相机。)
10.使用已知计量学技术(例如，三角测量、PnP和集束调整)计算观察相机的3D定位和感兴趣点的3D轨迹。
由于不存在像素模糊和每个观察的极端细粒度的时间分辨率，创建了世界级3D感知***。
在较大的距离处，可以可选地采用脉冲或其他ToF测距方法来进一步通知场景例如在观察者之间的基础分离太有限的距离处(例如，当相机中心之间的距离不足时)的3D几何。
快速扫描可减少运动误差。假定三个相机在一段时间内看到四个连续点，在1毫秒的时间跨度期间跨越最宽的FoV空间(例如，四个极端扫描点，在两个方向方位角和仰角上)并且相机之间的相对横向(切向)速度是数量级为10米每秒(36km/h)，则在第四次极端观察结束时，真实移动相机位置(相对于被观察点)可能已移位了一厘米。在那1毫秒的观察期内，可能有100,000次中间扫描照射(每10纳秒一个)，从而产生300,000个[x,y]相机坐标观察结果(在三个“颤动”相机的每一个中100,000个同时的观察结果)，所以给定足够的实时计算机能力，可准确地估计相机轨迹及其相对位置。
跨越3D流形的扫描可将轨迹形成为两个表面的交点以根据连续3D表面更好地对跨越表面的轨迹进行建模、观察、跟踪和预测，但是还处理临时遮挡、“下降”和其他不连续。目标是为了沿着阵列中的预测2D轨迹实现单独的像素(例如，“颤动像素”或SPAD像素)的预期选通，以便使***变得对环境光更敏感且更鲁棒。目标是为了导出紧接在前面的3D扫描轨迹的概率限制的数学函数的水平，以能够在函数中表达束接下来将出现在哪些、在那些3D空间流形子段中且在哪些2D相机子段中。
基于三个或更多个相机中观察到的轨迹，并且基于所计算的轨迹，假定平滑非随机运动：被扫描的表面、激光源和观察相机中的每一个之间的相对运动(六个DoF)，这些轨迹在动力学上(例如，在数学上)可预测。一个实施例被图示在图14中。扫描线是两个表面的交点：表面I是束轨迹流形(BTM)并且表面II是扫描对象流形(SOM)。
三个相机C1、C2和C3观察扫描束的轨迹的反射。第一段是所观察到的实际轨迹并且第二段是所预测的将来轨迹。在沿着所观察到的轨迹的任何点P处，激光照射点正在沿着轨迹以速度矢量V移动。此运动被作为分别在相机C1、C2和C3的传感器平面中的三个2D矢量V’、V”和V”’投影到三个相机中。在几百纳秒的非常短的间隔内，像素可能接下来“颤动”的将来位置可在到达束之前被以“刚好即时”方式预测、预期，并且如果需要则被激活。因此，SPADS可以被反向偏置到最大增益，并且可最大限度地抑制传感器暗噪声和环境光噪声，因为可以在不到1微秒的时段内激活(暴露)传感器中沿着预测轨迹的单独的像素。
表面I：束轨迹流形(BTM)：扫描束以连续平滑的方式通过3D空间扫描。通过定义(根据经典物理学的定律，即在没有非常大的重力场的情况下)，所发射的激光束的光子在自由空间中以直线从镜M朝向待检测和跟踪的遥远对象或表面行进。镜M正在绕瞬时旋转轴r(t)旋转。
传入高度准直的激光束反射离开镜，以镜的角速度的两倍枢转即旋转(遵循镜面反射的光学)。例如在由通过诸如例如美国专利号8,282,222、8,430,512、8,696,141、8,711,370、9,377,553、9,753,126以及美国专利申请公开号2013/0300637和2016/0041266中所描述的中继光学器件链接的一系列扫描镜构成的扫描***中传入束它本身可以通过在先扫描镜的动作预先旋转，所有这些专利通过引用整体地并入本文。例如，椭圆形中继可以将一个维度(例如方位角水平方向)上的扫描运动从放置在椭圆镜中继的第一焦点F1中的镜中继到第二焦点F2(具有两个焦点F1和F2的椭圆)。在此中继的第二焦点处，第二方向上的旋转被给予给扫描束，通常在与第一扫描镜的作用正交的方向上(例如，在垂直方向或“仰角”上)。
因此，在以微秒为单位测量的短时间段内束将基本上在快速扫描方向上移动，这是通过扫描机构给予的快速旋转的结果。
利用良好的多镜中继***或精心设计的双轴镜，净效果将是束离开扫描机构如同源自奇点源点O一样。所以当束绕镜的中心枢转(旋转)时，O将似乎在那个位置处。在其他***中束原点O可能在离开激光扫描机构之前跨越它反射到上面的最后扫描表面稍微横向地移动(平移)。然而，当从远处观看时这种平移是几乎可忽视的。
净结果是束通过空间平滑地扫描，从而在沿着3D表面成形的薄包络(稍微弯曲的空间流形)内横过那个空间。用于对它进行建模的另一方法是作为源自镜O的光线的集束，其中在时间上按照小增量每条连续光线在基本上恒定的方向(快速扫描方向)上旋转一小步(例如每纳秒1/100度)。在短时段内横过自由空间的高度准直的激光束形成光线的紧密集束，作为时间序列进行，其中在每个极小步情况下光线前进了小旋转分数。
所以，至少在一些实施例中，第一表面BTM表面是平滑且仅稍微弯曲并且仅在任何一个点处在一个维度上弯曲。对于BTM表面上的每个点P存在至少一个直维度，并且与此正交存在至多稍微弯曲的第二平面维度。在BTM表面上的任何点P处直维度由源自原点O的光线中的一条形成。此光线是在扫描机构中源自点O的通过激光束在不同的时间点形成的一束直线中的一条。与它正交的是扫描方向。任何点P处的扫描方向与光线方向相切(因此，正交)。能将BTM描述为稍微“起伏”(像空间带状物或起伏表面一样，从O起扇形展开)。
表面II：扫描对象流形：第二表面是正由***扫描和跟踪的表面；“扫描对象流形”(“SOM”)。它是属于束照射的非零尺寸的任何对象的表面或3D空间流形。我们在这里假定对象的表面是基本上连续且平滑的(无间隙，无毛发、树突等)。
BTM和SOM的交点是本身平滑的线，因为在本地如果两个表面都是平滑的(即“可微分的”)，则它们的交点是由两个表面共享的线，因此两个平滑的表面的此交点也必须是平滑的(可微分的)。所以可观察到的扫描线轨迹必须是平滑的，并且那暗示连续斑点的定位可根据在先观察结果沿着所定义的线性轨迹预测。
图21A示出具有投影器402和表面114的“伪随机”激光***的说明性示例，***正在将图案化图像406扫描到所述表面114上。图像406上的每个屏幕位置408可以落在一条或多条扫描线404上。图21B示出具有扫描和预测轨迹部分的一个伪随机束轨迹的实施例。可以将投影图像的过程划分成两个不同的阶段：检测扫描线404的已经扫描部分的反馈阶段，以及组合图像束被投影到扫描线404的预测部分上的投影阶段。相应地，扫描线404具有两个不同的部分，一个是扫描束轨迹部分416，而另一个是预测轨迹部分410。扫描线404的扫描光束轨迹部分416在当前束位置412处结束，并且在此实施例中，包括通常在纳秒定时的基础上产生的脉冲序列414。预测轨迹部分410是由处理器116基于与脉冲序列414相关联的数据而预测的部分。组合图像束120通常被投影在扫描线404的预测轨迹部分410上。
图23图示随着束的图像沿着真实轨迹横过相机而通过相机的像素观察为反射或散射光子束的检测事件的踪迹2300。此踪迹2300可通过线性插值(例如，通过线拟合)来细化，使得结果得到的轨迹既在空间准确度上(例如，1/10像素尺寸)且在时间上(例如，事件的1/10时间分辨率(大致相当于跨越平均像素的转接时间))更精确。图23图示六像素踪迹，但是可使用任何数量的像素的踪迹。
例如，如果在1微秒内拍摄了100个样本(即，扫描速率为100,000,000个原始体素/秒(大致每10纳秒一个事件))并且如果扫描是平滑且连续的，则相机中的空间分辨率可以和1/10像素尺寸一样好并且瞬时轨迹位置可被在时间上插值到纳秒。
图24A和图24B分别图示通过相机1和相机2的像素观察到的检测事件的踪迹。像素照射的轨迹是从两个不同的定向看到的，因为它被成像到((一组N个相机中的)在两个不同的位置或定向上的)两个相机(每个相机可以被定位和定向—例如绕其中心光轴旋转—不同于所有其他相机)的像素阵列上。每条踪迹是锯齿状的并且由顺序地颤动每个相机中的像素产生。进一步地，像素的“颤动”不是完全规则的间隔。但是可对每条踪迹进行插值以紧密地拟合实际3D轨迹的2D相机投影，并且可在图24C中静态地组合两个插值。针对体素照射轨迹的小子段的N个这样的插值在其流形上的叠加可以是非常接近的拟合并且在所观察到的3D轨迹和对地面实况的接近的高度解析的观察情况下提供准确的估计。
尽管每个像素化阵列固有地具有一些空间和时间量化误差，然而随着束的图像不同地横跨每个相机，相机越多，视点观察到光子束在空间流形上的3D轨迹越变化多，束的真实瞬时位置越准确，可确定其真实轨迹。可以以小于可由单独的像素观察到的特征找到束位置，并且看到比束的反射(在N个相机中的每一个中被成像为移动斑点)跨越任何一个像素移动所花费的时间短的时间间隔中的运动。
类似地，来自观察相机和/或位置传感器的反馈使得***100能够预测前方轨迹并且渲染针对扫描照射的预期轨迹所调整的扫描图案(在作为空间中的流形的屏幕上)。相同的伪随机非重复扫描方法(例如开放李萨如)产生精确低等待时间运动精确跟踪***。
由此可见，任何观察相机C可至少部分地观察到对象的表面的一些—在被照射的过程中的任何部分，要么连续地要么作为一系列快速“示踪子弹”或跟踪斑点—任何这样的相机将能够观察当前轨迹以及来自由其光圈捕获并由光学器件聚焦的光的反射的在先轨迹的一部分作为投影到传感器的表面上的斑点的时间进展。
进一步地由此可见，通过观察平滑的轨迹，可预期传感器中的斑点的进展：“即将到来的”轨迹，换句话说将来的斑点(将来的—即仍然未观察到的—表面体素照射的反射)的定位。可将连续斑点的可能定位缩小到在传感器的表面的小子集内。每个观察到的实际定位通知下一个斑点的定位。存在用于沿着轨迹准确地预测将来的定位并且以高概率度预期斑点的像素遍历轨迹的确切定位(即可以在不久的将来(以短纳秒时间间隔)看到斑点的像素的出现的定位和时间)的数学方法(例如卡尔曼滤波器)。
此外，如果存在显著的飞行时间(ToF)，例如当LIDAR***在500英尺距离处扫描对象时大致为一微秒，则传入光束的实际空间方向应该确切地相关，并且***有足够的时间(一微秒是1000个一纳秒时钟)来计算和选择并控制传感器中的像素的非常小的子集的激活。
如果扫描束“落在”对象“外”(例如遇到表面或对象的意外边缘)，如从另一视角所看到的，束可能看起来“向前跳跃”。传感器然后可能无法检测信号，因为束意外地落在预测范围之外，超过预测轨迹中前方已激活的像素。如果出现这样的边缘，则通过搜索(例如，进一步沿着相同轨迹激活滑动窗口以重新获取束—跨越传感器的迹线)，恢复可以是瞬时的或几乎瞬时的。同样注意的是，在三个或更多个观察者的情况下(例如，在三焦点或四面体扫描LIDAR布置中)，总是存在三个或更多个相机观察SOM的表面上的被照射体素轨迹。因此，这些相机的某个子集可能尚未丢失信号并且它们的观察结果进一步会帮助确实暂时丢失信号的跟踪的剩余传感器的重新获取。
即使当由于边缘或遮挡或间隙而发生这样的向前跳跃时，束仍将紧密地遵循可预测的轨迹，可根据所观察到的实际扫描目录准确地预测的可能轨迹的包络。意外的“向前跳跃”沿着相同的预测轨迹，实际上未偏离它。
因为在任何一个时间仅几个像素将被打开，所以创建了时空滤波器，其可有效地遮蔽并因此屏蔽掉(通过选择性激活或像素特定快门)外来信号的光，例如，快门在很大程度上输出环境光，并且使得***能够强烈地支持跟踪束的检测。作为示例，如果通过沿着已知(观察到的)轨迹行进在相机中存在一百万个像素(1000行1000列)，则相机可以仅沿着紧接在前方的预测轨迹在任何一个时间打开10个像素以用于光子检测。因此，相机在任何一个时间仅曝光(激活)相机的1/100,000小部分，因此抑制了环境光，并且示踪信号检测受到100,000到1倍优待。有效地，如果在阳光充足天的环境照射是100,000lux，则它在相机处会被减小到一个勒克斯。
在图15中图示了随机通知多视图相机重叠(“SIMCO”)实施例。一系列N个相机或传感器C1...CN(例如，SPAD或“颤动像素”阵列)按重叠相机视场而观察视图(未示出)。作为示例，三个相机C1、C3和C5检测(激光探测束的-未示出)反射并且几乎同时地(即在相同的短10纳秒时间间隔内)向事件并发性检查(ECC)过程或电路报告事件。ECC确认三个事件的并发性(的程度)。将三个事件(子集M，其中3＝<M＝<N，在这种情况下M＝3)视为充分地并发(例如在5纳秒内)，它推断出事件必须是已源自通过激光探测束照射的相同体素的反射光。另一电路或过程CVP计算体素位置并且将体素数据发送到下游感知***以进行分析。可选地，用于M个相机的六个DoF位置的校准数据被更新。
使用多个***的360度扫描对象或人—在如例如通过引用整体地并入本文的美国专利No.9,813,673中所描述的全息视频捕获***或其他VR沉浸式运动捕获***中，许多相机被安装在执行者/用户周围的刚性框架(相机装备)上。诸如该公开中所描述的***通常需要仔细的设置和校准。
本文描述的***100能够从任何数量(N)的角度(例如，相机)捕获许多并发事件数据流，然后匹配并配对以规则超短(例如10ns)间隔同时地记录的、来自M个相机的子集的M个事件中的每一个。因为***100对相机运动充分鲁棒，所以在数微秒内连续地重新校准到任何新的相机位置、相机装配和校准是可选的。图16图示配备有六个相机(C1...C6)的“自组织”自发(自组织)“相机组”跳过校准和相机装备并且自发地捕获舞者F(例如在聚会上)的表现。
“闪光信号灯”—在图17A和图17B中图示了目标选择性3D基准***和测量RR反射器和或闪光激光二极管标记B1、B2、B3和B4。在后方车辆上有3个或更多个相机(C1、C2、C3、…等)。
相机可以是发现并跟踪四个不同的明亮照射点的常规相机。或者“闪光信号灯”可能是各自依次(不同时)发射立即被***100中的“颤动像素”或SPAD阵列传感器检测到的明亮单波长激光脉冲的激光二极管源，或者，四个点可以是反射扫描激光束并且其反射被***100的相机检测到的激光反射器。图17A示出检测位于车辆后部的四个“闪光信号灯”点的三个相机。图13B示出“主车群”编队中的两个车辆，其中后面车辆紧跟前面车辆。
编码颜色串(亦称“颜色珠”)—激光投影器产生颜色(例如，R、G、B或NIR)的已知唯一序列，所述颜色被按照某种空间上单独的唯一图案投影在表面之上，使得三个或更多个相机(C1、C2和C3)中的每一个均可观察颜色在3D流形表面上的编码串并且识别哪一种颜色是序列中的颜色，如图18中所图示的。可为序列中的每种颜色照射建立三个或更多个视图之间的正时空匹配。这意味着每个被照射体素点可通过其3D定位和时间序列(每个体素的以纳秒为单位的唯一时间戳)来识别。例如，通过对在一定时间段期间并在沿着串的一定长度上本地唯一的三种或更多种颜色的序列进行DeBruin编码，沿着轨迹的颜色序列提供唯一地可识别的定位参考。即使发生间隙和遮挡，这样的编码也可足以甚至识别四种或更多种颜色的分段，从而对串的序列进行分段。颜色序列是使得相机能够识别在帧中已捕获了这样的照射的长(毫秒)序列的时间序列捕获的标记。***可遵循顺序地照射的体素的轨迹，并且描出照射的颜色编码串的时空图案。利用每个颜色珠是在此帧曝光中在具体纳秒准确间隔期间发生的照射的知识，可观察到非常准确的表面运动，其时间和定位精度远超过无辅助快速全局快门相机***的时间和定位精度。
颜色珠与其在串中的唯一序列一起充当时空标记。***工作并不严格地需要投影器的时空位置的知识。三个相机和四个匹配点的三焦点布置足以对序列进行解码(并针对相机位置重新校准)。然而，很可能的是，知道颜色的确切序列和图案在***FOV中的时空进展的在先知识可提供重要的附加线索，并且可以补充编码方案，以及为跟踪***提供附加鲁棒性，例如，通过反馈回路，可以针对对象的可观察表面特性(诸如表面反照率、结构和粗糙度方面的变化)在强度和空间频率上调整激光颜色序列投影。
***的FoV中的场景的某个部分可能是特殊或强烈有趣的，具有较高的显着性—例如直接出现在前方轨迹中的对象，或可能呈现迫在眉睫的碰撞风险的对象，其应受更密集的颜色序列编码要求。投影的图案可以是闭合形式(周期性)李萨如、开放李萨如(非重复)或其他形式的伪随机空间图案投影，以密集“交叉阴影”图案越过表面。像这样的***对于证明感兴趣对象上的凹3D特写可能是极好的。
可替代地，单色***可使用利用强度变化编码方案的三个快速全局快门相机。在在先实施例中，使用颜色变化来对串序列进行编码，以沿着顺序地投影的串可见地标记时间的进展(像素顺序中的序列)，并且同时向每个点添加空间标识并且向串段添加可辨识的唯一性，以便在使用常规帧曝光相机的N视图运动跟踪***中使它变得在N个元组中能更容易匹配。
可能使用替代激光光编码方案，例如快速激光功率强度变化，从而使得高分辨率且严格窄带滤波的常规相机能够观察到序列。此方法可能通过使用例如应用在透镜堆叠中的相当简单的全局窄带通滤波器来消耗更少的功率并获得较大的环境鲁棒性。进一步地，通过使用每个位置—而不是RGB镶嵌传感器中的每第4个—可以有大2倍的空间分辨率，并且进一步地，此方法应该不太遭受空间混叠。应该注意的是，可利用直接反馈在强度上调整源激光，以充分地利用标准CMOS相机的8或10位灰度准确度。
在一些实施例中，***可以使用宽隔开的、交错的开放李萨如图案并且用三个或更多个高速全局快门相机进行观察。类似强度编码串的图案可以填充每个连续帧的不到10％，但是在帧的短序列之后它们将已捕获了覆盖其整个表面的对象的表面的整个3D形状，同时这样的编码串在几个(约10个)连续帧中。注意的是，利用由以1000FPS运行的N(三个或更多个)相机输出的帧的每个集合，N个帧的每个集合将能够观察进展，并且在总帧区域的非常小的子集内匹配单独的N元组对应。例如，***可以使用N个10兆像素相机，并且在每帧曝光期间仅约10％1兆像素被照射。
沿着串而行，段通过其形状和相对位置来定位。在串的一段内可能仅有位于N个同时地记录的相机帧中的每一个中的、需要被匹配的100个可能的位置。在1微秒内，100个码(或体素)被投影，每10纳秒一个，所以搜索空间从107N减少了105N数量级到102N。例如，对于三焦点设置(N＝3)这使得在1微秒内初始搜索一百万个组合以匹配并定位空间中的一连串100个体素。后者将似乎可行(GPU每时钟1000个并行操作)。
在图19中，在游动机器人(例如，机器人输送车辆)或其他车辆或设备上安装有三个或更多个(N个)相机(C1、C2C3...、Ci、...CN)。相机Ci中的每一个均具有某个视场(FoVi)采样作为机器人周围的环境的一部分。小致动器可使每个相机的视图在两个方向(诸如在一定范围内的方位角(α)和仰角(ε))上旋转。因此，相机可像人类眼睛一样成凹。成凹让他们放大并跟踪环境中的移动对象。类似于摇摄和倾斜相机，激光探测束扫描***(可以平移和倾斜，或者使它本身旋转(由电机致动)，以便有利地定向它本身以扫描感兴趣对象。
在输送机器人或其他设备或车辆上，可以有意地使平移倾斜相机类似眼球，使得观察者可以理解他或她正被看着。当被以非威胁方式实现时，这可以帮助促进用户交互。眼睛会使机器拟人化(使机器人变得看起来更似人)，并且它们会类似于渲染在机器人屏幕界面上的眼睛，但是可能在外观上比渲染在机器人屏幕界面上的眼睛更仿生。简单的运动位置例行程序确保激光尖端正在感兴趣对象上反射并且被至少三只眼睛(相机)跟踪，并且***100在快速扫描连续中计算被观察体素的定位。
在一个示例性过程中，初始快速扫描找到对象的轮廓和3D位置。对象连续表面、孔和边缘(轮廓)通过初始快速扫描图案来配准。可以在该初始快速扫描中发现通过可能阻挡感兴趣对象的完整视图的其他(前景)对象的遮挡。例如，如果感兴趣对象被假定为汽车或行人，则智能CV***将搜索对象的预期轮廓并且快速地移动激光电刷位置和/或一些相机以查看它是否可消除遮挡。
在第二过程阶段中，精密的相机或扫描器源移动帮助克服由于遮挡而导致的扫描不连续。可能存在遮挡的不同情况：1)前景对象在背景对象或表面上投阴影或者2)前景对象由于观察该背景对象的相机中的至少一个而阻挡背景对象的视图的一部分。在情况1)下，当前跟踪背景对象上的体素的轨迹的相机—通常为至少三个—将突然并同时地停止检测体素，并且3d空间中的轨迹突然结束。它可能移位到新对象但是将存在突然的空间不连续。在情况2)下，所有三个(或更多个)相机高度地不可能同时地停止报告事件。利用不同的视角每个相机的遮挡(若有的话)将在激光束的扫描轨迹的不同时刻开始。
本文在于使用多视图像素顺序运动跟踪***100的主要优点。首先，附加(第4个)相机可拾取何时并在哪里发生遮挡。像体育赛事时的控制室一样，可使智能运动捕获***变得对小遮挡(例如在3D运动捕获装备中捕获的舞者的手或手臂)变得鲁棒。瞬间地切换到在活动待机的另一第4个相机跟踪相同的3D轨迹(后者只是检查第4个相机的2D轨迹与从前三个相机计算的空间轨迹的2D重新投影一致直到那个点以及扫描器的束的可观察(示出)且可预测的动力学为止的问题。
如图20中所图示的，随着扫描斑点沿着表面S上的轨迹扫描时，示出了三个体素位置：V1、V2和V3。示出了***100的四个相机C1...C4。前三个可观察诸如沿着表面S前进的V1这样的激光照射点。在某个时候相机C3将在它到达V2之前停止检测束并且***自动地切换到第四相机C4。
在至少一些实施例中，理论最小特征大小是单个像素，因为每个特征(即激光在流形上形成照射斑点的当前定位)被一个接一个地观察，而不是同时观察，不是全部相结合地观察，只要存在照射三个相机中的每一个中的单个像素的足够光即可。
***100不需要空间(像素)对比度；在照射期间或者对于观察都不需要空间图案。***100以没有其他结构化光***使用时间的方式使用时间，从而消除既对于对比度且对于编码和解码的需要。
***100提供像素、光子的最有效使用：原则上每像素观察，每“颤动”计数。使用1兆像素相机***可实现1兆像素体素空间分辨率。
亚像素分辨率通过线性插值是可能的。随着***横过对象的3D表面(“空间流形”)，***可利用通过激光束的尖端扫描的物理数学轨迹。这些轨迹当被投影到每个相机的表面上时形成2D像素事件轨迹。在观察到一系列图像点(即，像素定位的时间序列)之后，***可通过线性(或其他)插值来以大于每个单独的观察的基本准确度的准确度估计基础真实2D扫描轨迹以及3D流形表面轨迹。因此，可在3D空间中将观察到的轮廓线以较大的准确度拟合到3D流形上。
在至少一些实施例中，***扫描可使具有细尖激光束的连续弧平滑越过3D流形，从而在(至少)三个相机中的每一个中引起“颤动”像素的轨迹，其中在每个相机中，像素顺序地断言其连续位置。颤动像素轨迹的这三个或更多个同时可观察到的高度相关的踪迹(像素断言事件的时间顺序踪迹)明显地在统计上从背景噪声中突出，所述背景噪声诸如是通过传感器中的热噪声或暗噪声或未经由空间、时间和或波长特定方法滤出的环境光而引起的。可在做如图23中所表示的线拟合之前应用诸如RANSAC这样的统计方法，以消除在统计上显著远离插值轨迹2300(即在空间上相距多于两个像素和/或在时间上无序或者不适合轨迹的时间顺序)的任何“颤动”像素。
在至少一些实施例中，***100通过例如使用敏感的高增益“颤动”探测器(诸如商业上可用的SPAD)和适度的照射功率(诸如毫瓦激光二极管源)可以是高效且鲁棒的，同时能够克服大量的传感器和环境噪声。
在至少一些实施例中，***100通过使用扫描束来高效地利用光子，所述扫描束照射一个点，在任何一个时间照射一个体素定位，并且瞬间地时间顺序地观察结果得到的像素事件。使用***反馈，可确保发射的光子的大部分被指向流形(或对象)并且一些光子在相机中的至少一个(优选地至少三个)中产生可观察到的信号。小激光二极管可以是光子的非常高效的源并且可被相当容易地且高效地准直成紧密束。
动态和即时反馈使得能实现超高效的3D感知。可在一定距离处按需基于所需要的扫描速率、期望的准确度在强度上及时调整束，并且针对感兴趣对象的反照率进行调整。所以，例如，可动态地且选择性地扫描具有大且变化的景深的场景(例如，在交互式AR中是典型的)(例如，更详细地扫描仅感兴趣的某些前景对象)。
成凹节约电力。所以与在典型的帧照射结构光***中不同，在***100的至少一些实施例中，可引导由激光二极管产生的几乎100％光子以连续地照射流形的小可观察到的部分，并且这方面显著地有助于***100的功率效率。
另一实施例是可在100度乘100度视场中扫描最多1米远的对象的AR感知***。该***可利用任何适合的光源，诸如具有大约20mWatt的光功率的蓝光二极管激光源(λ≈405nm)以及可每秒扫描50,000行的简单2D800微米MEMS共振镜。该***利用三个或更多个相机，诸如例如各自具有1000×1000个像素的三个CMOS 1兆像素“颤动像素”阵列相机。在一个实施例中，像素各自不超过1微米(浅100光子阱，对405nm光非常敏感)，具有良好的隔离和最小交叉。在此示例中，传感器的阵列面积可能不大于1平方毫米并且提供具有5t或6t二元响应“颤动”像素、固定地址行和列解码器、没有A/D并具有简单的串行流输出的便宜的单色相机。***可利用三个1兆像素相机动态地扫描点，从而产生高达0.1度的空间分辨率，其中通过插值，可实现0.01度(传感器处的1/10像素)的空间准确度。***应该在1M距离处实现体素放置<0.5mm的空间准确度。例如，可通过***以例如每秒1,000,000个点扫描具有10度乘10度的RoI的现场中的感兴趣的小对象(例如，持有Apple的手)，同时在此RoI上3D成凹(例如，100平方度10000(10,00000的FoV的1％)的锥体)。利用成凹***将在1m距离上实现约500微米体积准确度，同时使用总***资源的不到100mW。
应理解的是，流程图图示的每个块以及流程图图示中的块的组合(或上面关于一个或多个***或***的组合所说明的动作)可通过计算机程序指令来实现。可以将这些程序指令提供给处理器以产生机器，使得在处理器上执行的指令创建用于实现一个或多个流程图块中所指定的动作的手段。计算机程序指令可以由处理器执行以使得处理器执行一系列操作步骤以产生计算机实现的过程，使得指令在处理器上执行以提供用于实现一个或多个流程图块中所指定的动作的步骤。计算机程序指令还可以使在流程图的块中示出的操作步骤中的至少一些被并行执行。此外，一些步骤还可以跨越多于一个处理器被执行，诸如可能出现在多处理器计算机***中。另外，流程图示中的一个或多个块或块的组合还可以被与其他块或块的组合同时执行，或者甚至被以不同于图示的顺序执行，而不脱离本发明的范围或精神。
附加地，在一个或多个步骤或块中，可以使用嵌入式逻辑硬件来实现，所述嵌入式逻辑硬件诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程阵列逻辑(PAL)等或其组合，而不是计算机程序。嵌入式逻辑硬件可以直接执行嵌入式逻辑以在一个或多个步骤或块中执行动作中的一些或全部。另外，在一个或多个实施例(图中未示出)中，这些步骤或块中的一个或多个的动作中的一些或全部可以由硬件微控制器而不是CPU来执行。在一个或多个实施例中，微控制器可以直接执行它自己的嵌入式逻辑以执行动作并且访问它自己的内部存储器及它自己的外部输入和输出接口(例如，硬件引脚和/或无线收发器)以执行动作，诸如片上***(SOC)等。
上述说明书、示例和数据提供了本发明的制造和使用的完整描述。由于可在不脱离本发明的精神和范围的情况下做出本发明的许多实施例，所以本发明存在于下文所附的权利要求书中。

Claims (27)

1.一种用于确定一个或多个对象的位置的***，包括：
发射器，所述发射器被配置为发射光子束以顺序地照射一个或多个对象的区域；
多个相机，所述多个相机彼此间隔开，每个相机包括像素的阵列，其中，所述像素中的每一个被配置为检测由该像素接收到的光子；
一个或多个存储器设备，所述一个或多个存储器设备存储指令；以及
一个或多个处理器设备，所述一个或多个处理器设备执行所存储的指令以执行方法的动作，所述方法包括：
引导所述发射器用光子束顺序地照射一个或多个对象的多个区域中的每个区域持续不超过预定时间段；
对于所述区域中的每一个，在等于或小于所述预定时间段的时间间隔内从所述多个相机接收检测到由所述一个或多个对象的该区域反射或散射的束的光子的多个相机中的各个像素的阵列位置；以及
对于所述多个相机检测到的区域中的每一个，使用所接收到的检测到由该区域反射或散射的束的光子的所述多个相机中的像素的阵列位置，来确定该区域的位置。
2.根据权利要求1所述的***，其中，引导所述发射器包括引导所述发射器顺序地照射所述多个区域中的每个区域持续不超过预定时间段。
3.根据权利要求1所述的***，其中，引导所述发射器包括引导所述发射器顺序地照射所述多个区域中的每个区域持续不超过50纳秒。
4.根据权利要求1所述的***，其中，引导所述发射器包括引导所述发射器顺序地照射所述多个区域中的每个区域持续不超过10纳秒。
5.根据权利要求1所述的***，其中，所述相机中的每一个包括像素的二维阵列，并且所述阵列位置包括像素在所述二维阵列中的双坐标位置。
6.根据权利要求1所述的***，进一步包括主体和多个附体，其中，所述相机中的每一个设置在所述多个附体中的一个上。
7.根据权利要求1所述的***，进一步包括主体和多个附体，其中，所述发射器设置在所述多个附体中的一个上。
8.根据权利要求1所述的***，进一步包括主体和多个附体，其中，所述相机中的每一个设置在所述多个附体中的一个上，其中，所述动作进一步包括：
移动所述多个附体中的一个或多个，直到所述相机中的至少三个检测到由所述一个或多个对象的区域反射或散射的光子为止。
9.根据权利要求1所述的***，进一步包括主体和多个附体，其中，所述发射器设置在所述多个附体中的一个上，并且其中，所述动作进一步包括：
移动其上设置有所述发射器的附体，直到所述相机中的至少三个检测到由所述一个或多个对象的区域反射或散射的光子为止。
10.根据权利要求1所述的***，其中，所述动作进一步包括：
识别所述一个或多个对象上的多个感兴趣点POI；
确定所述POI的第一位置；
在稍后的时间，确定所述POI的第二位置；以及
基于所述POI的第一位置和第二位置来预测所述POI的轨迹。
11.根据权利要求1所述的***，其中，所述***能够安装在用户的头部上。
12.根据权利要求1所述的***，其中，所述发射器被配置为发射至少三种不同颜色的束，并且所述相机中的至少一个被配置为区分所述三种不同颜色的光子。
13.根据权利要求1所述的***，其中，所述相机中的至少一个和所述发射器是车辆的一部分。
14.根据权利要求1所述的***，其中，所述相机中的所有相机和所述发射器是车辆的一部分。
15.根据权利要求1所述的***，其中，引导所述发射器包括引导所述发射器根据颜色的预定序列来用所述光子束顺序地照射所述一个或多个对象的多个区域。
16.根据权利要求1所述的***，引导所述发射器包括引导所述发射器根据束强度的预定序列来用所述光子束顺序地照射所述一个或多个对象的多个区域。
17.一种用于确定一个或多个对象的位置的方法，包括：
引导发射器用光子束顺序地照射一个或多个对象的多个区域中的每个区域持续不超过预定时间段；
对于所述区域中的每一个，在等于或小于所述预定时间段的时间间隔内从多个相机接收检测到由所述一个或多个对象的该区域反射或散射的束的光子的多个相机中的各个像素的阵列位置；以及
对于所述多个相机检测到的区域中的每一个，使用所接收到的检测到由该区域反射或散射的束的光子的所述多个相机中的像素的阵列位置，来确定该区域的位置。
18.根据权利要求17所述的方法，其中，引导所述发射器包括引导所述发射器顺序地照射所述多个区域中的每个区域持续不超过预定时间段。
19.根据权利要求17所述的方法，其中，所述相机中的每一个设置在多个附体中的一个上，其中，所述方法进一步包括：
移动所述多个附体中的一个或多个，直到所述相机中的至少三个检测到由所述一个或多个对象的该区域反射或散射的光子为止。
20.根据权利要求17所述的方法，其中，所述发射器设置在多个附体中的一个上，并且其中，所述方法进一步包括：
移动其上设置有所述发射器的附体，直到所述相机中的至少三个检测到由所述一个或多个对象的该区域反射或散射的光子为止。
21.根据权利要求17所述的方法，其中，所述方法进一步包括：
识别所述一个或多个对象上的多个感兴趣点POI；
确定所述POI的第一位置；
在稍后的时间，确定所述POI的第二位置；以及
基于所述POI的第一位置和第二位置来预测所述POI的轨迹。
22.根据权利要求17所述的方法，其中，引导所述发射器包括引导所述发射器根据颜色的预定序列来用所述光子束顺序地照射所述一个或多个对象的多个区域。
23.根据权利要求17所述的方法，其中，引导所述发射器包括引导所述发射器根据束强度的预定序列来用所述光子束顺序地照射所述一个或多个对象的多个区域。
24.一种非暂时性处理器可读存储介质，所述非暂时性处理器可读存储介质包括用于确定一个或多个对象的位置的指令，其中，通过一个或多个处理器设备执行所述指令使所述一个或多个处理器设备执行方法的动作，所述方法包括：
引导发射器用光子束顺序地照射一个或多个对象的多个区域中的每个区域持续不超过预定时间段；
对于所述区域中的每一个，在等于或小于所述预定时间段的时间间隔内从多个相机接收检测到由所述一个或多个对象的该区域反射或散射的束的光子的多个相机中的各个像素的阵列位置；以及
对于所述多个相机检测到的所述区域中的每一个，使用所接收到的检测到由该区域反射或散射的束的光子的所述多个相机中的像素的阵列位置，来确定该区域的位置。
25.根据权利要求24所述的非暂时性处理器可读存储介质，其中，引导所述发射器包括引导所述发射器顺序地照射所述多个区域中的每个区域持续不超过预定时间段。
26.根据权利要求24所述的非暂时性处理器可读存储介质，其中，所述相机中的每一个设置在多个附体中的一个上，其中，所述方法进一步包括：
移动所述多个附体中的一个或多个，直到所述相机中的至少三个检测到由所述一个或多个对象的该区域反射或散射的光子为止。
27.根据权利要求24所述的非暂时性处理器可读存储介质，其中，所述发射器设置在多个附体中的一个上，并且其中，所述方法进一步包括：
移动其上设置有所述发射器的附体，直到所述相机中的至少三个检测到由所述一个或多个对象的该区域反射或散射的光子为止。
CN201780084810.1A 2016-12-27 2017-12-23 用于机器感知的***和方法 Active CN110226184B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662498534P 2016-12-27 2016-12-27
US62/498,534 2016-12-27
US201762606879P 2017-10-10 2017-10-10
US62/606,879 2017-10-10
PCT/US2017/068377 WO2018125850A1 (en) 2016-12-27 2017-12-23 Systems and methods for machine perception

Publications (2)

Publication Number Publication Date
CN110226184A CN110226184A (zh) 2019-09-10
CN110226184B true CN110226184B (zh) 2023-07-14

Family

ID=62630133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780084810.1A Active CN110226184B (zh) 2016-12-27 2017-12-23 用于机器感知的***和方法

Country Status (5)

Country Link
US (3) US10261183B2 (zh)
EP (1) EP3563347A4 (zh)
JP (1) JP7329444B2 (zh)
CN (1) CN110226184B (zh)
WO (1) WO2018125850A1 (zh)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009049272A2 (en) 2007-10-10 2009-04-16 Gerard Dirk Smits Image projector with reflected light tracking
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
WO2017106875A1 (en) 2015-12-18 2017-06-22 Gerard Dirk Smits Real time position sensing of objects
CN110226184B (zh) * 2016-12-27 2023-07-14 杰拉德·迪尔克·施密茨 用于机器感知的***和方法
CN108874181B (zh) * 2017-05-08 2023-05-09 富泰华工业（深圳）有限公司 具有激光笔标记功能的电子装置及激光笔标记方法
KR102347740B1 (ko) * 2017-09-08 2022-01-06 현대자동차주식회사 레이저를 이용한 순차 점등 방향지시등 및 순차 점등방법
JP7080613B2 (ja) * 2017-09-27 2022-06-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
EP3769514A2 (en) * 2018-03-22 2021-01-27 Huawei Technologies Co., Ltd. Immersive media metrics for display information
CN115842907A (zh) * 2018-03-27 2023-03-24 京东方科技集团股份有限公司 渲染方法、计算机产品及显示装置
TWI665461B (zh) * 2018-05-04 2019-07-11 財團法人工業技術研究院 雷射定位系統及使用此系統之位置量測方法
WO2019236588A1 (en) 2018-06-04 2019-12-12 The Research Foundation For The State University Of New York System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3d space based on mapping and navigation to a precise poi destination using a smart laser pointer device
US20210295552A1 (en) * 2018-08-02 2021-09-23 Sony Corporation Information processing device, information processing method, and program
CN112513670B (zh) * 2018-08-07 2024-06-18 索尼半导体解决方案公司 测距仪、测距***、测距方法及程序
EP3853553A1 (en) * 2018-09-19 2021-07-28 Visiontek Engineering S.R.L. Three-dimensional optical measurement method for ropes or cables and system
US10783623B2 (en) * 2018-12-03 2020-09-22 Mistras Group, Inc. Systems and methods for inspecting pipelines using a robotic imaging system
US10890505B2 (en) 2018-12-03 2021-01-12 Mistras Group, Inc. Systems and methods for inspecting pipelines using a robotic imaging system
US11143599B2 (en) 2018-12-03 2021-10-12 Mistras Group, Inc. Systems and methods for inspecting pipelines using a pipeline inspection robot
DE102019135676A1 (de) * 2018-12-26 2020-07-02 Htc Corporation Objektverfolgungssystem und objektverfolgungsverfahren
WO2020142675A1 (en) * 2019-01-03 2020-07-09 Volkswagen Group Of America, Inc. System, method, and components providing compressive active range sampling
JP2020118567A (ja) * 2019-01-24 2020-08-06 ソニーセミコンダクタソリューションズ株式会社 測距装置、車載システム及び測距方法
GB201901059D0 (en) * 2019-01-25 2019-03-13 Fathom Systems Ltd Underwater camera unit and surface controller
CN109886260B (zh) * 2019-02-27 2024-02-02 上海千映智能科技有限公司 一种智能读码器
TWI701423B (zh) * 2019-07-01 2020-08-11 東元電機股份有限公司 反射貼紙輔助定位系統
WO2021007152A1 (en) * 2019-07-09 2021-01-14 Refraction Ai, Inc. Method and system for autonomous vehicle control
GB2586838B (en) * 2019-09-05 2022-07-27 Sony Interactive Entertainment Inc Free-viewpoint method and system
CN110448267B (zh) * 2019-09-06 2021-05-25 重庆贝奥新视野医疗设备有限公司 一种多模眼底动态成像分析***及其方法
CN110596724B (zh) * 2019-09-19 2022-07-29 深圳奥锐达科技有限公司 动态直方图绘制飞行时间距离测量方法及测量***
CN110619368B (zh) * 2019-09-23 2021-07-02 北京理工大学 行星表面导航特征成像匹配检测方法
CN110764090A (zh) * 2019-10-22 2020-02-07 上海眼控科技股份有限公司 图像处理方法、装置、计算机设备及可读存储介质
DE102019131482B3 (de) * 2019-11-21 2020-11-12 Ifm Electronic Gmbh Kamera und Verfahren zur Überprüfung einer Ausrichtung einer solchen
US11036994B1 (en) * 2019-12-02 2021-06-15 Accenture Global Solutions Limited Multi-modal object detection system with 5G array
CN111127324A (zh) * 2019-12-26 2020-05-08 中国航空工业集团公司西安飞机设计研究所 一种针对运动无人机群的超分辨成像方法和装置
CN111202936B (zh) * 2019-12-27 2021-05-14 深圳中科保泰科技有限公司 实况信息智能感知方法及装置
US11372320B2 (en) 2020-02-27 2022-06-28 Gerard Dirk Smits High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array
US11390286B2 (en) * 2020-03-04 2022-07-19 GM Global Technology Operations LLC System and process for end to end prediction of lane detection uncertainty
US11170549B2 (en) * 2020-04-09 2021-11-09 Wisconsin Alumni Research Foundation Systems, methods, and media for high dynamic range quanta burst imaging
US11836940B2 (en) * 2020-06-15 2023-12-05 Zebra Technologies Corporation Three-dimensional sensor acuity recovery assistance
CN111948631B (zh) * 2020-08-12 2023-06-30 天津汇智三维科技有限公司 一种地基式动态定位***
CN112244705B (zh) * 2020-09-10 2023-05-23 北京石头创新科技有限公司 智能清洁设备、控制方法、计算机存储介质
US11833901B2 (en) * 2020-10-12 2023-12-05 GM Global Technology Operations LLC System and method for adjusting a location and distortion of an image projected onto a windshield of a vehicle by a head-up display
CN112179318A (zh) * 2020-10-14 2021-01-05 刘灿灿 基于电池板特性的轨道机器人倾斜角度检测方法
CN112433193B (zh) * 2020-11-06 2023-04-07 山东产研信息与人工智能融合研究院有限公司 一种基于多传感器的模位置定位方法及***
JP2024501078A (ja) * 2020-12-14 2024-01-10 サマー ロボティックス インコーポレイテッド 表面の検出および表面の動きの検出に基づく対象物の知覚
CN112595328B (zh) * 2020-12-18 2024-02-09 西安空间无线电技术研究所 视觉辅助稀疏无线电测量的月球导航定位方法
CN112907730B (zh) * 2021-02-07 2023-03-14 北京理工大学 一种三维点云重建方法、装置和电子设备
DE102021102818B3 (de) 2021-02-08 2022-06-09 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur dreidimensionalen Rekonstruktion einer Szene in einem Vorfeld eines Fahrzeugs
WO2022173993A1 (en) * 2021-02-10 2022-08-18 The Regents Of The University Of California Multi-wavelength structured light camera system for precision positioning and quality control
JP2022128717A (ja) * 2021-02-24 2022-09-05 ソニーグループ株式会社 光出力制御装置、および光出力制御方法、並びにプログラム
CN112818968A (zh) * 2021-04-19 2021-05-18 北京三快在线科技有限公司 一种目标物分类方法及装置
CN113376445B (zh) * 2021-06-08 2021-12-14 合肥衡元量子技术有限公司 深度学习增强的里德堡原子多频率微波接收器及探测方法
US11704835B2 (en) 2021-07-29 2023-07-18 Summer Robotics, Inc. Dynamic calibration of 3D acquisition systems
CN118176739A (zh) 2021-08-27 2024-06-11 夏日机器人公司 多传感器超分辨率扫描和捕获***
EP4384850A1 (en) 2021-09-24 2024-06-19 Terranet Tech AB Filtering a stream of events from an event-based sensor
WO2023052264A1 (en) * 2021-09-29 2023-04-06 Sony Group Corporation Light-field camera, vision system for a vehicle, and method for operating a vision system for a vehicle
US11776275B2 (en) * 2021-10-11 2023-10-03 Worlds Enterprises, Inc. Systems and methods for 3D spatial tracking
CN114399547B (zh) * 2021-12-09 2024-01-02 中国人民解放军国防科技大学 一种基于多帧的单目slam鲁棒初始化方法
US20230274523A1 (en) * 2022-02-27 2023-08-31 Summer Robotics, Inc. Association of concurrent tracks using graph crossings
US11785200B1 (en) 2022-03-14 2023-10-10 Summer Robotics, Inc. Stage studio for immersive 3-D video capture
US11488377B1 (en) * 2022-03-23 2022-11-01 Motional Ad Llc Adding tags to sensor data via a plurality of models and querying the sensor data
US11871130B2 (en) 2022-03-25 2024-01-09 Innovusion, Inc. Compact perception device
CN114719759B (zh) * 2022-04-01 2023-01-03 南昌大学 一种基于slam算法和图像实例分割技术的物体表面周长和面积测量方法
CN114913213B (zh) * 2022-05-17 2024-03-22 苏州轻棹科技有限公司 一种鸟瞰特征的学习方法和装置
US11717974B1 (en) * 2022-06-10 2023-08-08 Sanctuary Cognitive Systems Corporation Haptic photogrammetry in robots and methods for operating the same
US20240040274A1 (en) * 2022-07-28 2024-02-01 Summer Robotics, Inc. Folded single sensor 3-d capture system
WO2024075657A1 (ja) * 2022-10-04 2024-04-11 ソフトバンクグループ株式会社 Ｐｅｒｆｅｃｔ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ
CN115290099B (zh) * 2022-10-09 2022-12-16 南通商翼信息科技有限公司 一种机电设备的定位方法
US11974055B1 (en) 2022-10-17 2024-04-30 Summer Robotics, Inc. Perceiving scene features using event sensors and image sensors

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238336A (zh) * 2010-04-28 2011-11-09 株式会社电装 能够对远处前方车辆的尾灯进行识别的车载照相机装置

Family Cites Families (263)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4019262A (en) 1975-12-22 1977-04-26 The United States Of America As Represented By The Secretary Of The Navy Direct fire weapon trainer incorporating hit and data delay responses
GB2043940A (en) 1979-01-11 1980-10-08 Redifon Simulation Ltd Visual Display Apparatus
US5506682A (en) * 1982-02-16 1996-04-09 Sensor Adaptive Machines Inc. Robot vision using targets
US5559322A (en) 1985-03-11 1996-09-24 Trw Inc. Imaging optical tracker
US4820041A (en) 1986-11-12 1989-04-11 Agtek Development Co., Inc. Position sensing system for surveying and grading
US5052820A (en) 1987-06-08 1991-10-01 Electric Power Research Institute, Inc. Thermal refractive materials for optical sensor application
JP2555611B2 (ja) 1987-06-26 1996-11-20 ミノルタ株式会社 マイクロ画像処理装置
KR920009402B1 (ko) 1987-12-15 1992-10-16 미쓰비시덴기 가부시끼가이샤 통신장치 및 시스템
US5115230A (en) 1989-07-19 1992-05-19 Bell Communications Research, Inc. Light-pen system for projected images
CA2070629C (en) 1990-01-31 2000-01-11 Robert Harry Colvill Image handling
US5107122A (en) 1990-10-12 1992-04-21 Hughes Aircraft Company Sparse readout method and apparatus for a pixel array
CA2085735A1 (en) 1991-04-22 1992-10-23 Ralph W. Fisher Head-mounted projection display system featuring beam splitter
US5245398A (en) 1991-06-21 1993-09-14 Eastman Kodak Company Time-multiplexed multi-zone rangefinder
US5231470A (en) * 1991-09-06 1993-07-27 Koch Stephen K Scanning system for three-dimensional object digitizing
DE4204821A1 (de) 1992-02-18 1993-08-19 Burkhard Katz Verfahren und vorrichtung fuer die praesentation von darstellungen vor den passagieren von sich bewegenden fahrzeugen
JPH07306955A (ja) 1992-07-24 1995-11-21 Walt Disney Co:The 三次元イリュージョンを生み出す方法およびシステム
US5793491A (en) 1992-12-30 1998-08-11 Schwartz Electro-Optics, Inc. Intelligent vehicle highway system multi-lane sensor and method
US5455588A (en) 1993-03-01 1995-10-03 Lew; Hyok S. Method for determining target velocity by measuring phase shift
JPH07261920A (ja) 1994-03-17 1995-10-13 Wacom Co Ltd 光学式位置検出装置および光学式座標入力装置
EP1168232B1 (en) 1994-06-09 2004-03-03 Corporation for National Research Initiatives Pointing interface
US5661506A (en) 1994-11-10 1997-08-26 Sia Technology Corporation Pen and paper information recording system using an imaging pen
EP1130536B1 (en) 1994-12-16 2004-04-28 Hyundai Electronics America Digitizer stylus apparatus and method
US5677795A (en) 1995-01-10 1997-10-14 Hughes Aircraft Company Modular helmet-mounted display
JPH09114367A (ja) 1995-10-24 1997-05-02 Mitsubishi Electric Corp 車載走行制御装置
JPH09212648A (ja) 1996-01-31 1997-08-15 Toshiba Corp 動画像処理方法
US5812664A (en) 1996-09-06 1998-09-22 Pitney Bowes Inc. Key distribution system
US6115022A (en) 1996-12-10 2000-09-05 Metavision Corporation Method and apparatus for adjusting multiple projected raster images
US5914783A (en) 1997-03-24 1999-06-22 Mistubishi Electric Information Technology Center America, Inc. Method and apparatus for detecting the location of a light source
JPH11119184A (ja) 1997-10-20 1999-04-30 Fujitsu General Ltd 液晶プロジェクタ用自動焦点装置
CA2233047C (en) 1998-02-02 2000-09-26 Steve Mann Wearable camera system with viewfinder means
US6130706A (en) 1998-03-25 2000-10-10 Lucent Technologies Inc. Process for determining vehicle dynamics
US6535182B2 (en) 1998-12-07 2003-03-18 Koninklijke Philips Electronics N.V. Head-mounted projection display system
JP3991501B2 (ja) * 1999-04-16 2007-10-17 コニカミノルタセンシング株式会社 ３次元入力装置
US6545670B1 (en) 1999-05-11 2003-04-08 Timothy R. Pryor Methods and apparatus for man machine interfaces and related activity
US6785016B1 (en) 1999-05-25 2004-08-31 Silverbrook Research Pty Ltd. Portable interactive printer
US6563105B2 (en) 1999-06-08 2003-05-13 University Of Washington Image acquisition with depth enhancement
JP2001045381A (ja) 1999-08-02 2001-02-16 Sony Corp 画像処理装置および方法、並びに媒体
US7262765B2 (en) 1999-08-05 2007-08-28 Microvision, Inc. Apparatuses and methods for utilizing non-ideal light sources
US6515781B2 (en) 1999-08-05 2003-02-04 Microvision, Inc. Scanned imaging apparatus with switched feeds
JP2001075736A (ja) 1999-09-06 2001-03-23 Canon Inc 座標入力装置
JP3994672B2 (ja) 2000-03-31 2007-10-24 セイコーエプソン株式会社 画像処理を用いた指示位置の検出
JP2004503188A (ja) 2000-07-09 2004-01-29 スリーディーヴィー　システムズ　リミテッド スルー・ザ・レンズ・イルミネータを有するカメラ
US7289110B2 (en) 2000-07-17 2007-10-30 Human Messaging Ab Method and arrangement for identifying and processing commands in digital images, where the user marks the command, for example by encircling it
US6535275B2 (en) 2000-08-09 2003-03-18 Dialog Semiconductor Gmbh High resolution 3-D imaging range finder
EP1191306B1 (en) 2000-09-26 2006-11-22 Fuji Photo Film Co., Ltd. Distance information obtaining apparatus and distance information obtaining method
US20020039138A1 (en) 2000-09-29 2002-04-04 Edelson Steven D. Method and apparatus for automatically adjusting video panning and zoom rates
US6607527B1 (en) 2000-10-17 2003-08-19 Luis Antonio Ruiz Method and apparatus for precision laser surgery
DE60042850D1 (de) 2000-11-03 2009-10-08 Microvision Inc Rasteranzeige mit geschalteter zuführung und distortionskorrektur
US6704000B2 (en) 2000-11-15 2004-03-09 Blue Iris Technologies Method for remote computer operation via a wireless optical device
US6543899B2 (en) 2000-12-05 2003-04-08 Eastman Kodak Company Auto-stereoscopic viewing system using mounted projection
US6774869B2 (en) 2000-12-22 2004-08-10 Board Of Trustees Operating Michigan State University Teleportal face-to-face system
US7002549B2 (en) 2001-01-18 2006-02-21 Mccahon Stephen William Optically based machine input control device
US20020100884A1 (en) 2001-01-29 2002-08-01 Maddock Brian L.W. Digital 3-D model production method and apparatus
EP1357831A2 (en) 2001-02-09 2003-11-05 Sensomotoric Instruments GmbH Multidimensional eye tracking and position measurement system
US7203383B2 (en) 2001-02-22 2007-04-10 Thinkpen Llc Handwritten character recording and recognition device
JP4530571B2 (ja) 2001-04-16 2010-08-25 Ｈｏｙａ株式会社 ３次元画像検出装置
EP1402230A1 (en) * 2001-06-29 2004-03-31 Square D Company Overhead dimensioning system and method
JP2003029201A (ja) 2001-07-11 2003-01-29 Canon Inc 画像投射装置及び画像補正方法
US6448576B1 (en) 2001-08-30 2002-09-10 Bae Systems Information And Electronic Systems Integration, Inc. Programmable chalcogenide fuse within a semiconductor device
DE50105156D1 (de) 2001-10-05 2005-02-24 Fraunhofer Ges Forschung Projektionsvorrichtung
EP1470727A2 (en) 2002-01-04 2004-10-27 Neurok, LLC Three-dimensional image projection employing retro-reflective screens
GB0203530D0 (en) 2002-02-14 2002-04-03 Lettington Alan H Scanning apparatus
US6894823B2 (en) 2002-04-26 2005-05-17 Corning Intellisense Llc Magnetically actuated microelectromechanical devices and method of manufacture
US7349553B2 (en) 2002-04-29 2008-03-25 The Boeing Company Watermarks for secure distribution of digital data
JP4147054B2 (ja) 2002-05-17 2008-09-10 オリンパス株式会社 立体観察装置
US20030222849A1 (en) 2002-05-31 2003-12-04 Starkweather Gary K. Laser-based user input device for electronic projection displays
US7129981B2 (en) 2002-06-27 2006-10-31 International Business Machines Corporation Rendering system and method for images having differing foveal area and peripheral view area resolutions
US20040006424A1 (en) 2002-06-28 2004-01-08 Joyce Glenn J. Control system for tracking and targeting multiple autonomous objects
US20040041996A1 (en) * 2002-08-28 2004-03-04 Fuji Xerox Co., Ltd. Range finder and method
JP4228131B2 (ja) 2002-10-11 2009-02-25 株式会社トプコン 位置測定装置
WO2004040896A2 (en) 2002-10-30 2004-05-13 Nds Limited Interactive broadcast system
US7119965B1 (en) 2003-02-24 2006-10-10 University Of Central Florida Research Foundation, Inc. Head mounted projection display with a wide field of view
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
JP4517601B2 (ja) 2003-07-09 2010-08-04 ソニー株式会社 投射型画像表示装置
WO2005010739A1 (en) 2003-07-29 2005-02-03 Philips Intellectual Property & Standards Gmbh System and method for controlling the display of an image
US7359041B2 (en) 2003-09-04 2008-04-15 Avago Technologies Ecbu Ip Pte Ltd Method and system for optically tracking a target using a triangulation technique
JP3831946B2 (ja) 2003-09-26 2006-10-11 ソニー株式会社 撮像装置
CN1902530A (zh) 2003-12-31 2007-01-24 讯宝科技公司 可控地调制激光投影显示器中激光器的方法及装置
JP4206928B2 (ja) 2004-01-19 2009-01-14 株式会社デンソー 衝突可能性判定装置
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7182465B2 (en) 2004-02-25 2007-02-27 The University Of North Carolina Methods, systems, and computer program products for imperceptibly embedding structured light patterns in projected color images for display on planar and non-planar surfaces
JP2005249905A (ja) 2004-03-02 2005-09-15 Canon Inc 投射型表示装置
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
EP1584946A3 (en) 2004-04-02 2006-03-22 Omron Corporation Method of adjusting monitor axis of optical sensors
US8153975B2 (en) 2004-12-01 2012-04-10 White Box, Inc. Interfacing devices and systems
US20060028328A1 (en) 2004-08-03 2006-02-09 Cresse William M Active anti-tailgating and collision warning system
JP4483703B2 (ja) 2004-08-04 2010-06-16 セイコーエプソン株式会社 プロジェクタ
JP2006047114A (ja) 2004-08-04 2006-02-16 Fujitsu Ten Ltd レーダ装置
US20060028374A1 (en) 2004-08-06 2006-02-09 Time Domain Corporation System and method for ultra wideband subarray beam steering
DE102004042466A1 (de) 2004-09-02 2006-03-23 Robert Bosch Gmbh Vorrichtung und Verfahren zur optischen Distanzmessung
US8115728B2 (en) 2005-03-09 2012-02-14 Sharp Laboratories Of America, Inc. Image display device with reduced flickering and blur
US20060132447A1 (en) 2004-12-16 2006-06-22 Conrad Richard H Method and apparatus for automatically transforming functions of computer keyboard keys and pointing devices by detection of hand location
DE102004060576B4 (de) 2004-12-16 2017-12-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Projektor zur Bildprojektion
US7283301B2 (en) 2004-12-17 2007-10-16 Palo Alto Research Center Incorporated Emissive screen display with laser-based external addressing
US7232229B2 (en) 2004-12-17 2007-06-19 Palo Alto Research Center Incorporated Laser-based display with position sensitive detector
US7278745B2 (en) 2004-12-21 2007-10-09 Infocus Corporation Method and apparatus for adjusting relative disposition of projection optics based on operating conditions
US7375804B2 (en) 2005-03-01 2008-05-20 Lockheed Martin Corporation Single detector receiver for multi-beam LADAR systems
CN201159795Y (zh) 2005-04-28 2008-12-03 德克萨斯仪器股份有限公司 具有两个反射表面的扭转铰接镜结构
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US7672504B2 (en) 2005-09-01 2010-03-02 Childers Edwin M C Method and system for obtaining high resolution 3-D images of moving objects by use of sensor fusion
WO2007025363A1 (en) 2005-09-02 2007-03-08 Neptec Apparatus and method for tracking an object
JP4508049B2 (ja) 2005-09-05 2010-07-21 株式会社日立製作所 ３６０°画像撮影装置
US20060256133A1 (en) 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US7787134B2 (en) 2005-11-09 2010-08-31 The Boeing Company Multiple fanned laser beam metrology system
KR20080083635A (ko) 2005-12-13 2008-09-18 코닌클리케 필립스 일렉트로닉스 엔.브이. 레이저 안전 동작을 위한 디바이스 및 방법
US7348528B2 (en) 2005-12-20 2008-03-25 Marshall Daniel R Distance measuring system
US8355117B2 (en) 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
US9323055B2 (en) 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
GB0616838D0 (en) 2006-08-25 2006-10-04 Moir Christopher I Velocity detector
WO2008089417A2 (en) 2007-01-18 2008-07-24 The Arizona Board Of Regents On Behalf Of The University Of Arizona A polarized head-mounted projection display
US7901094B2 (en) 2007-01-24 2011-03-08 Seiko Epson Corporation View projection: one-touch setup of light displays on arbitrary surfaces
EP2127367B1 (en) 2007-02-20 2017-03-29 Daegu Gyeongbuk Institute Of Science&Technology Multimedia player displaying 2 projection images
US8330942B2 (en) 2007-03-08 2012-12-11 Trimble Ab Methods and instruments for estimating target motion
JP2008275460A (ja) 2007-04-27 2008-11-13 Mitsubishi Electric Corp レーダ装置
US8169447B2 (en) 2007-05-22 2012-05-01 International Business Machines Corporation Automatic color display conversion
US20080309913A1 (en) 2007-06-14 2008-12-18 James John Fallon Systems and methods for laser radar imaging for the blind and visually impaired
WO2008152647A2 (en) 2007-06-15 2008-12-18 Ben Gurion University Of The Negev Research And Development Authority Three-dimensional imaging method and apparatus
US7667598B2 (en) 2007-06-19 2010-02-23 Lockheed Martin Corporation Method and apparatus for detecting presence and range of a target object using a common detector
US9939233B2 (en) 2007-10-02 2018-04-10 Doubleshot, Inc. Laser beam pattern projector
WO2009049272A2 (en) 2007-10-10 2009-04-16 Gerard Dirk Smits Image projector with reflected light tracking
US7554652B1 (en) 2008-02-29 2009-06-30 Institut National D'optique Light-integrating rangefinding device and method
EP2350985A4 (en) 2008-03-03 2014-01-01 David Chaum SELECTING AND MARKING SYSTEMS WITH HIDDEN CODE
US20130293396A1 (en) 2008-03-15 2013-11-07 James R. Selevan Sequenced guiding systems for vehicles and pedestrians
EP2255247B1 (en) * 2008-03-18 2011-07-20 Koninklijke Philips Electronics N.V. Calibration camera with spectral depth
US7905567B2 (en) 2008-05-16 2011-03-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Closed-loop printing registration systems, devices, components and methods
US8531650B2 (en) 2008-07-08 2013-09-10 Chiaro Technologies LLC Multiple channel locating
CN101796372B (zh) 2008-07-11 2012-11-14 松下电器产业株式会社 三维形状测量装置、集成电路及方法
JP2010025759A (ja) 2008-07-18 2010-02-04 Fuji Xerox Co Ltd 位置計測システム
EP2148220B1 (en) 2008-07-24 2017-08-30 Magneti Marelli S.p.A. A motor-vehicle driving assistance system based on radar sensors for detecting the presence of obstacles in an area behind and/or beside the vehicle, particularly for parking assistance
EP2316109B1 (en) 2008-07-28 2017-12-13 Koninklijke Philips N.V. Use of inpainting techniques for image correction
US20100079508A1 (en) 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
US8462238B2 (en) 2008-11-04 2013-06-11 Ecole Polytechnique Fëdërale de Lausanne (EPFL) Camera design for the simultaneous capture of near-infrared and visible images
US20100142856A1 (en) 2008-12-10 2010-06-10 Shin Takeuchi Image reading apparatus, and reading method
CN101750012A (zh) * 2008-12-19 2010-06-23 中国科学院沈阳自动化研究所 一种测量物体六维位姿的装置
JP2010197227A (ja) * 2009-02-25 2010-09-09 Kyushu Institute Of Technology イメージセンサー及びそれを用いた視差センサー並びに視差画像の生成方法
US20100246902A1 (en) * 2009-02-26 2010-09-30 Lumidigm, Inc. Method and apparatus to combine biometric sensing and other functionality
US8213022B1 (en) 2009-03-04 2012-07-03 University Of Central Florida Research Foundation, Inc. Spatially smart optical sensing and scanning
US9873347B2 (en) 2009-03-12 2018-01-23 Wendell Brown Method and apparatus for automatic charging of an electrically powered vehicle
US8810796B2 (en) 2009-04-21 2014-08-19 Michigan Aerospace Corporation Light processing system and method
CA2993711C (en) 2009-05-01 2021-01-26 Garrett Thermal Systems Limited Improvements to particle detectors
EP2430615A2 (en) 2009-05-08 2012-03-21 Scientific Systems Company Inc. Method and system for visual collision detection and estimation
US8015925B2 (en) 2009-06-18 2011-09-13 Simon Abner J Air bus transportation system
US8174374B2 (en) 2009-06-30 2012-05-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for coding digital information in lane markings using an optical sensor
DE102009029372A1 (de) 2009-09-11 2011-03-24 Robert Bosch Gmbh Messvorrichtung zur Messung einer Entfernung zwischen der Messvorrichtung und einem Zielobjekt mit Hilfe optischer Messstrahlung
DE102009029364A1 (de) 2009-09-11 2011-03-24 Robert Bosch Gmbh Messvorrichtung zur Messung einer Entfernung zwischen der Messvorrichtung und einem Zielobjekt mit Hilfe optischer Messstrahlung
WO2011049025A1 (ja) 2009-10-20 2011-04-28 シャープ株式会社 三次元映像表示装置
US20110102763A1 (en) 2009-10-30 2011-05-05 Microvision, Inc. Three Dimensional Imaging Device, System and Method
US8384694B2 (en) 2009-11-17 2013-02-26 Microsoft Corporation Infrared vision with liquid crystal display device
US8123928B2 (en) 2009-12-22 2012-02-28 Rio Tinto Alcan International Limited Shut-down and start-up procedures of an electrolytic cell
WO2011109402A2 (en) 2010-03-01 2011-09-09 Gerard Dirk Smits Safety device for scanned projector and illumination systems
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
US8411135B2 (en) 2010-03-17 2013-04-02 Seiko Epson Corporation Methods to eliminate/reduce the crosstalk artifacts of the retro-reflective auto-stereoscopic 3D display
KR101190125B1 (ko) 2010-04-16 2012-10-11 주식회사 고영테크놀러지 3차원 형상 측정 방법
US9019503B2 (en) 2010-04-19 2015-04-28 The United States Of America, As Represented By The Secretary Of The Navy MEMS microdisplay optical imaging and sensor systems for underwater and other scattering environments
US8619265B2 (en) * 2011-03-14 2013-12-31 Faro Technologies, Inc. Automatic measurement of dimensional data with a laser tracker
WO2011146349A2 (en) 2010-05-17 2011-11-24 Piasecki Aircraft Corp. Modular and morphable air vehicle
US9151607B2 (en) 2010-05-31 2015-10-06 University Of North Carolina At Charlotte Dimensional measurement through a combination of photogrammetry and optical scattering
EP2580645B1 (en) 2010-06-11 2019-11-27 Microsoft Technology Licensing, LLC Object orientation detection with a digitizer
TWI540312B (zh) 2010-06-15 2016-07-01 原相科技股份有限公司 可提高測量精確度、省電及／或能提高移動偵測效率的時差測距系統及其方法
US9134799B2 (en) 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
US10739460B2 (en) 2010-08-11 2020-08-11 Apple Inc. Time-of-flight detector with single-axis scan
US20120236379A1 (en) 2010-08-23 2012-09-20 Lighttime, Llc Ladar using mems scanning
WO2012033175A1 (ja) 2010-09-08 2012-03-15 大日本印刷株式会社 照明装置、投射装置および投写型映像表示装置
WO2012054231A2 (en) 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US8636367B1 (en) 2010-10-15 2014-01-28 Magic Lantern, Llc System and method for controlling multiple beams illuminating projected images
KR101706093B1 (ko) 2010-11-30 2017-02-14 삼성전자주식회사 3차원 좌표 추출 시스템 및 그 방법
WO2012086070A1 (ja) 2010-12-24 2012-06-28 株式会社日立製作所 路面形状認識装置及びそれを利用した自律移動装置
US8957847B1 (en) 2010-12-28 2015-02-17 Amazon Technologies, Inc. Low distraction interfaces
US8780161B2 (en) 2011-03-01 2014-07-15 Hewlett-Packard Development Company, L.P. System and method for modifying images
US8493573B2 (en) 2011-03-09 2013-07-23 The United States Of America As Represented By The Secretary Of The Army High-resolution optical position sensing with sparse, low-resolution detectors
US8953242B2 (en) 2011-03-31 2015-02-10 Honeywell International Inc. Varible focus stereoscopic display system and method
FR2975669B1 (fr) * 2011-05-24 2013-07-05 Airbus Operations Sas Procede pour pointer une pluralite d'emplacements predetermines a l'interieur d'une structure, et systeme de pointage correspondant
US9026596B2 (en) 2011-06-16 2015-05-05 Microsoft Technology Licensing, Llc Sharing of event media streams
US8773512B1 (en) 2011-06-30 2014-07-08 Aquifi, Inc. Portable remote control device enabling three-dimensional user interaction with at least one appliance
CN102890574A (zh) 2011-07-21 2013-01-23 鸿富锦精密工业（深圳）有限公司 触控装置及使用该触控装置的鼠标
DE102011081428A1 (de) * 2011-08-23 2013-02-28 Robert Bosch Gmbh Verfahren zum Bestimmen einer Objektklasse eines Objekts, von dem aus Licht zu einem Fahrzeug ausgesandt und/oder reflektiert wird
US9453914B2 (en) 2011-09-08 2016-09-27 Continental Advanced Lidar Solutions Us, Inc. Terrain mapping LADAR system
CN103842766B (zh) 2011-10-06 2017-05-24 瑞尼斯豪公司 测量方法
JP5783568B2 (ja) 2011-10-31 2015-09-24 国立大学法人九州大学 マイクロスキャナ
EP2589980A1 (de) 2011-11-04 2013-05-08 Leica Geosystems AG Entfernungsmesser
CN104011562A (zh) 2011-11-29 2014-08-27 富丽达公司 运动稳定光探测和测距设备和用于本发明的风速测量领域的方法
JP5909365B2 (ja) 2012-01-05 2016-04-26 株式会社ミツトヨ 接触プローブ
CN103196550A (zh) 2012-01-09 2013-07-10 西安智意能电子科技有限公司 一种对发射光源的成像信息进行筛选处理的方法与设备
EP2618175A1 (de) * 2012-01-17 2013-07-24 Leica Geosystems AG Lasertracker mit Funktionalität zur graphischen Zielbereitstellung
CN104094197B (zh) 2012-02-06 2018-05-11 索尼爱立信移动通讯股份有限公司 利用投影仪的注视追踪
US9651417B2 (en) 2012-02-15 2017-05-16 Apple Inc. Scanning depth engine
US8947755B2 (en) 2012-02-21 2015-02-03 Hitachi-Lg Data Storage Inc. Optical scanning device and image display apparatus
US9131192B2 (en) 2012-03-06 2015-09-08 Apple Inc. Unified slider control for modifying multiple image properties
US10247812B2 (en) 2012-03-22 2019-04-02 Apple Inc. Multi-mirror scanning depth engine
WO2013156769A1 (en) 2012-04-18 2013-10-24 Renishaw Plc A method of measurement on a machine tool and corresponding machine tool apparatus
US9210392B2 (en) * 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US20130300670A1 (en) 2012-05-09 2013-11-14 Research In Motion Limited Computer input stylus with multiple antennas
US9244339B2 (en) 2012-06-15 2016-01-26 Mirraviz, Inc. Systems and methods for displaying an image or video on a retro-reflective screen
US9562764B2 (en) 2012-07-23 2017-02-07 Trimble Inc. Use of a sky polarization sensor for absolute orientation determination in position determining systems
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
EP2711667A1 (de) 2012-09-21 2014-03-26 Baumer Electric AG Vorrichtung zur Entfernungsmessung
US8711370B1 (en) 2012-10-04 2014-04-29 Gerard Dirk Smits Scanning optical positioning system with spatially triangulating receivers
US8994780B2 (en) 2012-10-04 2015-03-31 Mcci Corporation Video conferencing enhanced with 3-D perspective control
US9854196B2 (en) 2012-11-28 2017-12-26 Beijing Lenovo Software Ltd. Head-mounted electronic device and audio processing method
US9703473B2 (en) 2013-01-24 2017-07-11 Facebook, Inc. Predicting touch input
KR102527503B1 (ko) 2013-02-27 2023-04-28 시리얼 테크놀로지즈 에스.에이. 광학 액정 위상 변조기
US20140273752A1 (en) 2013-03-13 2014-09-18 Applied Materials, Inc. Pad conditioning process control using laser conditioning
US9392225B2 (en) 2013-03-14 2016-07-12 Polycom, Inc. Method and system for providing a virtual cafeteria
US9702977B2 (en) * 2013-03-15 2017-07-11 Leap Motion, Inc. Determining positional information of an object in space
WO2014141115A2 (en) 2013-03-15 2014-09-18 Primesense Ltd. Depth scanning with multiple emitters
US9041914B2 (en) 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
JP2016521480A (ja) 2013-03-22 2016-07-21 セイコーエプソン株式会社 赤外線ビデオ表示アイウェア
US9069080B2 (en) 2013-05-24 2015-06-30 Advanced Scientific Concepts, Inc. Automotive auxiliary ladar sensor
US9080866B1 (en) 2013-06-26 2015-07-14 Google Inc. Methods and systems for detection of reflective markers at long range
GB2510001A (en) 2013-07-05 2014-07-23 Digital Barriers Services Ltd Terahertz detector scanning mechanism
JP2015025901A (ja) 2013-07-25 2015-02-05 船井電機株式会社 レーザ走査装置
US9377553B2 (en) 2013-09-12 2016-06-28 Harris Corporation Rigid coaxial transmission line sections joined by connectors for use in a subterranean wellbore
US20150091815A1 (en) 2013-10-01 2015-04-02 Avaya Inc. Method and Apparatus to Support Visually Impaired Users of Touchscreen Based User Interfaces
JP5944876B2 (ja) 2013-10-18 2016-07-05 増田　麻言 レーザ光を用いた距離測定装置
CA2938149A1 (en) 2014-02-10 2015-08-13 Lockheed Martin Corporation Nondestructive collection of evidence
US9952033B2 (en) 2014-02-14 2018-04-24 Palo Alto Research Center Incorporated Spatial modulation of light to determine object length
US9842514B2 (en) 2014-02-19 2017-12-12 Milwaukee School Of Engineering Dynamic deoxyribonucleic acid (DNA) models and kits
JP6413291B2 (ja) 2014-03-27 2018-10-31 セイコーエプソン株式会社 虚像表示装置、およびヘッドマウントディスプレイ
US9810913B2 (en) 2014-03-28 2017-11-07 Gerard Dirk Smits Smart head-mounted projection system
JP6433268B2 (ja) * 2014-03-31 2018-12-05 国立大学法人 東京大学 検査システムおよび検査方法
US20150286293A1 (en) 2014-04-03 2015-10-08 Qualcomm Incorporated Optical stylus with deformable tip
DE102015205826B4 (de) 2014-04-04 2020-03-12 pmdtechnologies ag Entfernungsmesssystem mit Lichtlaufzeitpixelzeile
DE112015001704T5 (de) 2014-04-07 2016-12-29 Samsung Electronics Co., Ltd. Bildsensor mit hoher Auflösung, Frame-Rate und niedrigem Stromverbrauch
JP6224232B2 (ja) 2014-05-02 2017-11-08 富士フイルム株式会社 測距装置、測距法、及び測距プログラム
DE102014107765A1 (de) 2014-06-03 2015-12-03 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und Vorrichtung zum automatischen oder halbautomatischen Einstellen eines Fahrwerks
DE202014103215U1 (de) 2014-07-11 2014-09-30 Christian Stroetmann Elektronisches, visuelles Gerät, das eine flexible beziehungsweise biegbare Vorrichtung zur optischen Signalisierung von veränderlichen Informationen, ein flexibles beziehungsweise biegbares Gehäuse mit mindestens einem Gelenk/Scharnier und ein Regel-/Steuerungssystem besitzt
US9335414B2 (en) 2014-07-11 2016-05-10 Raytheon Company Frequency agile LADAR
US9377533B2 (en) 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
US10078133B2 (en) 2014-08-15 2018-09-18 Aeye, Inc. Method and system for ladar transmission with closed loop feedback control of dynamic scan patterns
EP3186661B1 (en) 2014-08-26 2021-04-07 Massachusetts Institute of Technology Methods and apparatus for three-dimensional (3d) imaging
US10073177B2 (en) 2014-11-14 2018-09-11 Massachusetts Institute Of Technology Methods and apparatus for phased array imaging
US10043091B2 (en) 2014-12-05 2018-08-07 Magna Electronics Inc. Vehicle vision system with retroreflector pattern recognition
GB2533388B (en) 2014-12-17 2021-01-06 Sezanne Marine Ltd Aspects of a sonar system
CA3067160A1 (en) 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP2018506797A (ja) * 2015-02-12 2018-03-08 ネクストブイアール・インコーポレイテッド 環境測定を行うための、及び／又は、このような測定を使用するための方法及び装置
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US10698110B2 (en) 2015-03-05 2020-06-30 Teledyne Digital Imaging, Inc. Laser scanning apparatus and method
US9625582B2 (en) 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
CN107408305B (zh) 2015-03-27 2020-09-11 三菱电机株式会社 摄像装置及方法、操作装置以及记录介质
US10043282B2 (en) * 2015-04-13 2018-08-07 Gerard Dirk Smits Machine vision for ego-motion, segmenting, and classifying objects
KR20160126153A (ko) 2015-04-22 2016-11-02 한국전자통신연구원 레이저 레이더 또는 다른 장치를 위한 광 스캐너
KR101665938B1 (ko) 2015-04-28 2016-10-13 전자부품연구원 미러 회전 방식의 다채널 라이더 스캐너 광학계
US10527726B2 (en) 2015-07-02 2020-01-07 Texas Instruments Incorporated Methods and apparatus for LIDAR with DMD
US9675867B2 (en) 2015-07-28 2017-06-13 X-Sports Ski binding equipment
US10281262B2 (en) 2015-08-31 2019-05-07 Arizona Board Of Regents On Behalf Of The University Of Arizona Range-finder apparatus, methods, and applications
US9952036B2 (en) 2015-11-06 2018-04-24 Intel Corporation Systems, methods, and apparatuses for implementing maximum likelihood image binarization in a coded light range camera
CN108603758A (zh) 2015-11-30 2018-09-28 卢米诺技术公司 具有分布式激光器和多个传感器头的激光雷达***和激光雷达***的脉冲激光器
WO2017106875A1 (en) * 2015-12-18 2017-06-22 Gerard Dirk Smits Real time position sensing of objects
US9813673B2 (en) 2016-01-20 2017-11-07 Gerard Dirk Smits Holographic video capture and telepresence system
US10908262B2 (en) 2016-02-18 2021-02-02 Aeye, Inc. Ladar transmitter with optical field splitter/inverter for improved gaze on scan area portions
US20180113216A1 (en) 2016-10-25 2018-04-26 Innoviz Technologies Ltd. Methods Circuits Devices Assemblies Systems and Functionally Associated Machine Executable Code for Active Optical Scanning of a Scene
EP3532863A4 (en) 2016-10-31 2020-06-03 Gerard Dirk Smits FAST SCAN LIDAR WITH DYNAMIC VOXEL PROBE
CN110226184B (zh) 2016-12-27 2023-07-14 杰拉德·迪尔克·施密茨 用于机器感知的***和方法
US10452926B2 (en) 2016-12-29 2019-10-22 Uber Technologies, Inc. Image capture device with customizable regions of interest
JP6717425B2 (ja) 2017-04-03 2020-07-01 富士通株式会社 距離情報処理装置、距離情報処理方法および距離情報処理プログラム
CA3068943A1 (en) 2017-07-05 2019-01-10 Ouster, Inc. Light ranging device with electronically scanned emitter array and synchronized sensor array
US11513233B2 (en) 2017-08-29 2022-11-29 Adam Wajnberg et al. Drone escort system
US20190080612A1 (en) 2017-09-14 2019-03-14 Qualcomm Incorporated Navigation techniques for autonomous and semi-autonomous vehicles
US10614734B2 (en) 2018-03-06 2020-04-07 Varjo Technologies Oy Display apparatus and method of displaying using controllable scanning mirror
JP2019164213A (ja) 2018-03-19 2019-09-26 株式会社リコー 光走査装置、画像投写装置、移動体、及び、光走査装置の製造方法
JP2019164217A (ja) 2018-03-19 2019-09-26 株式会社リコー 表示装置、表示システムおよび移動体
TWI781243B (zh) 2018-10-31 2022-10-21 國立清華大學 級聯鏡列及包含其之掃描系統

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238336A (zh) * 2010-04-28 2011-11-09 株式会社电装 能够对远处前方车辆的尾灯进行识别的车载照相机装置

Also Published As

Publication number Publication date
JP2020514713A (ja) 2020-05-21
CN110226184A (zh) 2019-09-10
US11709236B2 (en) 2023-07-25
WO2018125850A1 (en) 2018-07-05
US20210011154A1 (en) 2021-01-14
EP3563347A4 (en) 2020-06-24
JP7329444B2 (ja) 2023-08-18
US20190235079A1 (en) 2019-08-01
US10261183B2 (en) 2019-04-16
US20180180733A1 (en) 2018-06-28
EP3563347A1 (en) 2019-11-06
US10564284B2 (en) 2020-02-18

Similar Documents

Publication Publication Date Title
CN110226184B (zh) 用于机器感知的***和方法
US10325376B2 (en) Machine vision for ego-motion, segmenting, and classifying objects
US20190028674A1 (en) Holographic video capture and telepresence system
JP6854828B2 (ja) 物体のリアルタイム位置検知
EP3586165B1 (en) Single-frequency time-of-flight depth computation using stereoscopic disambiguation
CN110073243B (zh) 利用动态体素探测的快速扫描激光雷达
US10725177B2 (en) Hyper-resolved, high bandwidth scanned LIDAR systems
TW202115366A (zh) 機率性多機器人slam的系統及方法
US11808857B2 (en) Multi-sensor superresolution scanning and capture system
US11372320B2 (en) High resolution scanning of remote objects with fast sweeping laser beams and signal recovery by twitchy pixel array
US20230316657A1 (en) Auxiliary device for augmented reality
WO2020110359A1 (en) System and method for estimating pose of robot, robot, and storage medium
US11785200B1 (en) Stage studio for immersive 3-D video capture
JP2019513310A (ja) ホログラフィックビデオキャプチャー及びテレプレゼンスシステム
US20240022819A1 (en) Foveated robotic vision system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant