CN104904200A - 使用多设备的环境的多维数据捕捉 - Google Patents

使用多设备的环境的多维数据捕捉 Download PDF

Info

Publication number
CN104904200A
CN104904200A CN201380058430.2A CN201380058430A CN104904200A CN 104904200 A CN104904200 A CN 104904200A CN 201380058430 A CN201380058430 A CN 201380058430A CN 104904200 A CN104904200 A CN 104904200A
Authority
CN
China
Prior art keywords
data
depth
capture device
time index
data capture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380058430.2A
Other languages
English (en)
Other versions
CN104904200B (zh
Inventor
M.R.米勒特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AEMASS Inc
Original Assignee
AEMASS Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AEMASS Inc filed Critical AEMASS Inc
Priority to CN201810153748.3A priority Critical patent/CN108345006B/zh
Publication of CN104904200A publication Critical patent/CN104904200A/zh
Application granted granted Critical
Publication of CN104904200B publication Critical patent/CN104904200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明的实施例描述了与对象和/或环境的数据捕捉有关的装置、***以及方法。在一个实施例中，用户可以使用一个或多个便携式数据捕捉设备来捕捉带时间索引三维（3D）深度数据，所述便携式数据捕捉设备可以用深度信息、位置和定向数据来捕捉场景的带时间索引颜色图像。另外，数据捕捉设备还可被配置成捕捉在数据捕捉设备周围的环境的球面视图。

Description

使用多设备的环境的多维数据捕捉
技术领域
本公开一般地涉及环境或对象的数据捕捉领域，并且特别是真实三维（3D）深度视频。
背景技术
在无数的情况下使用对象或环境的数据捕捉，并且其可以使得处理器能够使用、作用于或操纵所捕捉的数据来创建对象和/或环境的图像。例如，照相机可以捕捉场景的静止二维（2D）图像，并且摄像机可以捕捉视频数据（即，随时间推移的2D数据）以用于稍后编辑和显示。另外，可以使用聚焦在对象周围的多视图立体2D图像来模拟对象的3D图像。可以用来模拟3D图像的数据捕捉的另一示例涉及到光检测与测距（LiDAR）（也称为激光检测与测距（LADAR））传感器，其一般地被用于对地形或建筑物进行绘图。LiDAR将来自光源的光指引到将光反射回到接收机的表面处。LiDAR***然后将基于光的往返时间（称为“飞行时间”（TOF）数据）来计算从光源到表面的距离。这样，可以用LiDAR***来捕捉关于环境中的对象的距离或深度的数据。LiDAR通过跨环境扇出或用脉冲发射其射束并测量用于将光反射回到LiDAR***中的接收机的每个对象的飞行时间来收集数千个数据点。LiDAR仅能确定将光反射回到接收机的对象的深度，而不能检测关于颜色的图像数据。LiDAR及其它类型的TOF照相机处于在本文称为“深度照相机”的照相机类别中。深度照相机的其它示例包括可以确定深度信息的任何设备，诸如立体照相机、结构光扫描仪或发射电磁（EM）辐射并捕捉被反射回来的辐射的飞行时间的其它设备。
用于捕捉成像数据的现有技术具有限制或缺点。例如，包括胶片、数字摄影以及全景2D摄影（即柱面或立方体交互式全景）的2D文档介质的当前手段在当被用户或观看者访问时传达整体的真实生活体验或事件方面具有限制。2D图像可能具有优良的分辨率和颜色，但不具有与图像相关联的深度信息。
可以以各种方式来创建模拟3D图像。通常，使用两个间隔开的透镜来记录图像，其从略有不同的角度记录场景，并且这些图像被提供给人，使得诸如通过使用具有滤色器或不同偏振的眼镜来不同地向每只眼睛呈现该信息。如2D图像的情况一样，颜色和分辨率可以是极佳的，并且这些立体图像的3D效果可以是引人注目的，然而，此类***仍缺少收集场景的深度信息的能力。
可将由深度照相机捕捉的信息与2D照相机的图像数据组合以提供模拟3D且包含深度信息的图像。例如，可将LiDAR图像与来自重叠2D图像的数据组合以用深度数据来模拟3D图像——亦即，该图像数据包含图像中的对象距离的信息，并且具有计算图像中的对象的尺寸和相对间距的能力。
无论是立体照相机还是与2D照相机组合的深度照相机，当前3D成像***都使用单个照相机，其在给定时间记录单个视点（POV）以收集表示单个静态时刻的数据。使用单个照相机可以导致所收集3D数据中的间隙。例如，从单个角度捕捉具有树的场景的单个照相机不能捕捉在树后面的东西。用于在用单个照相机来捕捉场景时减少数据间隙的当前方法要求记录单个照相机视点并将照相机重新定位多次的冗长过程。一旦通过用单个照相机进行的重新定位和捕捉的多个会话来捕捉场景，则必须有广泛的辅助后处理以对多次扫描进行配准并组织所捕捉的数据。除要求大量的时间（由于例如所使用的算法和大量的数据）之外，此类后处理一般地要求广泛的用户输入和用户的技术知识。
除组织用这些3D照相机捕捉的数据所要求的广泛后处理之外，可能要求附加后处理以便再现数据，包括通过数字模型配置的数字图形内插、矢量化和/或图像模型构建。
构建数据云以表示其中深度照相机移动的环境要求照相机具有用以跟踪其移动和位置或与远程部件通信以便跟踪照相机的移动的部件。这在其中必须映射环境使得机器人能够对其环境进行导航的移动机器人技术中是常见的问题。同样地，在使用数据来创建沉浸式环境的情况下，照相机必须跟踪其位置，并且将该信息标记成图像数据。这种技术一般地称为同时定位与地图创建（SLAM）。
附图说明
参考以下各图来描述本发明的非限制性且非排他性实施例，其中，除非另外指明，遍及各视图中相同的附图标记指示相同部分。应认识到的是以下各图可能不按比例描绘。
图1是根据本发明的实施例的***的框图以及场景。
图2是根据本发明的一个实施例的数据捕捉设备的等距视图。
图3是根据本发明的一个实施例的具有多个深度照相机的平台的平面图。
图4a-4e图示出根据本发明的一个实施例的使用LiDAR的深度照相机的示例性图。
图5是根据本发明的一个实施例的组合深度照相机和图像照相机的示例性图。
图6是根据本发明的一个实施例的***图。
图7是根据本发明的一个实施例的收集环境和环境中的对象的深度和图像数据的方法的流程图。
图8是根据本发明的一个实施例的计算机***的示例性形式中的机器的框图。
随后是某些细节和实施方式的描述，包括图的描述，其可描述下述某些或所有实施例以及讨论本文提出的发明概念的其它潜在实施例或实施方式。下面提供本发明的实施例的概述，后面是参考附图的更详细描述。
具体实施方式
在本文描述了与对象和/或环境的数据捕捉有关的装置、***以及方法的实施例。在本发明的一个实施例中，用户可以容易地、快速地且用***的最少技术知识来捕捉真实3D深度视频数据，其中，将3D深度视频数据理解为带时间索引3D深度数据或四维（4D）带时间索引空间数据。捕捉3D深度视频数据使得能够实现沉浸式且动态的3D数字环境，其中，用户可以随着3D环境随时间改变对其进行探索。还可以将能够捕捉3D深度视频数据的数据捕捉设备称为真实3D深度摄像机。
3D深度视频数据的捕捉和可视化可以使得能够实现倒退虚拟时间旅行、虚拟现实或增强现实的概念，使得用户可以实时地（例如，用于电话会议或其它实时交互）或通过所存储的数据来体验所捕捉事件、环境或其它体验并与之相交互。根据一个实施例，用来捕捉环境的3D深度摄像机***创建原始文件，其可在不要求后处理建模和/或再现的情况下显示。用户可以出于重建或分析的目的而捕捉事件，包括但不限于：体育赛事、音乐会、讨论会、聚会、教育性演示、历史事件、考古或文化遗产地、徒步旅行行踪、机械或物理故障、被监视地点或任何其它环境或事件。例如，如果用户捕捉到其中在房间的不同部分中同时地发生多个演讲的会议，则可以以数字方式显示该会议，使得用户可以在3D环境的一个部分中体验到一个演讲，并且通过虚拟地过渡到房间的另一侧以体验另一演讲来自由地探索3D环境。第二示例将是音乐表演的示例，其中，用户可以从在所捕捉场景范围内的观众的方位、在舞台上的方位或者从一个或多个音乐家他们自己的视点出发体验该事件。
在以下描述中，阐述了许多特定细节以便提供实施例的透彻理解。然而，相关领域的技术人员将认识到可以在没有该特定细节中的一个或多个的情况下或用其它方法、部件、材料等来实施本文所述的技术。在其它情况下，并未示出或详细地描述众所周知的结构、材料或操作以避免模糊某些方面。
遍及本说明书对“一个实施例”或“实施例”的参考意指在本发明的至少一个实施例中包括结合该实施例所述的特定特征、结构或特性。因此，短语“在一个实施例中”或“在实施例中”在遍及本说明书的不同位置上的出现不一定全部指的是同一实施例。此外，可在一个或多个实施例中以任何适当方式将特定特征、结构或特性进行组合。
图1是根据本发明的实施例的***的框图和正被捕捉的场景。如图1中所示，***100包括多个便携式数据捕捉设备102a-102n，其在没有预定布置的情况下就位并能够在数据捕捉期间移动。其它实施例可以包括单个便携式数据捕捉设备。所述多个数据捕捉设备102a-102n中的一个或多个能够捕捉3D运动。捕捉3D深度视频数据涉及到快速地捕捉环境和环境内的对象的一系列3D测量结果和图像。例如，在所示实施例中，所述多个数据捕捉设备102a-102n在时间t＝1、t＝2、…以及t＝n捕捉用于3D环境场景104的一系列3D深度数据和颜色图像数据帧。
场景104可以包括具有固定和/或移动的对象的环境。例如，场景106a-106n包括移动的人。能够捕捉3D数据的现有技术仅在其在静态时刻存在时才及时捕捉场景。例如，如果用户尝试用现有技术来捕捉场景106a-106n，则仅能捕捉场景中的静止元素（例如，可以捕捉树的远景或站着不动的人），并且在数据捕捉时存在的任何移动对象将导致数据误差、伪影或“重影（ghost）”图像和不完整的数据“裂片”。***100可以将场景106a-106n捕捉为3D深度视频数据，其包括作为3D帧收集的一系列带时间索引数据。此类收集的3D深度视频数据的数字可视化可以使得能够实现随时间推移的真正沉浸式3D体验，使得用户可以随着3D环境随时间改变而体验和探索3D环境。
根据一个实施例，所述多个数据捕捉设备102a-102n使得能够在没有数据间隙或有最少量的数据间隙的情况下实现带时间索引3D帧的准确捕捉。部分地由于所述多个数据捕捉设备102a-102n而可以在没有数据间隙的情况下捕捉3D运动，其可以被定位成围绕场景104，并且其可以同时地从多个视角捕捉3D数据。如下面更详细描述，多个数据捕捉设备102a-102n能够共同地捕捉真实3D空间数据和颜色图像，其快到足以捕捉场景104的3D运动和相应颜色。
在一个此类实施例中，多个数据捕捉设备102a-102n具有地理空间数据感测能力，其使得能够实现改善的且实时的数据处理（即，实时3D点云生成）。地理空间数据是与数据捕捉设备的定向、方位和/或位置相关联的数据。在一个实施例中，多个数据捕捉设备102a-102n能够相互地和/或与外部计算设备110通信，也使得能够实现改善的且实时的数据处理。在一个实施例中，所述多个数据捕捉设备的在捕捉数据的同时进行通信的能力促进实时数据辨别和压缩，并且因此使得能够实现更加高效且合作的数据捕捉。
为了在给定时间捕捉3D数据，多个数据捕捉设备102a-102n可以利用使得能够实现深度感测的任何3D捕捉技术。例如，所述多个数据捕捉设备可以实现以下各项中的一个或多个：LiDAR/LADRA、结构光、闪光（Flash）LiDAR、多视图立体数字影像、全景多立体数字影像、摄影测量或在各种深度和分辨率的域捕捉3D数据的任何其它手段。用户可以以便携式或固定布置来操作多个数据捕捉设备102a-102n。例如，用户可以通过例如使用三脚架或者将捕捉设备临时地或永久地附着于表面（例如，墙壁、天花板、树、或者可以向其附加设备的任何其它表面）来将多个数据捕捉设备102a-102n中的一个或多个布置成是固定的。在一个实施例中，多个数据捕捉设备102a-102n可以是便携式的。例如，用户可以通过在多个数据捕捉设备102a-102n中的一个或多个正在捕捉数据的同时移动设备来捕捉数据。数据的移动捕捉可以使得用户能够实现携带着数据捕捉设备行走以捕捉感兴趣场景的灵活性。
可以将多个数据捕捉设备102a-102n中的一个或多个附连到自主移动实体（例如，电子螺翼直升机或其它运载工具）或用户控制的移动实体（例如，手控或遥控运载工具、汽车、视频摄影车或其它用户控制的实体）。在一个此类实施例中，该***包括用于根据收集的数据来控制自主实体的移动的反馈机制，使得数据捕捉设备能够自主地填充数据间隙和/或避开障碍物。在另一实施例中，用户可以使用静态和动态配置的组合来操作多个数据捕捉设备102a-102n。例如，用户可以静态地布置一个或多个数据捕捉设备，并且在捕捉数据的同时携带一个或多个捕捉设备在场景中来回移动。
根据一个实施例，数据捕捉设备可以在数据捕捉设备的一部分或全部上面包括保护盖或其它衬垫以便保护设备不被损坏。例如，数据捕捉设备的外部可以包括抗损衬垫，诸如橡胶、塑料或泡沫，其增加用于数据捕捉设备的动态使用的耐久性。
在一个实施例中，多个数据捕捉设备102a-102n中的每一个能够以适合于捕捉运动的帧速率来收集3D帧。例如，在一个此类实施例中，多个数据捕捉设备102a-102n中的每一个每秒捕捉24个或更多个3D帧。然而，其它实施例可包括每秒捕捉少于24个3D帧的数据捕捉设备。捕捉3D环境中的变化所要求的每秒帧数可取决于特定环境。例如，在其中正在发生很少的运动或变化的环境中，每分钟更少的帧可足以捕捉该环境中的运动。在具有频繁或快速变化的其它环境中（例如，运动中的人或对象），可要求每秒或每分钟更多帧来捕捉足以实现真实感再现和场景重建的3D深度视频数据。
在一个实施例中，为了每分钟或每秒捕捉足够的帧数，3D深度视频捕捉设备可以包括多个3D数据捕捉模块。在一个实施例中，数据捕捉设备包括脉冲式TOF或闪光LiDAR以每秒捕捉足够数目的3D帧。在一个此类实施例中，一个或多个闪光LiDAR模块可以包括光发射体阵列，其同时地发射光以从目标表面反射回来并返回到相应接收机阵列。在使用LiDAR的另一实施例中，数据捕捉设备可以包括多个模块以使得能够快速且同步地连续捕捉数据。例如，具有重叠视图的被直接地相互紧挨着布置的模块交替发射无干扰光，以产生3D场景的重叠运动捕捉。在另一实施例中，使用来自数字照相机的多个立体视图通过使用补充LiDAR或结构光数据或连同它们一起来计算3D测量数据。
图2图示出根据一个实施例的包括多个深度照相机202a-202n的数据捕捉设备200（例如，图1的多个数据捕捉设备102a-102n中的一个）的等距视图。如所示，数据捕捉设备200可具有基本上球形的形状，但是其它实施例包括能够收集真实3D视频数据的其它对称和不对称形状。设备200包括通过设备200的中心设置的水平平台201，其支撑多个深度照相机202a-202n。虽然图2图示出三个深度照相机，但是数据捕捉设备200可以包括任何数目的深度照相机（例如，1、4、36、120等）。根据一个实施例，更大数目的深度照相机使得能够实现数据捕捉的交替或调制速率，其使得能够每分钟或每秒收集更多的3D帧。在一个此类实施例中，深度照相机可以以同步“开闭（shuttered）”ROF进行捕捉。例如，如果单个深度照相机以每秒30帧（fps）的速率捕捉场景数据，则可以通过将图像捕捉排成序列而将三个深度照相机配置成以90fps的有效帧速率来捕捉场景。也就是说，第一照相机将在时间t＝0s捕捉场景，第二照相机将在t＝1/90s捕捉场景，并且第三照相机在t＝2/90s捕捉场景等等，使得每个照相机以其30fps的帧速率捕捉场景，并且每个从其它照相机进行时移，使得通过将每个照相机的数据集组合来实现90 fps的连续场景捕捉。
平台201可以绕着轴204旋转，其使得深度照相机202a-202n能够捕捉3D数据的360平方度（4π球面度）的完整球面立体角或其一部分。在一个此类实施例中，还可以使数据捕捉设备200垂直向上和/或向下地移动和/或枢转以便覆盖场景，并且包括用以跟踪每个数据捕捉设备的移动（例如，3D空间中的一个或多个自由度）和定向（例如，左右倾斜、俯仰和/或偏航）的传感器。在下面更详细地描述的另一实施例中，多个深度照相机202a-202n中的每一个能够移动（例如，枢转和/或旋转），使得能够在不移动数据捕捉设备的情况下捕捉场景。数据捕捉设备200还可以包括用于将设备200安装到三脚架或其它表面的一个或多个机构206a和206b。
数据捕捉设备200的上部208a和下部208b包括用于对环境进行摄影且用于容纳电子控制和数据处理的部件。根据一个实施例，上部和下部208a-208b中的每一个上的一个或多个图像捕捉模块（未示出）能够捕捉高达180平方度的图像，使得能够实现整个周围环境的图像捕捉。在其它实施例中，上部和下部208a-208b上面的图像捕捉模块中的一者或两者能够捕捉多于或少于180平方度。
图像捕捉模块可以包括本领域中已知的任何图像捕捉部件。例如，上部和下部208a-208b可以包括多个数字照相机。在另一示例中，上部和下部208a-208b可以包括具有全景透镜的一个或多个数字照相机。在又一示例中，上部和下部208a-208b可以包括具有能够用单个照相机来捕捉宽广区域的鱼眼圆顶透镜的一个或多个数字照相机，和/或一个或多个高清晰度（HD）摄像机。
数据捕捉设备200可以包括任何数目的图像照相机（例如，0、1、2、36、128等）以及照相机类型的任何组合。数据捕捉设备包括的照相机的数目可以影响创建所捕捉的环境的单个图像所需的处理。例如，生成较大数目的单独图像的较大数目的照相机通常由于要将该数目的单独图像组合而导致与较小数目的照相机相比更多的处理。在一个实施例中，上部和下部208a-208b是固定的。在另一实施例中，上部和下部208a-208b中的一者或两者可以旋转。
上部和下部208a-208b还可以包括一个或多个深度照相机或其它传感器。根据平台201上的深度照相机的存在或配置，一个或多个深度照相机可以在一个或多个其它深度照相机有故障的情况下或者出于一般的图像对准目的而提供冗余。上部和下部208a-208b或数据捕捉设备200的任何其它部可以包括其它传感器，例如嗅探空气以确定气味的传感器、湿度传感器、温度传感器、风传感器或用于捕捉环境的任何其它数目的传感器。根据一个实施例，数据捕捉设备200包括一个或多个谱输入扫描仪，其可以提供关于正被捕捉的对象或场景的化学谱分析的信息。
图3图示出根据一个实施例的支撑多个深度照相机302a-302n的平台300的平面图。如所示，平台300是圆盘状的，并且绕着中心轴301旋转；然而，数据捕捉设备可以包括具有其它形状的平台，或者也使得能够实现3D帧的快速捕捉的完全不同的配置。例如，其它实施例可以包括采取多种定向（例如，绕着垂直或非垂直轴的旋转）的一个或多个旋转平台或固定平台。在包括中心旋转平台的一个实施例中，该平台绕着中心轴对称，其可以当设备处于水平方位时在旋转期间具有改善平衡的益处。
数据捕捉设备可以包括用于捕捉3D数据的任何类型或配置的深度照相机。在使用LiDAR作为深度照相机的情况下，可以将LiDAR模块302a-302n配置成以相对于数据捕捉设备的各种角度发射激光束。虽然图示出四个深度照相机，但可以包括任何数目的深度照相机（诸如LiDAR模块）。如图3中所示，深度照相机302a-302n中的每一个包括用以发射光束305a-305n的激光器306a-306n、以及用以在期望方向上反射发射光束的反射镜303a-303n。深度照相机302a-302n可以包括旋转反射镜以便以期望的角度快速地发射光，或者可以利用其它反射镜配置。深度照相机302a-302n中的每一个包括光检测器308a-308n，其检测已从表面反射并返回到数据捕捉设备的入射光304a-304n（例如，激光束）。
深度照相机302a-302n可以与数据捕捉设备的表面齐平，或者凹陷或从设备的表面向外延伸。深度照相机302a-302n可以相对于平台300固定不动，或者可以包括相对于平台300旋转或以其它方式移动的部件。例如，图4图示出其中将一个或多个部件安装到旋转和/或枢转组件的LiDAR模块。
图4a-4e图示出根据本发明的一个实施例的示例性LiDAR模块400。LiDAR模块400包括光发射体403、反射镜402以及光学接收机406。在一个实施例中，如所示，将一个或多个反射镜402安装到双轴栓扣紧固件401，其允许一个或多个反射镜402枢转和/或旋转。在一个此类实施例中，LiDAR模块产生扇出阵列，该阵列的轴在一个或多个反射镜402绕着其进行枢转或移动的点处。如果数据捕捉设备200包括类似于激光扇配置的多个LiDAR模块，则每个模块可被定位使发射的光不与其它模块发射的光相干扰。例如，如果图3的LiDAR模块302a-302n中的每一个被配置为如图4中所示的激光扇，则LiDAR模块302a-302n中的每一个将向外且沿着与数据捕捉设备相切的线发射扇形激光束。另一此类实施例包括向外且与捕捉设备不相切的激光束扇。可以与诸如图3中的旋转平台相结合地使用诸如栓扣紧固件之类的机构，或者可以独立于旋转平台而使用诸如栓扣紧固件之类的机构。在没有旋转平台示例的一个实施例中，数据捕捉设备可以包括跨数据捕捉设备的表面设置的多个LiDAR模块404，其能够以使得不与相邻LiDAR模块404的信号或接收机相干扰的方式产生扫描光扇或脉冲。在一个实施例中，在来自多个LiDAR模块的反射光被LiDAR模块中的超过一个检测到的情况下，该***可以确定来自LiDAR模块的被检测的光，并且对来自每个模块的信号进行识别和滤波。
图5是根据本发明的一个实施例的组合深度照相机和图像照相机的示例性图。布置500包括用于捕捉3D数据的深度照相机。深度照相机的实施例包括光发射体503、反射镜504以及光学接收机506。光发射体503发射光517，其从反射镜504和510反射。发射光从环境或对象的表面反射回来，并且作为光516返回，其进入深度照相机与图像照相机的组合，从反射镜510和504反射，并被光学接收机506接收。布置500还包括光学设备508和反射镜505以用于捕捉颜色图像。光学设备508可以包括例如数字照相机或捕捉场景颜色的任何其它部件。如所示，光516进入组合的深度照相机和图像照相机，从反射镜510和505反射，并被光学设备508检测到。
布置500还包括旋转双面反射镜510以及用以旋转该双面反射镜510的电动机512。根据一个实施例，旋转双面反射镜使得能够基本上同时捕捉颜色和3D数据。例如，当旋转反射镜510处于如所示的方位时，旋转反射镜510反射用于光学设备508的光。当旋转反射镜510处于方位514（用点线表示）时，旋转反射镜反射用于光发射体503和接收机506的光。如所示，电动机512使反射镜510以使得能够在不导致所捕捉的数据的质量显著损失的情况下（例如，在不导致数字照相机图像模糊的情况下）基本上同时地捕捉2D颜色图像和深度数据的速率（固定或可调整）来旋转。
图6是根据本发明的一个实施例的***图。***600包括多个数据捕捉设备602a-602n。多个数据捕捉设备602a-602n中的每一个包括一个或多个深度照相机614a-614n。在一个实施例中，所述多个数据捕捉设备602a-602n中的每一个还可以包括音频映射模块616，其包括用以与3D和图像数据同时地记录声音的一个或多个扩音器618a-618n。
在一个实施例中，多个数据捕捉设备602a-602n中的每一个配置有定义的中心（例如，大地测量数据）和前向定向，并且具有地理空间位置跟踪。大地测量数据被定义为精确地理方位（即，空间中的位置）和定向数据。例如，***600可以监视数据捕捉设备中的每一个在3D空间中的位置和移动（例如，六个自由度）。在一个此类实施例中，该***用数据捕捉设备的大地测量数据的微米标度、纳米标度或更高分辨率精度来实现跟踪。在使用多个数据捕捉设备的情况下，***600可以监视用于多个数据捕捉设备602a-602n中的每一个的位置和移动（例如，线性移动、弧线移动以及旋转）。
在一个此类实施例中，多个数据捕捉设备602a-602n中的每一个包括用于跟踪在3D空间中的移动的运动跟踪模块604和大地测量中心。例如，模块604可以包括一个或多个加速计。一个此类实施例可以包括三重或多重堆叠的加速计。可以利用多个加速计通过对数据求平均或者另外将其组合并对来自每个加速计的误差进行配置来改善准确度。用于跟踪在3D空间中的移动的部件可以包括任何类型的加速计或测量设备，包括激光环陀螺仪加速计、具有高分辨率的磁性传感器、倾斜计和/或用于高准确度运动感测的任何其它机构中的一个或多个。作为一个或多个加速计的替代或除此之外，其它实施例可以利用精确运动跟踪的其它部件。例如，该设备利用成像模块通过SLAM的使用来进行自定位（self localization）。在另一示例中，数据捕捉设备可以包括磁场波动的跟踪和/或用于准确地跟踪设备的运动的惯性测量单元（IMU）。随着多个数据捕捉设备602a-602n中的一个数据捕捉设备移动，该设备的定义的中心根据从运动传感器收集的数据而随设备一起移动。因此，可以在数据捕捉设备正在记录的同时将其在位置间移动（例如，被用户携带）。
***600跟踪数据捕捉设备602a-602n的中心（或其它预选轨迹）的移动，并且计算每个设备的运动如何影响所捕捉数据的位置和定向。在一个实施例中，模块604还包括用以准确地区别振动和其它类型的运动的振动传感器。在一个实施例中，将设备大地测量数据的精确机载跟踪与GPS和/或载波相位跟踪模块606组合，其跟踪地理坐标系内的位置数据。可以用来自一个或多个加速计或其它运动传感器的数据来补充来自GPS和/或载波相位跟踪模块606的数据。例如，如果GPS和/或载波相位跟踪数据指示由一个或多个运动传感器跟踪的记录设备中心位置是不正确的，则可以基于GPS和/或载波相位跟踪数据来更新设备中心的位置。根据一个实施例，将来自包括一个或多个振动传感器、一个或多个加速计以及一个或多个GPS和/或载波相位传感器的多个传感器的数据一起分析，以减小误差并准确地跟踪多个数据捕捉设备602a-602n中的每一个的运动。
在具有大地测量数据和运动跟踪的一个实施例中，多个数据捕捉设备602a-602n中的每一个在处于基站中的同时开始运动跟踪。基站可以提供设备初始化的手段，并且包括用于对数据捕捉设备602a-602n和/或计算设备608中的每一个充电的机构。在一个实施例中，基站还容纳中央处理单元，并且包括用于显示数据捕捉设备602a-602n的状态信息和/或从数据捕捉设备602a-602n接收到的数据的显示器。在一个此类实施例中，显示器是触摸屏，其显示信息并接受用户输入。当多个数据捕捉设备602a-602n中的每一个从基站起开始操作时，每个设备可以知道其它设备相对于彼此的位置。多个数据捕捉设备602a-602n自基站起的任何运动可以被模块604感测和/或被记录。
在另一实施例中，多个数据捕捉设备602a-602n可以对其自身进行地理登记。例如，如果多个数据捕捉设备602a-602n在随机位置处（例如，不在基站中）开始跟踪，则多个数据捕捉设备602a-602n中的每一个可以开始收集3D数据，并且一旦其登记了其它数据捕捉设备的形状，则可以识别其相对于彼此的位置。另一实施例将其它数据捕捉设备的登记形状与从每个设备发射和接收到的无线信号结合。一旦多个数据捕捉设备602a-602n识别了其相互的关系，则由于模块604进行的运动跟踪而不需要在后处理中的进一步登记。
在数据捕捉设备通过空间移动的同时对其大地测量数据的监视使得能够实现许多应用。在一个实施例中，可以使用数据捕捉设备来测量对象或区域的尺寸而不依赖于传统测量技术。例如，可以测量由于尺寸、配置或中间对象而难以测量的对象或区域。用户可以在数据捕捉设备处于一点处的情况下开始测量对象或区域，然后携带设备走到用户希望测量的第二点。例如，用户可以从房间的一堵墙走到房间的另一堵墙（通过采取到另一堵墙的直接或间接路径），并且***将监视数据捕捉设备的位置，并且因此理解墙壁在空间中的相互关系。在此类尺寸测量应用中可以使用一个或多个数据捕捉设备。
在另一实施例中，每个数据捕捉设备的大地测量数据的监视使得能够实现简化的数据处理算法。该***可以理解从哪个位置和角度捕捉数据的每个项目（例如，3D帧或数字图像），并且因此可以在不依赖于诸如登记或用户输入之类的后处理技术的情况下将从单独数据捕捉设备捕捉的数据进行组合。***可以在捕捉数据以生成环境的单色3D帧时通过分析每个设备的大地测量中心而将来自每个数据捕捉设备的数据准确地放置到单个坐标系上。如下面更详细地描述的，如果数据捕捉设备中的每一个可以相互和/或与中央计算机（例如，计算设备608）通信，则中央计算机或数据捕捉设备中的一个或多个可以随着捕捉数据而在一个时间生成单个3D数据集，并且不要求后处理。
根据一个实施例，以使得能够在没有诸如建模或再现之类的实质上进一步处理的情况下实现立即可视化的格式来存储由数据捕捉设备中的每一个数据捕捉设备捕捉的数据。例如，以x、y、z、r、g、b和t的列格式来存储数据，以指示数据点的地理空间位置、色值以及时间。然后在空间上组织该列格式数据以生成点云帧，其能够以数据的最少操纵被可视化。
在另一实施例中，多个数据捕捉设备的地理空间知晓使得能够实现关于潜在数据间隙的实时反馈。关于潜在数据间隙的反馈可以对其中多个数据捕捉设备正在移动的情形（例如，由于用户正在携带或者以另外方式控制设备，或者由于安装在自主运载工具上）有用。如果用户正在携带数据捕捉设备，则可以经由设备上的显示器和/或经由另一计算设备（例如，智能电话、平板计算机或其它外部计算设备）来提供反馈。关于数据间隙的反馈可以是如通过实时再现而实现的场景的视觉表示，或者其它视觉、文本和/或其它指示器（例如，指示用户收集特定数据间隙的移动设备的响铃或震动）。如果数据捕捉设备被安装到自主运载工具，则可以提供反馈以将运载工具引导到消除或减少数据间隙的位置。
在一个实施例中，多个数据捕捉设备602a-602n中的每一个包括使得能够实现相互无线通信和/或与计算设备608进行无线通信的通信接口610。多个数据捕捉设备602a-602n还可以包括相互有线通信和/或与计算设备608进行有线通信的部件（例如，当设备如上所述地位于基站中时）。通信接口610可以包括例如用于经由Wi-Fi（例如，802.11标准）、蓝牙、蜂窝数据服务（例如，3G、4G或使用其他电信标准的服务）、卫星或用于在电子设备之间通信的其它手段进行通信的硬件和/或软件。
一个或多个数据捕捉设备可以通过无线信号来传送其收集的数据和/或精确位置并使其同步。多个数据捕捉设备602a-602n中的每一个数据捕捉设备的无线数据信号610使得能够经由通信接口相互地、向计算设备608和/或云存储位置上传数据。根据一个实施例，由多个数据捕捉设备602a-602n中的每一个对其位置的传送可以创建在地理空间上知道彼此的数据捕捉设备的***，和/或包括知道多个数据捕捉设备602a-602n中的每一个的每个位置的外部计算设备（例如，计算设备608）。根据一个实施例，此类地理空间知晓使得能够实现更简单、更快速、实时且要求更少用户输入的数据处理。另外，如果数据捕捉设备可以与计算设备608或其它服务器无线地进行通信，则数据捕捉设备可以在其记录会话期间传输捕捉的数据以释放数据捕捉设备上的存储空间，并使得能够实现连续记录。在记录会话期间无线传输数据的能力还使得能够实现更小外形因素以易于携带。
如上文所讨论的，除3D数据捕捉部件之外，数据捕捉设备602a-602n中的每一个可以包括一个或多个图像传感器612a-612n，其捕捉场景的颜色。与现有技术相反，***600可以以高精度知道来自捕捉设备的数据源自于视图的哪里和什么角度或帧，并且应用来自捕捉图像的色值或立体3D计算而对3D数据帧着色和/或以最少处理补充3D数据。
根据一个实施例，与3D数据同时地捕捉图像，以使得能够生成颜色3D深度视频数据。在另一实施例中，3D数据捕捉和颜色图像捕捉可以按照不同的调度表发生。例如，***600可以完成初始3D和颜色图像扫描，然后根据需要继续捕捉颜色图像和/或3D数据，以在给定情况下捕捉期望的场景。在一个此类实施例中，由于例如3D环境保持静态，所以可比3D数据更频繁地捕捉颜色图像。例如，墙壁或表面的深度数据在影响颜色数据的照明条件（诸如移动的阴影）随时间而改变的同时保持静态。
在一个实施例中，***600执行实时数据鉴别，其可以显著减少捕捉数据的存储和处理。3D深度视频数据的捕捉可以产生实质上太字节量级的大量记录数据（取决于所捕捉区域的尺寸、每秒帧数以及捕捉时间量）。现有技术可以在使用例如压缩算法来记录数据之后降低存储要求。然而，在后处理之前存储此类大量数据可能是昂贵、耗时的，限制捕捉设备的能力且要求用于数据的过多的物理存储装置。
在一个实施例中，多个数据捕捉设备602a-602n中的每一个可以包括软件和/或硬件，其包括确定从传感器收集的数据是静态数据还是动态数据的电子控制装置。静态数据是在帧间不变的数据，或者在阈值以下在帧间变化的数据。例如，基本上类似于后续3D数据帧（例如，在诸如从1.0到0.002 cm之类的确定的分辨率内）的3D数据帧，可以将该数据识别为静态的。如果数据在帧间变化，或者如果数据已在阈值以上在帧间变化，则该数据是动态的。在一个实施例中，（在数据捕捉设备上机载的和/或在设备外部的）***确定半径阈值以便鉴别静态和动态数据。该***在其检测到数据在噪声半径以外变化时识别动态数据。在另一实施例中，该***使用运动检测或照相机成像来确定静态和动态数据。一旦数据被识别为静态或动态的，则可以使用算法（例如，压缩算法）来选择性地丢弃后续静态数据并实时地记录动态数据，并且不要求用于后处理的资源。可以由数据捕捉设备上的处理器或由数据捕捉设备向其传送捕捉数据的中央计算机（例如，计算设备608）来完成实时数据鉴别。
在其中使用多个数据捕捉设备的另一实施例中，该***可以利用数据鉴别来识别其中两个或更多照相机正在捕捉特定数据点的重叠区域。在一个此类实施例中，多个数据捕捉设备602a-602n中的每一个可以相互通信和/或与计算设备608通信，使得***实时地知道正在由哪些数据捕捉设备记录哪些地理位置。一旦***识别到重叠区域，则***（数据捕捉设备或外部计算设备）可以促使一个数据捕捉设备来记录该数据，并且促使其余数据捕捉设备丢弃由其它照相机捕捉的用于该区域的数据。
在其中使用多个数据捕捉设备的数据鉴别的另一实施例中，该***可以识别所收集的3D数据的密度，并且执行将数据“薄化”成具有一致的密度或根据跨所收集场景的给定条件分布的算法。例如，该***可以修改数据的密度，以使得较低关注的区域（例如，数据捕捉的非主要关注区域，诸如所捕捉环境的边缘处的数据）具有较低密度并且使得较高关注区域具有较高密度。可以以任何数目的方式来确定所捕捉场景的区域的关注点，包括：基于用来收集高关注区域的一个或多个数据捕捉设备的放置、该区域中的变化的速率、用户输入、上述组合或确定区域关注点的任何其它方法来识别高关注区域。
可以在如本文所述的数据捕捉***中实现上述数据鉴别方法中的一个或多个。此类实时数据鉴别可以使得能够实现最小的存储和更快的数据处理以生成颜色真实3D深度视频帧。
图7是根据本发明的一个实施例的收集环境和环境中的对象的深度和图像数据的方法的流程图。
方法700从操作702开始，其中***从每个包括一个或多个深度照相机的多个数据捕捉设备接收带时间索引深度数据。在操作704处，该***从多个数据捕捉设备接收位置和定向数据。在操作706处，该***接收相对位置和定向数据，其指示所述多个数据捕捉设备相互之间如何定位和定向。在操作708处，该***使来自所述多个数据捕捉设备的带时间索引深度数据与坐标系中的坐标相关联。在操作710处，该***将具有关联坐标的带时间索引深度数据存储到存储器。
图8是根据一个实施例（例如，计算设备608的处理器）的计算机***的示例性形式的机器800的框图，在该计算机***内部具有可执行促使机器800执行本文所讨论的方法中的任何一个或多个方法的指令集。在备选实施例中，可在局域网（LAN）、内部网、外部网或因特网中将机器800连接（例如，联网）到其它机器。该机器可能够作为客户端-服务器网络环境中的服务器端或客户端机器来操作，能够作为对等（或分布式）网络环境中的对等机器来操作，能够作为按需服务环境内的服务器或服务器系列来操作。机器的某些实施例可以是如下形式：个人计算机（PC）、平板PC、机顶盒（STB）、个人数字助理（PDA）、蜂窝电话、web设备、服务器、网络路由器、交换机或桥接器、计算***、或者能够（顺序或以其他方式）执行指定该机器要采取的动作的指令集的任何机器。此外，虽然仅图示出单个机器，但是应将术语“机器”理解成包括任何机器（例如，计算机）的集合，其单独地或共同地执行一个或多个指令集以实现本文所讨论的方法中的任何一个或多个。
示例性机器800包括处理器802、主存储器804（例如，只读存储器（ROM）、闪存、诸如同步DRAM（SDRAM）或Rambus DRAM（RDRAM）等之类的动态随机存取存储器（DRAM）、诸如闪存之类的静态存储器、静态随机存取存储器（SRAM）、易失性但高数据速率RAM等）以及辅助存储器818（例如，包括硬盘驱动器的永久存储设备），其经由总线830相互通信。主存储器804包括操作***（OS）824。根据一个实施例，主存储器804和OS 824与处理逻辑826和处理器802相结合地操作以执行本文所讨论的方法。
处理器802表示一个或多个通用处理设备，诸如微处理器、中央处理单元、图形处理单元等等。处理器802还可以是一个或多个专用处理设备，诸如专用集成电路（ASIC）、现场可编程门阵列（FPGA）、数字信号处理器（DSP）、图形处理器等等。处理器802被配置成执行处理逻辑826以便执行在本文讨论的操作和功能。
机器800还可包括网络接口卡808。机器800还可包括用户接口810（诸如，视频显示单元、液晶显示器（LCD）或阴极射线管（CRT）、字母数字输入设备812（例如，键盘）、光标控制设备814（例如，鼠标）以及信号发生设备816（例如，集成扬声器）。用户接口810可以包括触摸屏或用于用户与机器800对接的其它部件。机器800还可包括***设备836（例如，打印机、无线或有线通信设备、存储器设备、储存设备、音频处理设备、视频处理设备等）。
辅助存储器818可包括非瞬时性机器可读或计算机可读存储介质831，在其上存储了一个或多个指令集（例如，软件822），其具体化本文所述方法或功能中的任何一个或多个。软件822还可在其被机器800执行期间完全地或至少部分地驻留在主存储器804内和/或处理器802内，主存储器804和处理器802还构成机器可读存储介质。软件822还可经由网络接口卡808通过网络820被传送或接收。
因此，以上描述描述了环境的多维数据捕捉。实施例包括收集环境和环境中的对象的深度和图像数据的方法。该方法包括从包括第一深度照相机的第一数据捕捉设备接收第一带时间索引深度数据，该第一带时间索引深度数据包括一段时间上的从第一深度照相机到对象的第一表面的第一系列距离测量结果。该方法还包括从包括第二深度照相机的第二数据捕捉设备接收第二带时间索引深度数据，该第二带时间索引深度数据包括该时间段上的从第二深度照相机到对象的第二表面的第二系列距离测量结果。该方法还包括在该段时间期间接收第一数据捕捉设备的第一位置和定向数据，第一位置和定向数据基于第一数据捕捉设备的第一定义轨迹和定向的所检测运动。该方法还包括在该时间段期间接收第二数据捕捉设备的第二位置和定向数据，第二位置和定向数据基于第二数据捕捉设备的第二定义轨迹和定向的所检测运动。该方法还包括接收相对位置和定向数据，其指示第一数据捕捉设备和第二数据捕捉设备相互之间如何定位和定向。该方法还包括基于第一位置和定向数据、第二位置和定向数据以及相对位置和定向数据使第一带时间索引深度数据和第二带时间索引深度数据与坐标系中的坐标相关联。该方法还包括将包括具有关联坐标的第一带时间索引深度数据和第二带时间索引深度数据的带时间索引三维（3D）深度数据存储到电子存储器。
在一个此类实施例中，该方法还包括从对象的第一表面的第一数据捕捉设备接收第一颜色数据并从对象的第二表面的第二数据捕捉设备接收第二颜色数据，使第一和第二颜色数据与第一和第二带时间索引深度数据且与坐标系中的坐标相关联，并将具有带时间索引3D深度数据且具有关联坐标的第一和第二颜色数据存储到电子存储器。
在一个此类实施例中，第一和第二带时间索引深度数据每个包括由多个深度照相机捕捉的在4π球面度内的到表面的距离测量结果。在一个实施例中，第一和第二位置和定向数据每个包括来自多个加速计的平均运动数据。在一个实施例中，该相对位置数据包括来自第一GPS的指示第一数据捕捉设备的第一地理空间位置的第一地理空间数据，以及来自第二GPS的指示第二数据捕捉设备的第二地理空间位置的第二地理空间数据。在一个实施例中，第一数据捕捉设备的相对位置数据基于第二数据捕捉设备的形状的识别。在一个实施例中，该方法还包括识别第一和第二带时间索引深度数据的一部分中的空间重叠，从第一和第二带时间索引深度数据中的一个丢弃该重叠部分，并且将来自第一和第二带时间索引深度数据中的另一个的具有关联坐标的该重叠部分存储到电子存储器。
本发明的一个实施例包括一种装置。该装置包括一个或多个深度照相机。所述一个或多个深度照相机中的每一个捕捉带时间索引深度数据，所述带时间索引深度数据包括在一段时间上的到对象表面的一系列距离测量结果。该装置包括检测对象表面的颜色数据的一个或多个数字图像传感器。该装置还包括检测该时间段上的装置的定义轨迹和定向的运动的一个或多个传感器。该装置还包括自定位模块，该自定位模块从一个或多个传感器接收运动数据并生成包括在该时间段上的坐标系中的一个或多个深度照相机的位置和定向数据的地理空间数据。该装置还包括向计算设备发送所述带时间索引深度数据、所述颜色数据以及所述地理空间数据的通信接口。该计算设备从第二装置接收第二带时间索引深度数据、第二颜色数据以及第二地理空间数据，并且生成包括第一和第二带时间索引深度数据、颜色数据以及第一和第二地理空间数据在内的带时间索引三维（3D）深度数据。
在一个实施例中，该装置包括多个深度照相机，其对带时间索引深度数据的每个帧捕捉4π球面度深度数据。在一个实施例中，该计算设备是相对于该装置的远程设备。在一个实施例中，该装置包括接收第一和第二带时间索引深度数据、第一和第二颜色数据的计算设备、第一和第二地理空间数据，其被包括在该装置中，并且生成包括第一和第二带时间索引深度数据和颜色数据以及第一和第二地理空间数据在内的带时间索引三维（3D）深度数据。在一个实施例中，检测运动的一个或多个传感器包括多个加速计。在一个此类实施例中，自定位模块从所述多个加速计接收运动数据，对来自所述多个加速计的运动数据求平均，并且基于该平均运动数据生成地理空间数据。在一个实施例中，所述多个加速计包括至少三个加速计。在一个实施例中，所述一个或多个传感器包括振动传感器。
本发明的一个实施例包括用于随时间推移捕捉环境中的对象的深度和图像数据的数据捕捉***。该数据捕捉***包括第一数据捕捉设备和第二数据捕捉设备。第一数据捕捉设备包括记录从第一深度照相机到环境中的一个或多个对象的第一表面的第一距离数据的第一深度照相机、以及记录环境和其中的对象的第一图像数据的第一图像照相机、以及感测第一位置数据的第一传感器。第二数据捕捉设备包括记录从第二深度照相机到环境中的一个或多个对象的第二表面的第二距离数据的第二深度照相机、以及记录环境和其中的对象的第二图像数据的第二图像照相机、以及感测第二位置数据的第二传感器。该数据捕捉***还包括接收第一和第二距离数据、以及第一和第二图像数据及第一和第二位置数据并处理所述数据以创建环境和其中的对象的统一数据云的数据处理器。
在一个实施例中，第一和第二图像数据是灰度图像数据。在一个实施例中，第一和第二图像数据是颜色图像数据。在一个实施例中，从第一视点（POV）记录第一距离数据和第一图像数据，并且从第二POV记录第二距离数据和第二图像数据，并且数据处理器创建统一数据云，使得当数据被格式化并观看时，可从多个POV观看环境和其中的对象。
根据一个实施例，数据处理器确定第一和第二图像数据是否记录环境中的相同对象的图像数据并执行其中图像数据重叠的数据压缩。在一个实施例中，第一和第二传感器包括跟踪相对运动的运动传感器。在一个实施例中，第一和第二传感器每个包括多个运动传感器，并且对来自每个数据捕捉设备中的多个运动传感器的位置数据求平均，以提供位置数据的更高准确度。在一个实施例中，第一和第二传感器还感测各数据捕捉设备的定向。在一个实施例中，第一深度照相机和第二深度照相机分别地在不同的时间记录连续的第一和第二深度数据，使得***能够以比单独的第一或第二深度照相机的最大数据捕捉速率更高的数据捕捉速率来记录数据。在一个实施例中，第一数据捕捉设备还包括第三深度照相机，并且第二数据捕捉设备还包括第四深度照相机。在一个此类实施例中，第一深度照相机和第三深度照相机分别地在不同的时间记录连续的第一和第三深度数据，使得第一数据捕捉设备能够以比单独的第一或第三深度照相机的最大数据捕捉速率更高的数据捕捉速率来记录数据。
在另一实施例中，一种***包括通信接口，该通信接口从包括第一深度照相机的第一数据捕捉设备接收第一带时间索引深度数据，第一带时间索引深度数据包括在一段时间上的从第一深度照相机到对象的第一表面的一系列距离测量结果。该通信接口还从包括第二深度照相机的第二数据捕捉设备接收第二带时间索引深度数据，第二带时间索引深度数据包括在该时间段上的从第二深度照相机到对象的第二表面的一系列距离测量结果。该通信接口还在该时间段期间接收第一数据捕捉设备的第一位置和定向数据，第一位置和定向数据基于第一数据捕捉设备的第一定义中心和定向的所检测运动。该通信接口还在该时间段期间接收第二数据捕捉设备的第二位置和定向数据，第二位置和定向数据基于该数据捕捉设备的第二定义中心和定向的所检测运动。该***还包括数据处理器，该数据处理器计算指示第一数据捕捉设备和第二数据捕捉设备相互之间如何定位和定向的相对位置和定向数据，并基于第一位置和定向数据、第二位置和定向数据以及相对位置和定向数据使第一带时间索引深度数据和第二带时间索引深度数据与坐标系中的坐标相关联。该***还包括电子存储器，以存储包括具有关联坐标的第一带时间索引深度数据和第二带时间索引深度数据在内的带时间索引三维（3D）深度数据。
本发明的所示实施例的以上描述（包括在摘要中描述的内容）并不意图是穷举的或使本发明局限于公开的精确形式。虽然本文出于说明性目的描述了本发明的特定实施例以及示例，但是如本领域的技术人员将认识到的那样，在本发明的范围内可以有各种修改。
鉴于以上详细描述可以对本发明做出这些修改。不应将在以下权利要求中使用的术语理解成使本发明局限于在本说明书中公开的特定实施例。相反地，本发明的范围将完全由以下权利要求确定，其要根据权利要求解释的确立原则来理解。

Claims (24)

1.一种承载一个或多个指令序列的机器可读存储介质，所述一个或多个指令序列在被一个或多个处理器执行时促使所述一个或多个处理器执行收集环境和所述环境中的对象的深度和图像数据的方法，所述方法包括：
从包括第一深度照相机的第一数据捕捉设备接收第一带时间索引深度数据，第一带时间索引深度数据包括在一段时间上的从第一深度照相机到对象的第一表面的第一系列距离测量结果；
从包括第二深度照相机的第二数据捕捉设备接收第二带时间索引深度数据，第二带时间索引深度数据包括在所述时间段上的从第二深度照相机到对象的第二表面的第二系列距离测量结果；
在所述时间段期间接收第一数据捕捉设备的第一位置数据；
在所述时间段期间接收第二数据捕捉设备的第二位置数据；
接收指示第一数据捕捉设备和第二数据捕捉设备相对之间如何定位的相对位置数据；
基于第一位置数据、第二位置数据以及相对位置数据来使第一带时间索引深度数据和第二带时间索引深度数据与坐标系中的坐标相关联；以及
将包括具有所关联坐标的第一带时间索引深度数据和第二带时间索引深度数据在内的带时间索引三维（3D）深度数据存储到电子存储器。
2.根据权利要求1所述的机器可读存储介质，其中，所述一个或多个指令序列促使所述一个或多个处理器执行所述方法，所述方法还包括：
从对象的第一表面的第一数据捕捉设备接收第一颜色数据；
从对象的第二表面的第二数据捕捉设备接收第二颜色数据；
使第一和第二颜色数据与第一和第二带时间索引深度数据且与所述坐标系中的坐标相关联；
将具有所述带时间索引3D深度数据且具有所关联坐标的第一和第二颜色数据存储到所述电子存储器。
3.根据权利要求1所述的机器可读存储介质，其中，所述第一和第二带时间索引深度数据每个包括由多个深度照相机捕捉的在4π球面度内的到表面的距离测量结果。
4.根据权利要求1所述的机器可读存储介质，其中，所述第一和第二位置和定向数据每个包括来自多个加速计的平均运动数据。
5.根据权利要求1所述的机器可读存储介质，其中，所述相对位置数据包括来自第一GPS的指示第一数据捕捉设备的第一地理空间位置的第一地理空间数据、以及来自第二GPS的指示第二数据捕捉设备的第二地理空间位置的第二地理空间数据。
6.根据权利要求1所述的机器可读存储介质，其中，第一数据捕捉设备的所述相对位置数据基于第二数据捕捉设备的形状的识别。
7.根据权利要求1所述的机器可读存储介质，其中，所述一个或多个指令序列促使所述一个或多个处理器执行所述方法，所述方法还包括：
在所述时间段期间接收第一数据捕捉设备的第一定向数据，第一位置和定向数据基于第一数据捕捉设备的第一定义轨迹和定向的所检测运动；以及
在所述时间段期间接收第二数据捕捉设备的第二定向数据，第二位置和定向数据基于第二数据捕捉设备的第二定义轨迹和定向的所检测运动；
其中，使第一带时间索引深度数据和第二带时间索引深度数据与坐标系中的坐标相关联还基于第一和第二定向数据。
8.根据权利要求1所述的机器可读存储介质，其中，所述一个或多个指令序列促使所述一个或多个处理器执行所述方法，所述方法还包括：
识别第一和第二带时间索引深度数据的一部分中的空间重叠；
从第一和第二带时间索引深度数据中的一个丢弃所述重叠部分；以及
将来自第一和第二带时间索引深度数据中的另一个的具有所关联坐标的所述重叠部分存储到所述电子存储器。
9.一种装置，包括：
一个或多个深度照相机，其中，所述一个或多个深度照相机中的每一个捕捉带时间索引深度数据，所述带时间索引深度数据包括在一段时间上的到对象表面的一系列距离测量结果；
一个或多个数字图像传感器，其检测所述对象表面的图像数据；
一个或多个传感器，其在所述时间段上检测所述装置的定义轨迹的位置；
自定位模块，其从所述一个或多个传感器接收位置数据，并且生成包括在所述时间段上的坐标系中的一个或多个深度照相机的位置数据的地理空间数据；以及
通信接口，其将所述带时间索引深度数据、所述图像数据以及所述地理空间数据发送到计算设备，其中，所述计算设备从第二装置接收第二带时间索引深度数据、第二图像数据以及第二地理空间数据，并且生成包括第一和第二带时间索引深度数据和图像数据以及第一和第二地理空间数据在内的带时间索引三维（3D）深度数据。
10.根据权利要求9所述的装置，其中，
所述一个或多个深度照相机包括对所述带时间索引深度数据的每个帧捕捉4π球面度深度数据的多个深度照相机。
11.根据权利要求9所述的装置，其中，所述计算设备是相对于所述装置的远程设备。
12.根据权利要求9所述的装置，其中，所述装置包括所述计算设备，所述计算设备接收第一和第二带时间索引深度数据、第一和第二颜色数据、以及第一和第二地理空间数据，其被包括所述装置中，并且生成包括第一和第二带时间索引深度数据和颜色数据以及第一和第二地理空间数据在内的带时间索引三维（3D）深度数据。
13.根据权利要求9所述的装置，其中，检测位置的一个或多个传感器包括用以检测运动的多个加速计，并且其中，所述自定位模块从所述多个加速计接收运动数据，对来自所述多个加速计的运动数据求平均，并且基于平均运动数据生成所述地理空间数据。
14.根据权利要求13所述的装置，其中，所述一个或多个传感器还包括：
振动传感器，并且其中，所述多个加速计包括至少三个加速计。
15.一种用于随时间推移捕捉环境中的对象的深度和图像数据的数据捕捉***，包括：
第一数据捕捉设备，包括记录从第一深度照相机到环境中的一个或多个对象的第一表面的第一距离数据的第一深度照相机、以及记录所述环境和其中的所述对象的第一图像数据的第一图像照相机、以及感测第一位置数据的第一传感器；
第二数据捕捉设备，包括记录从第二深度照相机到环境中的一个或多个对象的第二表面的第二距离数据的第二深度照相机、以及记录所述环境和其中的所述对象的第二图像数据的第二图像照相机、以及感测第二位置数据的第二传感器；以及
数据处理器，其接收第一和第二距离数据、以及第一和第二图像数据及第一和第二位置数据，并且处理所述数据以创建所述环境和其中的对象的统一数据云。
16.根据权利要求15所述的数据捕捉***，其中，所述第一和第二图像数据是灰度图像数据。
17. 根据权利要求15所述的数据捕捉***，其中，所述第一和第二图像数据是颜色图像数据。
18. 根据权利要求15所述的数据捕捉***，其中，从第一视点（POV）记录第一距离数据和第一图像数据，并且从第二POV记录第二距离数据和第二图像数据，并且所述数据处理器创建所述统一数据云，使得当所述数据被格式化并观看时，可以从多个POV观看所述环境和其中的对象。
19.根据权利要求15所述的数据捕捉***，其中，所述数据处理器确定第一和第二图像数据是否记录所述环境中的相同对象的图像数据，并且执行其中图像数据重叠的数据压缩。
20.根据权利要求15所述的数据捕捉***，其中，所述第一和第二传感器包括跟踪相对运动的运动传感器。
21.根据权利要求20所述的数据捕捉***，其中，所述第一和第二传感器每个包括多个运动传感器，并且对来自每个数据捕捉设备中的所述多个运动传感器的位置数据求平均，以提供位置数据的更高准确度。
22.根据权利要求15所述的数据捕捉***，其中，第一和第二传感器还感测各数据捕捉设备的定向。
23.根据权利要求15所述的数据捕捉***，其中，第一深度照相机和第二深度照相机分别地在不同的时间记录连续的第一和第二深度数据，使得所述***能够以比单独的第一或第二深度照相机的最大数据捕捉速率更高的数据捕捉速率来记录数据。
24.根据权利要求15所述的数据捕捉***，其中，第一数据捕捉设备还包括第三深度照相机，并且其中，第一深度照相机和第三深度照相机分别地在不同的时间记录连续的第一和第三深度数据，使得第一数据捕捉设备能够以比单独的第一或第三深度照相机的最大数据捕捉速率更高的数据捕捉速率来记录数据。
CN201380058430.2A 2012-09-10 2013-09-10 捕捉运动场景的设备、装置和*** Active CN104904200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810153748.3A CN108345006B (zh) 2012-09-10 2013-09-10 捕捉运动场景的设备、装置和***

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261699223P 2012-09-10 2012-09-10
US61/699223 2012-09-10
PCT/US2013/059089 WO2014040081A1 (en) 2012-09-10 2013-09-10 Multi-dimensional data capture of an environment using plural devices

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810153748.3A Division CN108345006B (zh) 2012-09-10 2013-09-10 捕捉运动场景的设备、装置和***

Publications (2)

Publication Number Publication Date
CN104904200A true CN104904200A (zh) 2015-09-09
CN104904200B CN104904200B (zh) 2018-05-15

Family

ID=50232879

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810153748.3A Active CN108345006B (zh) 2012-09-10 2013-09-10 捕捉运动场景的设备、装置和***
CN201380058430.2A Active CN104904200B (zh) 2012-09-10 2013-09-10 捕捉运动场景的设备、装置和***

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810153748.3A Active CN108345006B (zh) 2012-09-10 2013-09-10 捕捉运动场景的设备、装置和***

Country Status (9)

Country Link
US (5) US9161019B2 (zh)
EP (2) EP2893702A4 (zh)
JP (1) JP6235022B2 (zh)
KR (3) KR102377634B1 (zh)
CN (2) CN108345006B (zh)
AU (2) AU2013312127B2 (zh)
CA (1) CA2884771C (zh)
IN (1) IN2015DN02915A (zh)
WO (1) WO2014040081A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105080166A (zh) * 2015-09-10 2015-11-25 中国特种设备检测研究院 舞台机械设备的同步性检测***
CN105824430A (zh) * 2016-06-07 2016-08-03 北京行云时空科技有限公司 三维信息交互方法及可穿戴设备
CN106872011A (zh) * 2015-12-10 2017-06-20 空中客车防卫和太空有限责任公司 用于高速视频振动分析的模块化设备
CN107305561A (zh) * 2016-04-21 2017-10-31 斑马网络技术有限公司 图像的处理方法、装置、设备及用户界面***
CN109005316A (zh) * 2017-06-06 2018-12-14 光宝科技股份有限公司 影像感测模块
CN110118959A (zh) * 2018-02-06 2019-08-13 西克股份公司 检测监测区域中的对象的光电传感器和方法
CN113330444A (zh) * 2018-11-06 2021-08-31 罗夫科有限公司 用于视频对象检测的计算设备和方法
CN113847841A (zh) * 2021-11-29 2021-12-28 南京润景丰创信息技术有限公司 一种激光对抗训练机器人靶标***及其控制方法

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE46672E1 (en) 2006-07-13 2018-01-16 Velodyne Lidar, Inc. High definition LiDAR system
US9481301B2 (en) * 2012-12-05 2016-11-01 Magna Electronics Inc. Vehicle vision system utilizing camera synchronization
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
US9451162B2 (en) 2013-08-21 2016-09-20 Jaunt Inc. Camera array including camera modules
US11019258B2 (en) 2013-08-21 2021-05-25 Verizon Patent And Licensing Inc. Aggregating images and audio data to generate content
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) * 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9417911B2 (en) 2014-03-12 2016-08-16 Live Planet Llc Systems and methods for scalable asynchronous computing framework
US9911454B2 (en) 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US10419703B2 (en) 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
US10368011B2 (en) 2014-07-25 2019-07-30 Jaunt Inc. Camera array removing lens distortion
US11108971B2 (en) 2014-07-25 2021-08-31 Verzon Patent and Licensing Ine. Camera array removing lens distortion
US10186301B1 (en) 2014-07-28 2019-01-22 Jaunt Inc. Camera array including camera modules
US9363569B1 (en) 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
US10440398B2 (en) 2014-07-28 2019-10-08 Jaunt, Inc. Probabilistic model to compress images for three-dimensional video
US9774887B1 (en) 2016-09-19 2017-09-26 Jaunt Inc. Behavioral directional encoding of three-dimensional video
US10701426B1 (en) 2014-07-28 2020-06-30 Verizon Patent And Licensing Inc. Virtual reality system including social graph
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
USD768024S1 (en) 2014-09-22 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Necklace with a built in guidance device
US10163255B2 (en) * 2015-01-07 2018-12-25 Geopogo, Inc. Three-dimensional geospatial visualization
US9576460B2 (en) 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
US9678199B2 (en) 2015-01-30 2017-06-13 Qualcomm Incorporated Propulsion device lidar system and method
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
US10012723B2 (en) * 2015-03-31 2018-07-03 Amazon Technologies, Inc. Modular LIDAR system
US9992412B1 (en) * 2015-04-15 2018-06-05 Amazon Technologies, Inc. Camera device with verged cameras
US11328446B2 (en) * 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10048058B2 (en) * 2015-07-29 2018-08-14 Microsoft Technology Licensing, Llc Data capture system for texture and geometry acquisition
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
US10397546B2 (en) 2015-09-30 2019-08-27 Microsoft Technology Licensing, Llc Range imaging
CN106612387B (zh) * 2015-10-15 2019-05-21 杭州海康威视数字技术股份有限公司 一种组合深度图获得方法及深度相机
US10021363B2 (en) * 2015-10-16 2018-07-10 Novatek Microelectronics Corp. Method and apparatus for processing source image to generate target image
CA2948761A1 (en) * 2015-11-23 2017-05-23 Wal-Mart Stores, Inc. Virtual training system
US10539661B2 (en) 2015-11-25 2020-01-21 Velodyne Lidar, Inc. Three dimensional LIDAR system with targeted field of view
US10523923B2 (en) 2015-12-28 2019-12-31 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
WO2018200685A2 (en) 2017-04-27 2018-11-01 Ecosense Lighting Inc. Methods and systems for an automated design, fulfillment, deployment and operation platform for lighting installations
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
EP3408684A4 (en) 2016-01-31 2019-10-02 Velodyne LiDAR, Inc. LIDAR-BASED 3-D IMAGERY WITH FAR-FIELD FIELD LIGHTING OVERLAPPING
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
WO2018071416A1 (en) * 2016-10-11 2018-04-19 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
EP3427008B1 (en) 2016-03-11 2022-09-07 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US11573325B2 (en) 2016-03-11 2023-02-07 Kaarta, Inc. Systems and methods for improvements in scanning and mapping
US11567201B2 (en) * 2016-03-11 2023-01-31 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
US10989542B2 (en) 2016-03-11 2021-04-27 Kaarta, Inc. Aligning measured signal data with slam localization data and uses thereof
US10462452B2 (en) 2016-03-16 2019-10-29 Microsoft Technology Licensing, Llc Synchronizing active illumination cameras
CA3017735C (en) 2016-03-19 2023-03-14 Velodyne Lidar, Inc. Integrated illumination and detection for lidar based 3-d imaging
EP3236286B1 (en) 2016-04-18 2023-01-25 Otis Elevator Company Auto commissioning system and method
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
CA3024510C (en) 2016-06-01 2022-10-04 Velodyne Lidar, Inc. Multiple pixel scanning lidar
US10362231B2 (en) * 2016-07-01 2019-07-23 Intel Corporation Head down warning system
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
IT201600093191A1 (it) * 2016-09-15 2018-03-15 Digital Lighthouse S R L Apparato e procedimento per l’acquisizione e la riproduzione digitale tridimensionale di un ambiente.
US11032535B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview of a three-dimensional video
US10681341B2 (en) 2016-09-19 2020-06-09 Verizon Patent And Licensing Inc. Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
US11032536B2 (en) 2016-09-19 2021-06-08 Verizon Patent And Licensing Inc. Generating a three-dimensional preview from a two-dimensional selectable icon of a three-dimensional reality video
EP3306344A1 (en) * 2016-10-07 2018-04-11 Leica Geosystems AG Flying sensor
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
USD823920S1 (en) 2016-11-23 2018-07-24 Kaarta, Inc. Simultaneous localization and mapping (SLAM) device
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
CA3057988A1 (en) 2017-03-31 2018-10-04 Velodyne Lidar, Inc. Integrated lidar illumination power control
WO2018191442A1 (en) 2017-04-11 2018-10-18 Agerpoint, Inc. Forestry management tool for assessing risk of catastrophic tree failure due to weather events
JP6870456B2 (ja) * 2017-04-25 2021-05-12 凸版印刷株式会社 レーザ走査装置
WO2018196000A1 (en) * 2017-04-28 2018-11-01 SZ DJI Technology Co., Ltd. Methods and associated systems for grid analysis
CN110809704B (zh) 2017-05-08 2022-11-01 威力登激光雷达美国有限公司 Lidar数据获取与控制
US10009640B1 (en) * 2017-05-31 2018-06-26 Verizon Patent And Licensing Inc. Methods and systems for using 2D captured imagery of a scene to provide virtual reality content
US10346994B2 (en) * 2017-07-29 2019-07-09 Verizon Patent And Licensing Inc. Systems and methods for inward-looking depth scanning of a real-world scene
EP3441789B1 (en) * 2017-08-07 2020-10-21 Vestel Elektronik Sanayi ve Ticaret A.S. System and method for processing data and a user device for pre-processing data
WO2019099605A1 (en) 2017-11-17 2019-05-23 Kaarta, Inc. Methods and systems for geo-referencing mapping systems
US11294041B2 (en) 2017-12-08 2022-04-05 Velodyne Lidar Usa, Inc. Systems and methods for improving detection of a return signal in a light ranging and detection system
WO2019165194A1 (en) 2018-02-23 2019-08-29 Kaarta, Inc. Methods and systems for processing and colorizing point clouds and meshes
WO2019195270A1 (en) 2018-04-03 2019-10-10 Kaarta, Inc. Methods and systems for real or near real-time point cloud map data confidence evaluation
US10832427B1 (en) * 2018-05-07 2020-11-10 Apple Inc. Scene camera retargeting
US11017585B1 (en) * 2018-06-11 2021-05-25 Facebook, Inc. Systems and methods for capturing image data for recreation in a virtual environment
WO2020004162A1 (ja) * 2018-06-27 2020-01-02 キヤノン株式会社 撮像システム、配置決定装置、配置決定方法およびプログラム
WO2020009826A1 (en) 2018-07-05 2020-01-09 Kaarta, Inc. Methods and systems for auto-leveling of point clouds and 3d models
US12039734B2 (en) * 2018-08-21 2024-07-16 Streem, Llc. Object recognition enhancement using depth data
US11971507B2 (en) 2018-08-24 2024-04-30 Velodyne Lidar Usa, Inc. Systems and methods for mitigating optical crosstalk in a light ranging and detection system
US10712434B2 (en) 2018-09-18 2020-07-14 Velodyne Lidar, Inc. Multi-channel LIDAR illumination driver
US11082010B2 (en) 2018-11-06 2021-08-03 Velodyne Lidar Usa, Inc. Systems and methods for TIA base current detection and compensation
WO2020097796A1 (en) 2018-11-13 2020-05-22 Beijing Didi Infinity Technology And Development Co., Ltd. Methods and systems for color point cloud generation
US10694167B1 (en) 2018-12-12 2020-06-23 Verizon Patent And Licensing Inc. Camera array including camera modules
CN109697422B (zh) * 2018-12-19 2020-12-04 深圳市瑞立视多媒体科技有限公司 光学动作捕捉方法及光学动作捕捉相机
US11885958B2 (en) 2019-01-07 2024-01-30 Velodyne Lidar Usa, Inc. Systems and methods for a dual axis resonant scanning mirror
US11728621B2 (en) 2019-06-05 2023-08-15 Stmicroelectronics (Research & Development) Limited Voltage controlled steered VCSEL driver
US11579290B2 (en) 2019-06-05 2023-02-14 Stmicroelectronics (Research & Development) Limited LIDAR system utilizing multiple networked LIDAR integrated circuits
US11200689B1 (en) * 2019-06-21 2021-12-14 Amazon Technologies, Inc. Detailed 3D estimation from a single image
EP3987489A4 (en) * 2019-06-24 2023-06-28 Touchmagix Media Pvt. Ltd. Interactive reality activity augmentation
US20220244056A1 (en) * 2019-06-26 2022-08-04 Google Llc Worldwide Coordinate Frame Defined by Data Set Correspondences
US10613203B1 (en) 2019-07-01 2020-04-07 Velodyne Lidar, Inc. Interference mitigation for light detection and ranging
US20210156881A1 (en) * 2019-11-26 2021-05-27 Faro Technologies, Inc. Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking
US11064096B2 (en) * 2019-12-13 2021-07-13 Sony Corporation Filtering and smoothing sources in camera tracking
EP4094433A4 (en) 2020-01-22 2024-02-21 Nodar Inc. NON-RIGID STEREOSCOPIC VISION CAMERA SYSTEM
US11427193B2 (en) 2020-01-22 2022-08-30 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
US11348320B2 (en) 2020-04-02 2022-05-31 Samsung Electronics Company, Ltd. Object identification utilizing paired electronic devices
DE102020206817A1 (de) 2020-05-29 2021-12-02 Robert Bosch Gesellschaft mit beschränkter Haftung LiDAR-System
CN112435312B (zh) * 2020-09-04 2023-04-11 上海哔哩哔哩科技有限公司 运动轨迹的生成方法、装置、计算机设备和可读存储介质
US11968639B2 (en) 2020-11-11 2024-04-23 Magna Electronics Inc. Vehicular control system with synchronized communication between control units
US20220207759A1 (en) * 2020-12-29 2022-06-30 Faro Technologies, Inc. Automatic registration of multiple measurement devices
US11605173B2 (en) * 2020-12-29 2023-03-14 Waymo Llc Three-dimensional point cloud labeling using distance field data
US11577748B1 (en) 2021-10-08 2023-02-14 Nodar Inc. Real-time perception system for small objects at long range for autonomous vehicles
US11782145B1 (en) 2022-06-14 2023-10-10 Nodar Inc. 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030137449A1 (en) * 2002-01-22 2003-07-24 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
CN101136193A (zh) * 2006-08-31 2008-03-05 安华高科技杰纳勒尔Ip（新加坡）私人有限公司 用于远场图像绝对导航感测的方法和***
CN101253538A (zh) * 2005-07-01 2008-08-27 索尼电影娱乐公司 移动式动作捕捉相机
US20110115886A1 (en) * 2009-11-18 2011-05-19 The Board Of Trustees Of The University Of Illinois System for executing 3d propagation for depth image-based rendering
US20110231094A1 (en) * 2008-12-05 2011-09-22 Thales Method for geolocating an object by multitelemetry

Family Cites Families (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6445884B1 (en) * 1995-06-22 2002-09-03 3Dv Systems, Ltd. Camera with through-the-lens lighting
US5988862A (en) 1996-04-24 1999-11-23 Cyra Technologies, Inc. Integrated system for quickly and accurately imaging and modeling three dimensional objects
JPH10143659A (ja) 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JP3833786B2 (ja) * 1997-08-04 2006-10-18 富士重工業株式会社 移動体の３次元自己位置認識装置
US6407735B2 (en) 1997-11-13 2002-06-18 Crump Group Inc. Method for generating surface representations of objects from layered data
US20030151554A1 (en) * 1998-02-20 2003-08-14 Robert McCarthy System, method, and product for automated workout assessment of athletic physical training
JP2000078614A (ja) * 1998-09-02 2000-03-14 Sony Corp 画像記録装置
AU2001251755A1 (en) 2000-04-14 2001-10-30 Mayim Llc Web browser plug-in providing 3d visualization
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
JP2002209208A (ja) 2001-01-11 2002-07-26 Mixed Reality Systems Laboratory Inc 画像処理装置及びその方法並びに記憶媒体
WO2002065761A2 (en) * 2001-02-12 2002-08-22 Carnegie Mellon University System and method for stabilizing rotational images
US7248257B2 (en) 2001-02-14 2007-07-24 Technion Research & Development Foundation Ltd. Low bandwidth transmission of 3D graphical data
CA2373707A1 (en) 2001-02-28 2002-08-28 Paul Besl Method and system for processing, compressing, streaming and interactive rendering of 3d color image data
FR2823330B1 (fr) * 2001-04-10 2004-08-20 Gemplus Card Int Procede et systeme de gestion de donnees destinees a etre stockees dans une memoire, par exemple du code d'une application charge dans une carte a puce programmable
DE10149115A1 (de) * 2001-10-05 2003-04-17 Bosch Gmbh Robert Objekterfassungsvorrichtung
GB0209080D0 (en) 2002-04-20 2002-05-29 Virtual Mirrors Ltd Methods of generating body models from scanned data
US20040183915A1 (en) * 2002-08-28 2004-09-23 Yukita Gotohda Method, device, and program for controlling imaging device
DE20320216U1 (de) 2003-12-29 2004-03-18 Iqsun Gmbh Laserscanner
US7155336B2 (en) * 2004-03-24 2006-12-26 A9.Com, Inc. System and method for automatically collecting images of objects at geographic locations and displaying same in online directories
US8730322B2 (en) * 2004-07-30 2014-05-20 Eyesee360, Inc. Telepresence using panoramic imaging and directional sound and motion
US7860301B2 (en) 2005-02-11 2010-12-28 Macdonald Dettwiler And Associates Inc. 3D imaging system
US20080246759A1 (en) 2005-02-23 2008-10-09 Craig Summers Automatic Scene Modeling for the 3D Camera and 3D Video
US7903737B2 (en) * 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
US8537111B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
JP4878218B2 (ja) * 2006-06-02 2012-02-15 キヤノン株式会社 通信機能を備えた撮像装置、その制御方法、及びプログラム
US20080143875A1 (en) * 2006-08-17 2008-06-19 Scott Stacey L Method and system for synchronous video capture and output
KR100931311B1 (ko) * 2006-12-04 2009-12-11 한국전자통신연구원 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
DE102006060108A1 (de) 2006-12-20 2008-06-26 Sick Ag Laserscanner
KR20090055803A (ko) * 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US8744155B2 (en) * 2008-02-16 2014-06-03 University Of Virginia Patent Foundation Imaging or communications system utilizing multisample apodization and method
KR20090090983A (ko) * 2008-02-22 2009-08-26 이병국 복수의 카메라 영상을 이용한 공간좌표 추출방법
US7821619B2 (en) 2008-03-19 2010-10-26 Raytheon Company Rapid scan LADAR 3D imaging with compact digital beam formation
US20090280824A1 (en) * 2008-05-07 2009-11-12 Nokia Corporation Geo-tagging objects with wireless positioning information
US7961301B2 (en) 2008-05-09 2011-06-14 Ball Aerospace & Technologies Corp. Flash LADAR system
US9041915B2 (en) * 2008-05-09 2015-05-26 Ball Aerospace & Technologies Corp. Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR
US8164655B2 (en) 2008-05-19 2012-04-24 Spatial Cam Llc Systems and methods for concurrently playing multiple images from a storage medium
US8169434B2 (en) 2008-09-29 2012-05-01 Microsoft Corporation Octree construction on graphics processing units
US8416282B2 (en) 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
US8334893B2 (en) * 2008-11-07 2012-12-18 Honeywell International Inc. Method and apparatus for combining range information with an optical image
WO2010075726A1 (zh) * 2008-12-30 2010-07-08 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
US8179393B2 (en) 2009-02-13 2012-05-15 Harris Corporation Fusion of a 2D electro-optical image and 3D point cloud data for scene interpretation and registration performance assessment
JP4770942B2 (ja) 2009-02-19 2011-09-14 株式会社デンソー 車外映像表示システムおよび車両
DE102009015921A1 (de) 2009-03-25 2010-09-30 Faro Technologies, Inc., Lake Mary Verfahren zum optischen Abtasten und Vermessen einer Umgebung
JP5487298B2 (ja) 2009-06-11 2014-05-07 株式会社東芝 ３次元画像生成
JP4851564B2 (ja) * 2009-06-15 2012-01-11 日本電信電話株式会社 映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体
US9083956B2 (en) * 2009-09-28 2015-07-14 Samsung Electronics Co., Ltd. System and method for creating 3D video
US20110141224A1 (en) 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Using Lo-Res Images
JP2011159163A (ja) 2010-02-02 2011-08-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
US8458188B2 (en) 2010-02-17 2013-06-04 Lockheed Martin Corporation Voxel approach to terrain repositories for modeling and simulation
US8494687B2 (en) * 2010-03-12 2013-07-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Method for enhancing a three dimensional image from a plurality of frames of flash LIDAR data
KR20110124473A (ko) * 2010-05-11 2011-11-17 삼성전자주식회사 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
US9400503B2 (en) * 2010-05-20 2016-07-26 Irobot Corporation Mobile human interface robot
KR101665567B1 (ko) 2010-05-20 2016-10-12 삼성전자주식회사 3차원 뎁스 영상 시간 보간 방법 및 장치
US8602887B2 (en) * 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
US8811948B2 (en) 2010-07-09 2014-08-19 Microsoft Corporation Above-lock camera access
CN102340681A (zh) * 2010-07-26 2012-02-01 深圳市锐取软件技术有限公司 3d立体视频单文件双视频流录制方法
KR20120011653A (ko) * 2010-07-29 2012-02-08 삼성전자주식회사 영상 처리 장치 및 방법
JP2012039331A (ja) * 2010-08-06 2012-02-23 Dainippon Printing Co Ltd 視差画像作成装置、視差画像作成方法、プログラム及び記憶媒体
JP2012054862A (ja) * 2010-09-03 2012-03-15 Sony Corp 画像処理装置および画像処理方法
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
KR101758058B1 (ko) * 2011-01-20 2017-07-17 삼성전자주식회사 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US20120194642A1 (en) * 2011-02-01 2012-08-02 Wen-Nung Lie Motion picture depth information processing system and method
JP2012191486A (ja) * 2011-03-11 2012-10-04 Sony Corp 画像合成装置と画像合成方法およびプログラム
EP3654146A1 (en) 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
CN102622591B (zh) * 2012-01-12 2013-09-25 北京理工大学 3d人体姿态捕捉模仿***
TWI584222B (zh) * 2012-02-17 2017-05-21 鈺立微電子股份有限公司 立體影像處理器、立體影像互動系統、與相關立體影像顯示方法
US8855404B2 (en) * 2012-08-27 2014-10-07 The Boeing Company Methods and systems for inspecting a workpiece

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030137449A1 (en) * 2002-01-22 2003-07-24 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
CN101253538A (zh) * 2005-07-01 2008-08-27 索尼电影娱乐公司 移动式动作捕捉相机
CN101136193A (zh) * 2006-08-31 2008-03-05 安华高科技杰纳勒尔Ip（新加坡）私人有限公司 用于远场图像绝对导航感测的方法和***
US20110231094A1 (en) * 2008-12-05 2011-09-22 Thales Method for geolocating an object by multitelemetry
US20110115886A1 (en) * 2009-11-18 2011-05-19 The Board Of Trustees Of The University Of Illinois System for executing 3d propagation for depth image-based rendering

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105080166B (zh) * 2015-09-10 2017-06-06 中国特种设备检测研究院 舞台机械设备的同步性检测***
CN105080166A (zh) * 2015-09-10 2015-11-25 中国特种设备检测研究院 舞台机械设备的同步性检测***
CN106872011B (zh) * 2015-12-10 2019-08-30 空中客车防卫和太空有限责任公司 用于高速视频振动分析的模块化设备
CN106872011A (zh) * 2015-12-10 2017-06-20 空中客车防卫和太空有限责任公司 用于高速视频振动分析的模块化设备
CN107305561A (zh) * 2016-04-21 2017-10-31 斑马网络技术有限公司 图像的处理方法、装置、设备及用户界面***
CN107305561B (zh) * 2016-04-21 2021-02-02 斑马网络技术有限公司 图像的处理方法、装置、设备及用户界面***
CN105824430A (zh) * 2016-06-07 2016-08-03 北京行云时空科技有限公司 三维信息交互方法及可穿戴设备
CN109005316B (zh) * 2017-06-06 2021-03-23 光宝科技股份有限公司 影像感测模块
CN109005316A (zh) * 2017-06-06 2018-12-14 光宝科技股份有限公司 影像感测模块
CN110118959A (zh) * 2018-02-06 2019-08-13 西克股份公司 检测监测区域中的对象的光电传感器和方法
US11480707B2 (en) 2018-02-06 2022-10-25 Sick Ag Optoelectronic sensor and method of detecting objects in a monitoring zone
CN113330444A (zh) * 2018-11-06 2021-08-31 罗夫科有限公司 用于视频对象检测的计算设备和方法
CN113847841A (zh) * 2021-11-29 2021-12-28 南京润景丰创信息技术有限公司 一种激光对抗训练机器人靶标***及其控制方法

Also Published As

Publication number Publication date
CA2884771A1 (en) 2014-03-13
KR20210047969A (ko) 2021-04-30
KR20220039842A (ko) 2022-03-29
US20190222826A1 (en) 2019-07-18
US11979547B2 (en) 2024-05-07
US11490069B2 (en) 2022-11-01
AU2013312127A1 (en) 2015-04-30
JP6235022B2 (ja) 2017-11-22
US20210136346A1 (en) 2021-05-06
US9161019B2 (en) 2015-10-13
EP2893702A4 (en) 2016-06-08
US10893257B2 (en) 2021-01-12
KR20150086469A (ko) 2015-07-28
EP2893702A1 (en) 2015-07-15
AU2013312127B2 (en) 2017-09-28
US20230058599A1 (en) 2023-02-23
KR102515213B1 (ko) 2023-03-29
WO2014040081A1 (en) 2014-03-13
KR102245648B1 (ko) 2021-04-29
CN108345006A (zh) 2018-07-31
EP4221187A2 (en) 2023-08-02
AU2017228625A1 (en) 2017-10-05
CA2884771C (en) 2021-06-29
AU2017228625B2 (en) 2019-06-20
KR102377634B1 (ko) 2022-03-22
EP4221187A3 (en) 2023-08-09
US20140071234A1 (en) 2014-03-13
CN108345006B (zh) 2022-04-08
CN104904200B (zh) 2018-05-15
IN2015DN02915A (zh) 2015-09-18
US10244228B2 (en) 2019-03-26
JP2015535400A (ja) 2015-12-10
US20160234476A1 (en) 2016-08-11

Similar Documents

Publication Publication Date Title
CN104904200B (zh) 捕捉运动场景的设备、装置和***
US10535116B2 (en) Shared virtual reality
US10767975B2 (en) Data capture system for texture and geometry acquisition
JP2022508135A (ja) 測量システム、測量方法、装置及びデバイス
CN112544097A (zh) 用于执行三维无线电模型构建的方法、装置和计算机程序
CN107084710A (zh) 相机模块和测量子***
CN109883418A (zh) 一种室内定位方法及装置
CN114185073A (zh) 一种位姿显示方法、装置及***
Sambolek et al. Determining the Geolocation of a Person Detected in an Image Taken with a Drone

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant