CN114830030A - 捕获并生成全景三维图像的***和方法 - Google Patents

Abstract

一种设备，包括壳体、安装件、广角透镜、图像捕获器件和LiDAR器件，所述安装件被配置为耦合到马达以水平移动所述设备，所述广角透镜耦合到所述壳体，所述广角透镜定位在所述安装件上方从而沿着旋转轴线，所述旋转轴线是所述设备沿着其旋转的轴线，所述图像捕获器件在所述壳体内，所述图像捕获器件被配置为接收环境的通过所述广角透镜的二维图像，所述LiDAR器件在所述壳体内，所述LiDAR器件被配置为基于所述环境生成深度数据。

Description

捕获并生成全景三维图像的***和方法

技术领域

本发明的实施例总体涉及捕获并拼接在物理环境中的场景的全景图像。

背景技术

提供物理世界的三维(3D)全景图像的普及已经产生了具有捕获多个二维(2D)图像并基于所捕获的2D图像产生3D图像的能力的许多解决方案。存在能够捕获多个2D图像并将它们拼接成全景图像的硬件解决方案和软件应用(或“app”)。

存在用于从建筑物捕获并生成3D数据的技术。然而，现有技术通常不能捕获并生成亮光情况下区域的3D渲染图。阳光照射通过的窗户或亮光情况下的地板或墙壁的区域通常在3D渲染图中表现为孔，这可能需要额外的后期制作工作来填充。这增加了3D渲染图的周转时间和真实性。此外，室外环境还为许多现有3D捕获器件提供了挑战，因为结构光可能不用于捕获3D图像。

用于捕获并生成3D数据的现有技术的其他限制包括捕获和处理产生3D全景图像所需的数字图像所需的时间量。

发明内容

一种示例设备，包括壳体、安装件、广角透镜、图像捕获器件和LiDAR器件，所述安装件被配置为耦合到马达以水平移动所述设备，所述广角透镜耦合到所述壳体，所述广角透镜定位在所述安装件上方从而沿着旋转轴线，所述旋转轴线是所述设备在耦合到所述马达时沿着其旋转的轴线，所述图像捕获器件在所述壳体内，所述图像捕获器件被配置为接收环境的通过所述广角透镜的二维图像，所述LiDAR器件在所述壳体内，所述LiDAR器件被配置为基于所述环境生成深度数据。

一种图像捕获器件可以包括壳体、第一马达、广角透镜、图像传感器、安装件、LiDAR、第二马达和反射镜。所述壳体可以具有前侧和后侧。所述第一马达可以在所述壳体的所述前侧与所述后侧之间的第一位置处耦合到所述壳体，所述第一马达被配置为使所述图像捕获器件围绕竖直轴线水平地转动基本上270度。所述广角透镜可以沿着所述竖直轴线在所述壳体的所述前侧与所述后侧之间的第二位置处耦合到所述壳体，所述第二位置是无视差点，所述广角透镜具有远离所述壳体的所述前侧的视场。所述图像传感器可以耦合到所述壳体并且被配置为从由所述广角透镜接收的光生成图像信号。所述安装件可以耦合到所述第一马达。所述LiDAR可以在第三位置处耦合到所述壳体，所述LiDAR被配置为生成激光脉冲并生成深度信号。所述第二马达可以耦合到所述壳体。所述反射镜可以耦合到所述第二马达，所述第二马达可以被配置为使所述反射镜围绕水平轴线旋转，所述反射镜包括被配置为接收来自所述LiDAR的所述激光脉冲并围绕所述水平轴线引导所述激光脉冲的成角度表面。

在一些实施例中，所述图像传感器被配置为当所述图像捕获器件静止并且指向第一方向时以不同曝光生成第一多个图像。所述第一马达可以被配置为在生成所述第一多个图像之后使所述图像捕获器件围绕所述竖直轴线转动。在各种实施例中，当所述第一马达转动所述图像捕获器件时，所述图像传感器不生成图像，并且其中当所述第一马达转动所述图像捕获器件时，所述LiDAR基于所述激光脉冲生成深度信号。所述图像传感器可以被配置为当所述图像捕获器件静止并且指向第二方向时以所述不同曝光生成第二多个图像，并且所述第一马达被配置为在生成所述第二多个图像之后使所述图像捕获器件围绕所述竖直轴线转动90度。所述图像传感器可以被配置为当所述图像捕获器件静止并且指向第三方向时以所述不同曝光生成第三多个图像，并且所述第一马达被配置为在生成所述第三多个图像之后使所述图像捕获器件围绕所述竖直轴线转动90度。所述图像传感器可以被配置为当所述图像捕获器件静止并且指向第四方向时以所述不同曝光生成第四多个图像，并且所述第一马达被配置为在生成所述第四多个图像之后使所述图像捕获器件围绕所述竖直轴线转动90度。

在一些实施例中，所述***还可以包括处理器，所述处理器被配置成在所述图像传感器生成所述第二多个图像之前混合所述第一多个图像的帧。远程数字器件可以与所述图像捕获器件通信，并且被配置为基于所述第一、第二、第三和第四多个图像以及所述深度信号来生成3D可视化，所述远程数字器件被配置为使用不多于所述第一、第二、第三和第四多个图像的图像来生成所述3D可视化。在一些实施例中，所述第一、第二、第三和第四多个图像在转动之间生成，所述转动组合了使所述图像捕获器件围绕所述竖直轴线转动270度的转动。所述反射镜围绕所述水平轴线的速度或旋转随着所述第一马达转动所述图像捕获器件而增加。所述反射镜的所述成角度表面可以为90度。在一些实施例中，所述LiDAR在与所述壳体的所述前侧相对的方向上发射所述激光脉冲。

一种示例方法包括从图像捕获器件的广角透镜接收光，所述广角透镜耦合到所述图像捕获器件的壳体，所述光在所述广角透镜的视场处被接收，所述视场远离所述壳体的前侧延伸，由图像捕获器件的图像传感器使用来自所述广角透镜的所述光生成第一多个图像，所述图像传感器耦合到所述壳体，所述第一多个图像处于不同曝光，通过第一马达使所述图像捕获器件围绕竖直轴线水平转动基本上270度，所述第一马达在所述壳体的所述前侧与后侧之间的第一位置中耦合到所述壳体，所述广角透镜在沿着所述竖直轴线的第二位置处，所述第二位置是无视差点，通过第二马达使具有成角度表面的反射镜围绕水平轴线旋转，所述第二马达耦合到所述壳体，由LiDAR生成激光脉冲，所述LiDAR在第三位置处耦合到所述壳体，所述激光脉冲在所述图像捕获器件水平转动时被引导到所述旋转反射镜，以及由所述LiDAR基于所述激光脉冲生成深度信号。

由所述图像传感器生成所述第一多个图像可以发生在所述图像捕获器件水平转动之前。在一些实施例中，当所述第一马达转动所述图像捕获器件时，所述图像传感器不生成图像，并且其中当所述第一马达转动所述图像捕获器件时，所述LiDAR基于所述激光脉冲生成所述深度信号。

所述方法还可以包括当所述图像捕获器件静止并且指向第二方向时，由所述图像传感器以所述不同曝光生成第二多个图像，并且在生成所述第二多个图像之后，通过所述第一马达使所述图像捕获器件围绕所述竖直轴线转动90度。

在一些实施例中，所述方法还可以包括当所述图像捕获器件静止并且指向第三方向时，由所述图像传感器以所述不同曝光生成第三多个图像，并且在生成所述第三多个图像之后，通过所述第一马达使所述图像捕获器件围绕所述竖直轴线转动90度。所述方法还可以包括当所述图像捕获器件静止并且指向第四方向时，由所述图像传感器以所述不同曝光生成第四多个图像。所述方法可以包括使用所述第一、第二、第三和第四多个图像并且基于所述深度信号来生成3D可视化，所述生成所述3D可视化不使用任何其他图像。

在一些实施例中，所述方法还可以包括在所述图像传感器生成所述第二多个图像之前混合所述第一多个图像的帧。所述第一、第二、第三和第四多个图像可以在转动之间生成，所述转动组合了使所述图像捕获器件围绕所述竖直轴线转动270度的转动。在一些实施例中，所述反射镜围绕所述水平轴线的速度或旋转随着所述第一马达转动所述图像捕获器件而增加。

附图说明

图1a描绘了根据一些实施例的示例环境(诸如房屋)的玩具屋视图。

图1b描绘了根据一些实施例的房屋的第一楼层的平面图视图。

图2描绘了起居室的示例眼睛水平视图，其可以是虚拟漫游的一部分。

图3描绘了根据一些实施例的环境捕获***的一个示例。

图4描绘了在一些实施例中的环境捕获***的透视图。

图5是在一些实施例中的在环境捕获***周围的来自LiDAR的激光脉冲的描绘。

图6A描绘了环境捕获***的侧视图。

图6B描绘了在一些实施例中从环境捕获***上方的视图。

图7描绘了根据一些实施例的环境捕获***的一个示例的部件的透视图。

图8A描绘了一些实施例中的示例透镜尺寸。

图8B描绘了一些实施例中的示例透镜设计规格。

图9A描绘了根据一些实施例的环境捕获***的示例的框图。

图9B描绘了根据一些实施例的环境捕获***的示例SOM PCBA的框图。

图10a-10c描绘了在一些实施例中用于拍摄图像的环境捕获***的过程。

图11描绘了根据一些实施例的能够捕获并拼接图像以形成3D可视化的示例环境的框图。

图12是根据一些实施例的对准和拼接***的示例的框图。

图13描绘了根据一些实施例的3D全景图像捕获和生成过程的流程图。

图14描绘了根据一些实施例的3D和全景捕获和拼接过程的流程图。

图15描绘了示出图14的3D和全景捕获和拼接过程的一个步骤的进一步细节的流程图。

图16描绘了根据一些实施例的示例数字器件的框图。

具体实施方式

本文描述的许多创新是参考附图进行的。相同的附图标记用于指代相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实践不同的创新。在其他实例中，以框图形式示出了公知的结构和部件，以便于描述创新。

设备的各种实施例向用户提供室内以及室外环境的3D全景图像。在一些实施例中，该设备可以使用单个宽视场(FOV)透镜和单个光检测和测距传感器(LiDAR传感器)有效且快速地向用户提供室内和室外环境的3D全景图像。

以下是本文描述的示例设备的示例使用情况。以下使用情况是实施例中的一个。如本文所讨论的设备的不同实施例可以包括与该使用情况的特征和能力类似的一个或多个特征和能力。

图1a描绘了根据一些实施例的示例环境(例如房屋)的玩具屋视图100。玩具屋视图100给出了由(本文讨论的)环境捕获***捕获的示例环境的整体视图。用户可以通过在示例环境的不同视图之间切换来与用户***上的玩具屋视图100交互。例如，用户可以与区域110交互以触发房屋的第一楼层的平面图视图，如图1b所示。在一些实施例中，用户可以与玩具屋视图100中的图标(诸如图标120、130和140)交互，以分别提供漫游视图(例如，用于3D漫游)、平面图视图或测量视图。

图1b描绘了根据一些实施例的房屋的第一楼层的平面图视图。平面图视图是房屋的第一楼层的俯视图。用户可以与平面图视图的区域(诸如区域150)交互，以触发平面图的特定部分(诸如起居室)的眼睛水平视图。起居室的眼睛水平视图的示例可以在图2中找到，其可以是虚拟漫游的一部分。

用户可以与对应于图1b的区域150的平面图200的一部分交互。用户可以在房间到处移动视图，就好像用户实际上在起居室中一样。除了起居室的水平360°视图之外，用户还可以查看或导航起居室的地板或天花板。此外，用户可以通过与平面图200的该部分的特定区域(诸如区域210和220)交互来穿过起居室到达房屋的其他部分。当用户与区域220交互时，环境捕获***可以提供基本上对应于由区域150描绘的房屋的区块的房屋的区域到基本上对应于由区域220描绘的房屋的区块的房屋的区域之间的步行式过渡。

图3描绘了根据一些实施例的环境捕获***300的一个示例。环境捕获***300包括透镜310、壳体320、安装附接件330和可移动盖340。

当使用时，环境捕获***300可以被定位在诸如房间的环境中。环境捕获***300可以被定位在支撑件(例如，三脚架)上。可以移动可移动盖340以显露LiDAR和可旋转反射镜。一旦被激活，则环境捕获***300可以拍摄图像的连拍，并且然后使用马达进行转动。环境捕获***300可以打开安装附接件330。在转动时，LiDAR可以进行测量(在转动的同时，环境捕获***可以不拍摄图像)。一旦指向新方向，环境捕获***就可以在转动到下一个方向之前拍摄图像的另一连拍。

例如，一旦被定位，则用户可以命令环境捕获***300开始扫略。扫略可以如下：

(1)曝光估计，并且然后拍摄HDR RGB图像

旋转90度捕获深度数据

(2)曝光估计，并且然后拍摄HDR RGB图像

旋转90度捕获深度数据

(3)曝光估计，并且然后拍摄HDR RGB图像

旋转90度捕获深度数据

(4)曝光估计，并且然后拍摄HDR RGB图像

旋转90度(总共360度)捕获深度数据

对于每个连拍，在不同曝光下可以有任何数量的图像。环境捕获***可以在等待另一帧和/或等待下一个连拍的同时将连拍的任何数量的图像混合在一起。

壳体320可以保护环境捕获***300的电子部件，并且可以提供用于用户与电源按钮、扫描按钮等交互的接口。例如，壳体320可以包括可移动盖340，其可以是可移动的以露出LiDAR。此外，壳体320可以包括电子接口，诸如电源适配器和指示灯。在一些实施例中，壳体320是模制塑料壳体。在各种实施例中，壳体320是塑料、金属和聚合物中的一种或多种的组合。

透镜310可以是透镜组件的一部分。透镜组件的进一步细节可以在图7的描述中进行描述。透镜310被策略性地放置在环境捕获***300的旋转轴线305的中心处。在该示例中，旋转轴线305在x-y平面上。通过将透镜310放置在旋转轴线305的中心处，可以消除或减少视差效应。视差是由于图像捕获器件围绕不是非视差点(NPP)的点的旋转而产生的误差。在该示例中，可以在透镜的入射光瞳的中心找到NPP。

例如，假设基于由环境捕获***300捕获的四个图像生成物理环境的全景图像，其中全景图像的图像之间具有25％的重叠。如果不存在视差，那么一个图像的25％可以与物理环境的相同区域的另一图像完全重叠。消除或减少由图像传感器通过透镜310捕获的多个图像的视差效应可以有助于将多个图像拼接成2D全景图像。

透镜310可以包括大视场(例如，透镜310可以是鱼眼透镜)。在一些实施例中，透镜可以具有至少148度的水平FOV(HFOV)和至少94度的竖直FOV(VFOV)。

安装附接件330可以允许环境捕获***300附接到安装件。安装件可以允许环境捕获***300与三脚架、平坦表面或机动化安装件耦合(例如，以移动环境捕获***300)。在一些实施例中，安装件可以允许环境捕获***300沿着水平轴线旋转。

在一些实施例中，环境捕获***300可以包括用于围绕安装附接件330水平转动环境捕获***300的马达。

在一些实施例中，机动化安装件可以沿着水平轴线、竖直轴线或两者移动环境捕获***300。在一些实施例中，机动化安装件可以在x-y平面中旋转或移动。安装附接件330的使用可以允许环境捕获***300被耦合到机动化安装件、三脚架等，以稳定环境捕获***300来减少或最小化摇动。在另一示例中，安装附接件330可以被耦合到机动化安装件，该机动化安装件允许3D和环境捕获***300以稳定的已知速度旋转，这有助于LiDAR确定LiDAR的每个激光脉冲的(x，y，z)坐标。

图4描绘了在一些实施例中的环境捕获***400的渲染图。渲染图从各种视图(诸如前视图410、顶视图420、侧视图430和后视图440)示出了环境捕获***400(其可以是图3的环境捕获***300的示例)。在这些渲染图中，环境捕获***400可以包括在侧视图430中描绘的可选中空部分。

在一些实施例中，环境捕获***400具有75mm的宽度、180mm的高度和189mm的深度。应当理解，环境捕获***400可以具有任何宽度、高度或深度。在各种实施例中，不管具体测量如何，都维持第一示例中的宽度与高度与深度的比率。

3D和环境捕获***400的壳体可以保护环境捕获***400的电子部件，并且可以提供用于用户交互的界面/接口(例如，后视图440上的屏幕)。此外，壳体可以包括电子接口，诸如电源适配器和指示灯。在一些实施例中，壳体是模制塑料壳体。在各种实施例中，壳体是塑料、金属和聚合物中的一种或多种的组合。环境捕获***400可以包括可移动盖，该可移动盖可以是可移动的以露出LiDAR，并且在不使用时保护LiDAR免受元件的影响。

在前视图410上描绘的透镜可以是透镜组件的一部分。类似于环境捕获***300，环境捕获***400的透镜被策略性地放置在旋转轴线的中心。透镜可以包括大视场。在各种实施例中，前视图410上描绘的透镜是凹入的，并且壳体是扩口的，使得广角透镜直接在无视差点处(例如，在安装件和/或马达的中点正上方)，但是仍然可以拍摄图像而没有来自壳体的干扰。

在环境捕获***400的基部处的安装附接件可以允许环境捕获***被附接到安装件。安装件可以允许环境捕获***400与三脚架、平坦表面或机动化安装件耦合(例如，以移动环境捕获***400)。在一些实施例中，安装件可以被耦合到用于使环境捕获***400围绕安装件转动的内部马达。

在一些实施例中，安装件可以允许环境捕获***400沿水平轴线旋转。在各种实施例中，机动化安装件可以沿着水平轴线、竖直轴线或两者移动环境捕获***400。安装附接件的使用可以允许环境捕获***400被耦合到机动化安装件、三脚架等，以稳定环境捕获***400以减少或最小化摇动。在另一示例中，安装附接件可以被耦合到机动化安装件，该机动化安装件允许环境捕获***400以稳定的已知速度旋转，这有助于LiDAR确定LiDAR的每个激光脉冲的(x，y，z)坐标。

在视图430中，显露出反射镜450。LiDAR可以(在与透镜视图相反的方向上)将激光脉冲发射到反射镜。激光脉冲可以撞击反射镜450，反射镜450可以是成角度的(例如，以90度角)。反射镜450可以被耦合到使反射镜转动的内部马达，使得LiDAR的激光脉冲可以围绕环境捕获***400以许多不同的角度被发射和/或被接收。

图5是在一些实施例中的在环境捕获***400周围的来自LiDAR的激光脉冲的描绘。在该示例中，激光脉冲在旋转反射镜450处被发射。可以垂直于环境捕获***400的水平轴线602(参见图6)发射和接收激光脉冲。反射镜450可以成角度为使得来自LiDAR的激光脉冲被引导远离环境捕获***400。在一些示例中，反射镜的成角度表面的角度可以是90度，或是在60度至120度处或之间。

在一些实施例中，当环境捕获***400静止并且在操作中时，环境捕获***400可以通过透镜拍摄图像的连拍。环境捕获***400可以在图像的连拍之间开启水平马达。当沿着安装件转动时，环境捕获***400的LiDAR可以发射和/或接收撞击旋转反射镜450的激光脉冲。LiDAR可以从所接收的激光脉冲反射生成深度信号和/或生成深度数据。

在一些实施例中，深度数据可以与关于环境捕获***400的坐标相关联。类似地，图像的像素或部分可以与关于环境捕获***400的坐标相关联，以使得3D可视化(例如，来自不同方向的图像、3D漫游等)的产生能够使用图像和深度数据来生成。

如图5所示，LiDAR脉冲可以被环境捕获***400的底部阻挡。应当理解，在环境捕获***400围绕安装件移动的同时，反射镜450可以一致地旋转，或当环境捕获***400开始移动时并且此外当环境捕获***400减慢停止时，反射镜450可以更慢地旋转(例如，在安装件马达的启动和停止之间维持恒定的速度)。

LiDAR可以接收来自脉冲的深度数据。由于环境捕获***400的移动和/或反射镜450的速度的增加或减小，关于环境捕获***400的深度数据的密度可能是不一致的(例如，在一些区域中更密集而在其他区域中更不密集)。

图6a描绘了环境捕获***400的侧视图。在该视图中，描绘了反射镜450，并且反射镜450可以围绕水平轴线旋转。脉冲604可以由LiDAR在旋转反射镜450处发射，并且可以垂直于水平轴线602发射。类似地，脉冲604可以由LiDAR以类似的方式接收。

尽管LiDAR脉冲被讨论为垂直于水平轴线602，但是应当理解，LiDAR脉冲可以相对于水平轴线602成任何角度(例如，反射镜角度可以是在包括60度至120度之间的任何角度处)。在各种实施例中，LiDAR发射与环境捕获***400的前侧(例如，前侧604)相对的脉冲(例如，在与透镜的视场的中心相反的方向上或朝向后侧606)。

如本文所讨论的，环境捕获***400可以绕竖直轴线608转动。在各种实施例中，环境捕获***400拍摄图像，并且然后转动90度，从而当环境捕获***400完成从拍摄第一组图像的原始起始位置转动270度时，拍摄第四组图像。因此，环境捕获***400可以在总共270度的转动之间生成四组图像(例如，假设第一组图像是在环境捕获***400的初始转动之前拍摄的)。在各种实施例中，来自环境捕获***400的单次扫掠的图像(例如，四组图像)(例如，在围绕竖直轴线的单次完整旋转或270度旋转中拍摄)与在相同扫掠期间获取的深度数据一起足以生成3D可视化，而无需环境捕获***400的任何另外扫掠或转动。

应当理解，在该示例中，LiDAR脉冲由远离环境捕获***400的旋转点的位置中的旋转反射镜发射和引导。在该示例中，距安装件的旋转点的距离是608(例如，透镜可以在无视差点处，而透镜可以相对于环境捕获***400的前面处于透镜后面的位置)。由于LiDAR脉冲由在偏离旋转点的位置处的反射镜450引导，因此LiDAR不能从自环境捕获***400上方延伸到环境捕获***400下方的圆柱体接收深度数据。在该示例中，可以从马达安装件的旋转点的中心到反射镜450引导LiDAR脉冲的点来测量圆柱体的半径(例如，没有深度信息的圆柱体)。

此外，在图6b中，描绘了腔610。在该示例中，环境捕获***400包括在环境捕获***400的壳体的主体内的旋转反射镜。存在来自壳体的切口区段。激光脉冲可以被反射镜反射出壳体，并且然后反射可以被反射镜接收并被引导回到LiDAR，以使得LiDAR能够产生深度信号和/或深度数据。腔610下方的环境捕获***400的主体的基部可以阻挡一些激光脉冲。腔610可以由环境捕获***400的基部和旋转反射镜限定。如图6B所示，在成角度反射镜的边缘和包含LiDAR的环境捕获***400的壳体之间仍然可以存在空间。

在各种实施例中，LiDAR被配置为如果反射镜的旋转速度下降到低于旋转安全阈值(例如，如果存在使反射镜旋转的马达的故障或反射镜被保持在适当位置)，则停止发射激光脉冲。以这种方式，LiDAR可以被配置用于安全并且降低激光脉冲将继续在相同方向上(例如，在用户的眼睛处)发射的可能性。

图6b描绘了在一些实施例中从环境捕获***400上方的视图。在该示例中，描绘了环境捕获***400的前面，其中透镜是凹入的并且在旋转点的中心正上方(例如，在安装件的中心上方)。相机的前面是凹入的以用于透镜，并且壳体的前面是扩口的以允许图像传感器的视场不被壳体阻挡。反射镜450被描绘为向上指向。

图7描绘了根据一些实施例的环境捕获***300的一个示例的部件的透视图。环境捕获***700包括前盖702、透镜组件704、结构框架706、LiDAR708、前壳体710、反射镜组件712、GPS天线714、后壳体716、竖直马达718、显示器720、电池组722、安装件724和水平马达726。

在各种实施例中，环境捕获***700可以被配置为在全日照下在室外以及在室内扫描、对准和产生3D网格。这消除了采用为仅室内工具的其他***的障碍。环境捕获***700可以能够比其他器件更快地扫描大空间。在一些实施例中，环境捕获***700可以通过改善90m处的单扫描深度精度来提供改善的深度精度。

在一些实施例中，环境捕获***700可以重1kg或大约1kg。在一个示例中，环境捕获***700可以重1-3kg。

前盖702、前壳体710和后壳体716构成壳体的一部分。在一个示例中，前盖可以具有75mm的宽度w。

透镜组件704可以包括将光聚焦到图像捕获器件上的相机透镜。图像捕获器件可以捕获物理环境的图像。用户可以放置环境捕获***700以捕获建筑物(诸如图1的第二建筑物422)的楼层的一部分，以获得楼层的该一部分的全景图像。环境捕获***700可以移动到建筑物的楼层的另一部分，以获得楼层的另一部分的全景图像。在一个示例中，图像捕获器件的景深为0.5米至无穷大。图8A描绘了一些实施例中的示例透镜尺寸。

在一些实施例中，图像捕获器件是互补金属氧化物半导体(CMOS)图像传感器(例如，具有NVidia Jetson Nano SOM的Sony IMX283～20Megapixel CMOS MIPI传感器)。在各种实施例中，图像捕获器件是电荷耦合器件(CCD)。在一个示例中，图像捕获器件是红-绿-蓝(RGB)传感器。在一个实施例中，图像捕获器件是红外(IR)传感器。透镜组件704可以给予图像捕获器件宽视场。

图像传感器可以具有许多不同的规格。在一个示例中，图像传感器包括以下：

示例规格可以如下：

F-数	-	2.8
			像圈直径	mm	15.86
最小物距	mm	500
			最大物距	mm	无穷远
传感器全高度处的主光线角度	度	3.0
			L1直径	mm	<60
镜头总长(TTL)	mm	<＝80
			后焦距(BFL)	mm	-
有效焦距(EFL)	mm	-
			相对照度	％	>50
最大失真	％	<5
			52lp/mm(轴上)	％	>85
104lp/mm(轴上)	％	>66
			208lp/mm(轴上)	％	>45
52lp/mm(83％场)	％	>75
			104lp/mm(83％场)	％	>41
208lp/mm(83％场)	％	>25

在各种实施例中，在观察F0相对场(即，中心)处的MTF时，对于53微米的总离焦偏移(total through focus shift)，焦点偏移可以从0.5m处的+28微米变化到无穷远处的-25微米。

图8B描绘了一些实施例中的示例透镜设计规格。

在一些示例中，透镜组件704具有至少148度的HFOV和至少94度的VFOV。在一个示例中，透镜组件704具有150°、180°或在145°至180°的范围内的视场。在一个示例中，可以利用来自环境捕获***700的图像捕获器件的三次或四次单独的图像捕获来获得环境捕获***700周围的360°视图的图像捕获。在各种实施例中，图像捕获器件可以具有每度至少37个像素的分辨率。在一些实施例中，环境捕获***700包括透镜帽(未示出)，以在不使用时保护透镜组件704。透镜组件704的输出可以是物理环境的一个区域的数字图像。由透镜组件704捕获的图像可以被拼接在一起以形成物理环境的2D全景图像。可以通过将由LiDAR 708捕获的深度数据与通过将来自透镜组件704的多个图像拼接在一起而生成的2D全景图像组合来生成3D全景。在一些实施例中，由环境捕获***402捕获的图像由图像处理***406拼接在一起。在各种实施例中，环境捕获***402生成2D全景图像的“预览”或“缩略图”版本。2D全景图像的预览或缩略图版本可以呈现在诸如iPad、个人计算机、智能手机等的用户***1110上。在一些实施例中，环境捕获***402可以生成表示物理环境的一个区域的物理环境的迷你地图。在各种实施例中，图像处理***406生成表示物理环境的该区域的迷你地图。

由透镜组件704捕获的图像可以包括识别或指示2D图像的捕获位置的捕获器件位置数据。例如，在一些实施方式中，捕获器件位置数据能够包括与2D图像相关联的全球定位***(GPS)坐标。在另一些实施方式中，捕获器件位置数据能够包括指示捕获器件(例如，相机和/或3D传感器)相对于其环境的相对位置的位置信息，诸如捕获器件相对于环境中的对象、环境中的另一相机、环境中的另一器件等的相对或校准位置。在一些实施方式中，这种类型的位置数据能够由与图像的捕获相关联的捕获器件(例如，相机和/或可操作地耦合到相机的包括定位硬件和/或软件的器件)确定并与图像一起接收。透镜组件704的放置不仅仅是通过设计。通过将透镜组件704放置在旋转轴线的中心处或基本上在旋转轴线的中心处，可以减小视差效应。

在一些实施例中，结构框架706将透镜组件704和LiDAR 708保持在特定位置，并且可以帮助保护环境捕获***的示例的部件。结构框架706可以用于帮助刚性地安装LiDAR708并将LiDAR 708放置在固定位置。此外，透镜组件704和LiDAR 708的固定位置使得固定关系能够将深度数据与图像信息对准，以帮助产生3D图像。在物理环境中捕获的2D图像数据和深度数据能够相对于公共3D坐标空间对准，以生成物理环境的3D模型。

在各种实施例中，LiDAR 708捕获物理环境的深度信息。当用户将环境捕获***700放置在第二建筑物的楼层的一部分中时，LiDAR 708可以获得对象的深度信息。LiDAR708可以包括光学感测模块，该光学感测模块能够通过利用来自激光器的脉冲照射目标或场景来测量到场景中的目标或对象的距离，并测量光子行进到目标并返回LiDAR 708所花费的时间。然后可以通过使用从环境捕获***700的水平传动系导出的信息将测量结果变换到网格坐标系中。

在一些实施例中，LiDAR 708可以每10微秒返回具有(内部时钟的)时间戳的深度数据点。LiDAR 708可以每0.25度对部分球体(顶部和底部处的小孔)进行采样。在一些实施例中，在每10微秒和0.25度一个数据点的情况下，每个点“盘”可以有14.40毫秒且1440个盘，以形成标称20.7秒的球体。因为每个盘前后捕获，所以可以以180°扫描捕获球体。

在一个示例中，LiDAR 708规格可以如下：

利用LiDAR的一个优点是，在更低波长(例如，905nm、900-940nm等)的LiDAR的情况下，它可以允许环境捕获***700确定具有亮光的室外环境或室内环境的深度信息。

透镜组件704和LiDAR 708的放置可以允许环境捕获***700或与环境捕获***700通信的数字器件使用来自LiDAR 708和透镜组件704的深度数据来生成3D全景图像。在一些实施例中，不在环境捕获***402上生成2D和3D全景图像。

LiDAR 708的输出可以包括与LiDAR 708发送的每个激光脉冲相关联的属性。属性包括激光脉冲的强度、返回次数、当前返回次数、分类点、RGC值、GPS时间、扫描角度、扫描方向或其中的任何组合。景深可以是(0.5m；无穷远)、(1m；无穷远)等。在一些实施例中，景深为0.2m至1m和无穷远。

在一些实施例中，在环境捕获***700静止的同时，环境捕获***700使用透镜组件704捕获四个单独的RBG图像。在各种实施例中，在环境捕获***700从一个RBG图像捕获位置移动到另一个RBG图像捕获位置处于运动中的同时，LiDAR 708在四种不同的情况下捕获深度数据。在一个示例中，利用环境捕获***700的360°旋转(这可以被称为扫掠)来捕获3D全景图像。在各种实施例中，利用环境捕获***700的小于360°的旋转来捕获3D全景图像。扫掠的输出可以是扫掠列表(SWL)，其包括来自透镜组件704的图像数据和来自LiDAR708的深度数据以及扫掠的性质，包括GPS位置和当扫掠发生时的时间戳。在各种实施例中，单次扫掠(例如，环境捕获***700的单次360度转动)捕获足够的图像和深度信息以生成3D可视化(例如，通过与环境捕获***700通信的数字器件，其从环境捕获***700接收图像和深度数据，并且仅使用在单次扫掠中捕获的来自环境捕获***700的图像和深度数据来产生3D可视化)。

在一些实施例中，由环境捕获***402捕获的图像可以通过本文讨论的图像拼接和处理***被混合、拼接在一起且与来自LiDAR 708的深度数据进行组合。

在各种实施例中，环境捕获***402和/或用户***1110上的应用可以生成3D全景图像的预览或缩略图版本。3D全景图像的预览或缩略图版本可以呈现在用户***1110上，并且可以具有比由图像处理***406生成的3D全景图像更低的图像分辨率。在透镜组件704和LiDAR 708捕获物理环境的图像和深度数据之后，环境捕获***402可以生成表示已经由环境捕获***402捕获的物理环境的一个区域的迷你地图。在一些实施例中，图像处理***406生成表示物理环境的该区域的迷你地图。在使用环境捕获***402捕获家庭的起居室的图像和深度数据之后，环境捕获***402可以生成物理环境的俯视图。用户可以使用该信息来确定用户尚未捕获或生成3D全景图像的物理环境的区域。

在一个实施例中，环境捕获***700可以使利用透镜组件704的图像捕获器件的图像捕获与利用LiDAR 708的深度信息捕获交错。例如，图像捕获器件可以利用图像捕获器件捕获物理环境的区段1605(如图16所见)的图像，并且然后LiDAR 708从区段1605获得深度信息。一旦LiDAR 708从区段1605获得深度信息，图像捕获器件就可以继续移动以捕获另一区段1610的图像，并且然后LiDAR 708从区段1610获得深度信息，从而使图像捕获和深度信息捕获交错。

在一些实施例中，LiDAR 708可以具有至少145°的视场，环境捕获***700的360°视图中的所有对象的深度信息可以由环境捕获***700在三次或四次扫描中获得。在另一示例中，LiDAR 708可以具有至少150°、180°或在145°至180°之间的视场。

透镜视场的增加减少了获得环境捕获***700周围的物理环境的视觉和深度信息所需的时间量。在各种实施例中，LiDAR 708具有0.5m的最小深度范围。在一个实施例中，LiDAR 708具有大于8米的最大深度范围。

LiDAR 708可以利用反射镜组件712以不同的扫描角度引导激光。在一个实施例中，可选的竖直马达718具有使反射镜组件712竖直移动的能力。在一些实施例中，反射镜组件712可以是具有疏水涂层或层的电介质反射镜。反射镜组件712可以耦合到竖直马达718，竖直马达718使反射镜组件712在使用时旋转。

反射镜组件712的反射镜可以例如包括以下规格：

反射镜组件712的反射镜可以例如包括对于材料和涂层的以下规格：

反射镜组件712的反射镜的疏水涂层可以例如包括>105的接触角度数。

反射镜组件712的反射镜可以包括以下质量规格：

竖直马达可以包括例如以下规格：

由于RGB捕获器件和LiDAR 708，环境捕获***700可以在明亮的阳光下在室外捕获图像，或在亮光或来自窗户的日光眩光的情况下在室内捕获图像。在利用不同器件(例如，结构化光器件)的***中，它们可能不能在明亮的环境中操作，无论是室内还是室外。这些器件通常限于仅在室内并且仅在黎明或日落期间使用以控制光。否则，房间中的亮点产生图像中的必须填充或校正的伪影或“孔”。然而，环境捕获***700可以在明亮阳光下在室内和室外使用。捕获器件和LiDAR 708可以能够在明亮的环境中捕获图像和深度数据，而没有由眩光或亮光引起的伪影或孔。

在一个实施例中，GPS天线714接收全球定位***(GPS)数据。GPS数据可以用于确定环境捕获***700在任何给定时间的位置。

在各种实施例中，显示器720允许环境捕获***700提供***的当前状态，诸如更新、预热、扫描、扫描完成、错误等。

电池组722向环境捕获***700提供电力。电池组722可以是可移除且可再充电的，从而允许用户在对耗尽的电池组充电的同时放入新的电池组722。在一些实施例中，电池组722可以允许在再充电之前连续使用至少1000个SWL或至少250个SWL。环境捕获***700可以利用USB-C插头用于再充电。

在一些实施例中，安装件724为提供用于环境捕获***700连接到诸如三脚架或安装件的平台的连接器。水平马达726可以使环境捕获***700围绕x-y平面旋转。在一些实施例中，水平马达726可以向网格坐标系提供信息以确定与每个激光脉冲相关联的(x，y，z)坐标。在各种实施例中，由于透镜的宽视场、透镜围绕旋转轴线的定位以及LiDAR器件，水平马达726可以使得环境捕获***700能够快速地扫描。

在一个示例中，水平马达726可以具有以下规格：

在各种实施例中，安装件724可以包括快速释放适配器。保持扭矩可以例如是>2.0Nm，并且捕获操作的耐久性可以高达或超过70,000次循环。

例如，环境捕获***700可以实现标准家庭的3D网格的构建，其中扫略之间的距离大于8m。捕获、处理和对准室内扫掠的时间可以在45秒以下。在一个示例中，从扫掠捕获的开始到当用户可以移动环境捕获***700时的时间帧可以小于15秒。

在各种实施例中，这些部件为环境捕获***700提供了对准室外和室内的扫描位置并且因此在室内和室外之间产生无缝的漫游体验(这对于酒店、度假租赁、房地产、建筑文档、CRE以及竣工建模和验证可以是高优先级)的能力。环境捕获***700还可以产生“室外玩具屋”或室外迷你地图。如本文所示，环境捕获***700还可以主要从测量角度改善3D重建的准确性。对于扫描密度，用户调谐它的能力也可以是有利因素。这些部件还可以使得环境捕获***700能够捕获宽的空白空间(例如，更长的范围)。为了生成宽的空白空间的3D模型，可能需要环境捕获***从比生成更小空间的3D模型扫描和捕获来自更大距离范围的3D数据和深度数据。

在各种实施例中，这些部件使得环境捕获***700能够对于室内和室外使用以类似的方式对准SWL并重建3D模型。这些部件还可以使得环境捕获***700能够执行3D模型的地理定位(如果需要，其可以容易地集成到Google街道视图并帮助对准室外全景)。

环境捕获***700的图像捕获器件可以能够为70°VFOV和RGB图像类型提供具有可在8.5"x11"下打印的质量的DSLR类图像。

在一些实施例中，环境捕获***700可以利用图像捕获器件(例如，使用广角透镜)拍摄RGB图像，并且然后在拍摄下一个RGB图像之前移动透镜(使用马达总共四次移动)。在水平马达726将环境捕获***旋转90度的同时，LiDAR 708可以捕获深度数据。在一些实施例中，LiDAR 708包括APD阵列。

在一些实施例中，然后可以将图像和深度数据发送到捕获应用(例如，与环境捕获***700通信的器件，诸如智能设备或网络上的图像捕获***)。在一些实施例中，环境捕获***700可以将图像和深度数据发送到图像处理***406以用于处理并生成2D全景图像或3D全景图像。在各种实施例中，环境捕获***700可以从环境捕获***700的360度旋转生成所捕获的RGB图像和深度数据的扫略列表。可以将扫略列表发送到图像处理***406以进行拼接和对准。扫掠的输出可以是SWL，其包括来自透镜组件704的图像数据和来自LiDAR 708的深度数据以及扫掠的性质，包括GPS位置和当扫掠发生时的时间戳。

在各种实施例中，LiDAR、竖直反射镜、RGB透镜、三脚架安装件和水平驱动器刚性地安装在壳体内，以允许打开壳体而不需要重新校准***。

图9a描绘了根据一些实施例的环境捕获***的示例的框图900。框图900包括电源902、电源转换器904、输入/输出(I/O)印刷电路板组件(PCBA)、模块上***(SOM)PCBA、用户接口910、LiDAR 912、反射镜无刷直流(BLCD)马达914、传动系916、宽FOV(WFOV)透镜918和图像传感器920。

电源902可以是图7的电池组722。电源可以是能够向环境捕获***提供电力的可移除、可再充电电池，诸如锂离子电池(例如，4x 18650锂离子电池)。

电源转换器904可以将来自电源902的电压电平改变为更低或更高的电压电平，使得它可以被环境捕获***的电子部件利用。环境捕获***可以利用处于4S1P配置或四个串联连接和一个并联连接配置的4x 18650锂离子电池。

在一些实施例中，I/O PCBA 906可以包括提供IMU、Wi-Fi、GPS、蓝牙、惯性测量单元(IMU)、马达驱动器和微控制器的元件。在一些实施例中，I/OPCBA 906包括用于控制水平马达和编码水平马达控件以及控制竖直马达和编码竖直马达控件的微控制器。

SOM PCBA 908可以包括中央处理单元(CPU)和/或图形处理单元(GPU)、存储器和移动接口。SOM PCBA 908可以控制LiDAR 912、图像传感器920和I/O PCBA 906。SOM PCBA908可以确定与LiDAR 912的每个激光脉冲相关联的(x，y，z)坐标，并将坐标存储在SOMPCBA 908的存储器部件中。在一些实施例中，SOM PCBA 908可以将坐标存储在环境捕获***400的图像处理***中。除了与每个激光脉冲相关联的坐标之外，SOM PCBA 908还可以确定与每个激光脉冲相关联的另外属性，包括激光脉冲的强度、返回次数、当前返回次数、分类点、RGC值、GPS时间、扫描角度和扫描方向。

在一些实施例中，SOM PCBA 908包括Nvidia SOM PCBA w/CPU/GPU、DDR、eMMC、Ethernet。

用户接口910可以包括用户可以与之交互的物理按钮或开关。按钮或开关可以提供诸如打开和关闭环境捕获***、扫描物理环境等的功能。在一些实施例中，用户接口910可以包括显示器，诸如图7的显示器720。

在一些实施例中，LiDAR 912捕获物理环境的深度信息。LiDAR 912包括光学感测模块，该光学感测模块能够通过使用来自激光器的脉冲用光照射目标或场景来测量到场景中的目标或对象的距离。LiDAR 912的光学感测模块测量光子行进到所述目标或对象并在反射之后返回到LiDAR 912中的接收器所花费的时间，从而给出LiDAR距目标或对象的距离。与距离一起，SOM PCBA 908可以确定与每个激光脉冲相关联的(x，y，z)坐标。LiDAR 912可以装配在58mm的宽度、55mm的高度和60mm的深度内。

LiDAR 912可以包括90m的范围(10％反射率)、130m的范围(20％反射率)、260m的范围(100％反射率)、2cm的范围精度(1σ@900m)、1705nm的波长和0.28×0.03度的光束发散度。

SOM PCBA 908可以基于传动系916的位置来确定坐标。在各种实施例中，LiDAR912可以包括一个或多个LiDAR器件。可以利用多个LiDAR器件来增加LiDAR分辨率。

反射镜无刷直流(BLCD)马达914可以控制图7的反射镜组件712。

在一些实施例中，传动系916可以包括图7的水平马达726。当环境捕获***被安装在诸如三脚架的平台上时，传动系916可以提供环境捕获***的旋转。传动系916可以包括步进马达Nema 14、蜗杆和塑料轮传动系、离合器、衬套轴承和齿隙防止机构。在一些实施例中，环境捕获***可以能够在小于17秒内完成扫描。在各种实施例中，传动系916具有60度/秒的最大速度、300度/秒²的最大加速度、0.5nm的最大扭矩、小于0.1度的角位置精度以及每转约4096次计数的编码器分辨率。

在一些实施例中，传动系916包括竖直单向(monogon)反射镜和马达。在该示例中，传动系916可以包括BLDC马达、外部霍尔效应传感器、磁体(与霍尔效应传感器配对)、反射镜支架和反射镜。在该示例中，传动系916可以具有4,000rpm的最大速度和300度/秒^2的最大加速度。在一些实施例中，单向反射镜是电介质反射镜。在一个实施例中，单向反射镜包括疏水涂层或层。

环境捕获***的部件的放置为使得透镜组件和LiDAR基本上放置在旋转轴线的中心。这可以减少当图像捕获***未放置在旋转轴线的中心处时发生的图像视差。

在一些实施例中，WFOV透镜918可以是图7的透镜组件704的透镜。WFOV透镜918将光聚焦到图像捕获器件上。在一些实施例中，WFOV透镜可以具有至少145度的FOV。在这样的宽FOV的情况下，可以利用图像捕获器件的三次单独图像捕获来获得环境捕获***周围的360度视图的图像捕获。在一些实施例中，WFOV透镜918可以是约～60mm直径和～80mm镜头总长(TTL)。在一个示例中，WFOV透镜918可以包括大于或等于148.3度的水平视场和大于或等于94度的竖直视场。

图像捕获器件可以包括WFOV透镜918和图像传感器920。图像传感器920可以是CMOS图像传感器。在一个实施例中，图像传感器920是电荷耦合器件(CCD)。在一些实施例中，图像传感器920是红-绿-蓝(RGB)传感器。在一个实施例中，图像传感器920是IR传感器。在各种实施例中，图像捕获器件可以具有至少35像素每度(PPD)的分辨率。

在一些实施例中，图像捕获器件可以包括f/2.4的F数、15.86mm的像圈直径、2.4um的像素间距、>148.3°的HFOV、>94.0°的VFOV、>38.0PPD的每度像素数、3.0°的全高度处的主光线角度、1300mm的最小物距、最大物距无穷远、>130％的相对照度、<90％的最大失真和<＝5％的光谱透过率变化。

在一些实施例中，透镜可以包括2.8的F数、15.86mm的像圈直径、>37的每度像素数、3.0的全高度处的主光线角度、<60mm的L1直径、<80mm的TTL和>50％的相对照度。

透镜可以包括>85％的52lp/mm(轴上)、>66％的104lp/mm(轴上)、>45％的1308lp/mm(轴上)、>75％的52lp/mm(83％场)、>41％的104lp/mm(83％场)和>25％的1308lp/mm(83％场)。

环境捕获***可以具有>20MP的分辨率、>1.7V/lux*s的绿色灵敏度、>65dB的SNR(100lux,1x增益)和>70dB的动态范围。

图9b描绘了根据一些实施例的环境捕获***的示例SOM PCBA 908的框图。SOMPCBA 908可以包括通信部件922、LiDAR控制部件924、LiDAR位置部件926、用户接口部件928、分类部件930、LiDAR数据存储区932和捕获图像数据存储区934。

在一些实施例中，通信部件922可以在SOM PCBA 1008的任何部件和图9a的环境捕获***的部件之间发送和接收请求或数据。

在各种实施例中，LiDAR控制部件924可以控制LiDAR的各个方面。例如，LiDAR控制部件924可以将控制信号发送到LiDAR 912以开始发出激光脉冲。由LiDAR控制部件924发送的控制信号可以包括关于激光脉冲的频率的指令。

在一些实施例中，LiDAR位置部件926可以利用GPS数据来确定环境捕获***的位置。在各种实施例中，LiDAR位置部件926利用反射镜组件的位置来确定与每个激光脉冲相关联的扫描角度和(x，y，z)坐标。LiDAR位置部件926还可以利用IMU来确定环境捕获***的取向。

用户接口部件928可以促进用户与环境捕获***的交互。在一些实施例中，用户接口部件928可以提供用户可以与之交互的一个或多个用户接口元件。由用户接口部件928提供的用户接口可以被发送到用户***1110。例如，用户接口部件928可以向用户***(例如，数字器件)提供建筑物的平面图的一个区域的视觉表示。当用户将环境捕获***放置在建筑物的楼层的不同部分中以捕获并生成3D全景图像时，环境捕获***可以生成平面图的视觉表示。用户可以将环境捕获***放置在物理环境的一个区域中，以捕获并生成房屋的该区域中的3D全景图像。一旦该区域的3D全景图像已经由图像处理***生成，用户接口部件就可以利用图1b中所描绘的起居室区域的俯视图来更新平面图视图。在一些实施例中，平面图视图200可以在已经捕获建筑物的同一家庭或楼层的第二扫略之后由用户***1110生成。

在各种实施例中，分类部件930可以对物理环境的类型进行分类。分类部件930可以分析所述图像中的对象或图像中的对象，以对由环境捕获***捕获的物理环境的类型进行分类。在一些实施例中，图像处理***可以负责对由环境捕获***400捕获的物理环境的类型进行分类。

LiDAR数据存储区932可以是适合于捕获的LiDAR数据的任何一个结构和/或多个结构(例如，主动数据库、关系数据库、自参考数据库、表、矩阵、阵列、平面文件、面向文档的存储***、非关系No-SQL***、诸如Lucene/Solar的FTS管理***和/或类似结构)。图像数据存储区408可以存储捕获的LiDAR数据。然而，在通信网络404不起作用的情况下，LiDAR数据存储区932可以用于高速缓存捕获的LiDAR数据。例如，在环境捕获***402和用户***1110处于没有蜂窝网络的远程位置或在没有Wi-Fi的区域中的情况下，LiDAR数据存储区932可以存储捕获的LiDAR数据，直到它们能够被传送到图像数据存储区934。

类似于LiDAR数据存储区，捕获图像数据存储区934可以是适合于捕获图像的任何一个结构和/或多个结构(例如，主动数据库、关系数据库、自参考数据库、表、矩阵、阵列、平面文件、面向文档的存储***、非关系No-SQL***、诸如Lucene/Solar的FTS管理***和/或类似结构)。图像数据存储区934可以存储捕获的图像。

图10a-10c描绘了在一些实施例中用于拍摄图像的环境捕获***400的过程。如图10a-10c所示，环境捕获***400可以在不同曝光下拍摄图像的连拍。图像的连拍可以是一组图像，每个图像具有不同的曝光。第一图像连拍发生在时间0.0处。环境捕获***400可以接收第一帧，并且然后在等待第二帧的同时评估所述第一帧。图10a指示在第二帧到达之前混合第一帧。在一些实施例中，环境捕获***400可以处理每个帧以识别像素、颜色等。一旦下一帧到达，环境捕获***400就可以处理最近接收的帧，并且然后将两个帧混合在一起。

在各种实施例中，环境捕获***400执行图像处理以混合第六帧并进一步评估混合帧(例如，可以包括来自图像连拍的任何数量的帧的元素的帧)中的像素。在环境捕获***400的移动(例如，转动)之前或期间的最后步骤期间，环境捕获***400可以可选地将混合图像从图形处理单元传送到CPU存储器。

该过程在图10b中继续。在图10b开始的时候，环境捕获***400进行另一连拍。环境捕获***400可以使用JxR来压缩混合帧和/或捕获帧的全部或部分。类似于图10a，图像的连拍可以是一组图像，每个图像具有不同的曝光(该组的每个帧的曝光长度可以与图10a和10c中覆盖的其他连拍相同并且以相同的顺序)。第二图像连拍发生在时间2秒处。环境捕获***400可以接收第一帧，并且然后在等待第二帧的同时评估该第一帧。图10b指示在第二帧到达之前混合第一帧。在一些实施例中，环境捕获***400可以处理每个帧以识别像素、颜色等。一旦下一帧到达，环境捕获***400就可以处理最近接收的帧，并且然后将两个帧混合在一起。

在各种实施例中，环境捕获***400执行图像处理以混合第六帧并进一步评估混合帧(例如，可以包括来自图像连拍的任何数量的帧的元素的帧)中的像素。在环境捕获***400的移动(例如，转动)之前或期间的最后步骤期间，环境捕获***400可以可选地将混合图像从图形处理单元传送到CPU存储器。

在转动之后，环境捕获***400可以通过(例如，在转动180度之后)在大约时间3.5秒处进行另一颜色连拍而继续该过程。环境捕获***400可以使用JxR来压缩混合帧和/或捕获帧的全部或部分。图像的连拍可以是一组图像，每个图像具有不同的曝光(该组的每个帧的曝光长度可以与图10a和10c中覆盖的其他连拍相同并且以相同的顺序)。环境捕获***400可以接收第一帧，并且然后在等待第二帧的同时评估该第一帧。图10b指示在第二帧到达之前混合第一帧。在一些实施例中，环境捕获***400可以处理每个帧以识别像素、颜色等。一旦下一帧到达，环境捕获***400就可以处理最近接收的帧，并且然后将两个帧混合在一起。

在各种实施例中，环境捕获***400执行图像处理以混合第六帧并进一步评估混合帧(例如，可以包括来自图像连拍的任何数量的帧的元素的帧)中的像素。在环境捕获***400的移动(例如，转动)之前或期间的最后步骤期间，环境捕获***400可以可选地将混合图像从图形处理单元传送到CPU存储器。

在图10c中，最后一个连拍发生在时间5秒处。环境捕获***400可以使用JxR来压缩混合帧和/或捕获帧的全部或部分。图像的连拍可以是一组图像，每个图像具有不同的曝光(该组的每个帧的曝光长度可以与图10a和10b中覆盖的其他连拍相同并且以相同的顺序)。环境捕获***400可以接收第一帧，并且然后在等待第二帧的同时评估该第一帧。图10c指示在第二帧到达之前混合第一帧。在一些实施例中，环境捕获***400可以处理每个帧以识别像素、颜色等。一旦下一帧到达，环境捕获***400就可以处理最近接收的帧，并且然后将两个帧混合在一起。

在各种实施例中，环境捕获***400执行图像处理以混合第六帧并进一步评估混合帧(例如，可以包括来自图像连拍的任何数量的帧的元素的帧)中的像素。在环境捕获***400的移动(例如，转动)之前或期间的最后步骤期间，环境捕获***400可以可选地将混合图像从图形处理单元传送到CPU存储器。

图像捕获器件的动态范围是图像传感器可以捕获多少光的度量。动态范围是图像的最暗区域与最亮区域之间的差异。有许多方法来增加图像捕获器件的动态范围，其中一种方法是使用不同的曝光来捕获相同物理环境的多个图像。以短曝光捕获的图像将捕获物理环境的更亮区域，而长曝光将捕获更暗的物理环境区域。在一些实施例中，环境捕获***可以以六个不同曝光时间捕获多个图像。由环境捕获***捕获的一些或所有图像用于生成具有高动态范围(HDR)的2D图像。捕获的图像中的一个或多个可以用于其他功能，诸如环境光检测、闪烁检测等。

可以基于图像捕获器件的四次单独图像捕获和环境捕获***的LiDAR器件的四次单独深度数据捕获来生成物理环境的3D全景图像。四次单独图像捕获中的每一次可以包括不同曝光时间的一系列图像捕获。混合算法可以用于将具有不同曝光时间的一系列图像捕获混合，以生成四次RGB图像捕获中的一次，其可以用于生成2D全景图像。例如，环境捕获***可以用于捕获厨房的3D全景图像。厨房的一个墙壁的图像可以包括窗户，具有以更短曝光捕获的图像的图像可以提供窗户外的视图，不过可以使厨房的其余部分曝光不足。相反，以更长曝光捕获的另一图像可以提供厨房内部的视图。混合算法可以通过将来自一个图像的厨房窗口外的视图与来自另一图像的厨房视图的其余部分混合来生成混合RGB图像。

在各种实施例中，可以基于图像捕获器件的三次单独图像捕获和环境捕获***的LiDAR器件的四次单独深度数据捕获来生成3D全景图像。在一些实施例中，图像捕获的数量和深度数据捕获的数量可以相同。在一个实施例中，图像捕获的数量和深度数据捕获的数量可以不同。

在用一个曝光时间捕获一系列图像中的第一个之后，混合算法接收该系列图像中的该第一个，计算该图像的初始强度权重，并将该图像设置为用于组合随后接收的图像的基线图像。在一些实施例中，混合算法可以利用图形处理单元(GPU)图像处理例程，诸如“blend_kernel”例程。混合算法可以接收可以与先前接收的图像混合的后续图像。在一些实施例中，混合算法可以利用Blend_Kernel GPU图像处理例程的变型。

在一个实施例中，混合算法利用混合多个图像的其他方法，诸如确定基线图像的最暗和最亮部分之间的差异或基线图像的对比度，以确定基线图像是否可能过度曝光或曝光不足。例如，小于预定对比度阈值的对比度值意味着基线图像曝光过度或曝光不足。在一个实施例中，可以通过取图像的光强度或图像的子集的平均值来计算基线图像的对比度。在一些实施例中，混合算法计算图像的每行或每列的平均光强度。在一些实施例中，混合算法可以确定从图像捕获器件接收的每个图像的直方图，并分析直方图以确定构成每个图像的像素的光强度。

在各种实施例中，混合可以涉及在相同场景的两个或更多个图像内对颜色进行采样，包括沿着对象和接缝。如果两个图像之间的颜色存在显著差异(例如，在颜色、色调、亮度、饱和度和/或类似量的预定阈值内)，则(例如，在环境捕获***400或用户器件1110上的)混合模块可以沿着存在差异的位置混合预定尺寸的两个图像。在一些实施例中，图像中的位置处的颜色或图像的差异越大，该位置周围或附近可以混合的空间量越大。

在一些实施例中，在混合之后，(例如，在环境捕获***400或用户器件1110上的)混合模块可以沿着(一个或多个)图像对颜色进行重新扫描和采样，以确定图像或颜色是否存在超过颜色、色调、亮度、饱和度和/或类似量的预定阈值的其他差异。如果是，则混合模块可以识别(一个或多个)图像内的部分并继续混合图像的该部分。混合模块可以继续沿着接缝对图像进行重新采样，直到没有图像的其他部分要混合(例如，颜色的任何差异均低于(一个或多个)预定阈值)。

图11描绘了根据一些实施例的能够捕获并拼接图像以形成3D可视化的示例环境1100的框图。示例环境1100包括3D和全景捕获和拼接***1102、通信网络1104、图像拼接和处理器***1106、图像数据存储区1108、用户***1110和物理环境的第一场景1112。3D和全景捕获和拼接***1102和/或用户***1110可以包括可以用于捕获环境(例如，物理环境1112)的图像的图像捕获器件(例如，环境捕获***400)。

3D和全景捕获和拼接***1102以及图像拼接和处理器***1106可以是通信地耦合到环境捕获***400的同一***的一部分(例如，一个或多个数字器件的一部分)。在一些实施例中，3D和全景捕获和拼接***1102以及图像拼接和处理器***1106的部件的一个或多个功能可以由环境捕获***400执行。类似地或替代地，3D和全景捕获和拼接***1102以及图像拼接和处理器***1106可以由用户***1110和/或图像拼接和处理器***1106执行。

用户可以利用3D全景捕获和拼接***1102来捕获诸如建筑物内部和/或建筑物外部的环境的多个2D图像。例如，用户可以利用3D和全景捕获和拼接***1102来捕获由环境捕获***400提供的物理环境1112的第一场景的多个2D图像。3D和全景捕获和拼接***1102可以包括对准和拼接***1114。替代地，用户***1110可以包括对准和拼接***1114。

对准和拼接***1114可以是软件、硬件或两者的组合，其被配置为向(例如，在3D和全景捕获和拼接***1102或用户***1110上的)图像捕获***的用户提供引导和/或处理图像以使得能够制作改善的全景图片(例如，通过拼接、对准、裁剪等)。对准和拼接***1114可以在(本文描述的)计算机可读介质上。在一些实施例中，对准和拼接***1114可以包括用于执行功能的处理器。

物理环境1112的第一场景的示例可以是任何房间、房地产等(例如，起居室的表示)。在一些实施例中，3D和全景捕获和拼接***1102用于生成室内环境的3D全景图像。在一些实施例中，3D全景捕获和拼接***1102可以是关于图4讨论的环境捕获***400。

在一些实施例中，3D全景捕获和拼接***1102可以与用于捕获图像和深度数据的器件以及软件(例如，环境捕获***400)通信。软件的全部或部分可以安装在3D全景捕获和拼接***1102、用户***1110、环境捕获***400或两者上。在一些实施例中，用户可以经由用户***1110与3D和全景捕获和拼接***1102交互。

3D和全景捕获和拼接***1102或用户***1110可以获得多个2D图像。3D和全景捕获和拼接***1102或用户***1110可以(例如，从LiDAR器件等)获得深度数据。

在各种实施例中，在用户***1110(例如，用户的智能设备，诸如智能手机或平板计算机)上的应用或环境捕获***400上的应用可以向用户提供用于利用环境捕获***400拍摄图像的视觉或听觉指导。图形引导可以包括例如环境捕获***400的显示器上(例如，在环境捕获***400背面的取景器或LED屏幕上)的浮动箭头，以引导用户将图像捕获器件定位和/或指向何处。在另一示例中，应用可以提供关于将图像捕获器件定位和/或指向何处的音频指导。

在一些实施例中，引导可以允许用户在没有稳定平台(例如，三脚架)的帮助下捕获物理环境的多个图像。在一个示例中，图像捕获器件可以是个人器件，诸如智能手机、平板电脑、媒体平板电脑、膝上型电脑等。应用可以为每次扫掠提供关于位置的方向，以基于图像捕获器件的位置、来自图像捕获器件的位置信息和/或图像捕获器件的先前图像来近似无视差点。

在一些实施例中，视觉和/或听觉引导使得能够捕获可以拼接在一起以形成全景的图像而无需三脚架且无需相机定位信息(例如，指示来自传感器、GPS器件等的相机的方位、位置和/或取向)。

对准和拼接***1114可以对准或拼接(例如，由用户***1110或3D全景捕获和拼接***1102捕获的)2D图像以获得2D全景图像。

在一些实施例中，对准和拼接***1114利用机器学习算法将多个2D图像对准或拼接成2D全景图像。机器学习算法的参数可以由对准和拼接***1114管理。例如，3D和全景捕获和拼接***1102和/或对准和拼接***1114可以识别2D图像内的对象，以帮助将图像对准成2D全景图像。

在一些实施例中，对准和拼接***1114可以利用深度数据和2D全景图像来获得3D全景图像。可以将3D全景图像提供给3D和全景拼接***1102或用户***1110。在一些实施例中，对准和拼接***1114确定与3D全景图像内的识别对象相关联的3D/深度测量，并/或将一个或多个2D图像、深度数据、(一个或多个)2D全景图像、(一个或多个)3D全景图像发送到图像拼接和处理器***106，以获得具有比由3D和全景捕获和拼接***1102提供的2D全景图像或3D全景图像更大的像素分辨率的2D全景图像或3D全景图像。

通信网络1104可以表示一个或多个计算机网络(例如，LAN、WAN等)或其他传输介质。通信网络1104可以提供***1102、1106-1110和/或本文描述的其他***之间的通信。在一些实施例中，通信网络104包括一个或多个数字器件、路由器、电缆、总线和/或其他网络拓扑(例如，网格等)。在一些实施例中，通信网络1104可以是有线的和/或无线的。在各种实施例中，通信网络1104可以包括互联网、一个或多个广域网(WAN)或局域网(LAN)、可以是公共的、私有的、基于IP、非基于IP的一个或多个网络等。

图像拼接和处理器***1106可以处理由图像捕获器件(例如，环境捕获***400或诸如智能手机、个人计算机、媒体平板等的用户器件)捕获的2D图像，并将它们拼接成2D全景图像。由图像拼接和处理器***106处理的2D全景图像可以具有比由3D和全景捕获和拼接***1102获得的全景图像更高的像素分辨率。

在一些实施例中，图像拼接和处理器***1106接收并处理3D全景图像，以产生具有比所接收的3D全景图像的像素分辨率更高的像素分辨率的3D全景图像。可以将更高像素分辨率的全景图像提供给具有比用户***1110更高的屏幕分辨率的输出器件，诸如计算机屏幕、投影仪屏幕等。在一些实施例中，更高像素分辨率的全景图像可以更详细地向输出器件提供全景图像并且可以被放大。

图像数据存储区1108可以是适合于捕获的图像和/或深度数据的任何一个结构和/或多个结构(例如，主动数据库、关系数据库、自参考数据库、表、矩阵、阵列、平面文件、面向文档的存储***、非关系No-SQL***、诸如Lucene/Solar的FTS管理***和/或类似结构)。图像数据存储区1108可以存储由用户***1110的图像捕获器件捕获的图像。在各种实施例中，图像数据存储区1108存储由用户***1110的一个或多个深度传感器捕获的深度数据。在各种实施例中，图像数据存储区1108存储与图像捕获器件相关联的性质或与用于确定2D或3D全景图像的多次图像捕获或深度捕获中的每一次相关联的性质。在一些实施例中，图像数据存储区1108存储全景2D或3D全景图像。2D或3D全景图像可以由3D和全景捕获和拼接***1102或图像拼接和处理器***106确定。

用户***1110可以在用户和其他相关联***之间通信。在一些实施例中，用户***1110可以是或包括一个或多个移动设备(例如，智能手机、蜂窝电话、智能手表等)。

用户***1110可以包括一个或多个图像捕获器件。所述一个或多个图像捕获器件可以包括例如RGB相机、HDR相机、视频相机、IR相机等。

3D和全景捕获和拼接***1102和/或用户***1110可以包括两个或更多个捕获器件，其可以在彼此相对的位置中布置在相同的移动壳体上或内，使得其共同视场跨越高达360°。在一些实施例中，可以使用能够生成立体图像对(例如，具有略微偏移但部分重叠的视场)的成对图像捕获器件。用户***1110可以包括具有能够捕获竖直立体图像对的竖直立体偏移视场的两个图像捕获器件。在另一示例中，用户***1110可以包括具有能够捕获竖直立体图像对的竖直立体偏移视场的两个图像捕获器件。

在一些实施例中，用户***1110、环境捕获***400或3D和全景捕获和拼接***1102可以生成和/或提供图像捕获位置和方位信息。例如，用户***1110或3D和全景捕获和拼接***1102可以包括惯性测量单元(IMU)，以帮助确定与捕获多个2D图像的一个或多个图像捕获器件相关联的位置数据。用户***1110可以包括全球定位传感器(GPS)，以提供与由一个或多个图像捕获器件捕获的多个2D图像相关联的GPS坐标信息。

在一些实施例中，用户可以使用安装在用户***1110中的移动应用与对准和拼接***1114交互。3D和全景捕获和拼接***1102可以向用户***1110提供图像。用户可以利用用户***1110上的对准和拼接***1114来查看图像和预览。

在各种实施例中，对准和拼接***1114可以被配置为从3D和全景捕获和拼接***1102和/或图像拼接和处理器***1106提供或接收一个或多个3D全景图像。在一些实施例中，3D和全景捕获和拼接***1102可以向用户***1110提供已经由3D和全景捕获和拼接***1102捕获的建筑物的平面图的一部分的视觉表示。

***1110的用户可以导航该区域周围的空间并查看房屋的不同房间。在一些实施例中，随着图像拼接和处理器***1106完成3D全景图像的生成，用户***1110的用户可以显示3D全景图像，诸如示例3D全景图像。在各种实施例中，用户***1110生成3D全景图像的预览或缩略图。预览3D全景图像可以具有比由3D和全景捕获和拼接***1102生成的3D全景图像更低的图像分辨率。

图12是根据一些实施例的对准和拼接***1114的示例的框图。对准和拼接***1114包括通信模块1202、图像捕获位置模块1204、拼接模块1206、裁剪模块1208、图形切割模块1210、混合模块1211、3D图像生成器1214、捕获的2D图像数据存储区1216、3D全景图像数据存储区1218和引导模块220。可以理解，可以存在执行如本文描述的一个或多个不同功能的对准和拼接***1114的任何数量的模块。

在一些实施例中，对准和拼接***1114包括被配置为从一个或多个图像捕获器件(例如，相机)接收图像的图像捕获模块。对准和拼接***1114还可以包括被配置为从诸如LiDAR的深度器件(如果可用的话)接收深度数据的深度模块。

通信模块1202可以在对准和拼接***1114的任何模块或数据存储区与图11的示例环境1100的部件之间发送和接收请求、图像或数据。类似地，对准和拼接***1114可以在通信网络1104上向任何器件或***发送和接收请求、图像或数据。

在一些实施例中，图像捕获位置模块1204可以确定图像捕获器件(例如，可以是独立相机的相机、智能手机、媒体平板电脑、膝上型电脑等)的图像捕获器件位置数据。图像捕获器件位置数据可以指示图像捕获器件和/或透镜的位置和取向。在一个示例中，图像捕获位置模块1204可以利用用户***1110、相机、具有相机的数字器件或3D和全景捕获和拼接***1102的IMU，以生成图像捕获器件的位置数据。图像捕获位置模块1204可以确定一个或多个图像捕获器件(或透镜)的当前方向、角度或倾斜。图像捕获位置模块1204还可以利用用户***1110或3D和全景捕获和拼接***1102的GPS。

例如，当用户想要使用用户***1110来捕获物理环境(诸如起居室)的360°视图时，用户可以在视线水平处将用户***1110保持在他们的前面以开始捕获最终将成为3D全景图像的多个图像中的一个。为了减少图像的视差量并捕获更适合于拼接并生成3D全景图像的图像，如果一个或多个图像捕获器件在旋转轴线的中心处旋转，则会是优选的。对准和拼接***1114可以(例如，从IMU)接收位置信息以确定图像捕获器件或透镜的位置。对准和拼接***1114可以接收和存储透镜的视场。引导模块1220可以提供关于图像捕获器件的推荐初始位置的视觉和/或音频信息。引导模块1220可以针对后续图像做出用于定位图像捕获器件的推荐。在一个示例中，引导模块1220可以向用户提供引导以旋转并定位图像捕获器件，使得图像捕获器件靠近旋转中心旋转。此外，引导模块1220可以向用户提供引导以旋转并定位图像捕获器件，使得后续图像基于视场和/或图像捕获器件的特性基本上对准。

引导模块1220可以向用户提供视觉引导。例如，引导模块1220可以在用户***1110或3D和全景捕获和拼接***1102上的查看器或显示器中放置标记或箭头。在一些实施例中，用户***1110可以是具有显示器的智能手机或平板计算机。当拍摄一个或多个图片时，引导模块1220可以将一个或多个标记(例如，不同颜色标记或相同标记)定位在输出器件上和/或取景器中。然后，用户可以使用输出器件和/或取景器上的标记来对准下一图像。

有许多技术用于引导用户***1110或3D和全景捕获和拼接***1102的用户拍摄多个图像，以便于将图像拼接成全景。当从多个图像得到全景时，可以将图像拼接在一起。为了改善将图像拼接在一起的时间、效率和有效性同时减少校正伪影或未对准的需要，图像捕获位置模块1204和引导模块1220可以帮助用户在改善期望全景的图像拼接的质量、时间效率和有效性的位置中拍摄多个图像。

例如，在拍摄第一张图片之后，用户***1110的显示器可以包括两个或更多个对象，诸如圆圈。两个圆圈可以看起来相对于环境是静止的，并且两个圆圈可以随着用户***1110移动。当两个静止圆圈与随着用户***1110移动的两个圆圈对准时，图像捕获器件和/或用户***1110可以针对下一图像对准。

在一些实施例中，在图像捕获器件拍摄图像之后，图像捕获位置模块1204可以获取图像捕获器件的位置的传感器测量(例如，包括取向、倾斜等)。图像捕获位置模块1204可以通过基于传感器测量计算视场的边缘的位置来确定所拍摄的图像的一个或多个边缘。另外地或替代地，图像捕获位置模块1204可以通过扫描由图像捕获器件拍摄的图像、识别该图像内的对象(例如，使用本文讨论的机器学习模型)、确定图像的一个或多个边缘以及将对象(例如，圆圈或其他形状)定位在用户***1110上的显示器的边缘处来确定图像的一个或多个边缘。

图像捕获位置模块1204可以在用户***1110的显示器内显示两个对象，其指示下一图片的视场的定位。这两个对象可以指示环境中的表示存在最后一个图像的边缘的位置。图像捕获位置模块1204可以继续接收图像捕获器件的位置的传感器测量并计算视场中的两个另外对象。所述两个另外对象可以间隔开与前两个对象相同的宽度。虽然前两个对象可以表示所拍摄图像的边缘(例如，图像的最右侧边缘)，但表示视场的边缘的接下来两个另外对象可以在相对的边缘(例如，视场的最左侧边缘)上。通过使用户将图像边缘上的前两个对象与视场的相对边缘上的另外两个对象物理地对准，图像捕获器件可以被定位成可以在没有三脚架的情况下拍摄能够被更有效地拼接在一起的另一图像。该过程可以针对每个图像继续，直到用户确定已经捕获了期望的全景。

尽管本文讨论了多个对象，但是应当理解，图像捕获位置模块1204可以计算用于定位图像捕获器件的一个或多个对象的位置。对象可以是任何形状(例如，圆形、椭圆形、正方形、表情符号、箭头等)。在一些实施例中，对象可以具有不同的形状。

在一些实施例中，在表示捕获的图像的边缘的对象之间可以存在距离，并且在视场的对象之间可以存在距离。可以引导用户向前移动以移开，以使得对象之间能够存在足够的距离。替代地，随着图像捕获器件接近正确位置(例如，通过更靠近或更远离将使得能够在将改善图像拼接的位置中拍摄下一图像的位置)，视场中的对象的尺寸可以改变以匹配表示捕获图像的边缘的对象的尺寸。

在一些实施例中，图像捕获位置模块1204可以利用由图像捕获器件捕获的图像中的对象来估计图像捕获器件的位置。例如，图像捕获位置模块1204可以利用GPS坐标来确定与图像相关联的地理位置。图像捕获位置模块1204可以使用该位置来识别可以由图像捕获器件捕获的标志。

图像捕获位置模块1204可以包括将2D图像转换为2D全景图像的2D机器学习模型。图像捕获位置模块1204可以包括将2D图像转换为3D表示的3D机器学习模型。在一个示例中，可以利用3D表示来显示内部和/或外部环境的三维漫游或可视化。

2D机器学习模型可以被训练为将两个或更多个2D图像拼接或帮助拼接在一起以形成2D全景图像。2D机器学习模型可以例如是用2D图像训练的神经网络，所述2D图像包括图像中的物理对象以及将2D机器学习模型训练为识别后续2D图像中的对象的对象识别信息。2D图像中的对象可以帮助确定2D图像内的(一个或多个)位置，以帮助确定2D图像的边缘、2D图像中的扭曲以及帮助图像的对准。此外，2D图像中的对象可以帮助确定2D图像中的伪影、两个图像之间的伪影或边界的混合、切割图像和/或裁剪图像的位置。

在一些实施例中，2D机器学习模型可以例如是用2D图像训练的神经网络，其中所述2D图像包括环境的深度信息(例如，来自用户***1110的LiDAR器件或结构化光器件或3D和全景捕获和拼接***1102)以及包括图像中的物理对象以识别物理对象、物理对象的位置和/或图像捕获器件/视场的位置。2D机器学习模型可以识别物理对象以及其相对于2D图像的其他方面的深度，以帮助用于拼接的两个2D图像的对准和定位(或拼接两个2D图像)。

2D机器学习模型可以包括任何数量的机器学习模型(例如，由神经网络等生成的任何数量的模型)。

2D机器学习模型可以被存储在3D和全景捕获和拼接***1102、图像拼接和处理器***1106和/或用户***1110上。在一些实施例中，2D机器学习模型可以由图像拼接和处理器***1106训练。

图像捕获位置模块1204可以基于来自拼接模块1206的两个或更多个2D图像之间的接缝、来自裁剪模块1208的图像扭曲和/或来自图形切割模块1210的图形切割来估计图像捕获器件的位置(图像捕获器件的视场的位置)。

拼接模块1206可以组合两个或更多个2D图像以生成2D全景。基于来自拼接模块1206的两个或更多个2D图像之间的接缝、来自裁剪模块1208的图像扭曲和/或图形切割，其具有比两个或更多个图像中的每一个的视场更大的视场。

拼接模块1206可以被配置为将提供相同环境的不同视角的两个不同2D图像对准或“拼接在一起”，以生成环境的全景2D图像。例如，拼接模块1206可以采用关于相应2D图像的捕获位置和取向的已知或(例如，使用本文描述的技术)导出的信息来帮助将两个图像拼接在一起。

拼接模块1206可以接收两个2D图像。第一2D图像可以是恰在第二图像之前或在预定时间段内已经被拍摄的。在各种实施例中，拼接模块1206可以接收与第一图像相关联的图像捕获器件的定位信息，并且然后接收与第二图像相关联的定位信息。定位信息可以基于在拍摄图像的时候来自IMU、GPS的定位数据和/或由用户提供的信息与图像相关联。

在一些实施例中，拼接模块1206可以利用2D机器学习模块以扫描两个图像以辨识两个图像内的对象，包括可以由两个图像共享的对象(或对象的部分)。例如，拼接模块1206可以识别在两个图像的相对边缘处共享的角落、墙壁上的图案、家具等。

拼接模块1206可以基于共享对象(或对象的部分)的定位、来自IMU的定位数据、来自GPS的定位数据和/或由用户提供的信息来对准这两个2D图像的边缘，并且然后组合图像的两个边缘(即，将它们“拼接”在一起)。在一些实施例中，拼接模块1206可以识别彼此重叠的这两个2D图像的一部分，并且在重叠的位置处拼接图像(例如，使用定位数据和/或2D机器学习模型的结果)。

在各种实施例中，2D机器学习模型可以被训练为使用来自IMU的定位数据、来自GPS的定位数据和/或由用户提供的信息来组合或拼接图像的两个边缘。在一些实施例中，2D机器学习模型可以被训练为识别两个2D图像中的共同对象，以对准和定位2D图像，并且然后组合或拼接图像的两个边缘。在另外的实施例中，2D机器学习模型可以被训练为使用定位数据和对象识别来对准和定位2D图像，并且然后将图像的两个边缘拼接在一起以形成全景2D图像的全部或部分。

拼接模块1206可以利用相应图像的深度信息(例如，相应图像中的像素、相应图像中的对象等)，以便于与生成环境的单个2D全景图像相关联地将相应的2D图像彼此对准。

在当捕获2D图像时图像捕获器件没有保持在相同位置的情况下裁剪模块1208可以解决两个或更多个2D图像的问题。例如，在捕获图像的同时，用户可以将用户***1110定位在竖直位置。然而，在捕获另一图像的同时，用户可以以一定角度定位用户***。所得到的图像可能未对准并且可能存在视差效应。当前景和背景对象在第一图像和第二图像中没有以相同的方式对齐时，会出现视差效应。

裁剪模块1208可以利用2D机器学习模型(通过应用定位信息、深度信息和/或对象识别)来检测两个或更多个图像中的图像捕获器件的位置的变化，并且然后测量图像捕获器件的位置的变化量。裁剪模块1208可以扭曲一个或多个2D图像，使得当图像被拼接时，图像可以能够对齐在一起以形成全景图像，并且同时保留图像的某些特性，诸如保持直线是笔直的。

裁剪模块1208的输出可以包括像素列和行的数量，以偏移图像的每个像素来拉直图像。每个图像的偏移量可以以表示像素列和像素行的数量以偏移图像的每个像素的矩阵的形式输出。

在一些实施例中，裁剪模块1208可以基于来自图像捕获位置模块1204的一个或多个图像捕获位置或来自拼接模块1206的两个或多个2D图像之间的缝隙、来自图形切割模块1210的图形切割或来自混合模块1211的颜色的混合来确定要对由用户***1110的图像捕获器件捕获的多个2D图像中的一个或多个执行的图像扭曲量。

图形切割模块1210可以确定在何处对由图像捕获器件捕获的一个或多个2D图像进行切割或切片。例如，图形切割模块1210可以利用2D机器学习模型来识别两个图像中的对象，并确定它们是相同的对象。图像捕获位置模块1204、裁剪模块1208和/或图形切割模块1210可以确定即使被扭曲，两个图像也不能被对准。图形切割模块1210可以利用来自2D机器学习模型的信息来识别可以拼接在一起的两个图像的区段(例如，通过切掉一个或两个图像的一部分以帮助对准和定位)。在一些实施方式中，这两个2D图像可以与图像中表示的物理世界的至少一部分重叠。图形切割模块1210可以识别两个图像中的对象，诸如相同的椅子。然而，即使在图像捕获定位和裁剪模块1208的图像扭曲之后，椅子的图像也不能对齐以生成不失真的全景，并且不会正确地表示物理世界的一部分。图形切割模块1210可以选择椅子的两个图像中的一个作为正确的表示(例如，基于一个图像在与另一个图像相比时的未对准、定位和/或伪影)，并且从具有未对准、定位误差和/或伪影的图像中切割椅子。拼接模块1206可以随后将两个图像拼接在一起。

图形切割模块1210可以尝试两种组合，例如，从第一图像切割椅子的图像并将减去椅子的第一图像拼接到第二图像，以确定哪种图形切割生成更准确的全景图像。图形切割模块1210的输出可以是切割与图形切割相对应的多个2D图像中的一个或更多个2D图像的位置，这生成更准确的全景图像。

图形切割模块1210可以基于来自图像捕获位置模块1204的一个或多个图像捕获位置、来自拼接模块1206的两个或多个2D图像之间的拼接或接缝、来自裁剪模块1208的图像扭曲和来自图形切割模块1210的图形切割来确定如何对由图像捕获器件捕获的一个或多个2D图像进行切割或切片。

混合模块1211可以在两个图像之间的接缝(例如，拼接)处进行着色，使得接缝不可见。照明和阴影的变化可以引起相同的对象或表面以略微不同的颜色或阴影输出。混合模块可以基于来自图像捕获位置模块1204的一个或多个图像捕获位置、拼接、沿着来自两个图像的接缝的图像颜色、来自裁剪模块1208的图像扭曲和/或来自图形切割模块1210的图形切割来确定所需的颜色混合量。

在各种实施例中，混合模块1211可以从两个2D图像的组合接收全景，并且然后沿着这两个2D图像的接缝对颜色进行采样。混合模块1211可以从图像捕获位置模块1204接收接缝位置信息，以使得混合模块1211能够沿着接缝对颜色进行采样并确定差异。如果沿着两个图像之间的接缝存在颜色的显著差异(例如，在颜色、色调、亮度、饱和度和/或类似量的预定阈值内)，则混合模块1211可以沿着接缝在存在差异的位置处混合预定尺寸的两个图像。在一些实施例中，沿着接缝的颜色或图像的差异越大，则沿着这两个图像的接缝的可以混合的空间量越大。

在一些实施例中，在混合之后，混合模块1211可以沿着接缝对颜色进行重新扫描和采样，以确定图像或颜色是否存在超过颜色、色调、亮度、饱和度和/或类似量的预定阈值的其他差异。如果是，则混合模块1211可以识别沿着接缝的部分并继续混合图像的该部分。混合模块1211可以继续沿着接缝对图像进行重新采样，直到没有图像的其他部分要混合(例如，颜色的任何差异都低于预定阈值)。

3D图像生成器1214可以接收2D全景图像并生成3D表示。在各种实施例中，3D图像生成器1214利用3D机器学习模型将2D全景图像变换为3D表示。可以使用2D全景图像和(例如，来自LiDAR传感器或结构化光器件的)深度数据来训练3D机器学习模型以产生3D表示。可以针对策展/筛选(curation)和反馈对3D表示进行测试和回顾。在一些实施例中，3D机器学习模型可以与2D全景图像和深度数据一起用于生成3D表示。

在各种实施例中，由3D图像生成器1214生成的3D表示的精度、渲染速度和质量通过利用本文描述的***和方法而被极大地改善。例如，通过从已经使用本文描述的方法对准、定位和拼接的2D全景图像渲染3D表示(例如，通过由硬件提供的对准和定位信息，通过由在图像捕获期间提供给用户的指导引起的改善的定位，通过裁剪和改变图像的扭曲，通过切割图像以避免伪影并克服扭曲，通过混合图像和/或任何组合)，改善了3D表示的准确性、渲染速度和质量。此外，应当理解，通过利用已经使用本文描述的方法对准、定位和拼接的2D全景图像，可以极大地改善3D机器学习模型的训练(例如，在速度和准确性方面)。此外，在一些实施例中，由于将用于克服未对准、定位误差、扭曲、不良图形切割、不良混合、伪影等以生成合理准确的3D表示的处理和学习的减少，3D机器学习模型可以更小且更不复杂。

经训练的3D机器学习模型可以被存储在3D和全景捕获和拼接***1102、图像拼接和处理器***106和/或用户***1110中。

在一些实施例中，可以使用来自用户***1110和/或3D和全景捕获和拼接***1102的图像捕获器件的多个2D图像和深度数据来训练3D机器学习模型。另外，可以使用与来自图像捕获位置模块1204的多个2D图像中的每一个相关联的图像捕获位置信息、对准或拼接来自拼接模块1206的多个2D图像中的每一个的接缝位置、来自裁剪模块1208的多个2D图像中的每一个的(一个或多个)像素偏移和/或来自图形切割模块1210的图形切割来训练3D图像生成器1214。在一些实施例中，3D机器学习模型可以与2D全景图像、深度数据、与来自图像捕获位置模块1204的多个2D图像中的每一个相关联的图像捕获位置信息、对准或拼接来自拼接模块1206的多个2D图像中的每一个的接缝位置、来自裁剪模块1208的多个2D图像中的每一个的(一个或多个)像素偏移和/或来自图形切割模块1210的图形切割一起使用以生成3D表示。

拼接模块1206可以是将多个2D图像转换为2D全景或3D全景图像的3D模型的一部分。在一些实施例中，3D模型是机器学习算法，诸如从2D到3D的预测神经网络模型。裁剪模块1208可以是将多个2D图像转换为2D全景或3D全景图像的3D模型的一部分。在一些实施例中，3D模型是机器学习算法，诸如从2D到3D的预测神经网络模型。图形切割模块1210可以是将多个2D图像转换为2D全景或3D全景图像的3D模型的一部分。在一些实施例中，3D模型是机器学习算法，诸如从2D到3D的预测神经网络模型。混合模块1211可以是将多个2D图像转换为2D全景或3D全景图像的3D机器学习模型的一部分。在一些实施例中，3D模型是机器学习算法，诸如从2D到3D的预测神经网络模型。

3D图像生成器1214可以为图像捕获位置模块1204、裁剪模块1208、图形切割模块1210和混合模块1211中的每一个生成权重，其可以表示模块的可靠性或“强度”或“弱点”。在一些实施例中，模块的权重之和等于1。

在深度数据不可用于多个2D图像的情况下，3D图像生成器1214可以确定由用户***1110的图像捕获器件捕获的多个2D图像中的一个或多个对象的深度数据。在一些实施例中，3D图像生成器1214可以基于由立体图像对捕获的图像导出深度数据。3D图像生成器可以评估立体图像对以确定关于各种深度处的图像之间的光度匹配质量的数据(更中间的结果)，而不是根据被动立体算法确定深度数据。

3D图像生成器1214可以是将多个2D图像转换为2D全景或3D全景图像的3D模型的一部分。在一些实施例中，3D模型是机器学习算法，诸如从2D到3D的预测神经网络模型。

捕获的2D图像数据存储区1216可以是适合于捕获的图像和/或深度数据的任何一个结构和/或多个结构(例如，主动数据库、关系数据库、自参考数据库、表、矩阵、阵列、平面文件、面向文档的存储***、非关系No-SQL***、诸如Lucene/Solar的FTS管理***和/或类似结构)。捕获的2D图像数据存储区1216可以存储由用户***1110的图像捕获器件捕获的图像。在各种实施例中，捕获的2D图像数据存储区1216存储由用户***1110的一个或多个深度传感器捕获的深度数据。在各种实施例中，捕获的2D图像数据存储区1216存储与图像捕获器件相关联的图像捕获器件参数、或与多个图像捕获中的每一个相关联的捕获性质、或用于确定2D全景图像的深度捕获。在一些实施例中，图像数据存储区1108存储全景2D全景图像。2D全景图像可以由3D和全景捕获和拼接***1102或图像拼接和处理器***106确定。图像捕获器件参数可以包括照明、颜色、图像捕获透镜焦距、最大孔径、倾斜角度等。捕获性质可以包括像素分辨率、透镜失真、照明和其他图像元数据。

3D全景图像数据存储区1218可以是适合于3D全景图像的任何一个结构和/或多个结构(例如，主动数据库、关系数据库、自参考数据库、表、矩阵、阵列、平面文件、面向文档的存储***、非关系No-SQL***、诸如Lucene/Solar的FTS管理***和/或类似结构)。3D全景图像数据存储区1218可以存储由3D和全景捕获和拼接***1102生成的3D全景图像。在各种实施例中，3D全景图像数据存储区1218存储与图像捕获器件相关联的性质或与用于确定3D全景图像的多个图像捕获或深度捕获中的每一个相关联的性质。在一些实施例中，3D全景图像数据存储区1218存储3D全景图像。2D或3D全景图像可以由3D和全景捕获和拼接***1102或图像拼接和处理器***106确定。

图13描绘了根据一些实施例的3D全景图像捕获和生成过程的流程图1300。在步骤1302中，图像捕获器件可以使用图9的图像传感器920和WFOV透镜918来捕获多个2D图像。更宽的FOV意味着环境捕获***402将需要更少的扫描来获得360°视图。WFOV透镜918也可以水平地以及竖直地更宽。在一些实施例中，图像传感器920捕获RGB图像。在一个实施例中，图像传感器920捕获黑白图像。

在步骤1304中，环境捕获***可以将捕获的2D图像发送到图像拼接和处理器***1106。图像拼接和处理器***1106可以将3D建模算法应用于捕获的2D图像以生成全景2D图像。在一些实施例中，3D建模算法是用于将捕获的2D图像拼接成全景2D图像的机器学习算法。在一些实施例中，步骤1304可以是可选的。

在步骤1306中，图9的LiDAR 912和WFOV透镜918可以捕获LiDAR数据。更宽的FOV意味着环境捕获***400将需要更少的扫描来获得360°视图。

在步骤1308中，可以将LiDAR数据发送到图像拼接和处理器***1106。图像拼接和处理器***1106可以将LiDAR数据和捕获的2D图像输入到3D建模算法中，以生成3D全景图像。3D建模算法是机器学习算法。

在步骤1310中，图像拼接和处理器***1106生成3D全景图像。3D全景图像可以被存储在图像数据存储区408中。在一个实施例中，由3D建模算法生成的3D全景图像被存储在图像拼接和处理器***1106中。在一些实施例中，随着环境捕获***被用于捕获物理环境的各个部分，3D建模算法可以生成物理环境的平面图的视觉表示。

在步骤1312中，图像拼接和处理器***1106可以将所生成的3D全景图像的至少一部分提供给用户***1110。图像拼接和处理器***1106可以提供物理环境的平面图的视觉表示。

可以改变流程图1300的一个或多个步骤的顺序，而不影响3D全景图像的最终结果。例如，环境捕获***可以使利用图像捕获器件的图像捕获与利用LiDAR 912的LiDAR数据或深度信息捕获交错。例如，图像捕获器件可以利用图像捕获器件捕获物理环境的区段的图像，并且然后LiDAR 912从区段1605获得深度信息。一旦LiDAR 912从区段获得深度信息，图像捕获器件就可以继续移动以捕获另一区段的图像，并且然后LiDAR 912从区段获得深度信息，从而使图像捕获和深度信息捕获交错。

在一些实施例中，本文讨论的器件和/或***采用一个图像捕获器件来捕获2D输入图像。在一些实施例中，所述一个或多个图像捕获器件1116可以表示单个图像捕获器件(或图像捕获透镜)。根据这些实施例中的一些，容纳图像捕获器件的移动器件的用户可以被配置为围绕轴线旋转从而相对于环境以不同捕获取向生成图像，其中图像的共同视场水平地跨越高达360°。

在各种实施例中，本文讨论的器件和/或***可以采用两个或更多个图像捕获器件来捕获2D输入图像。在一些实施例中，两个或更多个图像捕获器件可以在彼此相对的位置中布置在相同的移动壳体上或内，使得其共同视场跨越高达360°。在一些实施例中，可以使用能够生成立体图像对(例如，具有略微偏移但部分重叠的视场)的成对图像捕获器件。例如，用户***1110(例如，包括用于捕获2D输入图像的一个或多个图像捕获器件的器件)可以包括具有能够捕获立体图像对的水平立体偏移视场的两个图像捕获器件。在另一示例中，用户***1110可以包括具有能够捕获竖直立体图像对的竖直立体偏移视场的两个图像捕获器件。根据这些示例中的任一个，每个相机可以具有跨度高达360的视场。在这方面，在一个实施例中，用户***1110可以采用能够捕获形成(具有竖直立体偏移的)立体对的成对全景图像的具有竖直立体偏移的两个全景相机。

定位部件1118可以包括被配置为捕获用户***位置数据和/或用户***方位数据的任何硬件和/或软件。例如，定位部件1118包括IMU，以生成与用于捕获多个2D图像的用户***1110的所述一个或多个图像捕获器件相关联的用户***1110位置数据。定位部件1118可以包括GPS单元，以提供与由一个或多个图像捕获器件捕获的多个2D图像相关联的GPS坐标信息。在一些实施例中，定位部件1118可以将用户***的位置数据和方位数据与使用用户***1110的所述一个或多个图像捕获器件捕获的相应图像相关联。

该设备的各种实施例向用户提供室内和室外环境的3D全景图像。在一些实施例中，该设备可以使用单个宽视场(FOV)透镜和单个光及检测和测距传感器(LiDAR传感器)有效且快速地向用户提供室内和室外环境的3D全景图像。

以下是本文描述的示例设备的示例使用情况。以下使用情况是实施例中的一个。如本文所讨论的设备的不同实施例可以包括与该使用情况的特征和能力类似的一个或多个特征和能力。

图14描绘了根据一些实施例的3D和全景捕获和拼接过程1400的流程图。图14的流程图将3D和全景捕获和拼接***1102称为包括图像捕获器件，但是在一些实施例中，数据捕获器件可以是用户***1110。

在步骤1402中，3D和全景捕获和拼接***1102可以从至少一个图像捕获器件接收多个2D图像。3D和全景捕获和拼接***1102的图像捕获器件可以是或包括互补金属氧化物半导体(CMOS)图像传感器。在各种实施例中，图像捕获器件是电荷耦合器件(CCD)。在一个示例中，图像捕获器件是红-绿-蓝(RGB)传感器。在一个实施例中，图像捕获器件是IR传感器。多个2D图像中的每一个可以具有与多个2D图像中的至少一个其他图像部分重叠的视场。在一些实施方式中，多个2D图像中的至少一些2D图像组合以产生物理环境(例如，室内、室外或两者)的360°视图。

在一些实施例中，从同一图像捕获器件接收所有多个2D图像。在各种实施方式中，从3D和全景捕获和拼接***1102的两个或更多个图像捕获器件接收多个2D图像的至少一部分。在一个示例中，多个2D图像包括一组RGB图像和一组IR图像，其中IR图像向3D和全景捕获和拼接***1102提供深度数据。在一些实施例中，每个2D图像可以与由LiDAR器件提供的深度数据相关联。在一些实施方式中，每个2D图像可以与定位数据相关联。

在步骤1404中，3D和全景捕获和拼接***1102可以接收与所接收的多个2D图像中的每一个相关联的捕获参数和图像捕获器件参数。图像捕获器件参数可以包括照明、颜色、图像捕获透镜焦距、最大孔径、视场等。捕获性质可以包括像素分辨率、透镜失真、照明和其他图像元数据。3D和全景捕获和拼接***1102还可以接收定位数据和深度数据。

在步骤1406中，3D和全景捕获和拼接***1102可以获取从步骤1402和1404接收的信息，以用于拼接2D图像以形成2D全景图像。关于图15的流程图进一步讨论拼接2D图像的过程。

在步骤1408中，3D和全景捕获和拼接***1102可以应用3D机器学***面图的视觉表示。

在步骤1410中，3D和全景捕获和拼接***1102可以向用户***1110提供所生成的3D表示或模型的至少一部分。用户***1110可以提供物理环境的平面图的视觉表示。

在一些实施例中，用户***1110可以将多个2D图像、捕获参数和图像捕获参数发送到图像拼接和处理器***1106。在各种实施例中，3D和全景捕获和拼接***1102可以将多个2D图像、捕获参数和图像捕获参数发送到图像拼接和处理器***1106。

图像拼接和处理器***1106可以处理由用户***1110的图像捕获器件捕获的多个2D图像，并将它们拼接成2D全景图像。由图像拼接和处理器***1106处理的2D全景图像可以具有比由3D和全景捕获和拼接***1102获得的2D全景图像更高的像素分辨率。

在一些实施例中，图像拼接和处理器***106可以接收3D表示并输出具有比所接收的3D全景图像的像素分辨率更高的像素分辨率的3D全景图像。可以将更高像素分辨率的全景图像提供给具有比用户***1110更高的屏幕分辨率的输出器件，诸如计算机屏幕、投影仪屏幕等。在一些实施例中，更高像素分辨率的全景图像可以更详细地向输出器件提供全景图像并且可以被放大。

图15描绘了示出图14的3D和全景捕获和拼接过程的一个步骤的进一步细节的流程图。在步骤1502中，图像捕获位置模块1204可以确定与由图像捕获器件捕获的每个图像相关联的图像捕获器件位置数据。图像捕获位置模块1204可利用用户***1110的IMU来确定图像捕获器件(或图像捕获器件的透镜的视场)的位置数据。位置数据可以包括当拍摄一个或更多个2D图像时一个或更多个图像捕获器件的方向、角度或倾斜。裁剪模块1208、图形切割模块1210或混合模块1212中的一个或更多个可以利用与多个2D图像中的每一个相关联的方向、角度或倾斜来确定如何扭曲(warp)、切割和/或混合图像。

在步骤1504中，裁剪模块1208可以扭曲多个2D图像中的一个或多个，使得两个图像能够对齐在一起以形成全景图像，并且同时保留图像的特定特性，例如保持直线是笔直的。裁剪模块1208的输出可以包括像素列和行的数量，以偏移图像的每个像素来拉直图像。每个图像的偏移量可以以表示像素列和像素行的数量以偏移图像的每个像素的矩阵的形式输出。在该实施例中，裁剪模块1208可以基于多个2D图像中的每一个的图像捕获姿态估计来确定多个2D图像中的每一个所需的扭曲量。

在步骤1506中，图形切割模块1210确定在何处对多个2D图像中的一个或多个进行切割或切片。在该实施例中，图形切割模块1210可以基于多个2D图像中的每一个的图像捕获姿态估计和图像扭曲来确定在何处对多个2D图像中的每一个进行切割或切片。

在步骤1508中，拼接模块1206可以使用图像的边缘和/或图像的切口将两个或更多个图像拼接在一起。拼接模块1206可以基于在图像内检测到的对象、图像的扭曲、切割等来对准和/或定位图像。

在步骤1510中，混合模块1212可以调整接缝处(例如，两个图像的拼接)或一个图像上接触或连接到另一图像的位置处的颜色。混合模块1212可以基于来自图像捕获位置模块1204的一个或多个图像捕获位置、来自裁剪模块1208的图像扭曲和来自图形切割模块1210的图形切割来确定所需的颜色混合量。

可以改变3D和全景捕获和拼接过程1400的一个或多个步骤的顺序，而不影响3D全景图像的最终结果。例如，环境捕获***可以使利用图像捕获器件的图像捕获与LiDAR数据或深度信息捕获交错。例如，图像捕获器件可以利用图像捕获器件捕获物理环境的图16的区段1605的图像，并且然后LiDAR612从区段1605获得深度信息。一旦LiDAR从区段1605获得深度信息，图像捕获器件就可继续移动以捕获另一区段1610的图像，并且然后LiDAR 612从区段1610获得深度信息，从而使图像捕获和深度信息捕获交错。

图16描绘了根据一些实施例的示例数字器件1602的框图。用户***1110、3D全景捕获和拼接***1102以及图像拼接和处理器***中的任一个可以包括数字器件1602的实例。数字器件1602包括处理器1604、存储器1606、存储设备1608、输入器件1610、通信网络接口1612、输出器件1614、图像捕获器件1616和定位部件1618。处理器1604被配置为执行可执行指令(例如，程序)。在一些实施例中，处理器1604包括能够处理可执行指令的电路或任何处理器。

存储器1606存储数据。存储器1606的一些示例包括存储器件，诸如RAM、ROM、RAM高速缓存、虚拟存储器等。在各种实施例中，工作数据存储在存储器1606内。存储器1606内的数据可以被清除或最终传送到存储设备1608。

存储设备1608包括被配置为检索和存储数据的任何存储设备。存储设备1608的一些示例包括闪存驱动器、硬盘驱动器、光盘驱动器和/或磁带。存储器1606和存储设备1608中的每一个包括计算机可读介质，其存储可由处理器1604执行的指令或程序。

输入器件1610是输入数据的任何器件(例如，触摸键盘、触笔)。输出器件1614输出数据(例如，扬声器、显示器、虚拟现实耳机)。应当理解，存储设备1608、输入器件1610和输出器件1614。在一些实施例中，输出器件1614是可选的。例如，路由器/交换机可以包括处理器1604和存储器1606以及接收和输出数据的器件(例如，通信网络接口1612和/或输出器件1614)。

通信网络接口1612可以经由通信网络接口1612耦合到网络(例如，通信网络104)。通信网络接口1612可以支持通过以太网连接、串行连接、并行连接和/或ATA连接的通信。通信网络接口1612还可以支持无线通信(例如，802.16a/b/g/n、WiMAX、LTE、Wi-Fi)。将显而易见的是，通信网络接口1612可以支持许多有线和无线标准。

部件可以是硬件或软件。在一些实施例中，部件可以配置一个或多个处理器以执行与部件相关联的功能。尽管本文讨论了不同的部件，但是应当理解，服务器***可以包括执行本文讨论的任何或所有功能的任何数量的部件。

数字器件1602可以包括一个或多个图像捕获器件1616。一个或多个图像捕获器件1616可以包括例如RGB相机、HDR相机、视频相机等。根据一些实施例，一个或多个图像捕获器件1616还可以包括能够捕获视频的视频相机。在一些实施例中，一个或多个图像捕获器件1616可以包括提供相对标准的视场(例如，大约75°)的图像捕获器件。在其他实施例中，一个或多个图像捕获器件1616可以包括提供相对宽的视场(例如，从大约120°直到360°)的相机，诸如鱼眼相机等(例如，数字器件1602可以包括环境捕获***400或被包括在环境捕获***400中)。

部件可以是硬件或软件。在一些实施例中，部件可以配置一个或多个处理器以执行与部件相关联的功能。尽管本文讨论了不同的部件，但是应当理解，服务器***可以包括执行本文讨论的任何或所有功能的任何数量的部件。

Claims (23)

1.一种图像捕获器件，包括：

壳体，所述壳体具有前侧和后侧；

第一马达，所述第一马达在所述壳体的所述前侧与所述后侧之间的第一位置处耦合到所述壳体，所述第一马达被配置为使所述图像捕获器件围绕竖直轴线水平地转动基本上270度；

广角透镜，所述广角透镜沿着所述竖直轴线在所述壳体的所述前侧与所述后侧之间的第二位置处被耦合到所述壳体，所述第二位置是无视差点，所述广角透镜具有远离所述壳体的所述前侧的视场；

图像传感器，所述图像传感器被耦合到所述壳体并且被配置为从由所述广角透镜接收的光生成图像信号；

安装件，所述安装件被耦合到所述第一马达；

LiDAR，所述LiDAR在第三位置处被耦合到所述壳体，所述LiDAR被配置为生成激光脉冲并生成深度信号；

第二马达，所述第二马达被耦合到所述壳体；以及

反射镜，所述反射镜被耦合到所述第二马达，所述第二马达被配置为使所述反射镜围绕水平轴线旋转，所述反射镜包括被配置为接收来自所述LiDAR的所述激光脉冲并围绕所述水平轴线引导所述激光脉冲的成角度表面。

2.根据权利要求1所述的图像捕获器件，其中所述图像传感器被配置为当所述图像捕获器件静止并且指向第一方向时以不同曝光生成第一多个图像。

3.根据权利要求2所述的图像捕获器件，其中所述第一马达被配置为在生成所述第一多个图像之后使所述图像捕获器件围绕所述竖直轴线转动。

4.根据权利要求3所述的图像捕获器件，其中在所述第一马达转动所述图像捕获器件的同时所述图像传感器不生成图像，并且其中在所述第一马达转动所述图像捕获器件的同时所述LiDAR基于所述激光脉冲生成深度信号。

5.根据权利要求3所述的图像捕获器件，其中所述图像传感器被配置为当所述图像捕获器件静止并且指向第二方向时以所述不同曝光生成第二多个图像，并且所述第一马达被配置为在生成所述第二多个图像之后使所述图像捕获器件围绕所述竖直轴线转动90度。

6.根据权利要求5所述的图像捕获器件，其中所述图像传感器被配置为当所述图像捕获器件静止并且指向第三方向时以所述不同曝光生成第三多个图像，并且所述第一马达被配置为在生成所述第三多个图像之后使所述图像捕获器件围绕所述竖直轴线转动90度。

7.根据权利要求6所述的图像捕获器件，其中所述图像传感器被配置为当所述图像捕获器件静止并且指向第四方向时以所述不同曝光生成第四多个图像，并且所述第一马达被配置为在生成所述第四多个图像之后使所述图像捕获器件围绕所述竖直轴线转动90度。

8.根据权利要求7所述的图像捕获器件，还包括处理器，所述处理器被配置成在所述图像传感器生成所述第二多个图像之前混合所述第一多个图像的帧。

9.根据权利要求7所述的图像捕获器件，还包括远程数字器件，所述远程数字器件与所述图像捕获器件通信，并且被配置为基于所述第一多个图像、第二多个图像、第三多个图像和第四多个图像以及所述深度信号来生成3D可视化，所述远程数字器件被配置为使用不多于所述第一多个图像、第二多个图像、第三多个图像和第四多个图像的图像来生成所述3D可视化。

10.根据权利要求9所述的图像捕获器件，其中在转动之间生成第一多个图像、第二多个图像、第三多个图像和第四多个图像，以致组合的转动使所述图像捕获器件围绕所述竖直轴线转动270度。

11.根据权利要求4所述的图像捕获器件，其中所述反射镜围绕所述水平轴线的速度或旋转随着所述第一马达转动所述图像捕获器件而增加。

12.根据权利要求1所述的图像捕获器件，其中所述反射镜的所述成角度表面为90度。

13.根据权利要求1所述的图像捕获器件，其中所述LiDAR在与所述壳体的所述前侧相对的方向上发射所述激光脉冲。

14.一种方法，其包括：

从图像捕获器件的广角透镜接收光，所述广角透镜被耦合到所述图像捕获器件的壳体，所述光在所述广角透镜的视场处被接收，所述视场延伸远离所述壳体的前侧；

由图像捕获器件的图像传感器使用来自所述广角透镜的所述光生成第一多个图像，所述图像传感器被耦合到所述壳体，所述第一多个图像处于不同曝光；

通过第一马达使所述图像捕获器件围绕竖直轴线水平转动基本上270度，所述第一马达在所述壳体的所述前侧与后侧之间的第一位置中被耦合到所述壳体，所述广角透镜在沿着所述竖直轴线的第二位置处，所述第二位置是无视差点；

通过第二马达使具有成角度表面的反射镜围绕水平轴线旋转，所述第二马达被耦合到所述壳体；

由LiDAR生成激光脉冲，所述LiDAR在第三位置处被耦合到所述壳体，在所述图像捕获器件水平转动的同时所述激光脉冲被引导到所述旋转反射镜；以及

由所述LiDAR基于所述激光脉冲生成深度信号。

15.根据权利要求14所述的方法，其中由所述图像传感器生成所述第一多个图像发生在所述图像捕获器件水平转动之前。

16.根据权利要求15所述的方法，其中在所述第一马达转动所述图像捕获器件的同时所述图像传感器不生成图像，并且其中在所述第一马达转动所述图像捕获器件的同时所述LiDAR基于所述激光脉冲生成所述深度信号。

17.根据权利要求16所述的方法，还包括：

当所述图像捕获器件静止并且指向第二方向时，由所述图像传感器以所述不同曝光生成第二多个图像；并且

在生成所述第二多个图像之后，通过所述第一马达使所述图像捕获器件围绕所述竖直轴线转动90度。

18.根据权利要求17所述的方法，还包括：

当所述图像捕获器件静止并且指向第三方向时，由所述图像传感器以所述不同曝光生成第三多个图像；并且

在生成所述第三多个图像之后，通过所述第一马达使所述图像捕获器件围绕所述竖直轴线转动90度。

19.根据权利要求18所述的方法，还包括：

当所述图像捕获器件静止并且指向第四方向时，由所述图像传感器以所述不同曝光生成第四多个图像。

20.根据权利要求19所述的方法，还包括使用所述第一多个图像、第二多个图像、第三多个图像和第四多个图像并且基于所述深度信号来生成3D可视化，所述生成所述3D可视化不使用任何其他图像。

21.根据权利要求17所述的方法，还包括在所述图像传感器生成所述第二多个图像之前混合所述第一多个图像的帧。

22.根据权利要求19所述的方法，其中在转动之间生成第一多个图像、第二多个图像、第三多个图像和第四多个图像，以致组合的转动使所述图像捕获器件围绕所述竖直轴线转动270度的转动。

23.根据权利要求1所述的方法，其中所述反射镜围绕所述水平轴线的速度或旋转随着所述第一马达转动所述图像捕获器件而增加。

Images