CN113424224B - 识别并保留优选点的合并点云的方法 - Google Patents

Abstract

合并从场景捕获的两个或更多个点云、消除冗余点并保留最佳表示场景的点的方法。该方法一般而言可以包括检测步骤，该步骤定位来自不同云的接近且因此潜在地冗余的点，随后是识别优选点的选择步骤。云可以被表示为范围图像，这可以简化这两个步骤。可以通过将范围图像划分为图块并针对云之间的相交部分测试图块边界体积来优化接近度测试。优选点的选择可以结合用户输入，或者可以是完全或部分自动化的。可以使用2D绘图工具对范围图像执行用户选择，以识别具有场景的优选视图的图像。自动化的选择可以例如基于重叠点处的每个点云扫描的表面分辨率将质量度量指派给点。

Description

识别并保留优选点的合并点云的方法

技术领域

本发明的一个或多个实施例涉及计算机图形学和虚拟现实的领域。更特别地，但不作为限制，本发明的一个或多个实施例实现了一种识别并保留优选点的合并点云的方法。

背景技术

使用诸如LIDAR之类的扫描仪从场景捕获3D数据可以涉及多次扫描，有时是从不同视点扫描的。由这多次扫描产生的点云可以被组合以形成场景的集成3D模型。但是，扫描会在场景的某些区域中重叠。保留重叠区域中的所有点会消耗不必要的存储和处理能力，并且在从场景的一个区块过渡到另一个区块时会导致渲染伪像或噪声。因此，期望在合并点云时消除冗余点。

在组合点云的领域中已知的传统方法通常使用昂贵的八叉树最近邻搜索，常常使用简单的距离阈值来确定要移除的点。这种方法可能要求进行迭代实验才能找到适当的阈值，这可能非常慢，特别是对于非常大的点云而言。

点云常常被组织为范围图像。范围图像点云具有透视特性，使用针对冗余的单个距离阈值测试可导致伪像。范围图像还支持更高效和直观的用于查找冗余点并从附近点集合中选择适当的点的处理。没有针对范围图像格式进行优化的用于组合点云的已知方法。

用于移除冗余点的已知方法通常也没有考虑在云重叠的区块中每个点云的质量。例如，一个扫描可以非常详细地捕获场景的某个区域，而另一个扫描可以仅以低得多的分辨率在***捕获那个区域。没有提供或者手动或者自动评估每个点云的质量以便为合并的点云选择优选点的机构的已知方法。

至少对于上述限制，需要一种识别并保留优选点的合并点云的方法。

发明内容

说明书中描述的一个或多个实施例涉及一种识别并保留优选点的合并点云的方法。本发明的实施例可以例如处理从共用的3D场景捕获的两个或更多个点云，以在保持最佳点的同时移除重叠的区块中的冗余点。可以使用具有存储器或附接到存储器的计算机来执行任何或所有处理步骤。

由计算机执行的处理步骤可以包括：获得点云；获得或生成确定两个不同的点是否足够接近以至于应当保留至多一个的接近度测试；识别满足接近度测试的接近点的组以及与任何其它云都不接近的孤立点；为每组接近点选择优选点；并通过组合优选点和孤立点来生成合并的点云。除了点之外，点云还可以包含捕获它们的视点以及捕获它们的角度分辨率。

在一个或多个实施例中，点云可以被组织为范围图像，每个范围图像具有包含到相关联点的距离的像素的2D阵列。与每个范围图像相关联的可以是从3D场景到2D像素阵列的投影。可以在一个或多个实施例中使用的说明性投影是球形等距柱状投影。

为了找到接近点，一个或多个实施例可以使用基点云的范围图像，并将其它点云投影到这个范围图像上。如果投影到像素的点与基点云视点的距离接近范围图像像素中的距离，那么投影到像素的点可能接近基云的像素点。

实施例可以将范围图像的像素分区为图块，并为与每个图块中的像素相关联的点生成边界体积。来自不同点云的图块之间的相交测试可以被用作点接近度的初步测试。可以将其边界体积相交的图块彼此链接，并且可以仅将来自相交图块的点投影到基点云范围图像的像素上，以进行上述的接近度测试。

可以利用用户输入或完全自动地从接近点的组中选择优选点。在一个或多个实施例中，可以呈现允许用户选择要显示的点云的用户界面；例如，可以显示与那个点云相关联的范围图像。点的显示可以包括指示器，该指示器示出所显示的云中的每个点是否是其所属的一组接近点的优选点。这个指示器还可以示出该点是否是具有属于不同的云的优选点的组的成员。指示器可以是例如颜色、阴影或图案。用户可以能够提供选择输入以选择一个或多个点，以及修改优选点的指派的诸如添加、替换或移除之类的动作。例如，添加动作可以将所选择的点设置为优选点，并且移除动作可以将所选择的点清除为不作为优选点。

一个或多个实施例可以通过为组中的每个点计算质量度量并选择具有最高质量度量的点来自动选择优选点。说明性质量度量可以与每个点处每个点云的分辨率逆相关。例如，可以将这个分辨率计算为从点云视点到该点的视图向量长度的两倍乘以点云角度分辨率的一半的正切。在一个或多个实施例中，这个分辨率还可以除以视图向量和到该点处的3D场景表面的法线向量之间的角度的余弦。

附图说明

通过以下结合附图呈现的对本发明的更具体描述，本发明的上述和其它方面、特征和优点将变得更加明显，其中：

图1示出了由本发明的一个或多个实施例解决的场景的示例，其中从场景捕获两个点云并且点云在场景的一部分中重叠。

图2示出了本发明的一个或多个实施例的说明性输入、输出和处理步骤的高级流程图。

图3示出了可以在本发明的一个或多个实施例中用于执行处理步骤的说明性计算机体系架构。

图4示出了识别点云的重叠部分中的接近点的说明性步骤。

图5示出了识别接近点组中的优选点的说明性步骤。

图6示出了组合孤立点和优选点以形成合并的点云的说明性步骤。

图7图示了可以在本发明的一个或多个实施例中使用的点云数据的范围图像格式。

图8图示了从一个云投影点到另一个点云的范围图像上，以便定位接近点。

图9继续图8的示例，以示出从范围图像中的像素形成平截头体，以确定来自另一个云的投影的点是否接近范围图像云中的点。

图10图示了将范围图像划分为图块，并围绕每个图块的点生成边界体积。

图11继续图10的示例，以示出与图块相关联的边界体积如何可以被用于优化对接近点的检测。

图12示出了可以被用于点云的重叠区域中的优选点的用户选择的说明性用户界面。

图13继续图12的示例，以示出一个云中的点的用户选择，并从另一个云的角度查看这些选择的点。

图14继续图13的示例，以示出用户用来自所查看的云的点替换另一个云中所选择的点。

图15继续图14的示例，以示出用户删除一些选择的点，并从另一个云的角度查看这种删除的效果。

图16示出了可以在一个或多个实施例中使用的用于自动选择优选点的说明性技术；这种技术通过比较重叠区域中每个点云的分辨率来比较重叠区域处两个点云的质量。

图17扩展了图16的示例，以示出当表面不垂直于来自点云扫描仪的视图向量时点云表面分辨率的计算。

图18A和18B示出了点质量比较的应用，该点质量比较用于针对图1的扫描自动选择优选点；图18A是透视图，而图18B是顶视图。

具体实施方式

现在将描述识别和保留优选点的合并点云的方法。在下面的示例性描述中，阐述了许多具体细节以便提供对本发明实施例的更透彻理解。但是，对于本领域普通技术人员而言显而易见的是，可以在不结合本文描述的具体细节的所有方面的情况下实践本发明。在其它情况下，没有详细描述本领域普通技术人员众所周知的特定特征、量或测量，以免混淆本发明。读者应当注意的是，虽然本文阐述了本发明的示例，但是权利要求和任何等同物的全部范围是定义本发明的界限和范围的因素。

图1图示了可以由本发明的一个或多个实施例解决的场景：可以从共用的3D场景中捕获多个点云，并且可能期望将这些点云合并为单个组合云。但是，将所有云的所有点包括在组合云中可能是不期望的，因为在多个云中包括的3D场景的区块中可能存在冗余。除了消耗不必要的存储和处理资源之外，冗余点还可以导致云之间的过渡中出现伪像。

在图1所示的说明性示例中，3D场景是简单的圆柱体100。为了便于说明，示出了这个形状；在应用中，可以从任何尺寸和复杂度的任何一个或多个3D场景中捕获任何数量的点云。可以从真实环境、从计算机生成的环境或从其任何组合中捕获由本发明的一个或多个实施例合并的点云。在图2中，从场景100捕获两个点云；第一点云(用黑点示出)是由扫描仪101捕获的，第二点云(用白点示出)是由扫描仪102捕获的。点云的说明性点是由扫描仪101捕获的点105和由扫描仪102捕获的点106。(在一个或多个实施例中，扫描仪101和102在物理上可以是完全相同的，但是可以在不同的时间为不同的扫描而重新定位或重新激活。)一个或多个实施例可以处理和合并任何数量的点云，包括但不限于两个点云。

扫描仪101和102可以是被组合以从场景形成3D数据的任何一种或多种类型的3D扫描仪或2D传感器，包括但不限于LIDAR、结构光和立体视觉。与每个扫描仪相关联的可以是某些参数，诸如例如从其进行扫描的视点，以及用于扫描点的一个或多个角度分辨率。例如，扫描仪101以角度分辨率121从视点111捕获第一点云，而扫描仪102以角度分辨率122从视点112捕获第二点云。角度分辨率可以跨扫描不是恒定的，并且可以存在不同的水平和垂直角度分辨率。在本说明书中，术语“角度分辨率”是指捕获点云的任何或所有可能的角度分辨率。为了便于说明，示例仅示出了单个角度分辨率，该角度分辨率例如可以跨扫描和跨轴是恒定的。

因为可以从不同的视点捕获点云，因此它们可以捕获3D场景的不同特征。例如，在图1中，扫描仪102捕获在圆柱体100的背侧上的点107，以及在前侧上的诸如点106之类的点(在图1中可见)；扫描仪101仅捕获圆柱体前侧上的点。但是，点云可以在一个或多个区域(诸如区域130)中重叠。为了生成表示整个场景的完整的“格式塔”点云，一个或多个实施例可以从一个或多个重叠区域中的点云中选择某些优选点。下面描述用于选择这些优选点的说明性处理。

为了便于说明，图1中所示的点云各包含少量点。在实践中，点云可以各包含数百万或数十亿个点。因此，用于合并点云的处理和存储效率是个重要的问题。下文描述的处理可以通过组织数据以进行高效访问并通过优化点比较以避免不必要的处理来解决这些问题。

图2示出了可以在本发明的一个或多个实施例中被用于使用来自图1的数据作为示例合并两个或更多个点云的输入、输出和处理步骤的高级流程图。从3D场景捕获的点云131和132例如直接从扫描仪或从存储器获得。除了点云131和132中的三维点本身之外，捕获属性(诸如视点111和112以及角度分辨率121和122)分别可以是点云的一部分或链接到点云。一个或多个实施例可以访问其它属性(诸如例如捕获的垂直和水平范围)。点云131和132必须注册或可注册到用于3D场景的共用坐标系。点云数据131和132被输入到处理数据的处理器201，从而产生合并的点云220的输出。合并的点云220可以例如在点云131和132重叠的场景的区域中具有减少的冗余。

在高级别，处理器201可以执行三个步骤以将各个点云131和132变换成合并的点云220。步骤211可以识别一组或多组接近点，其中用于接近度的准则取决于源点云或取决于应用。这些组表示可能的冗余。步骤212可以从这些组中的一个或多个中选择优选点。在步骤213中，优选点可以与来自源点云的其它点组合以形成最终的合并的点云220。

图3示出了可以在本发明的一个或多个实施例中被用于执行图2的步骤或本说明书中描述的任何其它步骤的说明性硬件。可以在***的任何组件中、由***中的任何组件或作为***中的任何组件利用示例性计算机300的这个实施例。在一个或多个实施例中，计算机300可以是计算机的网络，每个计算机可以具有图3中所示的任何或所有组件。在一个或多个实施例中，一个或多个计算机300也可以被用于实现***中的任何功能，即，在***中的任何计算机或服务器或引擎中执行的任何步骤或动作或功能。计算机300可以包括处理器CPU307，其执行专门针对本发明的实施例的相应功能而定制的软件指令。软件指令，否则称为计算机程序指令，可以驻留在存储器306内。计算机300可以包括处理器GPU 305，其可以执行例如用于高度并行操作的图形指令或其它指令。GPU程序指令也可以驻留在存储器306内。计算机300可以包括显示接口308，其可以根据期望驱动***中任何计算机的一个或多个显示单元310。一些计算机300可以使用或可以不使用显示器。计算机300可以包括通信接口324，其可以包括无线或有线通信硬件协议芯片。在本发明的一个或多个实施例中，通信接口324可以包括电话和/或数据通信硬件。在一个或多个实施例中，通信接口324可以包括Wi-Fi^TM和/或BLUETOOTH^TM无线通信接口。在本发明的实施例中可以使用任何无线网络协议或类型。CPU 307、GPU 305、存储器306、显示接口308、通信接口324、人机接口设备330、次级存储器312(诸如硬盘314、可移除存储装置316、次级存储器接口320以及可移除存储单元318和322)可以通过通常被称为“总线”的通信基础设施302彼此通信。通信接口324可以通过允许通过网络340与其它有线或无线设备进行通信的任何有线或无线介质进行通信。网络340可以与互联网360和/或一个或多个数据库350通信。数据库350可以被用于实现本文描述的任何数据库。

图4、5和6分别图示了图2的步骤211、212和213的实施例。如图4中所示，本发明的一个或多个实施例可以定义或可以获得接近度测试401，该接近度测试401确定两个点是否足够接近以至于可以期望从合并的点云中移除它们中的一个(或两个)。一个或多个实施例可以使用任何类型的一个或多个接近度测试来确定点是否接近在一起。在说明性测试401中，简单的距离阈值被用于测试点是否足够接近在一起。任何一个或多个距离函数可以被用于这种阈值测试。可以将根据接近度测试401接近的两个或更多个点放置到组中，可以如下所述对其进行处理以确定该组中的优选点。在图4所示的说明性示例中，利用接近度测试401来处理点云131和132，从而产生接近点组402。例如，组403包含云131的一个点和云132的两个点。一般而言，一组接近点可以包含来自任何数量的点云的任何数量的点。与其它点云中的任何其它点都不接近的所有点可以被分类为孤立点404。

图5继续图4的示例。执行处理501以识别接近点的组402中的每个组的优选点。优选点用箭头指示，诸如用以选择点503作为组403的优选点的标识502。在这个示例中，为接近点的组402中的每个组识别优选点。在一个或多个实施例中，可以仅为这些组的子集识别优选点，并且可以例如保留来自没有指定优选点的组中的所有点。可以使用任何期望的方法来识别优选点，包括以下描述的手动或自动方法。在优选点的识别501之后，步骤504移除非优选点并且仅保留优选点，从而得到点505。如图6中所示，这些优选点505然后可以与孤立点404组合以产生合并的点云601。

图7至17详细说明了上述一般步骤，并且图示了可以在一个或多个实施例中用于执行这些步骤的特定方法和优化。这些方法和优化中的一些可以使用将点云数据组织到范围图像中。范围图像可以例如具有表示点云的各个样本的像素的2D阵列，其中每个像素包含到由对应样本捕获的场景中的点的距离值。与三维点的非结构化集合相比，范围图像可以支持对点云数据的更高效处理。图7示出了用于点云131的说明性范围图像表示720。二维像素阵列720表示三维场景到像素坐标上的投影。为了说明，每个像素的亮度与每个像素中的距离值相关，较亮的像素与较小的距离对应。

一个或多个实施例可以对范围图像使用任何一种或多种类型的投影。图7中所示的投影是等距柱状投影710：来自三维场景的点被投影到以扫描仪的视点111为中心的球体701上，然后利用投影710将球体映射到二维阵列。等距柱状投影可以是一些点云的自然投影，这些点云是通过递增扫描场景的方位角和仰角来捕获的，因为这些角度可以被映射到等距柱状投影的纬度-经度。等距柱状投影还支持2D像素阵列中完整的360度水平和180度垂直扫描(或其任何子范围)的表示。

示出了对于点云131的说明性点702和704的投影。点702被投影到球体701上的点703上，然后被映射到范围图像720的像素723。与像素723相关联的是视点111与3D场景中的点702之间的距离724。类似地，点704投影到球体701上的点705上，然后投影到范围图像720中的像素721，点704和视点111之间具有距离722。针对像素721和723指示了距离值；距离值未针对其它像素示出，但在范围图像中针对每个像素存在。

点云的范围图像表示可以促进对接近点的检测。对于非结构化的点云(例如，表示为无序的3D点集合)，查找接近给定点的点可能要求进行大量处理。一种方法是找到所有成对的点之间的距离；对于大点云，这变得不切实际，因为计算数量基于云大小平方增长。另一种替代方案是将点云预处理为八叉树或类似的数据结构；这种方法减少了比较的次数，但是要求昂贵的预处理步骤。范围图像表示的使用可以避免这些复杂性并提供接近点的高效检测。

图8和9图示了可以在一个或多个实施例中使用的用于使用范围图像来检测接近点的技术。这种技术分两步执行接近度测试：首先，它测试点是否投影到范围图像中的同一像素；其次，它测试与同一像素中的点相关联的投影距离是否在阈值内。图8示出了点云132的点到与点云131相关联的范围图像720上的投影。如关于图7所描述的，可以使用与范围图像720相关联的投影710将来自云132的点投影到范围图像像素720上。当将一个点云投影到与另一个点云相关联的范围图像上时，可以将多个点投影到同一像素。例如，在图8中，点801、802、803和804全部被投影到范围图像720的像素810上，分别作为投影点811、812、813和814。因此，这些点可以是与点云131的点704的接近点的候选，点704也被投影到像素810，如图7所示。点云132的其它点不是候选点，因为它们不具有相同的投影像素。

图9继续图8的示例，以示出在一个或多个实施例中如何可以为候选接近点定义接近度测试。对于点云131的点704以及投影到与点704相同的像素上的点云132的候选点811、812、813和814，示出了这个过程。与这些点中的每一个相关联的是点云131的视点111与相应点之间的距离。例如，点704距视点111处于距离722，而点812距视点111处于距离904。在一个或多个实施例中，可以定义阈值距离902，并且如果距离722与从视点111到点的距离之间的差的绝对值小于这个阈值，那么可以认为该点接近点704。距离阈值可以取决于到点704的距离。

在一个或多个实施例中，可以通过考虑包含距视点111处于距离722的点704的像素的投影大小来定义接近度测试。特别地，***可以在点704周围生成平截头体901，并且这个平截头体的维度可以取决于到点704的距离以及在那个点处的点云的角度分辨率。有效地，与该点相关联的像素可以从范围图像投影到点云中的该点，并且可以在该像素周围生成平截头体。在一个或多个实施例中，平截头体可以具有近似立方体的形状；因此宽度可以近似是阈值距离902的两倍。来自另一个点云的、在点704附近的这个平截头体901内的点可以被认为接近点704。使用这个准则，点811和812可以满足这个接近度测试，而点813和814可能不满足，因为它们在圆柱体100背侧在点704的“后面”。因此，可以将点704、811和812添加到组402中的接近点的组903。

在一个或多个实施例中，可以执行提高接近度测试效率的附加优化。图10和11中图示了这样一种优化。图10示出了从扫描仪1001捕获并投影到范围图像1002上的点云的部分。为了便于说明，图10和11中所示的范围图像投影是平面透视投影，而不是等距柱状球形投影；图示的概念同样适用于所有类型的投影。范围图像1002的像素可以被划分为图块1011、1012、103和1014。为了简单起见，此处示出了四个图块；一个或多个实施例可以使用任何数量的任何维度的图块。对于每个图块，可以围绕投影到那个图块内的像素上的点计算边界体积。例如，这个边界体积可以是从图块向外投影的平截头体，其正面和背面分别由投影到图块的像素中的点的视点的最小和最大距离确定。图10分别图示了用于图块1011和1014的两个平截头体1021和1022。

一旦为投影到图块中的点计算出边界体积，这些边界体积就可以被用于优化接近度测试，如图11中所示。图11图示了由扫描仪1001和1101捕获并分别投影到范围图像1002和1102上的两个点云1121和1122。为了说明，每个范围图像被划分为四个图块，并示出了与每个图块相关联的平截头体边界体积。可以通过确定包含点的边界体积是否相交来定义点的第一级接近度测试。在图11所示的示例中，仅平截锥体1022和1103相交。因此，两个点云1121和1122之间的接近点(如果有的话)仅可以在投影到范围图像1002中的图块1014并且投影到范围图像1102中的图块1112的点中找到。来自所有其它图块的点可能不需要进行接近度测试的评估。例如，如果使用图8和9中描述的过程通过利用投影1110将云1122的点投影到范围图像1002上来寻找点云11201和1122之间的接近点的组，那么仅需要将体积1103中的点投影到图块1014用于评估接近度。

在本发明的一个或多个实施例中，可以为要合并的所有点云计算诸如图11所示的图块边界体积，并且可以检查每个边界体积是否与来自其它点云的边界体积相交。可以经由众所周知的算法(诸如基于分离轴定理的算法)快速执行相交测试。每个图块边界体积可以例如链接到与之相交的图块边界体积。当评估点云的范围图像区域与其它点云重叠时，那个区域中的图块可以被用于从其它点云中识别链接的边界体积，并且仅需要考虑那些链接的边界体积中的点。

现在转向优选点的识别，一个或多个实施例可以使用结合了用户输入以选择优选点的方法，或者是全自动的方法。也可以使用这些方法的组合，例如自动选择提议的优选点，并通过手动输入确认或拒绝这些选择。图12至15图示了获得用户输入以选择优选点的方法，而图16和17图示了自动方法。这些方法是说明性的；一个或多个实施例可以使用任何类型的方法来从接近点的组中识别优选点。

在一个或多个实施例中，***可以向用户呈现用户界面并从这个用户界面接受对优选点的选择。图12至15中所示的实施例呈现了围绕2D范围图像投影组织的用户界面。用户可以从任何选择的范围图像的角度将点云视为点云的2D投影。从这些2D视图中，用户可以指示应当将哪个点云用于由用户绘制或以其它方式指示的区域中的优选点。围绕点云的2D投影组织用户输入简化了用户体验，因为用户可以仅通过在2D图像中绘制区域来选择优选点，如下所示。

图12示出了具有初始屏幕1201的说明性用户界面。用户选择在选择区块1202中查看哪个云范围图像；这个选择最初设置为云1。所选择的云的范围图像投影在窗口1203中示出。在屏幕1211中，用户切换以查看选择1212中的云2，示出了投影1213。在这些初始屏幕中，用户尚未指示任何优选点。当***示出与云相关联的范围图像投影时，它可以跟踪或计算来自其它云的、与投影中示出的点接近的点。可以如上所述确定这些点，并且可以使用相对于图11描述的预先计算的边界体积相交来优化这些点。例如，窗口1203中的点1204与包含接近这个点的云2的点的组1205相关联。类似地，在屏幕1211中，窗口1213中的点1214中的任一个可以与这个相同的组1205相关联。当从不同点云的角度示出视图时，***可以计算或跟踪这些关联。当用户在屏幕上进行选择时，可以为点组(诸如组1205)指派优选点。优选点的这些指派和重新指派在图13至15中示出。

图13继续这个示例以示出用户对优选点的选择。在屏幕1301中，用户选择“添加”动作1302以添加来自可见云的优选点。然后，用户绘制、画或以其它方式选择区域1303，以指示来自云1的这个区域中的点应当被识别为它们所属的任何接近点组中的优选点。一个或多个实施例可以使用各种指示器(诸如大小、标签、形状、阴影、图案或颜色)来指示点的状态；在图13所示的示例中，图例1320示出了在这些屏幕中通过图案指示点状态。在一个或多个实施例中，这个图例1320可以在用户界面中示出或在另一个屏幕上可用。在一个或多个实施例中，用户还可以能够看到点云的3D视图，该3D视图具有关于在每个点云中选择了哪些点作为优选点的指示器。例如，视图1330可以是可用的，其示出所有的点并且示出哪些点被选择为优选点。(为了便于说明，在窗口1330中示出了圆柱体3D场景。)如果用户利用选择1312在屏幕1311中切换以查看云2，那么显示器将区域1313示为已被选择为另一个点云中的优选点，因为这些点与区域1303中指派给云1的所选择的点重叠。用户可以在不同的点云中逐步选择点作为优选点，并从不同点云的角度并在3D中查看这些选择的效果。

图14继续屏幕1401的示例，其中用户再次从云2的角度查看范围图像。用户选择“替换”动作1402，并绘制、画或以其它方式选择区域1403，以便用来自这个点云的点替换在不同点云中选择的点。这个替换动作也添加以前未选择的新点。这个动作将指派给点云1的点的区域1313减小到更小的区域1404。当用户执行选择1412以在屏幕1411中查看云1时，为云1选择的先前选择的区块1303被减小为区块1413，并且点1414被示为针对不同的云被选择。继续这个示例，在图15中，用户在屏幕1501中选择“移除”动作1502，然后选择区域1503以移除这些点对任何点云的指派。当用户切换到屏幕1511并进行选择1512以示出云2的范围图像视图时，先前在云1中被选择的点1513现在示为未指派。

图12至15中所示的用户界面屏幕、选择选项和动作是说明性示例。一个或多个实施例可以使用任何类型的用户界面来从用户获得输入以选择用于合并的点云的优选点。对于呈现类似于屏幕1501和1511所示的2D投影的用户界面，可以使用任何类型的2D绘图或图像操纵工具或控件来选择和修改点、区域、区块或形状。

代替或除了获得用于选择优选点的用户输入之外，一个或多个实施例可以自动选择优选点。例如，可以使用为一组接近点中的每个点计算的点质量度量来执行自动选择；可以选择组中质量度量最高的点作为组的优选点。可以使用任何一种或多种质量度量。图16和17图示了质量度量的计算，该质量度量反映了场景中每个点处每个点云捕获的3D场景的细节水平。例如，可以为相关联的点云捕获更多细节的区域中的点给出更高的质量度量。基于细节水平的质量度量的使用可以生成合并的点云，其以最大的细节示出场景，而无需添加不必要或冗余的点。

由点云在点处捕获的细节水平可以与点云在那个点处的表面分辨率成逆相关。在点处的这个表面分辨率可以例如被定义为当像素被投影到在那个点处由点云成像的表面上时以该点为中心的该像素的宽度。这个宽度可以等效地视为从像素延伸到表面的平截头体的背面在那个点处的宽度。如图16中所示，这个表面分辨率可以是点云的角度分辨率以及点云的视点与表面之间的距离的函数。为了便于说明，图16中的计算仅示出了沿着一个轴(水平轴)的表面分辨率；一个或多个实施例可以计算沿着多个轴的表面分辨率。在图16所示的示例中，可以表示3D场景的局部部分的平面表面1600被两个扫描仪101和102分别从视点111和112捕获。两个点云的点在图16中被示为不重叠，以突出显示质量度量的计算。一般而言，这些质量度量将用于点云重叠的区块，以便从一组接近点中选择最佳点。针对两个点示出质量度量计算：来自扫描仪101捕获的点云的点1615，以及来自扫描仪102捕获的点云的点1616。如果将来自扫描仪101的扫描点放置在像素中，每个像素的中心有一个点，那么以点1615为中心投影在表面1600上的像素为矩形1641。这个矩形的宽度1611可以用作该点云在那个点1615处的表面分辨率的度量。类似地，矩形1642的宽度1612可以用作在点1616处的扫描仪102的点云的表面分辨率的度量。为简单起见，假设表面1600垂直于从视点111到点1615的视图向量1631，那么表面分辨率1611等于视图向量1631的长度1601(这是从扫描仪到表面的距离)的两倍乘以扫描仪角度分辨率121的一半的正切。类似地，表面分辨率1612等于视图向量1632的长度1602的两倍乘以扫描仪102的角度分辨率122的一半的正切。这些计算分别导致针对点1615和1616的质量度量1621和1622。在这个示例中，来自扫描仪101的点云的表面分辨率1611比来自扫描仪102的点云的表面分辨率1612更粗(更大)；因此，在它们重叠的这个扫描区域中，来自扫描仪102的点可能更优选。

上面在图16中描述的用于表面分辨率和点质量度量的计算假设一个点处的视图向量垂直于那个点处的被扫描表面。本发明的一个或多个实施例可以代替地估计视图向量和被扫描表面的法线向量之间的角度，而不是假设这个角度为零，并且使用这个角度来细化点质量度量。图17中图示了这种方法。为简单起见，图17示出了仅围绕垂直轴倾斜的表面，并且从该表面上方的顶视图示出了几何形状。图17中所示的计算立即推广到任何表面朝向。扫描点1705位于表面1600a上，并且以这个点为中心的像素投影到该表面上。被投影像素的宽度为1611a，它是点1705处的表面1600a上点云的表面分辨率。表面1600a(从顶部示出)具有法线向量1702，该法线向量相对于到点1705的视图向量1631成角度1703。三角计算表明，被投影像素宽度1611a是距离1601的两倍乘以角度分辨率121的一半的正切，再除以角度1703的余弦。例如，可以将质量度量计算为这个表面分辨率1611a的倒数。视图向量与表面法线之间的非零角度1703导致表面分辨率除以角度1703的余弦；因此，质量度量乘以这个因子。

到表面的法线向量1702可以从点云数据中计算，或者可以从有关场景的其它信息中获得。可以在一个或多个实施例中使用的说明性技术是本领域中已知的正常估计的最小二乘法。这种技术通过点云的小块中的点(诸如在范围图像中以为其计算法线向量的像素为中心的3x3像素阵列)拟合平面。可以将到拟合的平面的法线向量用作那个点处的到表面的法线。

图18A和18B图示了可以如何使用图17中描述的调整后的质量度量来选择优选点。示出了图1的圆柱形场景的一部分100a。图18A示出了透视图，并且图18B示出了顶视图。由扫描仪101捕获的点1801和由扫描仪102捕获的点1802在一组接近点中。在点1801和1802之间自动选择优选点可以考虑上述所有三个因素：扫描仪与点之间的距离、扫描仪的角度分辨率以及扫描视图向量与表面法线之间的角度。在这个示例中，扫描仪102可以被定位成更接近场景100a，并且扫描仪102的角度分辨率可以更小；但是，分别在点1801和点1802处，来自扫描仪101的视图向量1811几乎平行于表面法线向量1810，而来自扫描仪102的视图向量1812几乎垂直于法线向量1810。因此，角度1814的余弦接近1，而角度1813的余弦接近零。因此，两个点1801与1802之间的质量度量比较1820选择点1801。

虽然已经借助于特定实施例及其应用描述了本文公开的发明，但是本领域技术人员可以在不脱离权利要求书中所阐述的本发明范围的情况下对其进行多种修改和变化。

Claims (18)

1.一种识别并保留优选点的合并点云的方法，包括：

使用耦合到存储器的计算机以:

获得从3D场景捕获的多个点云，所述多个点云中的每个点云包括:

多个点；

视点；以及

角度分辨率；

获得或生成接近度测试，所述接近度测试确定来自所述多个点云的两个不同点是否彼此足够接近以至于最多应当保留所述两个不同点中的一个；

识别一组或多组接近点，其中：

所述一组或多组接近点中的每一组包括来自所述多个点云的两个或更多个点；以及

相对于所述每一组的所述两个或更多个点中的不同点，所述每一组的所述两个或更多个点中的每个点满足所述接近度测试；

识别孤立点，其中所述孤立点包括来自所述多个点云的不在所述一组或多组接近点的任何组中的所有点；

对于所述一组或多组接近点中的每一组，识别所述每一组中所述两个或更多个点中的优选点；以及，

生成包括以下的合并的点云：

所述孤立点；以及

所述一组或多组接近点中的每一组的所述优选点；

其中所述合并的点云不包含所述每一组中不是所述优选点的点，其中，所述每个点云包括：

范围图像，所述范围图像将所述多个点表示为像素的2D阵列，其中，

所述多个点中的每个点与所述像素的2D阵列中的像素对应；以及

所述像素的2D阵列中的每个像素包括与所述像素相关联的点与所述每个点云的所述视点之间的距离；以及，

从所述3D场景到所述像素的2D阵列的投影，以及

其中所述识别一组或多组接近点包括：

从所述多个点云中选择基点云；

从所述基点云的所述像素的2D阵列中选择像素的集合；

从除所述基点云之外的所述多个点云中选择点的集合；

将与所述基点云相关联的所述投影应用于所述点的集合中的每个点以获得：

所述基点云的所述像素的2D阵列的投影像素；以及

所述每个点与所述基点云的所述视点之间的投影距离；以及，

当所述投影距离在与所述基点云中的所述投影像素相关联的所述距离的阈值内时，将所述每个点和所述基点云中与所述投影像素相关联的点添加到与所述投影像素相关联的一组接近点。

2.如权利要求1所述的方法，其中所述投影包括：

从所述3D场景中的点到以所述视点为中心的球体的映射；以及，

从所述球体到所述像素的2D阵列的等距柱状投影。

3.如权利要求1所述的方法，还包括使用所述计算机以：

将所述每个点云的所述像素的2D阵列分区为多个图块；

对于所述多个图块中的每个图块，

生成包含所述每个点云的点的边界体积，所述点被投影到所述每个图块中的像素；

识别与除所述每个点云之外的所述多个点云相关联的图块，所述图块具有与所述边界体积相交的相关联的边界体积。

4.如权利要求3所述的方法，其中从所述基点云的所述像素的2D阵列中选择像素的集合包括：从所述基点云中选择图块的集合，

并且其中所述点的集合包括除所述基点云之外的所述多个点云的图块中的点，所述多个点云的图块与来自所述基点云的所述图块的集合的一个或多个图块相交。

5.如权利要求1所述的方法，其中所述识别所述每一组的所述两个或更多个点中的所述优选点包括：

向用户呈现用户界面，所述用户界面显示来自所述多个点云中的第一点云的点的集合；

对于所述点的集合中在所述接近点的所述组中的一个组中的每个点，在所述用户界面中显示指示器，该指示器指示所述每个点是否是所述一个组的优选点；

接受来自所述用户的选择输入，以从所述第一点云中的所述点的集合中选择一个或多个选择的点；

接受来自所述用户的编辑动作输入，其中所述编辑动作输入包括添加动作或移除动作；

当所述编辑动作是所述添加动作时，将所述一个或多个选择的点设置为包含所述一个或多个选择的点的接近点的组的优选点；以及，

当所述编辑动作是所述移除动作时，将所述一个或多个选择的点设置为不是包含所述一个或多个选择的点的接近点的组的优选点。

6.如权利要求5所述的方法，其中所述指示器还指示所述组的优选点是否是不同于所述第一点云的第二点云中的点。

7.如权利要求6所述的方法，其中，

所述指示器是应用于包含所述每个点的所述第一点云的所述像素的2D阵列的像素的颜色、图案或阴影；以及，

所述颜色、图案或阴影包括：

第一值，其指示所述每个点是所述组的优选点；

第二值，其指示所述组的优选点是不同于所述第一点云的第二点云中的点；以及，

第三值，其指示所述组没有指定的优选点。

8.如权利要求4所述的方法，其中所述识别所述每个组的所述两个或更多个点中的所述优选点包括：

向用户呈现用户界面，所述用户界面显示来自所述多个点云中的第一点云的点的集合；

对于所述点的集合中在所述接近点的所述组中的一个组中的每个点，在所述用户界面中显示指示器，该指示器指示所述每个点是否是所述一个组的优选点；

接受来自所述用户的选择输入，以从所述第一点云中的所述点的集合中选择一个或多个选择的点；

接受来自所述用户的编辑动作输入，其中所述编辑动作输入包括添加动作或移除动作；

当所述编辑动作是所述添加动作时，将所述一个或多个选择的点设置为包含所述一个或多个选择的点的接近点的组的优选点；以及，

当所述编辑动作是所述移除动作时，将所述一个或多个选择的点设置为不是包含所述一个或多个选择的点的接近点的组中的优选点。

9.如权利要求8所述的方法，其中所述指示器还指示所述组的优选点是否是不同于所述第一点云的第二点云中的点。

10.如权利要求9所述的方法，其中，

所述指示器是应用于包含所述每个点的所述第一点云的所述像素的2D阵列的像素的颜色、图案或阴影；以及，

所述颜色、图案或阴影包括：

第一值，其指示所述每个点是所述组的优选点；

第二值，其指示所述组的优选点是不同于所述第一点云的第二点云中的点；以及，

第三值，其指示所述组没有指定的优选点。

11.如权利要求1所述的方法，其中所述识别所述优选点包括：

为所述每个组的所述两个或更多个点中的每个点计算质量度量；以及，

将所述优选点识别为所述两个或更多个点中具有最高质量度量的点。

12.如权利要求11所述的方法，其中用于所述每个点的所述质量度量与在包含所述每个点的点云的所述每个点处的分辨率逆相关。

13.如权利要求12所述的方法，其中所述分辨率包括：

从包含所述每个点的所述点云的视点到所述每个点的视图向量的长度的两倍乘以所述点云的所述角度分辨率的一半的正切。

14.如权利要求13所述的方法，其中所述分辨率还除以所述视图向量与所述3D场景中到所述每个点所在的表面的法线向量之间的角度的余弦。

15.如权利要求4所述的方法，其中所述识别所述优选点包括：

为所述每个组的所述两个或更多个点中的每个点计算质量度量；以及，

将所述优选点识别为所述两个或更多个点中具有最高质量度量的点。

16.如权利要求15所述的方法，其中用于所述每个点的所述质量度量与在包含所述每个点的点云的所述每个点处的分辨率逆相关。

17.如权利要求16所述的方法，其中所述分辨率包括：从包含所述每个点的所述点云的视点到所述每个点的视图向量的长度的两倍乘以所述点云的所述角度分辨率的一半的正切。

18.如权利要求17所述的方法，其中所述分辨率还除以所述视图向量与所述3D场景中到所述每个点所在的表面的法线向量之间的角度的余弦。