CN109964222A - 用于处理具有多个点的输入点云的***和方法 - Google Patents

Abstract

用于确定表示机器操作的时间系列数据中的模式的***和方法。存储器存储和提供由所述机器的传感器生成的一组训练数据例，其中，每个训练数据例表示所述机器在由于所述机器故障而结束的时段内的操作。处理器被配置成将每个训练数据例迭代地划分成正常区域和异常区域，确定正常区域中不存在并且仅在每个异常区域中出现一次的预测模式，并且确定异常区域的长度。经由与处理器通信的输出接口输出所述预测模式或者将所述预测模式存储在存储器中，其中，所述预测模式是对即将发生的故障的预测估计并帮助管理所述机器。

Description

用于处理具有多个点的输入点云的***和方法

技术领域

本公开总体上涉及对点云进行简化，并且具体地，简化结构点云(organizedpoint cloud)或无结构点云。

背景技术

随着3D感测技术的最新发展，3D点云已成为在许多应用中表示数据点的实用格式。感测装置测量对象表面上的大量点，并且点云表示已测量的点的集合。点云通常包括按某一坐标系定义大量数据点的海量数据集。例如，物理对象的激光扫描通常会生成包含数百万个数据点的数据集，每个数据点由利用表示3D空间(例如，x、y、z)的正交坐标的3元组指定。

对这种大型点云数据集的处理、分析以及报告可能很困难。特别是，通常情况下，点云数据集的大小超过了需要利用此数据的***的设计和执行能力。从而，用于减小点云数据集的大小的方法是重要的预处理步骤，以便将数据量减少至适于消费***的水平。然后，可以更有效地处理经简化或减少的点云数据。

存在用于简化点云数据的许多现有技术方法。然而，这些现有技术方法要么具有丢失数据的显著风险(如由数据表示的对象和/或表面的关键特征(例如，子采样抽取、统一空间聚类))，要么实现起来很复杂，并因此需要更多的计算费用，而且需要更多的处理时间。

因此，本领域需要一种从大量数据中检测和/或预测机器故障的改进方法。

发明内容

本公开的实施方式致力于通过重采样点云以保留关键点子集来简化结构点云或无结构点云。这种方法减少了点数但不改变原始点的位置。

本公开的实施方式基于这样的认识，即，不需要以适于所有应用的格式表示点云。具体来说，点云可以以为特定应用或为不同应用特制的格式表示，以使点云可以被重新格式化成不同的格式/表示。通过将点云重新格式化成不同的格式/表示，点云可以被重新格式化或删减，以仅保留特定应用所需的点。至少一个目的是设计应用相关的重采样策略，根据特定底层应用保留选定信息。例如，在点云中的轮廓检测任务中，通常这需要仔细和密集的计算，如计算表面法线并对多个点进行分类。代替利用整个点云，在对所需轮廓信息敏感的点的小子集进行重采样方面，效率更高，致使后续计算更便宜，而不会损失检测性能。其它示例可以包括可视化和/或对象建模应用，可以保留特定对象(但不是其它对象)的轮廓和一些纹理。

认识到与适于所有目的的一个版本的点云相比，存储出于特定目的而删减的多个版本的点云效率更高。即使不同的删减点云共享相同的点，情况也是如此。例如，原始点云中的100000个点可以删减为60000个点，或者删减成五个不同的经删减点的组，每组有5000个点。因此，通过针对不同应用删减点云来生成不同的经删减点，并且利用对应经删减点执行特定应用，删减可以保留特定于关键点的应用子集。其它优点包括：与尝试利用整个点云计算性地运行应用相比，降低计算复杂性和时间，并且降低运行特定应用的总体成本。

本公开公开了选择来源于图形信号处理的点的子集的技术，其是信号与图形结构之间相互作用的框架。使用图形来捕捉点之间的局部相关性，其表示对象表面的离散版本。使用图形的至少一个优点是捕捉点云的局部和全局结构。在本公开框架下，与每个点相关联的3D坐标和其它属性是由底层图形的节点索引的图形信号。因此，将重采样问题制定为图形信号的采样变得可能。然而，图形采样技术通常以确定性方法选择样本，其解决非凸优化问题以顺序获得样本并需要昂贵的计算。为了利用计算成本，本公开使用有效的随机化重采样策略从输入点云中选择关键点的子集。主要构思是根据某个采样分布生成子样本，这对于保留原始输入点云中的信息来说既快速又明显有用。

换句话说，本公开考虑基于特征提取的重采样框架，即，重采样点根据特定应用的特定需要保留所选信息。然后，基于一般的特征提取算子，可以利用重构误差来量化重采样的质量，并且能够导出确切的形式。通过优化预期重构误差，可以获得最优采样分布。本公开提供了保证移位和旋转不变的最优采样分布。这提供了特征提取算子作为图形过滤器，并研究基于全通、低通以及高通图形过滤的重采样策略。在每一种情况下，可以导出最优采样分布并证实模拟和实际数据两者的性能。

用于解释这种认识或者为了更好地理解如何完成删减的另一方式，本公开基于图形上每个节点的邻近节点的值，通过根据图形的结构对每个节点进行评分来使用图形上的每个节点。可以基于具体应用选择评分函数，以使每个不同的应用可以拥有自己的评分函数或许多评分函数。例如，对于轮廓确定，评分函数可以是根据节点的邻近节点表示该节点的误差。另一例子可以是可以考虑节点的不同属性的不同评分函数。意识到评分可以确定节点的概率，其可以与“随机”重采样一起使用，以处理具有相同“得分”值的点。

在解决重采样或处理输入点云时，至少一个***首先通过访问输入点云开始。其中，输入点云包括多个点，并且每个点具有属性集，所述属性集包括二维(2D)坐标和三维(3D)坐标以及其它属性。下一步骤是构造表示输入点云的图形(即，由图形的顶点和图形的边组成)(所述构造基于所述输入点云中的、表示图形中的节点的每个点)，，并且识别并连接图形中的两个邻近节点，以获得图形边缘。

然后，基于所构造的图形，确定图形过滤函数，即，按照某一标准确定图形算子以促进或维持输入点云中的某些信息。其中，还可以根据特定应用要求(例如，保持几何信息和/或纹理结构)选择来自输入点云的属性集。

然后，通过选择所述点的属性子集来过滤输入点云中的每个点，并且通过对所选择的属性子集应用所述图形过滤函数，确定输入点云中的每个点的至少一个值。利用输入点云中的每个点的至少一个值，基于与输入点云中的所述点的全部值的总计相比较的、所述点的所述至少一个值以及输出点云中的点的预定数量，生成每个点的概率。换句话说，可以利用所选择的图形算子计算点云中的每个点的重要性得分。以使基于所述重要性得分，生成每个点的概率。

最后，利用对每个点的所述概率的随机评估来采样输入点云，以获得输入点云中的点子集，其中，所述点子集是所述输出点云。这意味着点子集是基于所述概率确定的，并且可以输出预期的总点数以供进一步使用。例如，所述输出点云可以存储在存储器中或者经由与处理器通信的输出接口输出。应注意，与选择的输出点云(即，来自所述***的选择的关键点的子集)相比较时，输入点云可以在以后更有效地处理。

例如，在用于大规模可视化的一个实施方式中，当利用基于高通图形过滤的重采样时，查看者可以更容易地捕捉到城市环境的点云中的重要细节。对于大规模可视化的一个实施方式，可以使用所提出的基于高通图形过滤的重采样策略来选择点的小的子集，以突出城市场景中的建筑物和街道的轮廓。

在另一例子中，本公开可以具有用于鲁棒的形状建模的另一实施方式，以使当使用所提出的基于低通图形过滤的重采样策略来选择点的小子集时，识别对象模型参数可能更有效和准确。其中，这种建模可能涉及在点云中找到具有噪声或存在异常值的表面，并且本公开可以用于解决问题。

根据本公开的实施方式，一种处理具有多个点的输入点云的***，其中，每个点都具有属性集，所述属性集包括二维(2D)坐标和三维(3D)坐标以及其它属性。所述***包括传感器，该传感器感测场景，并且与计算机可读存储器通信以生成输入点云。所述***包括输出接口。处理器与所述计算机可读存储器通信，其中，所述处理器被配置成访问所述输入点云，并且构造表示所述输入点云的图形，并且识别并连接所述图形中的两个邻近节点以获得图形边缘，所述构造基于所述输入点云中表示图形中的节点的每个点。基于所构造的图形，确定图形过滤函数。通过选择所述点的属性的子集并且通过对所选择的属性的子集应用所述图形过滤函数来过滤所述输入点云中的每个点，以确定所述输入点云中的每个点的至少一个值。与所述输入点云中的所有所述点的值的总计相比较，基于所述点的所述至少一个值以及输出点云中的点的预定数量，生成每个点的概率。利用对每个点的概率的随机评估来采样所述输入点云，以获得所述输入点云中的点子集，其中，所述点子集是所述输出点云。最后，将所述输出点云存储在所述计算机可读存储器中或者经由与所述处理器通信的所述输出接口输出所述输出点云，其中，所述输出点云用于帮助后续处理并且帮助管理所述输入点云。

根据本公开另一实施方式，一种处理具有多个点的输入点云的方法，其中，每个点具有属性集，所述属性集包括二维(2D)坐标和三维(3D)坐标以及其它属性。所述方法包括：借助于传感器感测场景，所述传感器与计算机可读存储器通信以生成输入点云。利用与所述计算机可读存储器通信的处理器，其中，所述处理器被配置用于：访问所述输入点云，并且构造表示所述输入点云的图形，并且识别并连接所述图形中的两个邻近节点以获得图形边缘，所述构造基于所述输入点云中表示图形中的节点的每个点。基于所构造的图形，确定图形过滤函数。通过选择所述点的属性的子集并且通过对所选择的属性的子集应用所述图形过滤函数来过滤所述输入点云中的每个点，以确定所述输入点云中的每个点的至少一个值。基于与所述输入点云中的所述点的全部值的总计相比较的、所述点的所述至少一个值以及输出点云中的点的预定数量，生成每个点的概率。利用对每个点的概率的随机评估来采样所述输入点云，以获得所述输入点云中的点子集，其中，所述点子集是所述输出点云。最后，将所述输出点云存储在所述计算机可读存储器中或者经由与所述处理器通信的所述输出接口输出所述输出点云，其中，所述输出点云用于帮助后续处理并且帮助管理所述输入点云。

根据本公开另一实施方式，一种包含可通过计算机执行的程序的非暂时性计算机可读存储介质，该程序用于执行方法。所述方法用于处理所存储的具有多个点的输入点云，其中，每个点具有属性集，所述属性集包括二维(2D)坐标和三维(3D)坐标以及其它属性。所述方法包括：借助于传感器感测场景，所述传感器与所述非暂时性计算机可读存储介质通信以生成所述输入点云。构造表示所述输入点云的图形，并且识别并连接所述图形中的两个邻近节点以获得图形边缘，所述构造基于所述输入点云中表示图形中的节点的每个点。基于所构造的图形，确定图形过滤函数。通过选择所述点的属性的子集并且通过在所选择的属性的子集上应用所述图形过滤函数来过滤所述输入点云中的每个点，以确定所述输入点云中的每个点的至少一个值。基于与所述输入点云中的所有所述点的值的总计相比较的、所述点的所述至少一个值以及输出点云中的点的预定数量，生成每个点的概率。利用对每个点的概率的随机评估来采样所述输入点云，以获得所述输入点云中的点子集，其中，所述点子集是所述输出点云。最后，将所述输出点云存储在所述非暂时性计算机可读存储介质中或者经由与所述计算机通信的输出接口输出所述输出点云，其中，所述输出点云用于帮助后续处理并且帮助管理所述输入点云。

参照附图，对目前所公开实施方式加以进一步描述。所示附图不必按比例，而相反，强调的是，通常被置于例示目前所公开实施方式的原理之下。

附图说明

图1是例示根据本公开实施方式的、用于重采样或处理具有多个点的输入点云的***的框图。

图2是例示根据本公开实施方式的、用于重采样或处理输入点云并重采样以生成输出点云的图1A的***的框图。

图3A是例示根据本公开实施方式的、如何通过图形算子捕捉局部变化的图形，即，示出点2是点1和3的凸组合，并由此点2的局部变化为零。

图3B是例示根据本公开实施方式的、如何通过图形算子捕捉局部变化的示意图，即，所有节点均匀散布在圆上并且具有相同量的新息(innovation)，其被表示为从点4延伸至虚线的线。

图4是例示根据本公开实施方式的、针对具有立方体上的点的示例，基于成对差异的局部变化如何失败的示意图，其中仅示出了立方体的两个面。

图5是例示根据本公开实施方式的、所提出的局部变化测量如何优于基于成对差异的方法的示意图。

图6是例示根据本公开实施方式的、基于高通图形过滤的重采样检测几何轮廓和纹理边缘的示意图。

图7是例示根据本公开实施方式的、低通近似表示点云的主要形状的示意图。

图8是例示根据本公开实施方式的、通过在示例点云上使用所提出的重采样方法的去噪性能的示意图。

图9是例示根据本公开实施方式的、所提出的基于高通图形过滤器的重采样策略以有效地可视化大规模城市场景的可视化结果的示意图。

图10是例示根据本公开实施方式的、所提出的基于高通图形过滤器的重采样策略以有效地可视化大规模城市场景的可视化结果的细节的示意图。

图11是例示根据本公开实施方式的、针对健身球的点云的现有技术对象拟合方法的结果的示意图。

图12是根据本公开实施方式的、比较在使用所提出的基于低通过滤器的重采样时的对象拟合结果的表。

图13A和图13B是根据本公开实施方式的、比较采样结果与立方对象的一个面上的没有基底(flooring)的图形随机游走(图13A)和具有基底的图形随机游走的图表。

图14A和图14B是根据本公开实施方式的、在可以与所提出的基于低通图形过滤器的重采样集成的不同程度下比较k-POLY(图14A)方法和k-CG(图14B)方法的光谱响应的图形。

图15是示出根据本公开实施方式的、所提出的有条件重采样的流程图的表。

图16是示出根据本公开实施方式的、所提出的基于参考的重采样的流程图的表。

图17是例示图1的方法的框图。

具体实施方式

虽然上面所标识的附图阐述了目前公开的实施方式，但也可以设想其它实施方式，如讨论中提到的。本公开通过表述而非限制的方式来呈现例示性实施方式。本领域技术人员可以设计出落入目前所公开的实施方式的原理的范围和精神内的许多其它变型例和实施方式。

下面的描述仅提供了示例性实施方式，而非旨在对本公开的范围、适用性或构造进行限制。相反，示例性实施方式的以下描述将向本领域技术人员提供用于实现一个或更多个示例性实施方式的使能描述。在不脱离如所附权利要求书中阐述的所公开主旨的精神和范围的情况下，设想了可以对部件的功能和排布结构进行的各种改变。

在以下描述中给出具体细节以提供对实施方式的透彻理解。然而，本领域普通技术人员应当明白，这些实施方式可以在不需要这些具体细节的情况下来实践。例如，所公开主旨中的***、处理以及其它部件可以以框图形式示出为组件，以便在不必要的细节上模糊这些实施方式。在其它情况下，公知的处理、结构以及技术可以在没有不必要的细节的情况下被示出，以便避免模糊这些实施方式。而且，各个附图中的相同标号和指定表示相同部件。

而且，单独的实施方式可以被描述为被描绘为流程图、程序框图、数据流图、结构图，或框图的处理。尽管流程图可以将操作描述为顺序处理，但许多操作可以并行或同时执行。另外，操作的次序可以重新排列。处理可以在其操作完成时终止，但可以具有图中未讨论或包括的附加步骤。而且，并非任何具体描述处理中的所有操作都可能发生在所有实施方式中。处理可以对应于方法、功能、过程、子例程、子程序等。当处理对应函数时，该函数的终止可以对应于该函数返回至调用函数或主函数。

而且，所公开主旨的实施方式可以至少部分地人工或自动实现。可以通过使用机器、硬件、软件、固件、中间件(middleware)、微代码、硬件描述语言，或任何其组合来执行或至少辅助手动或自动实现。当以软件、固件、中间件或微代码实现时，用于执行必要任务的程序代码或代码段可以被存储在机器可读介质中。处理器可以执行必要的任务。

本公开实施方式的概述

图1和图2是例示根据本公开实施方式的、用于重采样或处理具有多个点的输入点云的***100的框图。***100包括传感器104，该传感器生成场景(从传感器104生成的对象或一些其它数据)105的输入点云数据。传感器104可以是照相机或视频摄像头或生成输入点云数据的某个其它装置。计算机可读存储器112可以存储和/或提供由传感器104生成的输入点云数据。传感器104收集场景105的输入点云数据，输入点云数据可以可选地存储在外部存储器106中，或直接发送至输入接口/预处理器108，并接着发送至处理器114。在处理时，数据可以存储在存储器112中或经由输出接口116输出。在处理期间，处理器114可以与存储器112通信，用于存储或检索所存储的指令或与处理输入点云数据有关的其它数据。

本公开的实施方式基于这样的认识，即，当考虑处理输入点云时，不需要以适于所有应用的格式表示点云。事实上，点云可以用为特定应用或为不同应用特制的格式表示，并且被重新格式化成不同的格式/表示。输入点云的重新格式化或重采样是为了仅保留特定应用或多个应用程序所必需的点。来自输入点云的保留点是专门针对特定应用的需要的选定信息。例如，对于可视化和对象建模应用，尤其保留一些特定对象的轮廓和一些纹理。具体来说，认识到相比适于所有用途的一个版本的点云，存储出于特定目的而重新格式化或重采样的多个版本的点云效率更高。通过针对不同应用对点云重采样，基本上生成了整个输入点云的不同组的重采样点或其子组，然后这些组或子组利用对应重采样点针对特定应用加以执行。由于这种认识，与尝试利用整个输入点云计算性地运行应用相比，观察到降低了计算复杂性和时间，并且降低了运行特定应用的总体成本。

选择点的子集来源于图形信号处理，其是了解信号与图形结构之间相互作用的框架。发现使用图形来捕捉点之间的局部相关性，并且表示对象表面的离散版本，本公开能够提供点云的局部结构和全局结构两者。在这个框架下，与每个点相关联的3D坐标和其它属性是由底层图形的节点索引的图形信号。发现可以将重采样问题制定为图形信号的采样。这种基于特征提取的重采样框架(即，保留每个特定应用的选定信息的重采样点)基于一般的特征提取算子，利用重构误差量化重采样的质量，以导出确切的形式。通过优化预期重构误差获得最优采样分布。所提出的最优采样分布保证移位和旋转不变。其中，提出了特征提取算子作为图形过滤器，并分析基于全通、低通以及高通图形过滤的重采样策略。在每一种情况下，获得最优采样分布并证实模拟和实际数据两者的性能。

输入点云的重采样或删减的实现通常可以这样来说明：使用图形上的每个节点，并且基于图形上每个节点的邻近节点的值，通过根据图形的结构对每个节点进行评分。意识到评分可以确定节点的概率，评分可以与“随机”重采样一起使用，以处理具有相同“得分”值的点。例如，对于轮廓确定，该评分函数可以是根据邻近节点的表示所述节点的误差，或者另一例子可以是可以考虑节点的不同属性的不同评分函数。评分函数基于具体应用来选择，其中，每个不同应用可以拥有自己的评分函数或许多评分函数。

参照图1和图2，为了解决重采样输入点云，首先从存储器112或直接从传感器104访问输入点云。记住，输入点云包括多个点，并且每个点具有属性集，所述属性集包括二维(2D)坐标和三维(3D)坐标以及其它属性。下一步骤是基于输入点云中表示图形中的节点的每个点，构造表示该输入点云的图形120(即，由图形顶点和图形边缘组成)，并且识别并连接该图形中的两个邻近节点以获得图形边缘。

然后，基于所构造的图形120，确定图形过滤函数125，即，按照某一标准确定图形算子以促进或维持所述输入点云中的某些信息。其中，还可以根据特定应用要求来选择来自输入点云的属性集130，例如，保持几何信息和/或纹理结构。

然后，确定每个点135的值，其中，通过选择所述点的属性子集130并且通过对所选择的属性子集135应用图形过滤函数来过滤输入点云中的每个点，以确定输入点云中的每个点135的至少一个值。利用输入点云中的每个点135的至少一个值，以基于与该输入点云中的点的全部值的总计相比较的、点135的至少一个值以及输出点云中的点的预定数量，生成每个点的概率。换句话说，可以利用所选择的图形算子为点云中的每个点计算重要性得分。使得基于该重要性得分，生成每个点的概率。

最后，仍参照图1和图2，利用对每个点的概率的随机评估来采样输入点云，以获得输入点云中的点子集145，其中，点子集145是输出点云150。这意味着点子集145是基于所述概率和可以输出以供进一步使用的预期总点数来确定的。例如，输出点云150可以存储在存储器112中或者经由与处理器通信的输出接口155输出。应注意，与所选择的输出点云150(即，来自***的所选择的关键点的子集145)相比较时，输入点云可以在以后更有效地加以处理。

参照图2，作为示例，在用于大规模可视化的一个实施方式中，当利用基于高通图形过滤的重采样时，查看者可以更容易地捕捉预处理对象105或城市环境的点云中的重要细节。而且，对于大规模可视化的一个实施方式来说，可以使用所提出的基于高通图形过滤的重采样策略来选择点的小子集，以突出所处理的对象160或者城市中或城市场景中的建筑物和街道的轮廓。

而且，本公开的另一实施方式可以用于鲁棒的形状建模。其中，当使用所提出的基于低通图形过滤的重采样策略来选择点的小子集时，识别对象模型参数可能更有效和准确。其中，这种建模可能涉及在点云中找到具有噪声或存在异常值的表面，并且本公开可以用于解决问题。

制定重采样输入点云的任务

为了更好地理解对重采样3D点云任务的制定，需要引入图形信号处理，这为本公开实施方式的方法和***奠定了基础。

重采样点云

考虑具有N个点和K个属性的点云的矩阵表示，

其中，s_i∈R^N表示第i个属性，x_i∈R^K表示第i个点。取决于感测装置，属性可以是3D坐标、RGB颜色、纹理以及许多其它属性。为了区分3D坐标与其它属性，使用X_c∈R^N×3来表示3D坐标，并且使用X_o∈R^N×(K-3)来表示其它属性。

点的数量N通常很大。例如，建筑物的3D扫描通常需要数十亿个3D点。从存储和数据分析的角度来看，利用大规模点云是一项挑战。然而，在许多应用中，关注的是具有特定属性的3D点的子集，诸如点云配准(point cloud registration)中的关键点和轮廓检测中的轮廓点。为了利用存储和计算，考虑从原始点云中采样有代表性的点的子集以减小规模。由于原始点云是从对象中采样的，因此将该任务称作重采样。重采样的过程是从点云重采样M(M<N)个点，或从点云矩阵X中选择M行。重采样点云是

X_M＝ΨX∈R^M×K, (2)

其中，M＝(M₁,·,M_M)指示重采样索引序列，或称作重采样集，并且M_i∈{1,...,N}且|M|＝M，重采样算子Ψ是从R^N到R^M的线性映射，定义为

所提出的重采样策略的效率至关重要。由于利用大规模点云，因此想避免昂贵的计算。为了以有效的方式实现重采样，考虑一种随机重采样策略。这意味着根据采样分布来选择重采样索引。设为一系列采样概率，其中，π_i指示在每个随机试验中选择第i个样本的概率。一旦选择了采样分布，生成样本效率很高。这里的目标是找到保留原始点云中的信息的采样分布。

所提出的重采样策略的不变特性也很关键。在使点云移位或旋转时，3D点的内在分布没有改变，所提出的重采样策略不应改变。

定义1：当为点云X＝[X_c X_o]设计采样分布π，接着为其移位点云[X_c+1a^T X_o]设计相同的采样分布π时，重采样策略是移位不变的，其中，a∈R³。

定义2：当为点云X＝[X_c X_o]设计采样分布π，接着为其旋转点云[X_cR X_o]设计相同的采样分布π时，重采样策略是旋转不变的，其中，R∈R^3×3是3D旋转矩阵。

应当保证所提出的重采样策略是移位不变且旋转不变的。

针对点云的图形信号处理

图形是表示点云的一种自然且有效的方式，因为其是对象的表面的离散表示。在计算机图形中，多边形网格作为具有特定连接性限制的一类图形被广泛用于表示对象的形状。为了构造可靠的网格，通常需要复杂的几何分析，如计算表面法线。网格表示是用于可视化的简单工具，但可能不善于分析点云。在这里，通过放宽连接性限制将多边形网格扩展至一般图形。这样的图形构造有效并且可以灵活地捕捉几何信息。

图形构造

通过在邻接矩阵W∈R^N×N中编码局部几何信息来构造点云的大体图形。设为第i个点的3D坐标；即，的第i行。两个点与之间的边缘权重为

其中，方差σ和阈值τ是超参数。方程(4)表明当两个点的欧几里得距离小于阈值τ时，通过边缘连接这两个点，并且边缘权重取决于3D空间中两点的相似性。在本发明中将这种类型的图形称为τ图。加权度矩阵D是对角矩阵，其对角元素D_i,i＝∑_jW_i,j反映了第i个点周围的密度。该图形近似是原始表面的离散表示，并且可以经由树形数据结构(如八叉树)有效地构造。这里只使用3D坐标来构造图形，但考虑其它属性(4)也是可行的。鉴于该图形，将点云的属性称作图形信号。例如，(1)中的属性s是该图形的信号索引。在没有明确说明的情况下，假设τ图正在使用中。

在图形构造的另一示例中，点与其一定数量的最近近邻相连接。

图形过滤

图形过滤器是将图形信号作为输入并生成另一图形信号作为输出的***。设A∈R^N×N为图形移位算子，其是最基本的非平凡图形过滤器。图形移位算子的一些常见选择是邻接矩阵W(4)、转移矩阵T＝D^-1W、图形拉普拉斯(Laplacian)矩阵L＝D-W，以及许多其它结构相关矩阵。图形移位将节点处的信号值替换为其近邻的值的加权线性组合；即，

y＝As∈R^N,

其中，s∈R^N是输入图形信号(点云的属性)。每一个线性移位不变图形过滤器是图形移位中的多项式

其中，h_i是过滤器系数，L是该图形过滤器的长度。其输出由矩阵-矢量乘积给出

y＝h(A)s∈R^N.

图形傅立叶变换

图形移位算子A的特征分解是

A＝VΛV^T, (6)

其中，A的特征矢量形成矩阵V的列，并且特征值矩阵Λ∈R^N×N是A的对应特征值λ₁,...,λ_N的对角矩阵(λ₁≥λ₂≥...,≥λ_N)。这些特征值表示图形[？]上的频率，其中，λ₁是最低频率，λ_N是最高频率。相应地，v₁捕捉图形上的最小变化，v_N捕捉图形上的最大变化。V也被称作图形傅立叶基。图形信号s∈R^N的图形傅立叶变换为

图形傅立叶逆变换为

其中，v_k是V的第k列，是中的第k个分量。(7)中的矢量表示信号在特征矢量基础上的扩展，并描述了图形信号s的频率分量。图形傅里叶逆变换通过组合图形频率分量来重构图形信号。

基于特征提取的重采样

在重采样期间，减少点的数量并且不可避免地丢失点云中的信息。目标是设计一种应用相关的重采样策略，该策略根据特定需要来保留选定信息。例如，在点云中的轮廓检测任务中，通常需要仔细和密集的计算，如计算表面法线并且对点进行分类[？，？]。代替利用大量的点，考虑有效地重采样对于所需轮廓信息敏感的点的小的子集，致使后续计算更便宜，而不会丢失轮廓信息。

基于特征提取的表示

设f(·)为特征提取算子，其根据特定需要从点云提取目标信息；即，从点云X∈R^{N ×K}提取特征f(X)∈R^N×K。重采样点云M次。在第j次，独立地选择具有概率π_i的点M_j＝i。设Ψ∈R^M×N为重采样算子(3)，并且S∈R^N×N为具有的对角重新缩放矩阵。量化重采样算子的性能如下：

其中，||·||₂是频谱范数。Ψ^TΨ∈R^N×N是零填充算子，当对第i个点进行采样时，其是对角元素(Ψ^TΨ)_i,i＝1的对角矩阵，否则为0。零填充算子Ψ^TΨ确保重采样的点和原始点云具有相同的大小。S被用于在重采样期间补偿不均匀权重。SΨ^TΨf(X)表示以零填充形式重采样后的保留特征。根据另一方面，SΨ^T是最自然的插值算子，其根据重采样版本Ψf(X)重构原始特征f(X)。评估量度D_f(X)(Ψ)测量重构误差；即，在不使用复杂的插值算子的情况下重采样后丢失了多少特征信息。当D_f(X)(Ψ)较小时，重采样后的保留特征接近原始特征，意味着丢失了很少的信息。期望值E_Ψ:π(D_f(X)(Ψ))提供了重采样所造成的预期误差，并且量化了采样分布π的性能。目标是相对于π最小化E_Ψ:π(D_f(X)(Ψ))以在保留特征f(X)方面获得最优采样分布。现在推导目标函数的均方误差的确切形式。

引理1：保留特征的非加权版本是对原始特征的有偏估计量，

E_Ψ:π(Ψ^TΨf(X))∝πef(X)，针对全部∈R^N×K，

其中，e是逐行乘法。

保留特征的重新加权版本是对原始特征的无偏估计量，即，

E_Ψ:π(SΨ^TΨf(X))＝f(X)，针对全部∈R^N×K。

定理1：保留特征与原始特征之间的均方误差的确切形式为，

E_Ψ:π(D_f(X)(Ψ))＝Tr(f(X)Qf(X)^T), (9)

其中，Q∈R^N×N是具有Q_i,i＝1/π_i-1的对角矩阵。

所提出的重采样策略的移位不变和旋转不变的充分条件是评估量度(8)是移位不变和旋转不变的。

定义3：当从点云提取的特征与其移位版本相同时，特征提取算子f(·)是移位不变的；即，f([X_c X_o])＝f([X_c+1a^T X_o])，其中，移位a∈R³。

定义4：当从点云提取的特征与其旋转版本相同时，特征提取算子f(·)是旋转不变的；即，f([X_c X_o])＝f([X_cR X_o])，其中，R∈R^3×3是3D旋转矩阵。

当f(·)是移位/旋转不变时，(8)不通过移位或旋转而改变，从而导致移位/旋转不变的重采样策略，并且足以最小化E_Ψ:π(D_f(X)(Ψ))以获得重采样策略；然而，当f(·)是移位/旋转可变时，(8)可以通过移位或旋转而改变，从而导致移位/旋转可变的重采样策略。

为了处理移位方差，总是可以在任何处理之前将点云中心位置重新定位至原点；即，将3D点的平均坐标归一化成零。为了处理旋转方差f(·)，考虑以下评估指标：

其中，||·||₂是光谱范数，并且常数c＝||X_c||₂是原始3D坐标的光谱范数。评估度量D_f(Ψ)考虑了由旋转引起的最差可能重构误差，以去除旋转的影响。在(？？)中，考虑3D坐标是因旋转而造成的变量。约束3D坐标的光谱范数，因为旋转矩阵是标准正交的，并且3D坐标的光谱范数在旋转期间不改变。然后，最小化E_Ψ:π(D_f(Ψ))以获得不变的重采样策略，即使f(·)是可变的。

定理2：设f(·)为旋转可变线性特征提取算子，其中，

f(X)＝FX并且F∈R^N×N。E_Ψ:πD_f(Ψ)的确切形式为，

E_Ψ:π(D_f(Ψ))＝c²Tr(FQF^T)+Tr(FX_oQ(FX_o)^T), (10)

其中，c＝||X_c||₂和Q∈R^N×N是具有Q_i,i＝1/π_i-1的对角矩阵。

最优采样分布

现在通过最小化预期重构误差来推导出最优采样分布。

对于移位不变和旋转不变特征提取算子，最小化(8)。

定理3：设f(·)为移位不变和旋转不变特征提取算子。对应最优重采样策略π^*为，

其中，f_i(X)∈R^K是f(X)的第i行。

对于移位可变和旋转可变特征提取算子，最小化。

定理4：设f(·)为移位可变和旋转可变线性特征提取算子，其中，f(X)＝FX，并且F∈R^N×N。对应最优重采样策略π^*为，

其中，常数c＝||X_c||₂，F_i是F的第i列，并且(FX_o)_i是FX_o的第i行。

基于图形过滤的重采样

在这一节中，设计图形过滤器来从点云提取特征。设从点云X中提取的特征为

其遵循图形过滤器(5)的定义。与经典信号处理中的过滤器设计类似，按图形顶点域或者按图形频谱域设计图形过滤器。

在图形顶点域中，针对每一点，图形过滤器对其局部点的属性求平均。例如，第i个点的输出是处于离第i个点的L跳内的点的属性的加权平均值。第l个图形过滤器系数h_l量化来自第l跳近邻的贡献。

设计过滤器系数以改变局部求平均中的权重。

在图形频谱域中，首先设计图形频谱分布，然后使用图形过滤器系数来拟合这个分布。例如，具有长度L的图形过滤器为

其中，V是傅立叶基，并且λ_i是图形频率(6)。当希望第i个图形频率的响应为c_i时，设定

并求解一组线性方程以获得图形过滤器系数h_l。也可以使用Chebyshev多项式来设计图形过滤器系数[？]。现在考虑图形过滤器的一些特殊情况。

全通图形过滤

设h(λ_i)＝1；即，对于i＝1,...,L-1来说，h(A)是具有h₀＝1和h_i＝0的单位矩阵。这个设定背后的直觉是原始点云值得信赖，并且所有点是均匀地从没有噪声的对象采样的，反映了对象的真实几何结构。希望保留所有信息，因此特征本身就是原始属性。由于f(X)＝X，特征提取算子f(·)是移位可变和旋转可变的。基于定理4，最优重采样策略是

这里，(12)中的特征提取矩阵F是单位矩阵，并且F的每行的范数是1。当只保留3D坐标时，忽略X_o项，并且获得每个点的恒定采样概率，意味着均匀采样是保留整体几何信息的最优重采样策略。

高通图形过滤

在图像处理中，高通过滤器被用于提取边缘和轮廓。类似地，使用高通图形过滤器来提取点云中的轮廓。这里，只将3D坐标视为属性(X＝X_c＝R^N×3)，但是所提出的方法可以很容易地扩展至其它属性。

一个关键问题是如何在点云中定义轮廓。认为轮廓点打破了其邻近点形成的趋势并带来了新息。许多以前的工作需要复杂的几何相关计算(如表面法线)，来检测轮廓[？]。代替测量复杂的几何属性，通过图形上的局部变化来描述成为轮廓点的可能性，这是高通图形过滤的响应。第i个点的对应局部变化为

其中，h(A)是高通图形过滤器。局部变化f(X)∈R^N量化了高通图形过滤后的响应能量。这背后的直觉是，当一个点的局部变化很大时，其3D坐标不能从其邻近点的3D坐标很好地近似；换句话说，该点通过打破其邻近点形成的趋势带来新息，并且具有成为轮廓点的高度可能性。

以下定理表明局部变化是旋转不变但移位可变的。

定理5：设f(X)＝diag(h(A)XX^Th(A)^T)∈R^N，其中，diag(·)提取对角元素。f(X)是旋转不变和移位不变的，除非h(A)1＝0∈R^N。

为了保证局部变化是移位不变和旋转不变的，使用转移矩阵作为图形移位算子；即，A＝D^-1W，其中，D是对角度矩阵。原因是，1∈R^N是转移矩阵A1＝D^-1W1＝1的特征矢量。由此，在时，

一个简单的设计是类Haar的高通图形过滤器

应注意，λ_max＝max_i|λ_i|＝1，其中，λ_i是A的特征值，因为图形移位算子是转移矩阵。在这种情况下，对于所有i>1来说，h₀＝1,h₁＝-1并且h_i＝0，因此，类Haar的高通图形过滤器是移位不变和旋转不变的。类Haar高通图形过滤器的图形频率响应为h_HH(λ_i)＝1-λ_i。由于特征值是按降序排序的，具有1-λ_i≤1-λ_i+1，意味着低频响应相对衰减，而高频响应相对放大。

在图形顶点域中，第i个点的响应为

因为A是转移矩阵，并且h_HH(A)比较一个点与其近邻的凸组合之间的差异。所提出的局部变化的几何解释是原点与其近邻的凸组合之间的欧几里得距离，反映了从近邻获知一个点的多少信息。当一个点的局部变化很大时，这个点与其近邻的凸组合之间的欧几里得距离很大，并且这个点提供了大量的新息。

可以在一些简单的示例上验证所提出的局部变化。

示例1：当点云形成3D线时，两个端点属于轮廓。

示例2：当点云形成3D多边形/多面体时，顶点(角点)和边(连接两个相邻顶点的线段)属于轮廓。

示例3：当点云形成3D圆/球体时，没有轮廓。

当点沿着所定义的形状均匀散布时，所提出的局部变化(14)从几何角度满足示例1、2及3。例如，在图3的子图305中，点2是点1与点3的凸组合，点2的局部变化由此为零。然而，点4不是点3与点5的凸组合，并且红线的长度指示点4的局部变化(新息)。事实证明，只有点1、点4及点7具有非零局部变化，这是所期望的。在图3的子图310中，所有节点均匀散布在一个圆上并具有相同的新息量，其被表示为红线。类似的论点表明，所提出的局部变化(14)满足示例1、2及3。

特征提取算子是移位不变和旋转不变的。

基于定理3，最优采样分布为

其中，A＝D^-1W是转移矩阵。

应注意，图形拉普拉斯矩阵通常被用于测量变化。设L＝D-W∈R^N×N为图形拉普拉斯矩阵。基于图形拉普拉斯的总变化为

其中，N_i是第i个节点的近邻，并且第i个点贡献的变化为

这里的变化是基于成对差异的累积来定义的。将(18)称为基于成对差异的局部变化。

基于成对差异的局部变化不能捕捉几何变化并违反示例2。图4中示出了一个反例。这些点沿着立方体的面均匀散布，并且图4示出了两个面。每个点以相同的边缘权重连接至其相邻的四个点。所有点的基于成对差异的局部变化是相同的，这意味着该点云中没有轮廓。然而，带注释的点(由黑色箭头指向)应该是轮廓点。

图5示出了关于点云的一些示例的基于局部变化的采样得分，包括铰链、锥体、桌子、椅子、沙发以及垃圾容器。第一行(505)示出了原始点云；第二行(510)和第三行(515)示出了关于两个局部变化的重采样版本：基于成对差异的局部变化(18)和基于类Haar的高通图形过滤的局部变化(14)。两个重采样版本具有相同的点数，这是原始点云中的点的10％。

对于两个模拟对象，铰链和锥体(前两行)，基于成对差异的局部变化(18)无法检测轮廓，而基于类Haar的高通图形过滤的局部变化(14)检测到所有轮廓。对于真实对象，基于类Haar的高通图形过滤的重采样(14)也优于基于成对差异的局部变化(18)。总之，基于类Haar的高通图形过滤的局部变化(14)通过仅利用10％的点来示出对象的轮廓。

可以容易扩展基于高通图形过滤的重采样策略，以检测其它属性的瞬态改变。在图6中，子图605模拟具有两种不同纹理的铰链。黑色点具有相同的纹理，值为0，绿色圆圈表示的点具有不同的纹理，值为1。将纹理作为新属性和点云矩阵X∈R^N×4，其中，前三列是3D坐标，而第四列是纹理。根据基于高通图形过滤的局部变化(14)对10％的点进行重采样。在图6中，子图610示出了重采样点云，其清晰地检测到几何轮廓和纹理轮廓。

低通图形过滤

在经典信号处理中，使用低通过滤器来捕捉平滑信号的主要形状并降低噪声。类似地，使用低通图形过滤器来捕捉点云的主要形状，并在获得3D点期间减少采样噪声。由于使用点的3D坐标来构造图形(4)，在该图形上3D坐标自然平滑，意味着图形中的两个相邻点在3D空间中具有相似坐标。当噪声和异常值出现时，低通图形过滤器作为去噪算子，使用局部邻近信息来近似每个点的真实位置。由于低通图形过滤后的输出是原始点云的去噪版本，因此从去噪点重采样可能比原始点更具吸引力。

理想的低通图形过滤器

一个直接的选择是理想的低通图形过滤器，其完全消除了带宽以上的所有图形频率，同时传递无变化之下的那些。具有带宽b的理想低通图形过滤器为

其中，V_(b)是V的第b列，并且图形频率响应为

理想的低通图形过滤器h_IL将输入图形信号投影到带限子空间中，并且h_IL(A)s是对原始图形信号s的带限近似。图7中示出了示例。其中，子图705是原始点云(茶壶)，子图710、715以及720示出了当带宽b增加时，对茶壶的3D坐标的带限近似变得更好。看到带限近似快速改变茶壶的形状：利用10个图形频率，只获得了茶壶的粗略结构。因此，带限近似在编辑中比去噪更有用。子图725示出了主能量集中在低通图形频带中。

特征提取算子是移位可变和旋转可变的。基于定理4，对应最优重采样策略为

其中，v_i∈R^b是V_(b)的第i行。

_获得||v_i||₂的直接方法需要截断的特征分解(7)，其计算成本为O(Nb²)，其中，b是带宽。潜在地可以通过快速算法[？、？]来近似杠杆得分(leverage score)，其中，使用随机化技术来避免特征分解，并且计算成本为O(Nblog(N))。利用计算的另一种方法是将图形分割成几个子图，并在每个子图中获得杠杆得分。

应注意，该重采样策略类似于近似带限图形信号的采样和恢复，其构思是在几个节点处对信号系数进行采样，并在所有其它节点处近似恢复信号系数。在这里，将点云的属性建模为图形信号，对几个点的属性进行采样，并近似恢复所有其它点的属性。

可以看到，基于理想低通图形过滤的重采样策略倾向于在其邻近点在3D空间中快速改变的点上放置更多样本，因为小变化区域会引入大量冗余信息，而且我们不需要采集大量样本。该图形负责点云的空间分布，并借助于图形傅立叶基来分析每个点的信息量。还看到随着图形频率数量的增加，采样得分往往是统一的。这意味着当我们想要保留整体信息时，重要性得分在各处都是相等的。

类Haar的低通图形过滤器

另一个简单选择是类Haar的低通图形过滤器；即，

其中，λ_max＝max_i|λ_i|，λ_i是A的特征值。归一化因子λ_max用于避免幅值的放大。简单起见，表示A_no_rm＝A/|λ_max|。图形频率响应是h_HL(λ_i)＝1+λ_i/|λ_max|。由于特征值是按降序排序的，具有1+λ_i≥1+λ_i+1，意味着低频响应相对放大，而高频响应相对衰减。

在图形顶点域中，第i个点的响应为

其中，N_i是第i个点的近邻。看到h_HL(A)对每个点及其近邻的属性求平均以提供平滑的输出。

特征提取算子f(X)＝h_HL(A)X是移位可变和旋转可变的。基于定理4，对应最优重采样策略为

为了获得这种最优采样分布，需要计算最大幅值的特征值λ_max，其采用O(N)，并且针对每一行计算和其取具有||vec(A)||₀(图形移位算子中的非零元素)的O(||vec(A)||₀)。通过利用归一化邻接矩阵或转移矩阵作为图形移位算子，可以避免计算最大幅值。归一化邻接矩阵是其中，D是对角度矩阵，并且通过将邻接矩阵的每一行的和归一化为1来获得转移矩阵；即，D^-1W。在两种情况下，转移矩阵的最大特征值为1，由此具有A＝A_norm。

图8示出了通过对兔子图形利用基于类Haar的低通图形过滤的重采样(？？)的去噪性能。兔子图形的点云包括35,947个点。每个坐标都被均值为零和方差为0.002的高斯噪声污染。在图8中，子图805示出了嘈杂的兔子图形。从嘈杂的兔子图形中统一重采样10％的点，这在子图810中示出。看到重采样版本也很嘈杂。基于所提出的类Haar的低通图形过滤，在子图815中获得去噪的兔子图形，根据去噪的兔子图形的最优采样分布(？？)来重采样10％的点。嘈杂兔子图形的重采样版本在子图820中示出。看到通过利用相同数量的点，基于类Haar的低通图形过滤的重采样版本820比基于重采样版本的均匀采样810噪声小且更具代表性。

为了定量评估重采样的性能，测量原始无噪声点云中的每个重采样点与最近点之间的欧几里得距离；即，

其中，X∈R^N×k是无噪声点云，并且X_M∈R^M×k是重采样点云。由于从嘈杂点云中重采样，因此，重采样点相对于原始点移位。

(22)中的误差度量量化了总移位。较小的移位意味着更好地表示原始点云。例如，子图810中的重采样点云的误差为6.1824，而子图820中的重采样点云的误差为3.7077。这验证了在重采样期间利用低通图形过滤的优势。

另一实施方式

上面提出了一些基本的基于图形过滤的重采样工具，包括全通、低通及高通图形过滤器，在这一节中，提出了一些变型设计，展示如何调整它们以满足特殊要求。

点密度考虑

对于3.2节中提出的纯高通图形过滤器，重要性得分以纯粹有利于点云中的局部变化为目标。对于动态分配点密度的点云(例如，根据关注程度)来说，喜欢联合考虑点密度和局部方差。

在一个实施方式中，考虑到次数矩阵(degree matrix)D可以表示密度分布，提出按下面的方式修改方程15中的类Haar的高通过滤器，

h_HH(A)＝D(I-A)＝D-W＝L, (23)

其中，所得高通图形算子实际上是图形拉普拉斯算子L。应注意，上面的次数矩阵D可以用另一密度表示来替换，并且所得算子不必是图形拉普拉斯算子。

考虑到点密度，边缘区域与平坦区域之间的采样概率转换将变得更平滑。如果输入点云被预处理成被强调关注区域，则该方法可能更有利。

最小采样概率保证

对于如3.2节或3.4.1节中所提出的高通图形过滤器，指派给一些点的重要性得分可能远低于其它点的重要性得分。通常情况下，与靠近边缘或角落的点相比较，来自最平滑区域的点可以具有几乎为零的采样概率。结果，来自平坦区域的那些点在重采样期间几乎没有机会被选择。

对于用于从点云构建表面的一些常规表面建模方法，过度强调边缘/角落区域同时使表面内部几乎为空可能会带来挑战。为克服该问题，在点云中保持整体几何信息和轮廓信息之间存在权衡取舍的动机。为了确保遍及点云各处的最小采样概率，提出强制执行最低采样概率。

图13将采样结果与立方体对象的一个面上的在没有基底(floor)和具有基底情况下的图形随机游走进行比较。子图1305是如果纯图形随机游走在使用中的采样位置。子图1310是强制执行最小概率的对应结果。通过设定最小采样概率，可以看出采样点如何被移位来考虑平坦区域以及边缘区域。

近低通图形过滤

假设希望对点云上的图形频谱应用低通过滤器以便去除高频分量，3.3节中提出的理想低通图形过滤器需要至少计算一些特征值和特征矢量对，这可能导致不希望的计算复杂性。这里提出k多项式或k共轭梯度过滤器[？]将被用于本发明的所提出的框架中。接下来，假设基本图形算子是对称归一化图形拉普拉斯算子L，而不牺牲利用其它图形算子的普遍性。

k-POLY

如果将自身限制于多项式过滤，例如，由于计算方面的考虑，可以设置最优多项式低通过滤器的问题。最优多项式低通过滤器基于Chebyshev多项式。

具体而言，提出使用在区间[0,2]上定义的k次Chebyshev多项式h_k-CHEB，其中阻带从l∈(0,2)延伸至2。由于根据对称归一化拉普拉斯算子L的本征空间定义图形频谱，因此L的所有特征值处于区间[0,2]内。通过在区间[-1,1]内计算k次Chebyshev多项式的根，然后借助于线性变换将所述根移位至区间[l,2]以获得多项式h_k-CHEB的根r_i，并利用r₀缩放该多项式以使h_K-CHEB(0)＝1，从而容易地获得Chebyshev多项式的构造。这导致了公式

Chebyshev多项式是极小极大最优的，均匀地抑制区间[l,2]上的所有光谱分量，并且比[l,2]之外的任何其它任何多项式生长得更快。阻带频率l仍保持需要在过滤之前设定的设计参数。

k-CG

而且，k-CG低通过滤器[？]也可以被用于模仿本发明的所提出框架中的低通过滤器。

图14示出了k-POLY(子图1405)和k-CG(子图1410)方法的频谱响应，其中，k＝1,2,3。

条件性采样

利用第3节中提出的方法，假设与每个点相关联的重要性得分独立于任何其它点，因此无论在采样过程期间选择了哪些点，得分都保持不变。在这一节中，考虑在采样过程期间主动地更新点的重要性得分的情况，即，点的重要性得分将受到已采样的那些点的影响。直观地说，对于已采样的点，重要性得分应当变为零，而距离被采样点最远的点的得分应当保持不变。

采样分布π直接用作本节中重要性得分的量度。

在这里，提出点i相对于参考点r的主动重要性得分

其中，x_f是相对于点x_r最远的点。而且在确定新的采样点之后，重要性得分将更新如下。

遗憾的是，由于需要计数相距所有其它点的距离，计算π_a并因此更新pi涉及高计算复杂度。用于限制所涉及复杂性的一种方法是避免在选择每一个新采样点之后更新重要性得分。相反，仅在对第一组点进行采样之后且在要对第二组点进行采样之前，才可以更新得分。这可能导致更大的性能劣化，因为更新是在相当粗略的步骤中进行的。接下来，提出了减轻复杂度负担的两种新颖方法。

体素近似

代替计算每个点的确切重要性得分更新因子π_a，可以共享某个邻域内的多个点的因子，

其中，是x_i所属于的体素的质心点。可以使用快速算法(例如，八叉树分解)来将多个点分割成体素。

m-跳近似

在另一实施方式中，假设对相距最近采样点足够远的点没有影响。给定半径τ用于构造点云上的图形，设mτ为近似半径，该半径内的重要性得分需要更新。

遗憾的是，利用上面的公式来减少距离的计算次数并不是那么简单，因为所有距离都需要针对阈值进行评估。一种减轻该问题的自然方法是再次使用体素质心来近似每点距离。除了自然方法，在这一小节中，提出了如图15所示的一种新颖方法，该方法可以更高效地实现。

如在图15中，点云由X表示，其中，每行对应一个点，每列对应一个属性。A是确定的图形算子(例如，以矩阵形式)，或基本图形算子的函数。先前已采样的点的集合由M_in指示。

目标是通过考虑旧采样点对它们的半径mτ内的邻域的影响，来找到具有n个新采样点的新采样集M_out。

在步骤1中，启动和A相同的算子Q。

在步骤2中，提出针对采样点将Q中的行替换成1_i，其中，除了第i个条目等于1，行矢量1_i的条目都是0。所提出的图形算子变化意味着(有向)图形结构中的一些对应修改，即，去除链接至已采样点的图形边缘，并且在已采样点上添加自循环边缘。

在步骤3中，将重要性得分ξ_M和π_M初始化为PX-AXP_row，其中，

P.P_row是逐行范数算子。初始重要性得分可以被视为基于底层图形结构的局部信息测量值。

在步骤4中，修改重要性得分ξ_M，使得将其对应于非采样点的条目重置成0。现在，ξ_M表示旧采样点集M所携带的局部信息。

在步骤5的每次迭代中，局部信息从旧采样点传播至它们的半径τ内的邻域。通过步骤5中循环m次，这样的信息在范围mτ内传播，并且其由ξ_M表示。

在步骤6中，在从原始点云的总信息π_M中减去旧采样点集所携带的信息ξ_M之后，现在具有新的信息测量π_M。

最后，在步骤7中，可以基于新的信息测量π_M来选择具有n个新采样点的新采样集M_out。

可以迭代地调用上面提出的算法以粒度增长采样集，从而基于非常粗略的表示来实现原始点云的分层表示。所得方法是“单轮(single pass)”分解过程，因为可以在生成每个层之后立即调用每个层的后续处理，而无需等待另一表示层的生成。

在另一实施方式中，可以不执行步骤3中的范数运算，但保持ξ_M内的X-AX，以存储实际的局部信息。直到步骤6，在更新π_M之前，首先对ξ_M执行范数运算。这有利于传播局部信息而不是局部重要性得分，尤其是在局部信息是多维的时候。

基于参考的重采样

考虑从大规模点云中重采样一组参考点。

参考点被用于表示其它点的位置，其可以被用于点云的压缩、建索引及可视化。该构思是首先编码参考点的坐标，然后将相对坐标编码成所有其它点的最近参考点。设M＝(M₁,·,M_K)指示一序列K个参考索引，其中，M_j∈{1,…,N}。目标是通过最小化以下函数来找到一组参考点。

其中，发现每个点的最近参考点，并且w_m是第m个点的权重。例如，在可视化3D点云时，人眼对对象的轮廓更敏感。因此，为轮廓点指派较高权重。

当权重均匀时，除了聚类中心来自原始点，(28)与K-means聚类类似，。将(28)简单地称为加权K-means聚类问题。然而，不能将普通聚类算法用于大规模3D点云。众所周知，K-means聚类在计算上是困难的(NP-hard)。即使存在有效的启发式算法(如Lloyds算法及其变体)，这些算法也采用迭代来寻找聚类，并且每次迭代都涉及计算K个聚类中心中的每一个与N个数据点之间的距离。当K极大时，总计算成本巨大。由于利用大规模点云和数百万个参考点，因此希望没有迭代的情况下找到参考点；换句话说，该任务是有效地为加权K-means聚类选择种子(seeding)点。

灵感来自K-means++[？]，构思是按顺序更新采样分布。

设π⁽ⁱ⁾指示在第i次的采样分布。每一次，从π⁽ⁱ⁾生成一个样本，并且根据这个新样本更新采样分布。该采样分布基于至最近参考点的欧几里得距离来更新。避免在局部区域采样许多个点。所提出的加权K-means++与K-means++之间的差异在于还考虑了特征特性。该算法参见图16。

在步骤1中，启动一组参考索引和采样分布π，其中，对第i个样本进行采用的概率与特征值成比例；即，π_i＝w_i/∑_jw_j。

在步骤2中，从采样分布π生成一个参考索引M₁并将其放入集合M中。

在步骤3中，重复步骤3.1和3.2，直到M的基数达到K。

在步骤3.1中，通过指派π_i＝w_iD²(x_i)/∑_jw_jD²(x_j)来更新采样分布π，其中，是第i点与其最近参考点之间的欧几里得距离。

在步骤3.2中，从采样分布π生成另一参考索引M₂并将其放入集合M中。

与原始K-means++相似，可以推导出误差的理论界限。可以使用4.1节中的类似技术来减轻复杂性负担。

应用

在这一节中，将提出的重采样策略应用于几个应用：大规模可视化、鲁棒的形状建模、特征分析以及分层表示。

大规模可视化

在这个任务中，使用所提出的重采样策略来有效地可视化大规模城市场景。由于对城市场景中的建筑物和街道的轮廓敏感，因此代替示出整个点云，仅示出点的选定子集。考虑涉及几个自然场景的大型数据集，总共超过30亿个点，并且涵盖了一系列不同的城市场景：教堂、街道、铁轨、广场、村庄、足球场、城堡。在图9中，子图905示出了“domfountain3”的点云，其包含15,105,667个点(忽略了地面上的点)。基于两个重采样策略比较重采样点云：均匀采样和基于高通图形过滤的采样。子图910、915、920分别示出了具有151,057、15,105及1,510(1％、0.1％及0.01％)个点的基于均匀采样的重采样点云。子图930、935、940分别示出了具有151,057、15,105以及1,510(1％、0.1％及0.01％)个点的基于高通图形过滤的重采样点云。看到子图930、935以及940显示出比子图910、915以及920更清晰的轮廓。这证实了基于高通图形过滤的重采样策略为大规模城市场景提供了视觉友好的结果。整个计算处理(包括图形构造、局部变化计算以及重采样)在台式机中的Matlab上运行，耗时不到200秒钟。

为了查看一些细节，在图10中示出了两个放大示例，包括建筑物和教堂，它们分别包含381,903和1,622,239个点。子图1005和1010示出原始点云。在子图1015和1020中，使用均匀采样。而在子图1025和1030中，使用所提出的基于高通图形过滤的重采样。可以观察到，成功地检测到建筑物和教堂的外形作为所述轮廓。一些细节(诸如建筑物的门和窗户以及教堂的钟和屋顶)也突出显示。这证实了所提出的局部变化的有效性。将第三列与第二列进行比较，基于高通图形过滤的重采样点保留了轮廓。与1015和1020相比，从1025和1030中的重采样点更容易识别建筑物的门和窗的轮廓。

鲁棒的形状建模

在这个任务中，使用所提出的重采样策略来实现鲁棒的形状建模。

目标是通过利用点的小子集来有效地获得模型，而不是利用原始点云中的所有点。希望这个模型能够反映对象的真实表面，尤其是针对嘈杂的点云。

在图11中，子图1105示出了健身球的点云，其包含62,235个点。在这种无噪声的情况下，健身球的表面可以用球体建模。子图1110将绿球体拟合成健身球。该球体的半径和3D中心点是0.318238和[0.0832627 0.190267 1.1725]。为了利用该计算，可以重采样点的子集，并将另一球体拟合至这些重采样点。希望由原始点云和重采样点云生成的这两个球体是相似的。

在许多实际情况中，原始点与噪声一起被收集。为了模拟有噪声的情况，向每个点添加具有平均零和方差0.02的高斯噪声。首先获得均匀重采样点云。然后，通过低通图形过滤(21)获得去噪点云，并且重采样策略基于(20)。最后，从四个点云(原始球(无噪声)、有噪声球(添加了高斯噪声)、来自有噪声球的均匀重采样球以及利用所提出的低通图形过滤器的重采样球)拟合球体。图12示出了球体的统计数据。看到去噪声球及其重采样版本优于有噪声球和均匀采样版本，这是因为估计的半径和中心点更接近原始半径和中心点。这证实了所提出的具有低通图形过滤的重采样策略为有噪声点云提供了鲁棒的形状建模。

特征分析

利用所提出的基于高通图形过滤器的重采样，可以确定具有高重要性得分的小的点子集。由于这么小的点子集对应于点云中的边缘、角落，因此它们可以被视为原始点云的关键点。

此外，可以在原始点云的所选择的关键点上定义特征描述符，这是关于在局部邻域内的点上关联的一些属性的局部描述符的集合，例如，位置、梯度、取向以及比例。

基于所导出的特征描述符，可以进行一些点云分析任务。

例如，给定针对点云数据库的查询点云，可以搜索和检索类似的点云。两个点云之间的相似性可以通过计算它们的特征描述符之间的差异来测量。

分层表示

由于处理能力有限，因此通常需要控制点的总数。

例如，点云呈现装置可能一次仅显示最多一定数量的点。或者，因为可用的计算资源有限，所以用于从点云中提取特征的装置可能仅能够处理有限大小的点集。点的某一密度对应于点云的比例级别。而且，放大/缩小等操作需要点云的一系列比例级别，这导致需要生成点云的分层表示。

假设较高层表示填充了更多的点，设S_i为第i层中的点集，并且i＝1是最粗略层，i＝M是最精细层。

用于生成这种分层表示的自然方法是独立地从原始点云生成按不同比例的一序列点子集，并使用如早先提出的优选重采样策略。利用这种自然方法，较粗略层中的点不必存在于较精细层中。

然而，如果假设i∈S_k保持得和k<l一样长，则其可以提供优势。这样，当切换成较精细层时，不会丢弃来自较粗略层的信息。来自较精细层的新信息将添加至较粗略层以生成细化输出。换句话说，如果在移动至较精细层时从较粗略层丢弃信息，则浪费存储空间或传输速率。

下面，提出一种以迭代方式生成点云的分层表示的高级方法。

设最精细层S_N等于原始点云。假设需要生成较粗略层S_i，给出可用的较精细层S_j+1。

推荐在点集S_j+1上应用上面提出的重采样策略。

即，将在点集S_i+1上构造一个独立的最近邻域图形，其中，通过考虑当前层j+1中的点密度，需要以适当的半径来定义最近邻域。该半径应当从较精细层增加至较粗略层。然后，应用优选随机采样方法以从S_i+1中生成子集S_i。利用所提出的过程，生成从最密集点集(最精细分辨率)到最稀疏点集(最粗略分辨率)的分层表示。

当查看原始点云时，查看者可以通过在这种分层表示的不同层之间导航来执行放大、缩小操作。

另外，可以在分层表示生成之后设计空间可缩放编码方案。优选空间可缩放编码方案是两轮(two-pass)过程，其中，第一轮是生成从S_N到S₁的分层表示，而第二轮是从S₁到S_N的实际编码。即，编码从最粗略层S₁开始。鉴于S_i已被编码，提出基于S_i按预测方式对额外点S_i+1\S_i进行编码。

在一个实现中，使用现有方法(例如，八叉树编码方法)来编码最粗略层S₁。接下来，为了利用S_i-1中的点作为点预测器来编码较精细层S_i，提出利用S_i-1中的点作为基于欧几里得距离的质心来聚类S_i中的点。按这种方式，S_i\S_i-1中的新点可以通过S_i-1中的点来有效预测。

在本公开中，提出了一种重采样框架，其用于在大规模点云中选择点的子集来提取关键特征并利用后续计算。制定了用于获得最优采样分布的优化问题，这也保证了移位不变和旋转不变。然后，指定了特征提取算子作为图形过滤器，并研究了基于全通、低通以及高通图形过滤的重采样策略。呈现了几个应用(包括大规模可视化、鲁棒的形状建模、特征描述符提取、分层表示和编码)，以证实所提出的重采样方法的有效性和效率。

图17是例示根据本公开实施方式的、可以利用另选计算机或处理器来实现的图1的方法的框图。计算机1711包括：处理器1740、计算机可读存储器1712、存储部1758以及具有显示器1752和键盘1751的用户接口1749，它们通过总线1256连接。例如，与处理器1740和计算机可读存储器1712通信的用户接口1264在接收到来自用户接口1764的表面(键盘表面1764)的用户输入时，获取输入第一数据并存储在计算机可读存储器1712中。

计算机1711可以包括电源1754，根据应用，电源1254可以可选地位于计算机1711的外部。通过总线1756链接的可以是适于连接至显示装置1748的用户输入接口1757，其中，显示装置1248可以包括计算机监视器、摄像头、电视机、投影仪或移动装置等。打印机接口1759也可以通过总线1756连接并配置为连接至打印装置1732，其中，打印装置1732可以包括液体喷墨打印机、固体墨水打印机、大型商用打印机、热敏打印机、UV打印机或热升华打印机等等。网络接口控制器(NIC)1234被配置为通过总线1756连接至网络1736，其中，时间系列数据或其它数据等可以呈现于计算机1711外部的第三方显示装置、第三方成像装置和/或第三方打印装置上。

仍参照图17，输入点云数据、输出点数据或其它数据等可以通过网络1736的通信信道传送，和/或存储在存储***1758内以供存储和/或进一步处理。而且，输入点云数据、输出点数据或其它数据可以以无线方式或硬布线方式从接收器1746(或外部接收器1738)接收，或者以无线方式或硬布线方式经由发送器1747(或外部发送器1739)发送，接收器1746和发送器1747均通过总线1756连接。计算机1711可以经由输入接口1708连接至外部感测装置1744和外部输入/输出装置1741。例如，外部感测装置1244可以包括在机器的收集的时间系列数据之前-期间-之后收集数据的传感器。例如，接近或不接近机器的环境条件，即，机器处或附近的温度、机器位置所在建筑物中的温度、机器所在建筑物外部的室外温度、机器本身的视频、接近机器的区域的视频、未接近机器的区域的视频、与机器各方面有关的其它数据。计算机1711可以连接至其它外部计算机1742。输出接口1709可以被用于输出来自处理器1740的经处理数据。

而且，在此概述的各种方法或处理可以被编码为可以在采用多种操作***或平台中的任一种的一个或更多个处理器上执行的软件。另外，这种软件可以利用许多合适编程语言和/或编程或脚本工具中的任一种来编写，而且还可以被编译为在框架或虚拟机上执行的可执行机器语言代码或中间代码。通常情况下，程序模块的功能可以如在各种实施方式中所希望的组合或分布。

而且，本公开的实施方式可以被具体实施为已经提供了示例的方法。作为该方法的一部分执行的动作可以按任何合适方式来安排。因此，即使在例示性实施方式中被示出为顺序动作，也可以构造按与所例示相比不同的次序来执行动作的实施方式，其可以包括同时执行一些动作。而且，在权利要求书中使用诸如“第一”、“第二”的普通术语来修改权利要求部件不独立地暗示一个权利要求部件的任何优先级、优先权或次序超过执行方法的动作的另一或临时次序，而是仅仅被用作标记以将具有特定名称的一个权利要求要素与具有相同名称的另一要素(将使用顺序术语)区分开，从而区分这些权利要求要素。

Claims (20)

1.一种处理具有多个点的输入点云的***，其中，每个点具有属性集，所述属性集包括二维(2D)坐标和三维(3D)坐标以及其它属性，所述***包括：

传感器，所述传感器对场景进行感测，并且与计算机可读存储器通信以生成所述输入点云；

输出接口；

与所述计算机可读存储器通信的处理器，所述处理器被配置成：

访问所述输入点云；

构造表示所述输入点云的图形，并且识别并连接所述图形中的两个邻近节点，以获得图形边缘，所述构造基于所述输入点云中表示所述图形中的节点的各个点；

基于所构造的图形，确定图形过滤函数；

通过选择所述点的属性子集并且通过对所选择的属性子集应用所述图形过滤函数来过滤所述输入点云中的每个点，确定所述输入点云中的每个点的至少一个值；

基于与所述输入点云中的所述点的所有值的总计相比较的、所述点的所述至少一个值，以及输出点云中的点的预定数量，生成各个点的概率；

利用对各个点的所述概率的随机评估来对所述输入点云进行采样，以获得所述输入点云中的点子集，其中，所述点子集是所述输出点云；以及

将所述输出点云存储在所述计算机可读存储器中或者经由与所述处理器通信的所述输出接口输出所述输出点云，其中，所述输出点云用于帮助后续处理并且帮助管理所述输入点云。

2.根据权利要求1所述的***，其中，所述点的所述属性子集是基于用户输入来选择的。

3.根据权利要求1所述的***，其中，生成各个点的概率以对所述输入点云进行采样的步骤基于与所述输入点云中的所述点的所有值的总计相比较的、所述点的所述至少一个值乘以所述输出点云中的点的所述预定数量。

4.根据权利要求1所述的***，其中，所述输出点云中的点的所述预定数量是通过与所述处理器通信的用户输入接口的表面上的用户输入来确定的，所述用户输入用于将用户点数设定为所述输出点云中的点的所述预定数量。

5.根据权利要求1所述的***，其中，所述输入点云中的点是有结构的或无结构的。

6.根据权利要求1所述的***，其中，各个点的所述属性集中的所述其它属性来自由颜色、温度、透明度或反射率之一或组合所构成的组。

7.根据权利要求1所述的***，其中，所述图形边缘从图形节点连接至处于半径τ内的所有邻近图形节点。

8.根据权利要求1所述的***，其中，所述图形边缘从图形节点连接至该图形节点的K个最近的邻近图形节点。

9.根据权利要求1所述的***，其中，所选择的属性子集包括各个点的3D坐标，使得在确定所述输出点云时使用所述3D坐标。

10.根据权利要求1所述的***，其中，所选择的属性子集包括与各个点关联的颜色，使得在确定所述输出点云时使用所述颜色。

11.根据权利要求1所述的***，其中，各个点的所述概率是针对每个图形节点的任何预定正常数。

12.根据权利要求1所述的***，其中，各个点的所述概率是根据由图形随机游走(转移)矩阵、图形拉普拉斯矩阵或图形邻接矩阵之一的函数表示的所述图形过滤函数计算的。

13.根据权利要求1所述的***，所述***还包括：

针对由可视化、对象建模、分层表示和渲染中的一项构成的组输出所述输出点云。

14.根据权利要求1所述的***，所述***还包括：

生成所述输出点云中的各个点的特征描述符，所述特征描述符概述了所述输入点云；并且

基于所述特征描述符来检测对象。

15.根据权利要求1所述的***，其中，确定所述输入点云中的点子集的步骤包括：

确定第二点子集，其中，选择附加点并将所选择的附加点添加至所确定的点子集，使得与所述输入点云的所确定的点子集的细节相比，所述第二点子集提供所述输入点云的更多细节。

16.根据权利要求15所述的***，所述***还包括：

利用与余下点至所确定的点子集中的点的欧几里得距离成正比的比例来更新所述余下点的概率因子。

17.根据权利要求15所述的***，所述***还包括：

基于根据原始的图形过滤函数修改的图形结构来确定第二图形过滤函数，所述图形结构具有如下的待去除的图形边缘，该待去除的图形边缘链接至所述第一点子集内的点，并且有待添加自循环图形边缘；

选择如下的信息描述符：该信息描述符具有与所述第一点子集内的点的所述特征描述符相等的元素，并且其它元素等于零；

通过以特定次数对所选择的信息描述符应用所确定的第二图形算子来计算更新信息描述符；以及

利用所述更新信息描述符来更新重要性得分。

18.根据权利要求1所述的***，其中，确定所述输入点云中的点子集的步骤包括：

确定第二点子集，其中，选择附加点并从所确定的点子集去除所选择的附加点，使得与所述输入点云的所确定的点子集的细节相比，所述第二点子集提供所述输入点云的更少细节；以及

基于分层点集，按可缩放方式从较粗略级别到较精细级别对所述输入点云进行编码。

19.一种处理具有多个点的输入点云的方法，其中，各个点具有属性集，所述属性集包括二维(2D)坐标和三维(3D)坐标以及其它属性，该方法包括：

借助于传感器对场景进行感测，所述传感器与计算机可读存储器通信以生成所述输入点云；

利用与所述计算机可读存储器通信的处理器，所述处理器被配置为：

访问所述输入点云；

构造表示所述输入点云的图形，并且识别并连接所述图形中的两个邻近节点以获得图形边缘，所述构造基于所述输入点云中表示所述图形中的节点的各个点；

基于所构造的图形，确定图形过滤函数；

通过选择所述点的属性子集并且通过对所选择的属性子集应用所述图形过滤函数来过滤所述输入点云中的每个点，确定所述输入点云中的每个点的至少一个值；

基于与所述输入点云中的所述点的所有值的总计相比较的、所述点的所述至少一个值，以及输出点云中的点的预定数量，生成每个点的概率；

利用对每个点的所述概率的随机评估来采样所述输入点云，获得所述输入点云中的点子集，其中，所述点子集是所述输出点云；以及

将所述输出点云存储在所述计算机可读存储器中或者经由与所述处理器通信的输出接口输出所述输出点云，其中，所述输出点云用于帮助后续处理并且帮助管理所述输入点云。

20.一种包含能够由计算机执行的程序的非暂时性计算机可读存储介质，所述程序用于执行方法，该方法用于处理所存储的具有多个点的输入点云，其中，各个点具有属性集，所述属性集包括二维(2D)坐标和三维(3D)坐标以及其它属性，所述方法包括以下步骤：

借助于传感器对场景进行感测，所述传感器与所述非暂时性计算机可读存储介质通信以生成所述输入点云；

构造表示所述输入点云的图形，并且识别并连接所述图形中的两个邻近节点以获得图形边缘，所述构造基于所述输入点云中表示所述图形中的节点的每个点；

基于所构造的图形，确定图形过滤函数；

通过选择所述点的属性子集并且通过对所选择的属性子集应用所述图形过滤函数来过滤所述输入点云中的每个点，确定所述输入点云中的每个点的至少一个值；

基于与所述输入点云中的所述点的所有值的总计相比较的、所述点的所述至少一个值，以及输出点云中的点的预定数量，生成每个点的概率；

利用对每个点的所述概率的随机评估来采样所述输入点云，以获得所述输入点云中的点子集，其中，所述点子集是所述输出点云；以及

将所述输出点云存储在所述非暂时性计算机可读存储介质中或者经由与所述计算机通信的输出接口输出所述输出点云，其中，所述输出点云用于帮助后续处理并且帮助管理所述输入点云。