CN103324705A - 大规模向量场数据处理方法 - Google Patents

Abstract

本发明涉及一种大规模向量场数据处理方法，包括如下步骤：从外部存储设备中将向量场数据逐一读取至内存；利用流式K-means算法对内存中的向量场数据进行处理并得到若干个聚类中心；构建聚类中心的邻居关系；根据聚类中心的邻居关系对聚类中心进行层次聚类。上述大规模向量场数据处理方法，从外部存储设备中将向量场数据逐一读取至内存，避免了将所有的向量场数据一次性全部载入内存，而利用流式K-means算法对内存中的向量场数据进行处理以及根据聚类中心的邻居关系对聚类中心进行层次聚类也极大地降低了聚类的时间复杂度，因此上述大规模向量场数据处理方法对计算机的性能、内存要求均比较低，并且能够较快地处理大规模向量场数据。

Description

大规模向量场数据处理方法

技术领域

本发明涉及信息技术领域，特别是涉及一种大规模向量场数据处理方法。

背景技术

随着科学技术的发展，特别是计算机技术的迅猛发展，人类产生和获取数据的能力成数量级地增加。其中计算流体力学模拟、环境科学以及材料科学等应用领域产生的大规模向量场数据的可视化一直以来是人们面临的一项复杂且艰巨的任务。目前针对大规模向量场数据的可视化和绘制主要涉及如下两个方面：

其一，大数据的处理：目前主要采用基于并行算法设计的技术，合理利用有限的计算资源，高效地处理和分析特定的数据集的特性。在面向大规模数据的并行可视化工作中主要涉及数据流线化、任务并行化、管道并行化、数据并行化四种基本技术。

其二，向量场的表达：众所周知，在处理大规模数据时，聚类起到了至关重要的作用。其中Alexandru Telea等人提出的一种对向量场数据进行层次聚类方法是处理向量场数据最经典的方法。这种聚类方法通过计算每个类和其相邻类的相似性，然后根据相似性高低依次进行聚类，最终得到层次化的聚类结果。该方法相较于以往的方法简化了向量场的表达以及对用户专业性的依赖并且用户可以通过调节简单的参数灵活的产生不同的具有代表性的结果。

但是，并行处理大数据对对计算机的性能要求很高，普通的计算机无法胜任。且现有的聚类方法对大规模向量场数据进行处理时，需要将所有的大数据全部载入内存，而大多数计算机内存有限，根本无法满足该要求。另外，假设层次聚类过中需要处理的对象的数量为N，那么层次聚类的时间复杂度高达O(NlogN)，在处理大数据时需要花费大量的时间，不适用于对大规模向量场数据的实时处理并绘制呈现。

发明内容

基于此，有必要提供一种对计算机性能、内存要求较低且处理大规模向量场数据较快的大规模向量场数据处理方法。

一种大规模向量场数据处理方法，包括如下步骤：

从外部存储设备中将向量场数据逐一读取至内存；

利用流式K-means算法对内存中的向量场数据进行处理并得到若干个聚类中心；

构建聚类中心的邻居关系；

根据聚类中心的邻居关系对聚类中心进行层次聚类。

在其中一个实施例中，所述利用流式K-means算法对内存中的向量场数据进行处理并得到若干个聚类中心的步骤包括：

（1）、从内存中读取一个向量场数据；

（2）、判断所述向量场数据是否为读取的第一个向量场数据，如果是，则将所述向量场数据作为新的聚类中心，如果不是，则计算所述向量场数据与所有聚类中心的相似度，并找出与所述向量场数据相似度最高的聚类中心；

（3）、判断所述向量场数据和与所述向量场数据相似度最高的聚类中心的相似度是否在预设阈值范围之内，如果是，则将所述向量场数据附属于与所述向量场数据相似度最高的聚类中心，如果不是，则将所述向量场数据作为新的聚类中心；

（4）、重复步骤（1）、步骤（2）和步骤（3），直至内存中的向量场数据被全部读取完。

在其中一个实施例中，所述利用流式K-means算法对内存中的向量场数据进行处理并得到若干个聚类中心的步骤包括：

在内存中的向量场数据被全部读取完之后，计算得到聚类中心的总数。

在其中一个实施例中，所述计算所述向量场数据与所有聚类中心的相似度，并找出与所述向量场数据相似度最高的聚类中心的步骤包括：

选定一随机投影向量；

将每个聚类中心分别与所述随机投影向量相乘得到一个数组，并将所述数组中的所有元素按大小排序，得到一个有序数组；

将向量场数据与所述随机投影向量相乘得到向量场数据投影值；

在有序数组中查找出与所述向量场数据投影值最接近的元素，找出与所述向量场数据相似度最高的聚类中心。

在其中一个实施例中，若向量场数据和与所述向量场数据相似度最高的聚类中心在预设阈值范围之内，则将所述向量场数据附属于与所述向量场数据相似度最高的聚类中心。

在其中一个实施例中，所述构建聚类中心的邻居关系的步骤包括：

遍历内存中的向量场数据，只要相邻的向量场数据属于不同的聚类中心，则将两个聚类中心构成相邻关系。

在其中一个实施例中，所述根据聚类中心的邻居关系对聚类中心进行层次聚类的步骤包括：

计算所有相邻聚类中心的相似度；

取相似度最高的一对聚类中心进行聚类得到一个新的聚类中心，并更新该新的聚类中心和与该新的聚类中心相邻的聚类中心的相似度；

反复取相似度最高的两个聚类中心进行聚类，直到最终聚成一个聚类中心。

在其中一个实施例中，在所述构建聚类中心的邻居关系步骤之前，还包括如下步骤：

判断聚类中心总数是否大于预设值，如果是，则执行所述构建聚类中心的邻居关系的步骤及根据聚类中心的邻居关系对聚类中心进行层次聚类的步骤，如果不是，则直接结束，不再执行后续步骤。

在其中一个实施例中，所述相似度采用相似度函数计算，所述相似度函数采用椭圆等值线方法构造。

上述大规模向量场数据处理方法，从外部存储设备中将向量场数据逐一读取至内存，避免了将所有的向量场数据一次性全部载入内存，而利用流式K-means算法对内存中的向量场数据进行处理以及根据聚类中心的邻居关系对聚类中心进行层次聚类也极大地降低了聚类的时间复杂度，因此上述大规模向量场数据处理方法对计算机的性能、内存要求均比较低，并且能够较快地处理大规模向量场数据。

附图说明

图1为一个实施例的大规模向量场数据处理方法的算法流程图；

图2为一个实施例的利用流式K-means算法对内存中的向量场数据进行处理并得到若干个聚类中心的算法流程图；

图3为一个实施例的根据聚类中心的邻居关系对聚类中心进行层次聚类的算法流程图；

图4为一个实施例的根据聚类中心的邻居关系对聚类中心进行层次聚类的示例图；

图5为一个实施例的采用椭圆等值线方法构造相似度函数的示意图；

图6为一个实施例的向量场数据经过大规模向量场数据处理方法得到的效果图。

具体实施方式

为了解决目前处理大规模向量场数据对计算机性能、内存要求较高且效率低下的问题，本实施方式提供了一种大规模向量场数据处理方法。下面结合具体的实施例，对大规模向量场数据处理方法进行具体的描述。

请参考图1，本实施方式提供的大规模向量场数据处理方法，主要包括：

步骤S110：从外部存储设备中将向量场数据逐一读取至内存。在本步骤中，基于流模式一个接一个地将外部存储设备中的向量场数据读取至计算机的内存。

步骤S120：利用流式K-means算法对内存中的向量场数据进行处理并得到若干个聚类中心。利用流式K-means算法可以流式的处理大规模的向量场数据，并且得到的最终结果近似于利用传统的K-Means算法处理大规模向量场数据得到的结果。K-means算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。而流式K-means算法在计算向量场数据与聚类中心的相似度时，引入了一个随机投影向量，用于降低聚类的复杂度。请参考图2，步骤S120具体包括：

步骤S121：从内存中读取一个向量场数据。

步骤S122：判断向量场数据是否为读取的第一个向量场数据，如果向量场数据是读取的第一个向量场数据，则将向量场数据作为新的聚类中心，如果不是，则计算向量场数据与所有聚类中心的相似度，并找出与向量场数据相似度最高的聚类中心。在本实施方式中，计算向量场数据与所有聚类中心的相似度，并找出与向量场数据相似度最高的聚类中心的步骤是基于随机投影向量实现的，在此简单介绍如下：

选定某一随机投影向量。将每个聚类中心分别与随机投影向量相乘得到一个数组。然后将数组中的所有元素按大小排序，得到一个有序数组。再将向量场数据与随机投影向量相乘得到向量场数据投影值。最后在有序数组中查找出与向量场数据投影值最接近的元素，找出与向量场数据相似度最高的聚类中心。在这里，假设n聚类中心分别与随机投影向量相乘得到一个数组经过排序之后得到的有序数组为A[A1,A2…An]，且将向量场数据与随机投影向量相乘得到向量场数据投影值为y，则只要使用二分法即可在有序数组A[A1,A2…An]中快速查找出与向量场数据投影值y最接近的元素Ai（Ai表示有序数组A中的第i个元素）。如果向量场数据和与向量场数据相似度最高的聚类中心的相似度在预设阈值范围之内，则向量场数据应当附属的聚类中心即为Ai对应的聚类中心。

步骤S123：判断向量场数据与最近聚类中心的相似度是否在预设阈值范围之内，如果是，则将向量场数据附属于该最近聚类中心。在本实施方式中，就是将向量场数据附属于Ai对应的聚类中心。如果不是，则将向量场数据作为新的聚类中心。通过本步骤，可以将向量场数据尽可能地附属于某个聚类中心，从而达到向量场数据合并，亦即聚类的目的。

步骤S124：重复步骤S121、步骤S122和步骤S123，直至内存中的向量场数据被全部读取完。通过本步骤，可以将内存中的全部向量场数据进行处理，并将所有向量场数据进行聚类，最终得到若干个聚类中心。

步骤S125：在内存中的向量场数据被全部读取完之后，计算得到聚类中心的总数。这里得到聚类中心的总数主要用于决定是否执行后续构建聚类中心的邻居关系步骤和根据聚类中心的邻居关系对聚类中心进行层次聚类步骤。

步骤S130：判断聚类中心总数是否大于预设值，如果是，则执行后续步骤S140和步骤S150，如果不是，则直接结束，不再执行后续步骤。亦即向量场数据经过前述步骤之后得到的聚类中心总数没有达到预设值，则没有必要对向量场数据进行进一步处理，计算机便可以对其进行处理并将处理结果反映给用户；但是如果向量场数据经过前述步骤之后得到的聚类中心总数超过了预设值，那么我们还需要对当前得到的聚类中心进行进一步处理，具体进一步的处理方法就是执行步骤S140和步骤S150。

步骤S140：构建聚类中心的邻居关系。由于利用流式K-means算法对向量场数据进行聚类的结果是没有邻居关系的，而进行层次聚类需要确定向量场数据之间的层次关系。所以我们在进行层次聚类前需要构建聚类中心的邻居关系。

构建聚类中心的邻居关系的步骤包括：遍历内存中的向量场数据，只要相邻的向量场数据属于不同的聚类中心，则将这两个聚类中心构成相邻关系。由于原始向量场数据是基于均匀网格的并在读取的过程中被赋予了邻居关系，所以我们只需再遍历一遍原始向量场数据，只要相邻的原始向量向量场数据属于不同的聚类中心，则这两个聚类中心相邻。

步骤S150：根据聚类中心的邻居关系对聚类中心进行层次聚类。请参考图3，本实施方式中的根据聚类中心的邻居关系对聚类中心进行层次聚类步骤中包括：

步骤S151：计算所有相邻聚类中心的相似度。这里计算所有相邻聚类中心的相似度和之前计算向量场数据与聚类中心的相似度的方法一致，在此不再赘述。

步骤S152：取相似度最高的一对聚类中心进行聚类得到一个新的聚类中心，并更新该新的聚类中心和与该新的聚类中心相邻的聚类中心的相似度。亦即每当一对聚类中心完成聚类之后，都需要立即更新新的聚类中心和与该新的聚类中心相邻的聚类中心的相似度。

步骤S153：反复取相似度最高的两个聚类中心进行聚类，直到最终聚成一个聚类中心。

请参考图4，根据步骤S150，对聚类中心进行层次聚类的过程可以这样理解：假设最初有16个聚类中心，在图4中，用16个“0”代表最初的16个聚类中心，根据步骤S151，针对这16个聚类中心，计算出两两相邻聚类中心的相似度。再根据步骤S152，从步骤S151计算出来的结果中，选取相似度最高的一对聚类中心进行聚类得到一个新的聚类中心。在图4中，假设计算结果显示其中两个相邻的“0”（代表两个相邻的聚类中心）具有最高的相似度，则将这两个“0”合并成一个新的聚类中心，该新的聚类中心用“1”表示。然后根据步骤S153，反复取相似度最高的两个聚类中心进行聚类，直到最终聚成一个聚类中心。在图4中，最终聚成的一个聚类中心用“15”表示。

在本实施方式中，步骤S120和步骤S140所用到的相似度采用相似度函数计算，相似度函数考虑了向量场数据的长度、方向以及位置。我们使用椭圆等值线方法构造相似度函数。请参考图5，图5（b）所示的v向量沿着x轴长度为L，构建椭圆等值线方程 $f(x,y,t)={\text{\[}\frac{x-c\left(t\right)}{a\left(t\right)}\text{\]}}^2+{\[\frac{y}{b\left(t\right)}\]}^2-1,$ 其中

$\begin{array}{c}a\left(t\right)=\mathrm{\αt}\\ b\left(t\right)=\mathrm{\βt}\\ c\left(t\right)=L+\mathrm{\γt}\end{array},$ （a、b、c分别表示椭圆的长轴、短轴以及圆心横坐标减去v向量长度，如图5（a）所示）。

若给定一个向量w=[x,y]，该w向量和v向量的相似度可由t表示 $t=\frac{\sqrt{({(x-L)}^2+\frac{{\mathrm{\α}}^2}{{\mathrm{\β}}^2}{y}^2)({\mathrm{\α}}^2-{\mathrm{\γ}}^2)+{\mathrm{\γ}}^2{(x-L)}^2}}{{\mathrm{\α}}^2-{\mathrm{\γ}}^2}-\frac{r(x-L)}{{\mathrm{\α}}^2-{\mathrm{\γ}}^2},$ 该公式考虑了向量的长度以及方向。

此外，还需注意向量的位置，比如图5（c）中w3和w1跟v位置相似度是相等的。假设w的位置为(xs，ys)。则定义位置相似度函数为：

其中d和e控制椭圆的比例。

最后得到综合的相似度函数：L(s,t)＝As+(1-A)t，参数A由用户设定用于调节长度、方向、位置在相似度中的影响权重。

请参考图6，大规模向量场数据经过步骤S110～步骤S150处理之后，数据量将得到极大地简化，最终计算机利用专门针对大规模向量场数据可视化的交互式分析的软件便能够对大规模向量场数据进行处理，对大规模向量场数据进行聚类处理后绘以箭头或者流线形式展现出来，高效实时反映给客户。

上述大规模向量场数据处理方法，从外部存储设备中将向量场数据逐一读取至内存，避免了将所有的向量场数据一次性全部载入内存，而利用流式K-means算法对内存中的向量场数据进行处理以及根据聚类中心的邻居关系对聚类中心进行层次聚类也极大地降低了聚类的时间复杂度，因此上述大规模向量场数据处理方法对计算机的性能、内存要求均比较低，并且能够较快地处理大规模向量场数据。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种大规模向量场数据处理方法，其特征在于，包括如下步骤：

从外部存储设备中将向量场数据逐一读取至内存；

利用流式K-means算法对内存中的向量场数据进行处理并得到若干个聚类中心；

构建聚类中心的邻居关系；

根据聚类中心的邻居关系对聚类中心进行层次聚类。

2.根据权利要求1所述的大规模向量场数据处理方法，其特征在于，所述利用流式K-means算法对内存中的向量场数据进行处理并得到若干个聚类中心的步骤包括：

（1）、从内存中读取一个向量场数据；

（2）、判断所述向量场数据是否为读取的第一个向量场数据，如果是，则将所述向量场数据作为新的聚类中心，如果不是，则计算所述向量场数据与所有聚类中心的相似度，并找出与所述向量场数据相似度最高的聚类中心；

（3）、判断所述向量场数据和与所述向量场数据相似度最高的聚类中心的相似度是否在预设阈值范围之内，如果是，则将所述向量场数据附属于与所述向量场数据相似度最高的聚类中心，如果不是，则将所述向量场数据作为新的聚类中心；

（4）、重复步骤（1）、步骤（2）和步骤（3），直至内存中的向量场数据被全部读取完。

3.根据权利要求2所述的大规模向量场数据处理方法，其特征在于，所述利用流式K-means算法对内存中的向量场数据进行处理并得到若干个聚类中心的步骤包括：

在内存中的向量场数据被全部读取完之后，计算得到聚类中心的总数。

4.根据权利要求2所述的大规模向量场数据处理方法，其特征在于，所述计算所述向量场数据与所有聚类中心的相似度，并找出与所述向量场数据相似度最高的聚类中心的步骤包括：

选定一随机投影向量；

将每个聚类中心分别与所述随机投影向量相乘得到一个数组，并将所述数组中的所有元素按大小排序，得到一个有序数组；

将向量场数据与所述随机投影向量相乘得到向量场数据投影值；

在有序数组中查找出与所述向量场数据投影值最接近的元素，找出与所述向量场数据相似度最高的聚类中心。

5.根据权利要求4所述的大规模向量场数据处理方法，其特征在于，若向量场数据和与所述向量场数据相似度最高的聚类中心在预设阈值范围之内，则将所述向量场数据附属于与所述向量场数据相似度最高的聚类中心。

6.根据权利要求1所述的大规模向量场数据处理方法，其特征在于，所述构建聚类中心的邻居关系的步骤包括：

遍历内存中的向量场数据，只要相邻的向量场数据属于不同的聚类中心，则将两个聚类中心构成相邻关系。

7.根据权利要求6所述的大规模向量场数据处理方法，其特征在于，所述根据聚类中心的邻居关系对聚类中心进行层次聚类的步骤包括：

计算所有相邻聚类中心的相似度；

取相似度最高的一对聚类中心进行聚类得到一个新的聚类中心，并更新该新的聚类中心和与该新的聚类中心相邻的聚类中心的相似度；

反复取相似度最高的两个聚类中心进行聚类，直到最终聚成一个聚类中心。

8.根据权利要求3所述的大规模向量场数据处理方法，其特征在于，在所述构建聚类中心的邻居关系步骤之前，还包括如下步骤：

判断聚类中心总数是否大于预设值，如果是，则执行所述构建聚类中心的邻居关系的步骤及根据聚类中心的邻居关系对聚类中心进行层次聚类的步骤，如果不是，则直接结束，不再执行后续步骤。

9.根据权利要求2、3、4、5或7所述的大规模向量场数据处理方法，其特征在于，所述相似度采用相似度函数计算，所述相似度函数采用椭圆等值线方法构造。

Images