CN106897705A - 一种基于增量学习的海洋观测大数据分布方法 - Google Patents

Abstract

本发明涉及一种基于增量学习的海洋观测大数据分布方法，一种基于增量学习的海洋观测大数据分布方法，所述分布方法包括以下步骤：S1：输入待布局的增量海洋观测数据集；S2：初始化存储容量；S3：计算增量数据集中数据的数据价值；S4：对增量数据集中的所有数据进行划分；S5：利用增量学习方法对增量数据集进行训练；S6：对训练后的数据进行布局；S7：输出布局后的增量海洋观测数据集；其中，所述的步骤S5中的增量学习方法为支持向量机增量学习方法。其优点在于，保证分类正确率的同时，降低训练时间的开销和用户访问数据的响应时间；利用支持向量机的增量学习算法解决过量匹配的问题；有效压缩了样本集的大小并舍弃无用样本。

Description

一种基于增量学习的海洋观测大数据分布方法

技术领域

本发明涉及海洋数据分布技术领域，具体地说，是一种基于增量学习的海洋观测大数据分布方法。

背景技术

随着我国海洋强国战略的逐步推进，科学大数据技术的迅猛发展为海洋经济产业注入了科学动力。此外，“海洋一号”A星和“海洋一号”B星等专题卫星的上轨成功优化了我国海洋立体化观测路网，使得高精度、高频度、大覆盖的实时多模态海洋数据呈几何级数***式增长。海洋科学学科特征以及海洋数据获取手段的多源性导致了海洋数据具有海量性、多维、实时、强关联等特征，使得海洋数据成为大数据的典范。对海洋观测大数据有效地进行存储、管理并构建海洋大数据服务是挖掘海洋数据价值的关键途径。

数据分布是数据存储中的关键问题，它是将数据划分为一系列不相交的数据片段或区域，并按照一定的数据分配策略分散放置到各个数据节点上。在数据分布过程中，良好的分片实施策略是数据分布的关键。已有的数据分片策略(如轮转划分)适用于有着固定模式的一般关系型数据库，在通用数据上效果显著。然而，多模态的实时海洋观测大数据具有特殊的性质，使得传统的分片策略在对海洋观测大数据进行分片时忽略了其本身的特点，缺乏一定的实用性。故需进一步考虑和分析海洋数据自身的数据价值，才可有效地对数据进行分布和存储。

此外，随着大规模海洋立体观测技术的飞速发展，在实际海洋观测过程中，海洋观测大数据的信息不是一次性获得的，会不断地有新数据增加。面对大幅度不断增加的海洋观测大数据，如果每一次都要在所有数据上重新建模存储或进行数据挖掘需花费大量的时间，这显然是不现实的。而增量学习可有效地解决上述问题，使得海洋大数据的存储和管理能更好的走向服务化、实用化。

数据分布的主要目的是通过数据的合理分布，使尽可能多的数据就地存放，减少跨越逻辑分区或物理节点的数据访问。

在海洋强国的战略需求与新型信息技术迅猛发展下，对海洋大数据进行挖掘和管理可为海洋环境的观测、海洋资源的探测以及海洋灾害的预警预报等研究提供重要的信息资源。然而随着海洋观测手段及设备的多样化和深布局，如浮标、卫星、遥感、观测站等实时数据源采集，造成了数据量的密级增长，使得传统的数据分布策略对于海洋数据的存储和管理产生一定的局限性。

面对快速增长的海量海洋观测数据，如何有效地利用历史数据学习的结果，对新增数据进行高效的分析，从而避免对历史样本的重复训练和学习，得到较为准确的数据分类结果是对海洋观测数据进行分布的关键，而增量学习能够很好的解决此类问题。目前，增量学习算法在一些领域中得到了较好的应用。在对海洋数据进行分布过程中，面对实时更新的观测数据，良好的动态自适应性会对数据的分布效果和用户访问数据的响应时间带来较好的影响。因此，面对不断实时更新的海洋观测大数据，将增量学习的思想引入海洋大数据的数据分布中显得尤为重要。

中国发明专利CN201610561677.1，公开日为2016.12.14，公开了一种基于SPM和深度增量SVM的SAR图像分类方法。但是该方法无法适应于海洋数据，且无法达到本发明的技术效果。

因此，亟需一种降低训练时间的开销和用户访问数据的响应时间、解决过量匹配的基于增量学习的海洋观测大数据分布方法，而目前关于这种方法还未见报道。

发明内容

本发明的目的是针对现有技术中的不足，提供一种基于增量学习的海洋观测大数据分布方法。

为实现上述目的，本发明采取的技术方案是：

一种基于增量学习的海洋观测大数据分布方法，所述分布方法包括以下步骤：

S1：输入待布局的增量海洋观测数据集；

S2：初始化存储容量；

S3：计算增量数据集中数据的数据价值；

S4：对增量数据集中的所有数据进行划分；

S5：利用增量学习方法对增量数据集进行训练；

S6：对训练后的数据进行布局；

S7：输出布局后的增量海洋观测数据集；

其中，所述的步骤S5中的增量学习方法为支持向量机增量学习方法。

所述的步骤S3中的数据价值计算包括计算时效性、计算关联性、计算地域性。

所述的步骤S4中的划分为利用k-means方法对数据集中的所有数据进行初始划分，将数据集分为活跃区和非活跃区。

所述的步骤S6中的布局为对训练后的数据按照活跃区和非活跃区进行布局。

所述的步骤S3的计算方法包括以下步骤：

S31：计算时效性

利用TF-IDF加权技术计算海洋观测大数据的时效性，其计算公式为如下：

其中，N为海洋观测大数据集的总数据量，n_i表示包含观测数据属性项d的数据集数，tf_i(d)表示观测数据属性项d在数据集中出现的频率，W_i(d)表示属性项d的权值。

S32：计算关联性

设分别表示应用观测数据d_k和d_m的观测任务，则观测数据d_k和d_m之间的关联度S_ij的计算公式如下：

S33：计算地域性

利用欧式距离计算方法计算各观测区内各观测位置间的距离L_mn，其计算公式如下：

L_mn＝√(x_m-x_n)²+(y_m-y_n)² (3)

其中L_mn表示观测点m和观测点n之间的距离，x_m和x_n分别表示观测点m和观测点n的经度值，y_m和y_n分别表示观测点m和观测点n的纬度值。

引入归一化变量，用相对位置和整个区间内距离最大值的比值作为观测点的距离关联值RL_mn，其计算公式如下：

其中，RL_mn表示观测点m和观测点n之间的距离关联值，max{L12,L13,L₁₄,……,L_mn}表示在每个距离值之间取最大值。

S34：计算数据价值

对于海洋观测大数据，根据其被使用的频度、数据的下载次数、数据使用者的重要程度和数据产品的生产成本等因素，适当选取每项因素的加权银子，计算数据价值，其计算公式如下：

V_i(d)＝W_i(d)×k₁+S_i(d)×k₂+RL_i(d)×k₃+C (5)

其中，V_i(d)代表观测数据的数据价值，W_i(d)代表观测数据的时效性，S_i(d)代表观测数据的关联性，RL_i(d)带包观测数据的地域性，k1为W_i(d)的加权因子，k2为S_i(d)的加权因子，k3为RL_i(d)的加权因子，C代表数据价值的惩罚因子，由观测数据的用户关注度、数据采集完成所经历的时间、参与的人力以及数据生产所经历的环节综合得出。

所述的步骤S5的工作流程如下：

S51：输入新增海洋大数据样本集B_i(i＝1,2,3,……,n)；

S52：判断新增样本是否符合KKT条件：

S521：若符合KKT条件，根据KKT条件进行支持向量机(SVM)分类，然后进入步骤S56；

S522：若不符合KKT条件，则进入步骤S53；

S53：判断B_i是否都在分类面上：

S531：若B_i都在分类面上，则将其归为分类间隔上的样本，然后进入步骤S56；

S532：若B_i不都在分类面上，则进入步骤S54；

S54：判断B_i是否都在分类面的边缘或原分类有误：

S541：若B_i都在分类面的边缘或原分类有误，则将其归为分类间隔内的样本，然后进入步骤S56；

S542：若B_i不都在分类面的边缘或原分类无误，则进入步骤S55；

S55：根据数据价值训练样本集，即利用k-means方法划分样本集；

S56：输出增量样本集。

本发明优点在于：

1、保证分类正确率的同时，降低训练时间的开销和用户访问数据的响应时间；

2、利用支持向量机的增量学习算法解决过量匹配的问题；

3、有效压缩了样本集的大小并舍弃无用样本。

附图说明

附图1是本发明的一种基于增量学习的海洋观测大数据分布方法的流程图。

附图2是本发明的一种基于增量学习的海洋观测大数据分布方法的增量学习方法示意图。

具体实施方式

下面结合附图对本发明提供的具体实施方式作详细说明。

附图中涉及的附图标记和组成部分如下所示：

实施例1

参照图1，本发明的一种基于增量学习的海洋观测大数据分布方法的流程如下：

S1：输入待布局的增量海洋观测数据集；

S2：初始化存储容量；

S3：计算增量数据集中数据的数据价值；

S4：对增量数据集中的所有数据进行划分；

S5：利用增量学习方法对增量数据集进行训练；

S6：对训练后的数据进行布局；

S7：输出布局后的增量海洋观测数据集。

所述的步骤S3中的数据价值计算包括计算时效性、计算关联性、计算地域性。

所述的步骤S4中的划分为利用k-means方法对数据集中的所有数据进行初始划分，将数据集分为活跃区和非活跃区。

所述的步骤S5中的增量学习方法为支持向量机增量学习方法。

所述的步骤S6中的布局为对训练后的数据按照活跃区和非活跃区进行布局。

本发明的一种基于增量学习的海洋观测大数据分布方法的优点在于，保证分类正确率的同时，降低训练时间的开销和用户访问数据的响应时间；利用支持向量机的增量学习算法解决过量匹配的问题；有效压缩了样本集的大小并舍弃无用样本。

实施例2

本发明的一种基于增量学习的海洋观测大数据分布方法的数据价值计算方法如下：

S31：计算时效性

数据的时效性是影响数据分布的重要因素之一。在海洋研究领域中，海洋大数据的时效性问题十分重要，尤其是对于增量式海洋观测大数据。在设计分布策略过程中，数据存储的时间长度和数据访问频率是判别数据是否有价值的重要因素。数据在不同的阶段具有不同的意义，当数据刚被存储进数据存储***时，其被用户调用的频率较高。随着时间的增加，这批数据相对于刚被存储的数据将会成为历史数据，历史数据被用户调用的次数急剧减小。因此，确保数据时效性是一个十分重要的问题。

利用TF-IDF加权技术计算海洋观测大数据的时效性，其计算公式为如下：

其中，N为海洋观测大数据集的总数据量，n_i表示包含观测数据属性项d的数据集数，tf_i(d)表示观测数据属性项d在数据集中出现的频率，W_i(d)表示属性项d的权值。

S32：计算关联性

各观测点的海洋数据属值繁多，包括经度、纬度、温度、湿度、盐度、大气压、萤光度等，在这些观测数据的属性之间也存在着一定的联系。因此，在对海洋观测大数据进行布局时，需要考虑观测数据间的关联度。

设分别表示应用观测数据d_k和d_m的观测任务，则观测数据d_k和d_m之间的关联度S_ij的计算公式如下：

S33：计算地域性

海洋数据的空间性导致了海洋数据的地域性。在对每个海洋数据进行观测时，都必须确定该数据所在的经度值和纬度值，这也正体现了海洋数据空间相关性的特征。通过对观测点的距离关联度进行分析，可有效地将观测点距离近的数据尽可能地放在同一个数据中心，供后期修剪一些距离较远的孤立数据，以减少数据中心的存储容量。

利用欧式距离计算方法计算各观测区内各观测位置间的距离L_mn，其计算公式如下：

L_mn＝√(x_m-x_n)²+(y_m-y_n)² (3)

其中L_mn表示观测点m和观测点n之间的距离，x_m和x_n分别表示观测点m和观测点n的经度值，y_m和y_n分别表示观测点m和观测点n的纬度值。

引入归一化变量，用相对位置和整个区间内距离最大值的比值作为观测点的距离关联值RL_mn，其计算公式如下：

其中，RL_mn表示观测点m和观测点n之间的距离关联值，max{L₁₂,L₁₃,L₁₄,……,L_mn}表示在每个距离值之间取最大值。

S34：计算数据价值

对于海洋观测大数据，根据其被使用的频度、数据的下载次数、数据使用者的重要程度和数据产品的生产成本等因素，适当选取每项因素的加权银子，计算数据价值，其计算公式如下：

V_i(d)＝W_i(d)×k₁+S_i(d)×k₂+RL_i(d)×k₃+C (5)

其中，V_i(d)代表观测数据的数据价值，W_i(d)代表观测数据的时效性，S_i(d)代表观测数据的关联性，RL_i(d)带包观测数据的地域性，k1为W_i(d)的加权因子，k2为S_i(d)的加权因子，k3为RL_i(d)的加权因子，C代表数据价值的惩罚因子，由观测数据的用户关注度、数据采集完成所经历的时间、参与的人力以及数据生产所经历的环节综合得出。

实施例3

参照图2，本发明的一种基于增量学习的海洋观测大数据分布方法的增量学习方法如下：

S51：输入新增海洋大数据样本集B_i(i＝1,2,3,……,n)；

S52：判断新增样本是否符合KKT条件：

S521：若符合KKT条件，根据KKT条件进行支持向量机(SVM)分类，然后进入步骤S56；

S522：若不符合KKT条件，则进入步骤S53；

S53：判断B_i是否都在分类面上：

S531：若B_i都在分类面上，则将其归为分类间隔上的样本，然后进入步骤S56；

S532：若B_i不都在分类面上，则进入步骤S54；

S54：判断B_i是否都在分类面的边缘或原分类有误：

S541：若B_i都在分类面的边缘或原分类有误，则将其归为分类间隔内的样本，然后进入步骤S56；

S542：若B_i不都在分类面的边缘或原分类无误，则进入步骤S55；

S55：根据数据价值训练样本集，即利用k-means方法划分样本集；

S56：输出增量样本集。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明方法的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。

Claims (6)

1.一种基于增量学习的海洋观测大数据分布方法，其特征在于，所述分布方法包括以下步骤：

S1：输入待布局的增量海洋观测数据集；

S2：初始化存储容量；

S3：计算增量数据集中数据的数据价值；

S4：对增量数据集中的所有数据进行划分；

S5：利用增量学习方法对增量数据集进行训练；

S6：对训练后的数据进行布局；

S7：输出布局后的增量海洋观测数据集；

其中，所述的步骤S5中的增量学习方法为支持向量机增量学习方法。

2.根据权利要求1所述的分布方法，其特征在于，所述的步骤S3中的数据价值计算包括计算时效性、计算关联性、计算地域性。

3.根据权利要求1所述的分布方法，其特征在于，所述的步骤S4中的划分为利用k-means方法对数据集中的所有数据进行初始划分，将数据集分为活跃区和非活跃区。

4.根据权利要求1所述的分布方法，其特征在于，所述的步骤S6中的布局为对训练后的数据按照活跃区和非活跃区进行布局。

5.根据权利要求2所述的分布方法，其特征在于，所述的步骤S3的计算方法包括以下步骤：

S31：计算时效性

利用TF-IDF加权技术计算海洋观测大数据的时效性，其计算公式为如下：

$W_i\left(d\right)=\frac{{\mathrm{ft}}_i\left(d\right)\×\log (\frac{N}{n_i}+0.01)}{\sqrt{\underset{i=1}{\overset{n}{\Σ}}{\left({\mathrm{tf}}_i\right(d\left)\right)}^2\×{\[\log (\frac{N}{n_i}+0.01)\]}^2}}---\left(1\right)$

其中，N为海洋观测大数据集的总数据量，n_i表示包含观测数据属性项d的数据集数，tf_i(d)表示观测数据属性项d在数据集中出现的频率，W_i(d)表示属性项d的权值。

S32：计算关联性

设 分别表示应用观测数据d_k和d_m的观测任务，则观测数据d_k和d_m之间的关联度S_ij的计算公式如下：

$S_{ij}=count(T_{d_k}\∩T_{d_m})---\left(2\right)$

S33：计算地域性

利用欧式距离计算方法计算各观测区内各观测位置间的距离L_mn，其计算公式如下：

L_mn＝√(x_m-x_n)²+(y_m-y_n)² (3)

其中L_mn表示观测点m和观测点n之间的距离，x_m和x_n分别表示观测点m和观测点n的经度值，y_m和y_n分别表示观测点m和观测点n的纬度值。

引入归一化变量，用相对位置和整个区间内距离最大值的比值作为观测点的距离关联值RL_mn，其计算公式如下：

${\mathrm{RL}}_{mn}=\frac{L_{mn}}{max\{L_{12},L_{13},L_{14}...L_{mn}\}}---\left(4\right)$

其中，RL_mn表示观测点m和观测点n之间的距离关联值，max{L₁₂,L₁₃,L₁₄,……,L_mn}表示在每个距离值之间取最大值。

S34：计算数据价值

对于海洋观测大数据，根据其被使用的频度、数据的下载次数、数据使用者的重要程度和数据产品的生产成本等因素，适当选取每项因素的加权银子，计算数据价值，其计算公式如下：

V_i(d)＝W_i(d)×k₁+S_i(d)×k₂+RL_i(d)×k₃+C (5)

其中，V_i(d)代表观测数据的数据价值，W_i(d)代表观测数据的时效性，S_i(d)代表观测数据的关联性，RL_i(d)带包观测数据的地域性，k1为W_i(d)的加权因子，k2为S_i(d)的加权因子，k3为RL_i(d)的加权因子，C代表数据价值的惩罚因子，由观测数据的用户关注度、数据采集完成所经历的时间、参与的人力以及数据生产所经历的环节综合得出。

6.根据权利要求1所述的分布方法，其特征在于，所述的步骤S5的工作流程如下：

S51：输入新增海洋大数据样本集B_i(i＝1,2,3,……,n)；

S52：判断新增样本是否符合KKT条件：

S521：若符合KKT条件，根据KKT条件进行支持向量机(SVM)分类，然后进入步骤S56；

S522：若不符合KKT条件，则进入步骤S53；

S53：判断B_i是否都在分类面上：

S531：若B_i都在分类面上，则将其归为分类间隔上的样本，然后进入步骤S56；

S532：若B_i不都在分类面上，则进入步骤S54；

S54：判断B_i是否都在分类面的边缘或原分类有误：

S541：若B_i都在分类面的边缘或原分类有误，则将其归为分类间隔内的样本，然后进入步骤S56；

S542：若B_i不都在分类面的边缘或原分类无误，则进入步骤S55；

S55：根据数据价值训练样本集，即利用k-means方法划分样本集；

S56：输出增量样本集。