CN106776972A - 一种云计算网络中的虚拟化资源整合平台 - Google Patents

Abstract

本发明提供了一种云计算网络中的虚拟化资源整合平台，包括云计算资源组件、云计算管理组件和云计算应用组件，所述云计算应用组件包括数据采集模块、数据分类模块、分类检测模块和检测融合模块，所述云计算资源组件与所述云计算应用组件之间通过存储区域网通信连接，所述云计算资源组件与所述云计算管理组件通过以太网通信连接。本发明的有益效果为：利用了现有设备，大大降低了云计算网络的搭建成本。

Description

一种云计算网络中的虚拟化资源整合平台

技术领域

本发明涉及云计算领域，具体涉及一种云计算网络中的虚拟化资源整合平台。

背景技术

云计算网络对计算资源的性能要求较高，但是，如果计算资源配置过高容易造成资源的浪费，而是用过低的计算资源又会导致云计算网络堵塞，同时，常规的云计算网络平台延展性和可扩充性也较差，导致搭建成本过高。

发明内容

针对上述问题，本发明旨在提供一种云计算网络中的虚拟化资源整合平台。

本发明的目的采用以下技术方案来实现：

提供了一种云计算网络中的虚拟化资源整合平台，包括云计算资源组件、云计算管理组件和云计算应用组件，所述云计算应用组件包括数据采集模块、数据分类模块、分类检测模块和检测融合模块，所述云计算资源组件与所述云计算应用组件之间通过存储区域网通信连接，所述云计算资源组件与所述云计算管理组件通过以太网通信连接。

本发明的有益效果为：利用了现有设备，大大降低了云计算网络的搭建成本。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明的结构连接示意图。

附图标记：

云计算资源组件1、云计算管理组件2、云计算应用组件3。

具体实施方式

结合以下实施例对本发明作进一步描述。

参见图1，本实施例的一种云计算网络中的虚拟化资源整合平台，包括云计算资源组件1、云计算管理组件2和云计算应用组件3，所述云计算应用组件3包括数据采集模块、数据分类模块、分类检测模块、检测融合模块，所述数据采集模块用于采集需要进行检测的数据；所述数据分类模块用于将由数据采集模块输出的数据划分为图像数据和文本数据，并对分类后的数据进行过滤处理；所述分类检测模块用于对分类后的数据进行分析检测；所述检测融合模块用于根据检测需求筛选所需的图像数据和文本数据，所述云计算资源组件1与所述云计算应用组件3之间通过存储区域网通信连接，所述云计算资源组件1与所述云计算管理组件2通过以太网通信连接。

优选地，所述云计算资源组件1包括服务器节点设备和云存储设备。

本优选实施例实现了数据存储。

优选地，所述云存储设备为SAN磁盘阵列存储设备。

本优选实施例存储数据速度快。

优选的，所述采集需要进行检测的数据，包括：

采集一定时间段内需要进行检测的数据，按设定的过滤规则对该数据进行初步过滤处理，所述设定的过滤规则包括删除包含特殊字符、推广相关的特殊汉字和网页链接的内容的数据；设所述一定时间段的时间范围为[U_B,U_E]，将[U_B,U_E]按照时间顺序平均分为n个子时间段，对每个子时间段内的数据进行重要度评估，评估公式定义为：

公式中，R_i为第i个子时间段的重要程度，R_Ti为设定的第i个子时间段的重要程度值，Y_i为第i个子时间段的数据的数量，Y为在[U_B,U_E]内的数据的数量；将各重要度按照由小到大进行排序，按照重要度的排列顺序，将数据依次发送至数据分类模块。

本优选实施例通过设定过滤规则，将不需要进行检测的数据进行删除，减少了检测后续处理的数据量；通过对各子时间段的数据进行重要度评估，并按照重要度的排列顺序，将数据依次发送至数据分类模块，使后续的模块能够预先处理重要程度高的数据，提高了检测的速度。

优选的，所述对分类后的数据进行过滤处理，包括：提取文本数据，对该文本数据进行聚类处理，形成多个类别的文本数据集；计算每个类别的文本数据集中的数据的数量，按照数量由少到大的顺序对多个文本数据集进行排序；删除前21％的文本数据集，将剩余的文本数据集以及图像数据发送至分类检测模块。

本优选实施例进一步对文本数据进行聚类处理，过滤掉数量较少的文本数据集，减少了后续检测的数据量，从而进一步提高了检测的速度。

优选的，所述对该文本数据进行聚类处理，包括：

Step1：确定聚簇的个数K，包括：对该文本数据采用等距法设定k-means聚类算法的初始中心，得到聚类中心；在得到聚类中心后将相邻的聚类中心的中点作为分类的划分点，将各个对象加入到距离最近的类中，从而确定聚簇的个数K；将该文本数据划分为n个样本，对n个样本进行向量化，通过夹角余弦函数计算所有样本两两之间的相似度，得到相似度矩阵SIM：SIM＝[sim(b_i,b_j)]_n×n，i,j＝1,…,n；Step2：计算每一个样本与其它所有样本的相似度之和，求和公式为：

公式中，为样本b_i与其它所有样本的相似度之和，sim(b_i,b_j)表示样本b_i,b_j间的相似度，i,j＝1,…,n；Step3：按降序排列i＝1,…,n，设按从大到小排列的前4个值对应的样本为b_max,b_max-1,b_max-2,b_max-3，根据下列公式确定第一个初始的聚簇中心MI：

公式中，ω_max-μ表示b_max-μ的重要度权值；Step4：对中的最大值对应的矩阵中行向量的元素进行升序排列，假设前k-1个最小的元素为SIM_pq,q＝1,…,k-1，选择前k-1个最小的元素SIM_pq相对应的样本作为剩余的k-1个初始的聚簇中心；Step5：计算剩余样本与各初始的聚簇中心之间的相似度，将剩余样本分发到相似度最高的聚簇中，形成变化后的k个聚簇；Step6：计算变化后的聚簇中各样本的均值，将其作为更新后的聚簇中心代替更新前的聚簇中心；若更新前的聚簇中心与更新后的聚簇中心相同，或者目标函数达到了最小值，停止更新，所述目标函数为：

公式中，C_l表示k个聚簇中的第l个聚簇，b_x为第l个聚簇中的样本，为第l个聚簇的中心。

本优选实施例有效避免单一采取随机抽样方法所带来的偶然性,解决对该文本数据进行聚类处理时在选取k值以及初始化聚类中心时所存在的问题，提高了聚类稳定性，进一步提高了对文本数据进行过滤处理的精度。

优选的，所述分类检测模块包括图像数据检测单元和文本数据检测单元；所述图像数据检测单元基于语义特征对图像数据进行检测，具体为：采用小波变换的方法对图像进行分割，对区域低层特征进行提取，构造特征矩阵，再应用非负矩阵分解训练算法构造语义空间，将图像投影到该空间以获取图像语义特征；所述文本数据检测单元包括文本数据建模子单元、文本数据分类子单元、检测子单元，具体为：

(1)文本数据建模子单元，用于使用构成文档的词项来表达文档的语义，其将n篇文档t₁,t₂,…,t_n的每篇文档表示成m维特征向量v₁,v₂,…,v_m，构成n×m的文档-特征矩阵：

公式中，m为构成文档的词项的数量；

公式中，e(t_i,v_j)表示词项v_j在文档t_i中所占权重，f(t_i,v_j)表示词项v_j在文档t_i中出现的次数，f(v_j)表示词项v_j在所有文档中出现的次数总和；

(2)文本数据分类子单元，用于对建模后的文本文档进行分类，具体包括：

步骤1、将文本集中的文档随机映射到一个二维平面网格空间，每个网格中只能投影一篇文档，同时，在二维平面上放置一定数量的蚂蚁；步骤2、每只蚂蚁随机在二维网格空间移动，选择一个文档捡起，并携带它在二维网格空间随机移动，每移动一次，蚂蚁计算它所携带文档或者所在网格中的文档与周围环境的群体相似度，决定是否捡起或者放下该文档，将每个网格作为二维网格空间离散值，设蚂蚁所在位置为p，它所在环境的群体相似度定义为：

公式中，t_i∈p(a×a)表示文档t_i在位置p的边长a×a的邻域，r(t_i,t_j)表示两篇文档之间的文本距离，σ表示相似度因子，σ的取值范围是[1，2]，

公式中，m表示文档中词项数量；步骤3、捡起和放下，如果蚂蚁没有携带任何文档移动，那么它将捡起与周围环境群体相似度较低的文档；如果蚂蚁正在携带一篇文档移动，那么当蚂蚁处于空网格，并且这篇文档与周围环境的群体相似度较高时，它将放下这篇文档，捡起概率P_j(t_i)和放下概率P_f(t_i)定义为：

公式中，T₁和T₂为常数阈值，T₁＝0.14，T₂＝0.16；步骤4、重复步骤2和步骤3，经过一段时间，相似性高的文档将被聚集在同一区域。

本优选实施例对数据进行分类检测，能够充分利用不同类型数据特点，采用对应的方法进行检测，提高了检测的针对性；对文档进行建模，将非结构化的文本数据转换成可计算的结构化数据，同时便于后续对文档进行分类；文本数据分类子单元提高了检测效率，节约了检测时间。

本发明与传统资源整合平台的数据检测结果如下表所示：

	数据检测速度	数据检侧准确率
			本发明	0.18s	97％
传统资源整合平台	0.24s	92％

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (4)

1.一种云计算网络中的虚拟化资源整合平台，其特征是，包括云计算资源组件、云计算管理组件和云计算应用组件，所述云计算应用组件包括数据采集模块、数据分类模块、分类检测模块和检测融合模块，所述云计算资源组件与所述云计算应用组件之间通过存储区域网通信连接，所述云计算资源组件与所述云计算管理组件通过以太网通信连接。

2.根据权利要求1所述的一种云计算网络中的虚拟化资源整合平台，其特征是，所述云计算资源组件包括服务器节点设备和云存储设备。

3.根据权利要求2所述的一种云计算网络中的虚拟化资源整合平台，其特征是，所述云存储设备为SAN磁盘阵列存储设备。

4.根据权利要求3所述的一种云计算网络中的虚拟化资源整合平台，其特征是，所述采集需要进行检测的数据，包括：

采集一定时间段内需要进行检测的数据，按设定的过滤规则对该数据进行初步过滤处理，所述设定的过滤规则包括删除包含特殊字符、推广相关的特殊汉字和网页链接的内容的数据；设所述一定时间段的时间范围为[U_B,U_E]，将[U_B,U_E]按照时间顺序平均分为n个子时间段，对每个子时间段内的数据进行重要度评估，评估公式定义为：

$R_i=R_{Ti}+\frac{Y_i}{Y}\×100\%,1\≤i\≤n$

公式中，R_i为第i个子时间段的重要程度，R_Ti为设定的第i个子时间段的重要程度值，Y_i为第i个子时间段的数据的数量，Y为在[U_B,U_E]内的数据的数量；将各重要度按照由小到大进行排序，按照重要度的排列顺序，将数据依次发送至数据分类模块。