CN103106270B - 云数据融合方法和*** - Google Patents

Abstract

本发明提供了一种云数据融合方法和***。所述方法包括：读取非结构化云数据；对所述非结构化云数据进行并行处理，并输出处理结果；将所述处理结果进行转换得到结构化云数据，并存储。所述***包括：读取模块，用于读取非结构化云数据；并行处理模块，用于对所述非结构化云数据进行并行处理，并输出处理结果；转换模块，用于将所述处理结果进行转换得到结构化云数据，并存储。采用本发明能节省数据查询所耗费的时间。

Description

云数据融合方法和***

技术领域

本发明涉及数据处理技术，特别是涉及云数据融合方法和***。

背景技术

随着大型数据处理的迅猛发展，云计算的应用越来越普遍，而应用云计算所实现的各种云数据处理和云数据查询也成为了云计算***的主要任务。云计算中大都采用非结构化数据库，以易于划分和合并云数据，进而满足云计算中的分布式并行处理需求。

然而，由于云计算所采用的是非结构化数据库，因此，将数据存入时是不存在结构化的，进而造成云计算过程中的云数据查询需要耗费非常多的时间，

发明内容

基于此，有必要提供一种能节省数据查询所耗费的时间的云数据融合方法。

此外，还有必要提供一种能节省数据查询所耗费的时间的云数据融合***。

一种云数据融合方法，包括如下步骤：

读取非结构化云数据；

对所述非结构化云数据进行并行处理，并输出处理结果；

将所述处理结果进行转换得到结构化云数据，并存储。

在其中一个实施例中，所述读取非结构化云数据的步骤包括：

对非结构化数据库进行数据读取，得到非结构化云数据。

在其中一个实施例中，所述将所述处理结果进行转换得到结构化云数据，并存储的步骤之前还包括：

将所述处理结果存入所述非结构化数据库的步骤。

在其中一个实施例中，所述将所述处理结果进行转换得到结构化云数据，并存储的步骤包括：

获取所述处理结果即将存入的结构化数据库的列所对应的数据类型；

将所述处理结果转换为所述获取得到的数据类型；

将所述转换得到的处理结果写入结构化数据库。

在其中一个实施例中，所述将所述处理结果进行转换得到结构化云数据，并存储的步骤之后还包括：

获取所述处理结果的查询请求，根据所述查询请求在所述结构化云数据中进行查询得到处理结果。

一种云数据融合***，包括：

读取模块，用于读取非结构化云数据；

并行处理模块，用于对所述非结构化云数据进行并行处理，并输出处理结果；

转换模块，用于将所述处理结果进行转换得到结构化云数据，并存储。

在其中一个实施例中，所述读取模块还用于对非结构化云数据库进行数据读取，得到非结构化云数据。

在其中一个实施例中，所述***还包括：

非结构化数据库，用于存入处理结果。

在其中一个实施例中，所述转换模块包括：

类型获取单元，用于获取所述处理结果即将存入的结构化数据库的列所对应的数据类型；

类型转换单元，用于将所述处理结果转换为所述获取得到的数据类型；

结构化数据库，用于写入所述转换得到的处理结果。

在其中一个实施例中，所述***还包括：

查询模块，用于获取所述处理结果的查询请求，根据所述查询请求在所述结构化云数据中进行查询得到处理结果。

上述云数据融合方法和***中，将读取的非结构化云数据进行并行处理，得到处理结果，对该处理结果进行转换，使得处理结果由非结构化云数据变换为结构化云数据并存储，由于处理结果是以结构化云数据的形式存储的，因此，将使得处理结构能够适应频繁的查询，并节省查询所耗费的时间。

附图说明

图1为一个实施例中云数据融合方法的流程图；

图2为图1中将处理结果进行转换得到结构化云数据，并存储的方法流程图；

图3为一个实施例中云数据融合***的结构示意图；

图4为图3中转换模块的结构示意图。

具体实施方式

如图1所示，在一个实施例中，一种云数据融合方法，包括如下步骤：

步骤S110，读取非结构化云数据。

本实施例中，云数据是应用于云计算中的各种数据，非结构化云数据是不方便使用二维逻辑表实现的数据，可包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等。预先存储了各种用于实现各种业务逻辑的非结构化云数据，以供后续的处理过程中使用。

在一个实施例中，上述步骤S110的具体过程为：对非结构化数据库进行数据读取，得到非结构化云数据。

本实施例中，预先设置了非结构化数据库，用于写入各种非结构化云数据，进行非结构化云数据的存储。在非结构化数据库进行数据读取，以得到所需要的非结构化云数据。

步骤S130，对非结构化云数据进行并行处理，并输出处理结果。

本实施例中，将读取到的非结构化云数据进行并行处理，以实现当前所触发的业务逻辑，得到处理结果并输出。非结构化云数据的并行处理是通过云计算实现的，由于非结构化云数据易于划分和合并，因此，适宜通过云计算实现分布式并行处理，以提高处理效率。

步骤S150，将处理结果进行转换得到结构化云数据，并存储。

本实施例中，对处理结果进行转换，以使得作为非结构化云数据的处理结果转换为结构化云数据，进而实现数据类型的自动转换，并存储已经成为结构化云数据的处理结果。

在一个实施例中，上述步骤S150之前还包括：将处理结果存入非结构化数据库的步骤。

本实施例中，在对作为非结构化云数据的处理结果进行转换之前，将对该处理结果存入非结构化云数据中，以实现处理结果的备份，进而保障数据安全。

如图2所示，在一个实施例中，上述步骤S150包括如下步骤：

步骤S151，获取处理结果即将存入的结构化数据库的列所对应的数据类型。

本实施例中，非结构化云数据的转换是逐列进行的，因此，需要获取处理结果在结构化数据库中即将存入的列，进而得到该列所对应的数据类型，例如，数据类型可以是整数类型、日期类型等。

步骤S153，将处理结果转换为获取得到的数据类型。

本实施例中，逐列对非结构化云数据，即处理结果进行转换，以得到与获取得到的数据类型相符的结构化云数据，并将结构化云数据写处结构化数据库所对应的列中。

在另一个实施例中，上述步骤S151之前还包括：对存入非结构数据库的处理结果逐列进行判断，判断当前所在的列是否存在数据，若是，则进入步骤S151，若否，则将结构化数据库所对应的列设置为空。

本实施例中，逐列对非结构化云数据进行转换和存储，以保证结构化数据库是与非结构化数据库相对应的，进而保证了数据的有序存储。

步骤S155，将转换得到的处理结果写入结构化数据库。

本实施例中，根据获取到的处理结果即将存入的结构化数据库的列，将转换得到的处理结果写入结构化数据库。

在另一个实施例中，上述步骤S150之后还包括：获取处理结果的查询请求，根据查询请求在结构化云数据中进行查询得到处理结果。

本实施例中，获取对处理结构的查询请求，根据查询请求在结构化数据库中对存储的结构化云数据进行查询，此时，结构化数据库所存储的数据为进行了并行处理之后所得到的处理结果，由于该处理结果是结构化的，因此可快速地完成数据的查询，进而提高查询效率。

上述云数据融合方法将被应用于云计算中，并通过非结构化数据库和结构化数据库实现云数据融合，进而在非结构化云数据和结构化云数据的取长补短之下实现云计算中的分布式并行处理和快速查询。

如图3所示，在一个实施例中，一种云数据融合***，包括读取模块110、并行处理模块130和转换模块150。

读取模块110，用于读取非结构化云数据。

本实施例中，非结构化云数据是不方便使用二维逻辑表实现的数据，可包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等。预先存储了各种用于实现各种业务逻辑的非结构化云数据，以供后续的处理过程中使用。

在一个实施例中，上述读取模块110还用于对非结构化数据库进行数据读取，得到非结构化云数据。

本实施例中，预先设置了非结构化数据库，用于写入各种非结构化云数据，进行非结构化云数据的存储。读取模块110在非结构化数据库进行数据读取，以得到所需要的非结构化云数据。

并行处理模块130，用于对非结构化云数据进行并行处理，并输出处理结果。

本实施例中，并行处理模块130将读取到的非结构化云数据进行并行处理，以实现当前所触发的业务逻辑，得到处理结果并输出。非结构化云数据的并行处理是通过云计算实现的，由于非结构化云数据易于划分和合并，因此，适宜通过云计算实现分布式并行处理，以提高处理效率。

转换模块150，用于将处理结果进行转换得到结构化云数据，并存储。

本实施例中，转换模块150对处理结果进行转换，以使得作为非结构化云数据的处理结果转换为结构化云数据，进而实现数据类型的自动转换，并存储已经成为结构化云数据的处理结果。

在一个实施例中，上述云数据融合***还包括非结构化数据库，该非结构化数据库用于存入处理结果。

本实施例中，在对作为非结构化云数据的处理结果进行转换之前，将对该处理结果存入非结构化云数据中，以实现处理结果的备份，进而保障数据安全。

如图4所示，在一个实施例中，上述转换模块150包括类型获取单元151、类型转换单元153和结构化数据库155。

类型获取单元151，用于获取处理结果即将存入的结构化数据库的列所对应的数据类型。

本实施例中，非结构化云数据的转换是逐列进行的，因此，需要类型获取单元151获取处理结果在结构化数据库中即将存入的列，进而得到该列所对应的数据类型，例如，数据类型可以是整数类型、日期类型等。

类型转换单元153，用于将处理结果转换为获取得到的数据类型。

本实施例中，类型转换单元153逐列对非结构化云数据，即处理结果进行转换，以得到与获取得到的数据类型相符的结构化云数据，并将结构化云数据写处结构化数据库所对应的列中。

在另一个实施例中，上述转换模块150还包括判断单元，该判断单元用于对存入非结构数据库的处理结果逐列进行判断，判断当前所在的列是否存在数据，若是，则通知类型获取单元151，若否，则将结构化数据库所对应的列设置为空。

本实施例中，逐列对非结构化云数据进行转换和存储，以保证结构化数据库是与非结构化数据库相对应的，进而保证了数据的有序存储。

结构化数据库155，用于写入转换得到的处理结果。

本实施例中，根据获取到的处理结果即将存入的结构化数据库的列，将转换得到的处理结果写入结构化数据库。

在另一个实施例中，上述云数据融合***还包括查询模块，该查询模块用于获取处理结果的查询请求，根据查询请求在结构化云数据中进行查询得到处理结果。

本实施例中，查询模块获取对处理结构的查询请求，根据查询请求在结构化数据库中对存储的结构化云数据进行查询，此时，结构化数据库所存储的数据为进行了并行处理之后所得到的处理结果，由于该处理结果是结构化的，因此可快速地完成数据的查询，进而提高查询效率。

上述云数据融合***将被应用于云计算中，并通过非结构化云数据库和结构化数据库实现云数据融合，进而在非结构化云数据和结构化云数据的取长补短之下实现云计算中的分布式并行处理和快速查询。

上述云数据融合方法和***中，将读取的非结构化云数据进行并行处理，得到处理结果，对该处理结果进行转换，使得处理结果由非结构化云数据变换为结构化云数据并存储，由于处理结果是以结构化云数据的形式存储的，因此，将使得处理结构能够适应频繁的查询，并节省查询所耗费的时间。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-OnlyMemory，ROM）或随机存储记忆体（RandomAccessMemory，RAM）等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种云数据融合方法，包括如下步骤：

读取非结构化云数据；

对所述非结构化云数据进行并行处理，并输出处理结果；

将所述处理结果进行转换得到结构化云数据，并存储；

所述将所述处理结果进行转换得到结构化云数据，并存储的步骤包括：

获取所述处理结果即将存入的结构化数据库的列所对应的数据类型；

将所述处理结果转换为所述获取得到的数据类型；

将所述转换得到的处理结果写入结构化数据库。

2.根据权利要求1所述的云数据融合方法，其特征在于，所述读取非结构化云数据的步骤包括：

对非结构化数据库进行数据读取，得到非结构化云数据。

3.根据权利要求2所述的云数据融合方法，其特征在于，所述将所述处理结果进行转换得到结构化云数据，并存储的步骤之前还包括：

将所述处理结果存入所述非结构化数据库的步骤。

4.根据权利要求1所述的云数据融合方法，其特征在于，所述将所述处理结果进行转换得到结构化云数据，并存储的步骤之后还包括：

获取所述处理结果的查询请求，根据所述查询请求在所述结构化云数据中进行查询得到处理结果。

5.一种云数据融合***，其特征在于，包括：

读取模块，用于读取非结构化云数据；

并行处理模块，用于对所述非结构化云数据进行并行处理，并输出处理结果；

转换模块，用于将所述处理结果进行转换得到结构化云数据，并存储；

所述转换模块包括：

类型获取单元，用于获取所述处理结果即将存入的结构化数据库的列所对应的数据类型；

类型转换单元，用于将所述处理结果转换为所述获取得到的数据类型；

结构化数据库，用于写入所述转换得到的处理结果。

6.根据权利要求5所述的云数据融合***，其特征在于，所述读取模块还用于对非结构化数据库进行数据读取，得到非结构化云数据。

7.根据权利要求6所述的云数据融合***，其特征在于，所述***还包括：

非结构化数据库，用于存入所述并行处理模块输出的处理结果。

8.根据权利要求5所述的云数据融合***，其特征在于，所述***还包括：

查询模块，用于获取所述处理结果的查询请求，根据所述查询请求在所述结构化云数据中进行查询得到处理结果。