CN107682395A - 一种大数据云计算运行***及方法 - Google Patents

Abstract

本发明公开了一种大数据云计算运行***及方法，包括大数据运行***和云计算服务器组，所述运行***包括处理流程集成模块、历史数据采集模块、实时数据采集模块、存储模块、数据分享模块，所述处理流程集成模块，用于集中处理数据；所述历史数据采集模块，用于采集非交易数据；所述实时数据采集模块，用于实时采集即时发生的业务数据；所述存储模块，用于存储采集的所述历史数据和业务数据。本发明大数据***极大降低了大数据***的使用门槛，并且使组织内部大数据相关资源能方便共享，是一套可持续的可累积的大数据***，并且云计算服务器组保证了数据传输过程的正确性，数据的隐私性，保证了服务器组正常工作的高可靠性。

Description

一种大数据云计算运行***及方法

技术领域

本发明涉及计算机信息存储与处理技术领域，具体为一种大数据云计算运行***及方法。

背景技术

随着计算机和互联网技术的快速发展，我们处在了一个信息***的时代，为了处理大量的信息，出现了大数据的概念。所谓大数据，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。由于数据的海量特性，人们仅仅凭一己之力很难对这些数据这些分析，但是在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据逐步为人类创造更多的价值。

云计算(Cloud computing)，是一种新兴的共享基础架构的方法，可以将巨大的***池连接在一起以提供各种IT服务。云计算通常有狭义云计算和广义云计算之分。其中，广义云计算是指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的服务。这种服务可以是IT和软件、互联网相关的，也可以是任意其他的服务。

然而现有大数据云计算***在使用不同提供商提供的服务时，尤其是使用多个小规模云计算提供商提供的云服务时，因为云服务之间的能力和接口不兼容，必须分别建立针对每个大数据***的接口和平台，造成了不便，同时也造成了***资源的浪费，整体***效率低下以上这些问题就给业界造成很大的困挠，那么如何发明出一种大数据云计算运行***及方法，这成为我们需要解决的问题。

发明内容

本发明的目的在于提供一种大数据云计算运行***及方法，解决了背景技术中所提出的问题。

为解决上述问题，本发明提供如下技术方案：一种大数据云计算运行***及方法，包括大数据运行***和云计算服务器组，所述运行***包括处理流程集成模块、历史数据采集模块、实时数据采集模块、存储模块、数据分享模块，所述处理流程集成模块，用于集中处理数据；所述历史数据采集模块，用于采集非交易数据；所述实时数据采集模块，用于实时采集即时发生的业务数据；所述存储模块，用于存储采集的所述历史数据和业务数据；所述处理模块，用于处理采集的历史数据和业务数据，获得处理后的数据；所述数据分享模块，用于分享所述处理后的数据，所述大数据运行***与所述云计算服务器组信息互通。

优选的，所述大数据运行***对数据处理方法包括以下：

S1，对数据格式进行转换，建立适用于非关系数据库进行存储的格式；

S2，将数据分为基础数据和专业数据，采用集中式和分布式结合的策略对数据进行存储，存储时所有数据都进行备份；所述集中式和分布式结合的策略包括：对于高于预设频率的基础数据采用集中式存储，由数据管理中心统一维护，对于低于预设频率的专业数据采用分布式存储，由各专业数据中心分别维护；

S3，建立相应的数据检索算法，对数据进行快速检索，所述数据检索算法采用目录检索和搜索引擎相结合的方式进行，具体包括：建立数据目录，根据目录对数据进行初步检索；在搜索引擎输入关键词，对数据进行精确检索；搜索引擎按照一定的方式寻找匹配的数据，并根据数据与关键词的匹配程度进行排序反馈给用户。

S4，由数据源，数据分类单元，数据编号单元，云数据库依次连接构成，所述数据编号单元还包括：数据位置编号，数据时间编号，数据容量编号；所述数据分类单元有效地将所属数据源进行类别的分类，在不同的类别数据下，采用所述数据编号单元，对不同类别的相同类型数据进行数据位置，数据时间，数据容量的类别进行分类，并将分类出的数据存入云数据库，从而实现树状型结构分类***。

优选的，所述处理模块包括SQL处理单元、通用算法处理单元及开源处理单元；所述SQL处理单元用于支持用户直接使用SQL语句处理所述历史数据和交易数据。

优选的，所述云计算服务器组设有云计算处理模块，所述云计算处理模块，用于通过接收模块接收云计算请求者的云计算请求，从中解析出请求，选择所述云计算请求者提供的云计算服务和资源及功能模式，执行云服务操作。

优选的，所述云计算服务器组执行方法如下：

A，向中间件服务器注册；用户通过客户端向中间件服务器注册，并设置该用户可用的云计算服务器组；

B，中间件服务器根据客户端登录的用户，搜索本地数据库，查找出当前用户能够操作的文件、可用的云计算服务器组；

C，用户在本地选择需要上传的计算模式文件，将其分成设定大小的数据块后传输到中间件服务器；

D，中间件服务器对上传的计算模式文件进行校验；如果缺失某数据块或未通过校验，则要求该用户所在客户端对该数据块进行重传，如果正确，则将数据传输到该用户可用的云计算服务器组。

与现有技术相比，本发明的有益效果如下：

本发明大数据***极大降低了大数据***的使用门槛，并且使组织内部大数据相关资源能方便共享，是一套可持续的可累积的大数据***，并且云计算服务器组保证了数据传输过程的正确性，数据的隐私性，保证了服务器组正常工作的高可靠性。

附图说明

图1为本发明整体***原理框架示意图；

图2为本发明处理模块原理框架示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，本实用发明提供一种技术方案：一种大数据云计算运行***及方法，包括大数据运行***和云计算服务器组，所述运行***包括处理流程集成模块、历史数据采集模块、实时数据采集模块、存储模块、数据分享模块，所述处理流程集成模块，用于集中处理数据；所述历史数据采集模块，用于采集非交易数据；所述实时数据采集模块，用于实时采集即时发生的业务数据；所述存储模块，用于存储采集的所述历史数据和业务数据；所述处理模块，用于处理采集的历史数据和业务数据，获得处理后的数据；所述数据分享模块，用于分享所述处理后的数据，所述大数据运行***与所述云计算服务器组信息互通。

所述大数据运行***对数据处理方法包括以下：

S1，对数据格式进行转换，建立适用于非关系数据库进行存储的格式；

S2，将数据分为基础数据和专业数据，采用集中式和分布式结合的策略对数据进行存储，存储时所有数据都进行备份；所述集中式和分布式结合的策略包括：对于高于预设频率的基础数据采用集中式存储，由数据管理中心统一维护，对于低于预设频率的专业数据采用分布式存储，由各专业数据中心分别维护；

S3，建立相应的数据检索算法，对数据进行快速检索，所述数据检索算法采用目录检索和搜索引擎相结合的方式进行，具体包括：建立数据目录，根据目录对数据进行初步检索；在搜索引擎输入关键词，对数据进行精确检索；搜索引擎按照一定的方式寻找匹配的数据，并根据数据与关键词的匹配程度进行排序反馈给用户。

S4，由数据源，数据分类单元，数据编号单元，云数据库依次连接构成，所述数据编号单元还包括：数据位置编号，数据时间编号，数据容量编号；所述数据分类单元有效地将所属数据源进行类别的分类，在不同的类别数据下，采用所述数据编号单元，对不同类别的相同类型数据进行数据位置，数据时间，数据容量的类别进行分类，并将分类出的数据存入云数据库，从而实现树状型结构分类***。

所述处理模块包括SQL处理单元、通用算法处理单元及开源处理单元；所述SQL处理单元用于支持用户直接使用SQL语句处理所述历史数据和交易数据。

所述云计算服务器组设有云计算处理模块，所述云计算处理模块，用于通过接收模块接收云计算请求者的云计算请求，从中解析出请求，选择所述云计算请求者提供的云计算服务和资源及功能模式，执行云服务操作。

所述云计算服务器组执行方法如下：

A，向中间件服务器注册；用户通过客户端向中间件服务器注册，并设置该用户可用的云计算服务器组；

B，中间件服务器根据客户端登录的用户，搜索本地数据库，查找出当前用户能够操作的文件、可用的云计算服务器组；

C，用户在本地选择需要上传的计算模式文件，将其分成设定大小的数据块后传输到中间件服务器；

D，中间件服务器对上传的计算模式文件进行校验；如果缺失某数据块或未通过校验，则要求该用户所在客户端对该数据块进行重传，如果正确，则将数据传输到该用户可用的云计算服务器组。

综上，本发明大数据***极大降低了大数据***的使用门槛，并且使组织内部大数据相关资源能方便共享，是一套可持续的可累积的大数据***，并且云计算服务器组保证了数据传输过程的正确性，数据的隐私性，保证了服务器组正常工作的高可靠性。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种大数据云计算运行***及方法，包括大数据运行***和云计算服务器组，其特征在于：所述运行***包括处理流程集成模块、历史数据采集模块、实时数据采集模块、存储模块、数据分享模块，所述处理流程集成模块，用于集中处理数据；所述历史数据采集模块，用于采集非交易数据；所述实时数据采集模块，用于实时采集即时发生的业务数据；所述存储模块，用于存储采集的所述历史数据和业务数据；所述处理模块，用于处理采集的历史数据和业务数据，获得处理后的数据；所述数据分享模块，用于分享所述处理后的数据，所述大数据运行***与所述云计算服务器组信息互通。

2.根据权利要求1所述的一种大数据云计算运行***及方法，其特征在于：所述大数据运行***对数据处理方法包括以下：

S1，对数据格式进行转换，建立适用于非关系数据库进行存储的格式；

S2，将数据分为基础数据和专业数据，采用集中式和分布式结合的策略对数据进行存储，存储时所有数据都进行备份；所述集中式和分布式结合的策略包括：对于高于预设频率的基础数据采用集中式存储，由数据管理中心统一维护，对于低于预设频率的专业数据采用分布式存储，由各专业数据中心分别维护；

S3，建立相应的数据检索算法，对数据进行快速检索，所述数据检索算法采用目录检索和搜索引擎相结合的方式进行，具体包括：建立数据目录，根据目录对数据进行初步检索；在搜索引擎输入关键词，对数据进行精确检索；搜索引擎按照一定的方式寻找匹配的数据，并根据数据与关键词的匹配程度进行排序反馈给用户。

S4，由数据源，数据分类单元，数据编号单元，云数据库依次连接构成，所述数据编号单元还包括：数据位置编号，数据时间编号，数据容量编号；所述数据分类单元有效地将所属数据源进行类别的分类，在不同的类别数据下，采用所述数据编号单元，对不同类别的相同类型数据进行数据位置，数据时间，数据容量的类别进行分类，并将分类出的数据存入云数据库，从而实现树状型结构分类***。

3.根据权利要求1所述的一种大数据云计算运行***及方法，其特征在于：所述处理模块包括SQL处理单元、通用算法处理单元及开源处理单元；所述SQL处理单元用于支持用户直接使用SQL语句处理所述历史数据和交易数据。

4.根据权利要求1所述的一种大数据云计算运行***及方法，其特征在于：所述云计算服务器组设有云计算处理模块，所述云计算处理模块，用于通过接收模块接收云计算请求者的云计算请求，从中解析出请求，选择所述云计算请求者提供的云计算服务和资源及功能模式，执行云服务操作。

5.根据权利要求1所述的一种大数据云计算运行***及方法，其特征在于：所述云计算服务器组执行方法如下：

A，向中间件服务器注册；用户通过客户端向中间件服务器注册，并设置该用户可用的云计算服务器组；

B，中间件服务器根据客户端登录的用户，搜索本地数据库，查找出当前用户能够操作的文件、可用的云计算服务器组；

C，用户在本地选择需要上传的计算模式文件，将其分成设定大小的数据块后传输到中间件服务器；

D，中间件服务器对上传的计算模式文件进行校验；如果缺失某数据块或未通过校验，则要求该用户所在客户端对该数据块进行重传，如果正确，则将数据传输到该用户可用的云计算服务器组。