CN109951370A - 多大数据中心分层互联互通方法及装置 - Google Patents

Abstract

本发明公开了一种多大数据中心分层互联互通方法及装置，其中，方法包括：通过数据分析层的通信协议进行会话管理、数据解析与封装、状态监控和元数据管理；通过计算引擎层的通信协议进行会话管理、数据解析与封装、集群监控和任务元数据管理；通过资源管理层的通信协议进行任务的跨集群调度；通过文件存储层的通信协议进行远程大数据集群的跨域读写，以实现远程读取其他大数据集群的文件存储中的数据。该方法可以在数联网技术架构中，实现多数据中心不同层级之间的通信，使数字化资源可以在各个数据中心无障碍流通与共享，实现多大数据中心跨域的通信，实现计算资源、存储资源和数字资源的流通与共享。

Description

多大数据中心分层互联互通方法及装置

技术领域

本发明涉及大数据技术领域，特别涉及一种多大数据中心分层互联互通方法及装置。

背景技术

目前，互联网的相关概念已日趋成熟并深入人心，互联网将网络中的各个孤立节点连接起来实现了数据的传输。但是，随着云计算、物联网等技术的兴起，使人类社会数据种类、规模以惊人的速度增长，人类社会迎来了大数据时代。“数联网”(Internet of Data)应运而生，“数联网”是我国下一代大数据基础设施总体技术架构和具体实现的总称。以互联网为承载网络，通过标准的格式、接口、协议，进行数据的交换和互联，以更加丰富的数据维度，实现数据连通之后的各种业务应用。

在大数据时代各个公司和企业纷纷建立自己的大数据中心，通过对数据的分析为用户和公司的战略发展提供支持，然而各个公司大数据的大数据中心都是一个个孤立的节点，只能为公司内部使用，不能跨域与其他公司或者企业的大数据中心进行互联互通，例如：A的大数据中心，无法与B的大数据中心进行互联互通，即A无法访问B的大数据中心的计算资源、存储资源和数据资源，因为A和B不再同一个域中。

相关技术中，通过利用边缘VTEP(VXLAN Tunnel End Point，隧道端点)与数据中心内的各VTEP建立VXLAN(Virtual Extensible LAN，虚拟可扩展局域网)隧道，与其它数据中心点边缘VTEP建立DCI(Downlink Control Information，下行控制信息)隧道。保存从VXLAN隧道、DCI隧道、以及在本地学习到的地址信息；需要进行地址信息发布时，将从VXLAN隧道学习到的地址信息从所有DCI隧道发布出去；将从DCI隧道学习到的地址信息从所有VXLAN隧道发布出去；将在本地学习到的地址信息从所有VXLAN隧道和DCI隧道发布出去。或者是一种基于键值分布的跨数据中心的大数据处理***，该***基于Hadoop和MR提出了一种新的架构，该***主要包括HigherJobTracker模块、CopyerManager模块、Copyer模块、JobTracker模块、TaskTracker模块和ResourceManager模块，主要对MapReduce组件进行改造实现跨大数据中心数据处理。

然而，已有的多数据中心的互联互通的技术主要是通过利用网络通过隧道进行互联或者通过对摸一个具体的组件进行改造实现多数据中心的互联，并没有考虑大数据平台的分层架构，各个公司和企业的大数据中心是一个个孤立的节点，只能为公司内部服务，不能与其他大数据中心进行互联互通，无法解决跨域大数据中心的互联互通，不能实现计算资源、存储资源和数字资源的流通与共享，导致不能充分利用大数据的价值，有待解决。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种多大数据中心分层互联互通方法，该方法可以在数联网技术架构中，解决跨域大数据中心的互联互通，实现计算资源、存储资源和数字资源的流通与共享。

本发明的另一个目的在于提出一种多大数据中心分层互联互通装置。

为达到上述目的，本发明一方面实施例提出了一种多大数据中心分层互联互通方法，数据中心分层包括数据分析层、计算引擎层、资源管理层和文件存储层，并且在每一层的外部添加包括内部互通协议和外部互通协议的通信协议，以实现多数据中心不同层级之间的通信所述通信协议，其中，所述方法包括以下步骤：通过所述数据分析层的通信协议进行会话管理、数据解析与封装、状态监控和元数据管理；通过所述计算引擎层的通信协议进行会话管理、数据解析与封装、集群监控和任务元数据管理；通过所述资源管理层的通信协议进行任务的跨集群调度，以使集群远程调用其他大数据中心的计算资源；通过所述文件存储层的通信协议进行远程大数据集群的跨域读写，以实现远程读取其他大数据集群的文件存储中的数据。

本发明实施例的多大数据中心分层互联互通方法，可以在数联网技术架构中，通过数据分析层的通信协议、计算引擎层的通信协议、资源管理层的通信协议和文件存储层的通信协议实现多数据中心不同层级之间的通信，让多个大数据中心分层互联互通，实现远程读取其他大数据集群的文件存储中的数据，使数字化资源可以在各个数据中心无障碍流通与共享，解决跨域大数据中心的互联互通，实现计算资源、存储资源和数字资源的流通与共享，充分利用数字化资源的价值。

另外，根据本发明上述实施例的多大数据中心分层互联互通方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述进行会话管理、数据解析与封装、集群监控和任务元数据管理，进一步包括：接收内部请求和响应外部集群的请求；对接收的数据进行解析与封装；监控本地集群与外部集群的健康；管理本地和远程集群元数据的变化。

进一步地，在本发明的一个实施例中，接收来自上层应用层的请求后，将对请求进行处理，以向本地分支提交查询请求，且向远程分支提交查询请求，将远程查询结果和本地查询结果汇总返回至所述上层应用。

进一步地，在本发明的一个实施例中，其中，远程分支通信包括：DAL(Data AccessLayer，数据访问层)执行组件接收到所述应用层的任务，并根据任务元数据调用数据封装模块进行任务封装；所述数据封装模块将接收的数据进行封装并返回给分发中心；所述分发中心将封装好的数据发送到远程集群；所述远程集群的DAL执行组件的响应中心将接收到的请求发送数据解析模块进行解析；所述数据解析模块将解析后的数据返回给所述响应中心；请求中心根据任务类型调用相应的组件；所述响应的组间将任务执行结果返回给所述响应中心；所述DAL组件的响应中心将所述任务执行结果返回给请求集群的分发中心。

进一步地，在本发明的一个实施例中，其中，本地分支通信包括：DAL接收组件的接收到上层任务请求后内部任务分支直接发送给所述响应中心；所述DAL执行组件的响应中心根据所述任务类型把任务分发给相应组件执行；所述相应组件把执行结果返回给所述响应中心；所述响应中心把数据返回给所述分发中心。

为达到上述目的，本发明另一方面实施例提出了一种多大数据中心分层互联互通装置，数据中心分层包括数据分析层、计算引擎层、资源管理层和文件存储层，并且在每一层的外部添加包括内部互通协议和外部互通协议的通信协议，以实现多数据中心不同层级之间的通信所述通信协议，其中，所述装置包括：第一处理模块，用于通过所述数据分析层的通信协议进行会话管理、数据解析与封装、状态监控和元数据管理；第二处理模块，用于通过所述计算引擎层的通信协议进行会话管理、数据解析与封装、集群监控和任务元数据管理；调用模块，用于通过所述资源管理层的通信协议进行任务的跨集群调度，以使集群远程调用其他大数据中心的计算资源；读取模块，用于通过所述文件存储层的通信协议进行远程大数据集群的跨域读写，以实现远程读取其他大数据集群的文件存储中的数据。

本发明实施例的多大数据中心分层互联互通装置，可以在数联网技术架构中，通过数据分析层的通信协议、计算引擎层的通信协议、资源管理层的通信协议和文件存储层的通信协议实现多数据中心不同层级之间的通信，让多个大数据中心分层互联互通，实现远程读取其他大数据集群的文件存储中的数据，使数字化资源可以在各个数据中心无障碍流通与共享，解决跨域大数据中心的互联互通，实现计算资源、存储资源和数字资源的流通与共享，充分利用数字化资源的价值。

另外，根据本发明上述实施例的多大数据中心分层互联互通装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述第二处理模块，进一步包括：接收单元，用于接收内部请求和响应外部集群的请求；处理单元，用于对接收的数据进行解析与封装；监控单元，用于监控本地集群与外部集群的健康；管理单元，管理本地和远程集群元数据的变化。

进一步地，在本发明的一个实施例中，接收来自上层应用层的请求后，将对请求进行处理，以向本地分支提交查询请求，且向远程分支提交查询请求，将远程查询结果和本地查询结果汇总返回至所述上层应用。

进一步地，在本发明的一个实施例中，其中，远程分支通信包括：DAL执行组件接收到所述应用层的任务，并根据任务元数据调用数据封装模块进行任务封装；所述数据封装模块将接收的数据进行封装并返回给分发中心；所述分发中心将封装好的数据发送到远程集群；所述远程集群的DAL执行组件的响应中心将接收到的请求发送数据解析模块进行解析；所述数据解析模块将解析后的数据返回给所述响应中心；请求中心根据任务类型调用相应的组件；所述响应的组间将任务执行结果返回给所述响应中心；所述DAL组件的响应中心将所述任务执行结果返回给请求集群的分发中心。

进一步地，在本发明的一个实施例中，其中，本地分支通信包括：DAL接收组件的接收到上层任务请求后内部任务分支直接发送给所述响应中心；所述DAL执行组件的响应中心根据所述任务类型把任务分发给相应组件执行；所述相应组件把执行结果返回给所述响应中心；所述响应中心把数据返回给所述分发中心。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的数据中心的层次架构示意图；

图2为根据本发明实施例的多大数据中心分层互联互通方法的流程图；

图3为根据本发明一个实施例的多数据中心分析互联互通架构示意图；

图4为根据本发明一个实施例的数据分析层通信组件示意图；

图5为根据本发明一个实施例的数据分析层通信流程示意图；

图6为根据本发明实施例的多大数据中心分层互联互通装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在介绍本发明实施例的多大数据中心分层互联互通方法及装置之前，先来简单介绍下数据中心的层次架构。

目前广泛应用的网络层次架构有OSI(Open System Interconnection，开放式***互联)体系架构和TCP/IP(Transmission Control Protocol/Internet Protocol，传输控制协议/因特网互联协议)体系架构。两种架构都可以对网络进行分层，并详细规定了每一层的功能，以实现开放***环境中的互连性、互操作性和应用的可移植性。同一网络中的上下层之间通过接口传递消息，不同网络中的相同层之间通过协议进行通信。

参考网络的层级架构，数联网可以按照数据的传输划分不同的层级，每一层从下层接收数据处理完成后提交给上一层。单一大数据架构的不同层级之间通过接口传输数据，而不同数联网架构之间的数据传输需要在每层之间定义不同的协议。

对大数据平台进行分层架构，可以使每一层独立使用。通过详细规定每一层的功能，以实现开放***环境中的互连性、互操作性。通过对大数据平台进行分层架构，实现多数据中心的分层互联。分层互联可以利用层次结构可以把数据中心的信息交换问题分解到各个层中，而各层可以根据需要独立进行修改或扩充功能。

在大数据时代，对大数据进行统一的结构化表示和存储，实现数据处理、查询、分析和可视化是急需解决的关键问题。大数据架构的目标是为大数据服务提供商构建服务***提供指导的抽象参考模型，其中，如图1所示，图1为大数据处理***的关键层次结构，具体的：

1.文件存储层(File Storage Layer)

文件存储层是利用分布式文件***技术，将底层数量众多且分部在不同位置的通过网络连接的各种存储设备组织在一起，通过统一的接口向上层应用提供对象级文件访问能力。文件存储层在为上层应用屏蔽了存储设备类型、型号、接口协议、分布位置等技术细节，并提供了数据备份、故障容忍、状态监测、安全机制等多种保障可靠的文件访问服务的管理性功能。同时，利用分布式并行技术、云计算大数据处理环境下的文件存储还支持对海量文件进行高效的并行访问。在整个架构中，文件存储层乡下与数据源和数据集成层连接访问具体的存储资源，向上为数据存储层提供文件访问服务，HDFS(Hadoop DistributedFile System，分布式文件***)是文件存储层的一个典型组件。

2.数据存储层(Data Storage Layer)

数据存储层的功能是提供分布式、可扩展的大量数据表的存储和管理能力。强调在较低成本的条件下实现大数据表的管理能力，可以支持在大规模数据量的情况下完成快速的数据读写操作，并且可以随着数据量的快速增长通过简单的硬件扩展实现存储能力的线性增长。

3.资源管理层(Resource Management Layer)

资源管理层的设计是为了提高资源的高利用率和吞吐量，以到达高效的资源管理与调度目的。该层需要完成对资源的状态、分布式协调、一致性和资源实施管理。第一代Hadoop的生态***，其资源管理是以整体单一的调度器起家的，其代表作品为YARN(YetAnother Resource Negotiator，另一种资源协调者)，而当前的调度器则是朝着分层调度的方向演进，这种分层的调度方式，可以管理不同类型的计算工作负载，从而可获取更高的资源利用率和调度效率。这些计算框架和调度器之间是松散耦合的，调度器的主要功能就是基于一定的调度策略和调度配置，完成作业调度，以达到工作负载均衡，使有限的资源有较高的利用率。

4.计算引擎层(Compute Engine Layer)

计算引擎层中的组件作用，是为大规模数据处理提供一个抽象的并行计算编程模型，以及为此模型可实施的编程环境和运行环境。计算引擎层是整个处理架构的核心部分，它的运行效率决定了整个数据处理过程的效率。

5.数据分析层(Data Analysis Layer)

对于大多数分析人员来说，掌握复杂的并行计算编程能力是一个成本很高的过程。他们更关注数据分析的核心问题，例如建立数据模型挖掘商业价值等。数据分析层的组件，就是提供一些高级的分析工具给数据分析人员，以提高生产效率。

6.业务应用层(Business Application Layer)

业务应用层中的组件直接与用户进行交互，获取用户的指令并向下传递，或将下层处理完成的结果数据返还给用户。它可以是图形化的界面工具，也可以是简单的命令行工具。

下面参照附图描述根据本发明实施例提出的多大数据中心分层互联互通方法及装置，首先将参照附图描述根据本发明实施例提出的多大数据中心分层互联互通方法。

图2是本发明实施例的多大数据中心分层互联互通方法的流程图。

如图2所示，该多大数据中心分层互联互通方法包括以下步骤：

在步骤S201中，通过数据分析层的通信协议进行会话管理、数据解析与封装、状态监控和元数据管理。

进一步地，在本发明的一个实施例中，进行会话管理、数据解析与封装、集群监控和任务元数据管理，进一步包括：接收内部请求和响应外部集群的请求；对接收的数据进行解析与封装；监控本地集群与外部集群的健康；管理本地和远程集群元数据的变化。

可以理解的是，多数据中心的分层互联互通指的是数据中心对应的各层通过协议/准则与其他数据中心对应的层进行数据的交互和通信，如图3所示，实现多数据中心不同层级之间的通信，需要在每一层的外部添加通信层(包括内部互通协议和外部互通协议)。其中，本发明实施例通过数据分析层的通信协议进行会话管理、数据解析与封装、状态监控和元数据管理。具体的，会话管理(Session Manager)：接收内部请求和响应外部集群的请求；数据解析与封装(Data Resolve and Package)：对接收的数据进行解析与封装；状态监控(Status Monitoring)：监控本地集群与外部集群的健康；元数据管理(MetadatManager)：管理本地和远程集群元数据的变化。

具体的，如图4所示，针对数据分析层的功能需求，本发明实施例分别定义不同的数据分析层通信组件实现。

DAL执行组件(Session Manager)：接收内部和外部任务请求并响应，并把任务执行结果返回给上层应用；负责读写数据文件，接收内部和外部的查询请求；对内部请求进行处理，并分为两个分支，本地分支和远程分支，并管理本次分支会话，向集群内部提交查询请求；向外部集群提交分支查询请求；收集两个分支返回的结果，进行汇总并返回给上层应用；响应来自外部集群的分支查询请求。

DAL状态管理组件(Status Monitoring)：负责收集内外部集群的健康状况以及任务运行的情况，支持上层应用对跨域操作的可靠性；收集内部集群和外部集群的健康状况；收集内部集群及外部集群任务运行情况；将收集的集群监控状况同步到个集群中。

DAL元数据管理组件(Metadata Manager)：负责监控集群中任务元数据的变化，并把这些元数据的变化推送到各个集群上；监控集群中由于任务执行而引起的任务元数据的变化；通知各个集群任务元数据发生的变化。

DAL数据封装与解析组件(Data resolve and Package)：根据不同组件的任务对接收的数据进行不同的封装和解析；对需析要分发到远程的分支查询数据根据任务类型进行封装并返回给相应的组件；对远程集群的查询请求数据进行解析，解析成相应的任务并返回给DAL执行组件。

进一步地，在本发明的一个实施例中，接收来自上层应用层的请求后，将对请求进行处理，以向本地分支提交查询请求，且向远程分支提交查询请求，将远程查询结果和本地查询结果汇总返回至上层应用。

可以理解的是，当数据分析层接收来自上层应用层的请求后，将对请求进行处理，分为本地处理命令和远程处理命令，即向本地分支提交查询请求，向远程分支提交查询请求，最后将远程查询结果和本地查询结果汇总返回给上层应用。

进一步地，在本发明的一个实施例中，其中，远程分支通信包括：DAL执行组件接收到应用层的任务，并根据任务元数据调用数据封装模块进行任务封装；数据封装模块将接收的数据进行封装并返回给分发中心；分发中心将封装好的数据发送到远程集群；远程集群的DAL执行组件的响应中心将接收到的请求发送数据解析模块进行解析；数据解析模块将解析后的数据返回给响应中心；请求中心根据任务类型调用相应的组件；响应的组间将任务执行结果返回给响应中心；DAL组件的响应中心将任务执行结果返回给请求集群的分发中心。

进一步地，在本发明的一个实施例中，其中，本地分支通信包括：DAL接收组件的接收到上层任务请求后内部任务分支直接发送给响应中心；DAL执行组件的响应中心根据任务类型把任务分发给相应组件执行；相应组件把执行结果返回给响应中心；响应中心把数据返回给分发中心。

如图5所示，本发明实施例的数据分析层通信的具体步骤为：

步骤1：远程分支通信流程：

(1)DAL执行组件接收到应用层的任务根据任务元数据调用数据封装模块进行任务封装。

(2)数据封装模块把接收的数据进行封装并返回给分发中心。

(3)分发中心把封装好的数据发送到远程集群。

(4)远程集群的DAL执行组件的响应中心把接收到的请求发送数据解析模块进行解析。

(5)数据解析模块把解析后的数据返回给数据响应中心。

(6)请求中心根据任务类型调用相应的组件。

(7)相应组件把任务执行结果返回给响应中心。

(8)DAL组件的响应中心把任务执行结果返回给请求集群的分发中心。

步骤2：数据分析层本地分支通信流程：

(1)DAL接收组件的接收到上层任务请求后内部任务分支直接发送给响应中心。

(2)DAL执行组件的响应中心根据任务类型把任务分发给相应的组件执行。

(3)相应组件把执行结果返回给响应中心。

(4)响应中心把数据返回给分发中心。

步骤3：执行结果汇总：

DAL执行组件的分发中心把本地分支集群执行结果和远程分支集群执行结果进行汇总整合，汇报给上层应用。

例：某企业有总公司和各省的分公司，各省分公司运营数据存储在个分公司数据中心。现有如下业务场景：总公司需要统计，周期内客户通过GPRS(General Packet RadioService，通用分组无线服务技术)方式使用移动数据业务(包括2G网络、3G网络、4G网络)的时长。具体步骤如下：

①总部的数据分析层的会话管理模块收到上层下发的SQL(Structured QueryLanguage，结构化查询语言)语句，数据分发中心对任务进行分发，分为本地任务和远程任务

②数据封装模块把接收的SQL进行封装并返回给分发中心。

③远程数据分析层的响应模块，接收来自中央的封装后的数据。并调用数据解析模块进行解析。

④数据解析模块把该解析后的SQL语句返回给响应中心。

⑤响应中心根据任务类型选择响应的组件hive进行查询处理。

⑥Hive执行完后，把结果返回给响应中心响应中心把结果返回给总部

⑦本地任务执行不变，总部收到远程返回的结果和本地执行的结果进行汇总。

⑧汇总后的结果返回给上层应用。完成跨数据中的数据查询。

整个过程下层应用的执行过程对上层应用是透明的，即上层应用并不知道任务是在本地执行的还是在远程执行的。

在步骤S202中，通过计算引擎层的通信协议进行会话管理、数据解析与封装、集群监控和任务元数据管理。

可以理解的是，本发明实施例的计算引擎通信层主要实现的功能有会话管理、数据解析与封装、集群监控和任务元数据管理。

会话管理管理(Session Manager)：接收和响应内部和外部任务请求。

数据解析与封装(Data Resolve and Package)：对接收到任务数据进行解析与封装。

集群监控(Status Monitoring)：监控各个大数据集群的健康。

任务元数据管理(Metadata Manager)：管理任务元数据。

在步骤S203中，通过资源管理层的通信协议进行任务的跨集群调度，以使集群远程调用其他大数据中心的计算资源。

可以理解的是，本发明实施例的资源管理层的主要功能是实现任务的跨集群调度，集群可以远程调用其他大数据中心的计算资源，集群可以响应其它集群的资源调用请求，对上层提供资源调用的透明性，即远程和本地的资源调用对上层是透明的

在步骤S204中，通过文件存储层的通信协议进行远程大数据集群的跨域读写，以实现远程读取其他大数据集群的文件存储中的数据。

可以理解的是，本发明实施例的文件存储层的主要功能是实现远程大数据集群的跨域读写。集群可以实现远程读取其他大数据集群的文件存储中的数据。集群可以实现在远程大数据集群的文件存储层写数据。对上层提供文件读写的透明性即远程和本地的文件读写对上层是透明的。

根据本发明实施例提出的多大数据中心分层互联互通方法，可以在数联网技术架构中，通过数据分析层的通信协议、计算引擎层的通信协议、资源管理层的通信协议和文件存储层的通信协议实现多数据中心不同层级之间的通信，让多个大数据中心分层互联互通，实现远程读取其他大数据集群的文件存储中的数据，使数字化资源可以在各个数据中心无障碍流通与共享，解决跨域大数据中心的互联互通，实现计算资源、存储资源和数字资源的流通与共享，充分利用数字化资源的价值。

其次参照附图描述根据本发明实施例提出的多大数据中心分层互联互通装置。

图6是本发明实施例的多大数据中心分层互联互通装置的结构示意图。

如图6所示，该多大数据中心分层互联互通装置10包括：第一处理模块100、第二处理模块200、调用模块300和读取模块400。

其中，第一处理模块100用于通过数据分析层的通信协议进行会话管理、数据解析与封装、状态监控和元数据管理。第二处理模块200用于通过计算引擎层的通信协议进行会话管理、数据解析与封装、集群监控和任务元数据管理。调用模块300用于通过资源管理层的通信协议进行任务的跨集群调度，以使集群远程调用其他大数据中心的计算资源。读取模块400用于通过文件存储层的通信协议进行远程大数据集群的跨域读写，以实现远程读取其他大数据集群的文件存储中的数据。本发明实施例的装置10可以在数联网技术架构中，实现多数据中心不同层级之间的通信，让多个大数据中心分层互联互通，使数字化资源可以在各个数据中心无障碍流通与共享，实现多大数据中心跨域的通信，实现计算资源、存储资源和数字资源的流通与共享。

进一步地，在本发明的一个实施例中，第二处理模块200，进一步包括：接收单元、处理单元、监控单元和管理单元。其中，接收单元用于接收内部请求和响应外部集群的请求。处理单元用于对接收的数据进行解析与封装。监控单元用于监控本地集群与外部集群的健康。管理单元用于管理本地和远程集群元数据的变化。

进一步地，在本发明的一个实施例中，接收来自上层应用层的请求后，将对请求进行处理，以向本地分支提交查询请求，且向远程分支提交查询请求，将远程查询结果和本地查询结果汇总返回至上层应用。

进一步地，在本发明的一个实施例中，其中，远程分支通信包括：DAL执行组件接收到应用层的任务，并根据任务元数据调用数据封装模块进行任务封装；数据封装模块将接收的数据进行封装并返回给分发中心；分发中心将封装好的数据发送到远程集群；远程集群的DAL执行组件的响应中心将接收到的请求发送数据解析模块进行解析；数据解析模块将解析后的数据返回给响应中心；请求中心根据任务类型调用相应的组件；响应的组间将任务执行结果返回给响应中心；DAL组件的响应中心将任务执行结果返回给请求集群的分发中心。

进一步地，在本发明的一个实施例中，其中，本地分支通信包括：DAL接收组件的接收到上层任务请求后内部任务分支直接发送给响应中心；DAL执行组件的响应中心根据任务类型把任务分发给相应组件执行；相应组件把执行结果返回给响应中心；响应中心把数据返回给分发中心。

需要说明的是，前述对多大数据中心分层互联互通方法实施例的解释说明也适用于该实施例的多大数据中心分层互联互通装置，此处不再赘述。

根据本发明实施例提出的多大数据中心分层互联互通装置，可以在数联网技术架构中，通过数据分析层的通信协议、计算引擎层的通信协议、资源管理层的通信协议和文件存储层的通信协议实现多数据中心不同层级之间的通信，让多个大数据中心分层互联互通，实现远程读取其他大数据集群的文件存储中的数据，使数字化资源可以在各个数据中心无障碍流通与共享，解决跨域大数据中心的互联互通，实现计算资源、存储资源和数字资源的流通与共享，充分利用数字化资源的价值。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种多大数据中心分层互联互通方法，其特征在于，数据中心分层包括数据分析层、计算引擎层、资源管理层和文件存储层，并且在每一层的外部添加包括内部互通协议和外部互通协议的通信协议，以实现多数据中心不同层级之间的通信所述通信协议，其中，所述方法包括以下步骤：

通过所述数据分析层的通信协议进行会话管理、数据解析与封装、状态监控和元数据管理；

通过所述计算引擎层的通信协议进行会话管理、数据解析与封装、集群监控和任务元数据管理；

通过所述资源管理层的通信协议进行任务的跨集群调度，以使集群远程调用其他大数据中心的计算资源；以及

通过所述文件存储层的通信协议进行远程大数据集群的跨域读写，以实现远程读取其他大数据集群的文件存储中的数据。

2.根据权利要求1所述的多大数据中心分层互联互通方法，其特征在于，所述进行会话管理、数据解析与封装、集群监控和任务元数据管理，进一步包括：

接收内部请求和响应外部集群的请求；

对接收的数据进行解析与封装；

监控本地集群与外部集群的健康；以及

管理本地和远程集群元数据的变化。

3.根据权利要求1或2所述的多大数据中心分层互联互通方法，其特征在于，接收来自上层应用层的请求后，将对请求进行处理，以向本地分支提交查询请求，且向远程分支提交查询请求，将远程查询结果和本地查询结果汇总返回至所述上层应用。

4.根据权利要求3所述的多大数据中心分层互联互通方法，其特征在于，其中，远程分支通信包括：

DAL执行组件接收到所述应用层的任务，并根据任务元数据调用数据封装模块进行任务封装；

所述数据封装模块将接收的数据进行封装并返回给分发中心；

所述分发中心将封装好的数据发送到远程集群；

所述远程集群的DAL执行组件的响应中心将接收到的请求发送数据解析模块进行解析；

所述数据解析模块将解析后的数据返回给所述响应中心；

请求中心根据任务类型调用相应的组件；

所述响应的组间将任务执行结果返回给所述响应中心；以及

所述DAL组件的响应中心将所述任务执行结果返回给请求集群的分发中心。

5.根据权利要求4所述的多大数据中心分层互联互通方法，其特征在于，其中，本地分支通信包括：

DAL接收组件的接收到上层任务请求后内部任务分支直接发送给所述响应中心；

所述DAL执行组件的响应中心根据所述任务类型把任务分发给相应组件执行；

所述相应组件把执行结果返回给所述响应中心；以及

所述响应中心把数据返回给所述分发中心。

6.一种多大数据中心分层互联互通装置，其特征在于，数据中心分层包括数据分析层、计算引擎层、资源管理层和文件存储层，并且在每一层的外部添加包括内部互通协议和外部互通协议的通信协议，以实现多数据中心不同层级之间的通信所述通信协议，其中，所述装置包括：

第一处理模块，用于通过所述数据分析层的通信协议进行会话管理、数据解析与封装、状态监控和元数据管理；

第二处理模块，用于通过所述计算引擎层的通信协议进行会话管理、数据解析与封装、集群监控和任务元数据管理；

调用模块，用于通过所述资源管理层的通信协议进行任务的跨集群调度，以使集群远程调用其他大数据中心的计算资源；以及

读取模块，用于通过所述文件存储层的通信协议进行远程大数据集群的跨域读写，以实现远程读取其他大数据集群的文件存储中的数据。

7.根据权利要求6所述的多大数据中心分层互联互通装置，其特征在于，所述第二处理模块，进一步包括：

接收单元，用于接收内部请求和响应外部集群的请求；

处理单元，用于对接收的数据进行解析与封装；

监控单元，用于监控本地集群与外部集群的健康；以及

管理单元，管理本地和远程集群元数据的变化。

8.根据权利要求6或7所述的多大数据中心分层互联互通装置，其特征在于，接收来自上层应用层的请求后，将对请求进行处理，以向本地分支提交查询请求，且向远程分支提交查询请求，将远程查询结果和本地查询结果汇总返回至所述上层应用。

9.根据权利要求8所述的多大数据中心分层互联互通装置，其特征在于，其中，远程分支通信包括：

DAL执行组件接收到所述应用层的任务，并根据任务元数据调用数据封装模块进行任务封装；

所述数据封装模块将接收的数据进行封装并返回给分发中心；

所述分发中心将封装好的数据发送到远程集群；

所述远程集群的DAL执行组件的响应中心将接收到的请求发送数据解析模块进行解析；

所述数据解析模块将解析后的数据返回给所述响应中心；

请求中心根据任务类型调用相应的组件；

所述响应的组间将任务执行结果返回给所述响应中心；以及

所述DAL组件的响应中心将所述任务执行结果返回给请求集群的分发中心。

10.根据权利要求9所述的多大数据中心分层互联互通装置，其特征在于，其中，本地分支通信包括：

DAL接收组件的接收到上层任务请求后内部任务分支直接发送给所述响应中心；

所述DAL执行组件的响应中心根据所述任务类型把任务分发给相应组件执行；

所述相应组件把执行结果返回给所述响应中心；以及

所述响应中心把数据返回给所述分发中心。