CN106844496A - 基于企业服务总线的数据传输调度方法、装置及服务器 - Google Patents

Abstract

本发明公开了一种基于企业服务总线的数据传输调度方法、装置及服务器，包括：判断与数据操作请求对应的数据是否为结构化数据；若是，则调用第一服务；第一服务用于当与数据操作请求对应的数据需要执行Hadoop操作时，通过Hive数据库响应数据操作请求；若否，则调用第二服务，通过Hbase数据库响应数据操作请求。在传统企业服务总线中实现结构化数据与Hadoop的交互，解决传统数据库存储能力不足、数据分析能力不足的问题，提高了数据的存储能力和计算效率，也方便了非结构化数据的处理，并且通过把交互过程包装成服务，方便了Web Service的开发、调用，适应了业务快速响应需求，提高了***的效率和可扩展性。

Description

基于企业服务总线的数据传输调度方法、装置及服务器

技术领域

本发明涉及数据传输技术领域，更具体地说，涉及一种基于企业服务总线的数据传输调度方法、装置及服务器。

背景技术

企业服务总线是传统中间件技术与XML、Web服务等技术结合的产物。企业服务总线提供了网络中最基本的连接中枢，是构筑企业神经***的必要元素。从功能上看，企业服务总线提供了事件驱动和文档导向的处理模式，以及分布式的运行管理机制，它支持基于内容的路由和过滤，具备了复杂数据的传输能力，并可以提供一系列的标准接口。在企业服务总线中信息量的急剧增加，越来越多的企业发现现存的传统数据存储、处理方式已经无法应付数据的增长速度，更无法满足用户对数据处理的需求。

因此，如何解决传统数据库存储能力和数据分析能力不足的问题，提高***处理效率，是本领域技术人员需要解决的。

发明内容

本发明的目的在于提供一种基于企业服务总线的数据传输调度方法、装置及服务器，以实现解决传统数据库存储能力和数据分析能力不足的问题，提高***处理效率。

为实现上述目的，本发明实施例提供了如下技术方案：

一种基于企业服务总线的数据传输调度方法，包括：

接收数据操作请求；

判断与所述数据操作请求对应的数据是否为结构化数据；

若是，则调用第一服务；所述第一服务用于当与所述数据操作请求对应的数据需要执行Hadoop操作时，通过Hive数据库响应所述数据操作请求；

若否，则调用第二服务；所述第二服务通过Hbase数据库响应所述数据操作请求。

其中，若与所述数据操作请求对应的数据为结构化数据，且与所述数据操作请求对应的数据需要进行传统操作时，通过传统数据库响应所述数据操作请求。

其中，所述接收数据操作请求之前，还包括：

在第一装置中配置第一模型，所述第一模型用于通过Sqoop工具，将传统数据库中的数据抽取至Hive数据库，通过Hive脚本实现Hive数据库对数据操作请求的响应；

将所述第一装置中的第一模型包装成所述第一服务，并将所述第一服务部署至服务器。

其中，所述接收数据操作请求之前，还包括：

在第二装置中配置第二模型，所述第二模型用于通过Hbase数据库实现对数据操作请求的响应，完成数据的分布式操作；

将所述第二装置中的第二模型包装成所述第二服务，并将所述第二服务部署至服务器。

一种基于企业服务总线的数据传输调度装置，包括：

接收模块，用于接收数据操作请求；

判断模块，用于判断与所述数据操作请求对应的数据是否为结构化数据；

第一调度模块，用于与所述数据操作请求对应的数据为结构化数据时，调用第一服务；所述第一服务用于当与所述数据操作请求对应的数据需要执行Hadoop操作时，通过Hive数据库响应所述数据操作请求；

第二调度模块，用于与所述数据操作请求对应的数据为非结构化数据时，调用第二服务；所述第二服务通过Hbase数据库响应所述数据操作请求。

其中，还包括：

执行模块，用于在与所述数据操作请求对应的数据为结构化数据，且与所述数据操作请求对应的数据需要进行传统操作时，通过传统数据库响应所述数据操作请求。

其中，还包括：

第一模型配置模块，用于在第一装置中配置第一模型，所述第一模型用于通过Sqoop工具，将传统数据库中的数据抽取至Hive数据库，通过Hive脚本实现Hive数据库对数据操作请求的响应；

第一部署模块，用于将所述第一装置中的第一模型包装成所述第一服务，并将所述第一服务部署至服务器。

其中，还包括：

第二模型配置模块，用于在第二装置中配置第二模型，所述第二模型用于通过Hbase数据库实现对数据操作请求的响应，完成数据的分布式操作；

第二部署模块，用于将所述第二装置中的第二模型包装成所述第二服务，并将所述第二服务部署至服务器。

一种服务器，包括上述任意一项数据传输调度装置。

通过以上方案可知，本发明实施例提供的一种基于企业服务总线的数据传输调度方法，包括：接收数据操作请求；判断与所述数据操作请求对应的数据是否为结构化数据；若是，则调用第一服务；所述第一服务用于当与所述数据操作请求对应的数据需要执行Hadoop操作时，通过Hive数据库响应所述数据操作请求；若否，则调用第二服务；所述第二服务通过Hbase数据库响应所述数据操作请求；

可见，在方案中，在传统企业服务总线中实现结构化数据与Hadoop的交互，解决传统数据库存储能力不足、数据分析能力不足的问题，提高了数据的存储能力和计算效率，也方便了非结构化数据的处理，并且通过把交互过程包装成服务，方便了Web Service的开发、调用，适应了业务快速响应需求，提高了***的效率和可扩展性；本发明还公开了一种基于企业服务总线的数据传输调度装置及服务器。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种基于企业服务总线的数据传输调度方法流程示意图；

图2为本发明实施例公开的基于Hadoop集群进行数据传输的调度机制操作流程示意图；

图3为本发明实施例公开的一种数据存储方法流程示意图；

图4为本发明实施例公开的一种基于企业服务总线的数据传输调度装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于企业服务总线的数据传输调度方法、装置及服务器，以实现解决传统数据库存储能力和数据分析能力不足的问题，提高***处理效率。

参见图1，本发明实施例提供的一种基于企业服务总线的数据传输调度方法，包括：

S101、接收数据操作请求；

S102、判断与所述数据操作请求对应的数据是否为结构化数据；

若是，则执行S103；若否，则执行S104；

S103、调用第一服务；所述第一服务用于当与所述数据操作请求对应的数据需要执行Hadoop操作时，通过Hive数据库响应所述数据操作请求；

具体的，在方案中，Hive是建立在Hadoop上的数据仓库基础构架，我们可以把Hive中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在HDFS中的，它提供完整的SQL查询功能，能够将SQL语句转化为Map/Reduce任务。

S104、调用第二服务；所述第二服务通过Hbase数据库响应所述数据操作请求。

具体的，HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库；另一个不同的是HBase基于列的而不是基于行的模式。

可见，本实施例中公开了企业服务总线中一种利用Hadoop集群进行数据传输的调度机制，在传统企业服务总线中实现结构化数据与Hadoop的交互，应对数据量变大，处理速度变慢的挑战，同时也方便了非结构化数据的处理。另外本发明把传统数据库与Hadoop的交互过程、Hbase处理数据的过程，包装成服务，提高***效率，便于调用服务。

基于上述技术实施例，所述接收数据操作请求之前，需要在服务器中部署第二服务和第二服务；其中，部署第一服务的方法包括：

在第一装置中配置第一模型，所述第一模型用于通过Sqoop工具，将传统数据库中的数据抽取至Hive数据库，通过Hive脚本实现Hive数据库对数据操作请求的响应；

具体的，本实施例中的Apache Sqoop旨在协助RDBMS和Hadoop之间进行高效的大数据通信。用户可以在Sqoop的帮助下把传统关系型数据库的内容导入到Hadoop中，也可以将Hadoop集群中的数据导入到传统数据库中

将所述第一装置中的第一模型包装成所述第一服务，并将所述第一服务部署至服务器；

部署第二服务的方法包括：

在第二装置中配置第二模型，所述第二模型用于通过Hbase数据库实现对数据操作请求的响应，完成数据的分布式操作；

将所述第二装置中的第二模型包装成所述第二服务，并将所述第二服务部署至服务器。

具体的，参见图2，(1)当数据为结构化数据时，具体步骤如下：

在装置A中配置模型，完成通过Hadoop集群中的Sqoop工具，把关系数据库中的数据抽取进去Hadoop中，从而实现数据从传统数据库到Hadoop集群的移动。

把获取到Hadoop中的数据存入到Hive中，并根据业务需求，存到Hive中特定的表中。

编写Hive脚本，通过Hive对数据进行对应的操作。

在A装置中，把此交互过程包装成服务，方便不同的业务调用。

在装置B中部署创建好的模型，将模型部署到服务器上。

(2)当数据为非结构化数据时，具体步骤如下：

在装置C中配置模型，通过Hbase数据库完成数据的分布式查询等操作。

在C装置中，把此过程包装成服务，方便不同的业务调用。

在装置D中部署创建好的模型，将模型部署到服务器上。

需要说明的是，把数据交互流程包装为对应的服务，并部署在服务器上，可方便服务调用方通过自动或者人工的方式进行服务调用。自动调用服务时，通过定时器设置进行定时调用服务。

基于上述任意实施例，在本实施例中，若与所述数据操作请求对应的数据为结构化数据，且与所述数据操作请求对应的数据需要进行传统操作时，通过传统数据库响应所述数据操作请求。

具体的，参见图3，本发明实施例公开了一种具体的数据传输调度方法，相对于上一实施例，在本实施例中将数据操作请求细化为数据存储请求，则该方法包括：

判断待存储的数据是否为结构化数据；若是，直接将待存储数据存储在HDFS***中；

若否，则根据该数据的实现功能，判断该操作是否为传统操作；若是传统操作，则将待存储数据存到传统关系型数据库中；若不是传统操作，也就是要通过Hadoop操作的数据，则将待存储数据存入到Hive中。

下面对本发明实施例提供的数据传输调度装置进行介绍，下文描述的数据传输调度装置与上文描述的数据传输调度方法可以相互参照。

参见图4，本发明实施例提供的一种基于企业服务总线的数据传输调度装置，包括：

接收模块100，用于接收数据操作请求；

判断模块200，用于判断与所述数据操作请求对应的数据是否为结构化数据；

第一调度模块300，用于与所述数据操作请求对应的数据为结构化数据时，调用第一服务；所述第一服务用于当与所述数据操作请求对应的数据需要执行Hadoop操作时，通过Hive数据库响应所述数据操作请求；

第二调度模块400，用于与所述数据操作请求对应的数据为非结构化数据时，调用第二服务；所述第二服务通过Hbase数据库响应所述数据操作请求。

基于上述实施例，本实施例还包括：

执行模块，用于在与所述数据操作请求对应的数据为结构化数据，且与所述数据操作请求对应的数据需要进行传统操作时，通过传统数据库响应所述数据操作请求。

基于上述实施例，本实施例还包括：

第一模型配置模块，用于在第一装置中配置第一模型，所述第一模型用于通过Sqoop工具，将传统数据库中的数据抽取至Hive数据库，通过Hive脚本实现Hive数据库对数据操作请求的响应；

第一部署模块，用于将所述第一装置中的第一模型包装成所述第一服务，并将所述第一服务部署至服务器。

基于上述实施例，本实施例还包括：

第二模型配置模块，用于在第二装置中配置第二模型，所述第二模型用于通过Hbase数据库实现对数据操作请求的响应，完成数据的分布式操作；

第二部署模块，用于将所述第二装置中的第二模型包装成所述第二服务，并将所述第二服务部署至服务器。

本发明实施例提供的一种服务器，包括上述任意实施例中的数据传输调度装置。

本发明实施例提供的一种基于企业服务总线的数据传输调度方法，包括：接收数据操作请求；判断与所述数据操作请求对应的数据是否为结构化数据；若是，则调用第一服务；所述第一服务用于当与所述数据操作请求对应的数据需要执行Hadoop操作时，通过Hive数据库响应所述数据操作请求；若否，则调用第二服务；所述第二服务通过Hbase数据库响应所述数据操作请求；

可见，在方案中，在传统企业服务总线中实现结构化数据与Hadoop的交互，解决传统数据库存储能力不足、数据分析能力不足的问题，提高了数据的存储能力和计算效率，也方便了非结构化数据的处理，并且通过把交互过程包装成服务，方便了Web Service的开发、调用，适应了业务快速响应需求，提高了***的效率和可扩展性；本发明还公开了一种基于企业服务总线的数据传输调度装置及服务器。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于企业服务总线的数据传输调度方法，其特征在于，包括：

接收数据操作请求；

判断与所述数据操作请求对应的数据是否为结构化数据；

若是，则调用第一服务；所述第一服务用于当与所述数据操作请求对应的数据需要执行Hadoop操作时，通过Hive数据库响应所述数据操作请求；

若否，则调用第二服务；所述第二服务通过Hbase数据库响应所述数据操作请求。

2.根据权利要求1所述的数据传输调度方法，其特征在于，

若与所述数据操作请求对应的数据为结构化数据，且与所述数据操作请求对应的数据需要进行传统操作时，通过传统数据库响应所述数据操作请求。

3.根据权利要求1或2所述的数据传输调度方法，其特征在于，所述接收数据操作请求之前，还包括：

在第一装置中配置第一模型，所述第一模型用于通过Sqoop工具，将传统数据库中的数据抽取至Hive数据库，通过Hive脚本实现Hive数据库对数据操作请求的响应；

将所述第一装置中的第一模型包装成所述第一服务，并将所述第一服务部署至服务器。

4.根据权利要求1或2所述的数据传输调度方法，其特征在于，所述接收数据操作请求之前，还包括：

在第二装置中配置第二模型，所述第二模型用于通过Hbase数据库实现对数据操作请求的响应，完成数据的分布式操作；

将所述第二装置中的第二模型包装成所述第二服务，并将所述第二服务部署至服务器。

5.一种基于企业服务总线的数据传输调度装置，其特征在于，包括：

接收模块，用于接收数据操作请求；

判断模块，用于判断与所述数据操作请求对应的数据是否为结构化数据；

第一调度模块，用于与所述数据操作请求对应的数据为结构化数据时，调用第一服务；所述第一服务用于当与所述数据操作请求对应的数据需要执行Hadoop操作时，通过Hive数据库响应所述数据操作请求；

第二调度模块，用于与所述数据操作请求对应的数据为非结构化数据时，调用第二服务；所述第二服务通过Hbase数据库响应所述数据操作请求。

6.根据权利要求5所述的数据传输调度装置，其特征在于，还包括：

执行模块，用于在与所述数据操作请求对应的数据为结构化数据，且与所述数据操作请求对应的数据需要进行传统操作时，通过传统数据库响应所述数据操作请求。

7.根据权利要求5或6所述的数据传输调度装置，其特征在于，还包括：

第一模型配置模块，用于在第一装置中配置第一模型，所述第一模型用于通过Sqoop工具，将传统数据库中的数据抽取至Hive数据库，通过Hive脚本实现Hive数据库对数据操作请求的响应；

第一部署模块，用于将所述第一装置中的第一模型包装成所述第一服务，并将所述第一服务部署至服务器。

8.根据权利要求5或6所述的数据传输调度装置，其特征在于，还包括：

第二模型配置模块，用于在第二装置中配置第二模型，所述第二模型用于通过Hbase数据库实现对数据操作请求的响应，完成数据的分布式操作；

第二部署模块，用于将所述第二装置中的第二模型包装成所述第二服务，并将所述第二服务部署至服务器。

9.一种服务器，其特征在于，包括如权利要求5-8中任意一项所述的数据传输调度装置。