CN108595644A - 一种大数据平台运维管理*** - Google Patents

Abstract

本申请公开了一种大数据平台运维管理***，包括数据加载管理模块、脚本发布管理模块和数据导出管理模块，分别用于从上游***中加载数据、自动实现脚本发布和将数据导出至下游***。其中，数据加载和数据导出在执行相应脚本时，根据业务编码参数读取配置信息，根据配置信息执行相应的加载/导出逻辑，实现数据加载/导出；脚本发布以目录树的形式维护管理批处理脚本发布目录，能够实现快速的批处理脚本的查找，确定相关信息，并完成批处理脚本发布。所述大数据平台运维管理***相对于现有技术提升了大数据平台的管理水平和处理效率，能够满足使用者的高标准需求。

Description

一种大数据平台运维管理***

技术领域

本发明涉及大数据技术，更具体的说，是涉及一种大数据平台运维管理***。

背景技术

大数据技术是指从各种各样类型的数据中，快速获得有价值信息的能力。大数据平台是为了计算现今社会所产生的越来越大的数据量，以存储、运算、展现作为目的的平台。

银行是依法成立的经营货币信贷业务的金融机构，银行***在正式运行期间，需要与许多其他的与金融相关的***进行业务联系。在银行***与其他***进行联系的过程中，需要用到大数据平台对银行***与其他***之间的业务数据进行管理。按照大数据平台与其他***之间的数据流向，可以将与大数据台具有业务往来的***分为两类，用于向大数据平台提供数据的***为源***，或叫做上游***，大数据平台将处理过的数据发出到达的***为下游***。

现有技术中，大数据平台的整体项目管理工作和运维管理工作的管理水平差，管理效率低。面对越来越庞大的数据量和复杂多样的金融业务，原始大数据平台也越来越难以满足使用者的高标准需求。

发明内容

有鉴于此，本发明提供了一种大数据平台运维管理***，以提升大数据平台的管理水平和处理效率，满足使用者的高标准需求。

一种大数据平台运维管理***，包括：

数据加载管理模块，用于对大数据平台的已加载数据的特征信息进行登记管理，并执行数据加载脚本，以根据业务编码参数读取配置信息，根据配置信息执行相应的逻辑，实现数据加载；

脚本发布管理模块，用于以目录树的形式维护管理批处理脚本发布目录，自动发布用户上传的批处理脚本更新包，同时对脚本历史版本进行存档；

数据导出管理模块，用于登记不同数据的导出配置信息，并执行数据导出脚本，以根据业务编码参数读取配置信息，根据配置信息执行相应的导出逻辑，实现数据导出。

可选的，还包括：

开发运维工具模块，用于管理开发运维工具。

可选的，所述开发运维工具包括批处理脚本全文检索、数据迁移比对、数据库比对、数据映射抽取和数据在线导入工具。

可选的，还包括：

项目管理模块，用于登记维护项目脚本在服务器端存放的目录树，同时维护目录对应的大数据平台数据库用户，将新建项目绑定项目目录，设定项目对于数据加载、脚本发布、数据导出三类操作的权限，指定项目负责人，并进行登录管理，确定登录者的操作权限。

可选的，所述大数据平台运维管理***还包括调度***，所述数据加载脚本和所述数据导出脚本配置在所述调度***中，则所述数据加载管理模块具体用于：从所述调度***调取数据加载脚本，周期性的自动加载上游***数据；

所述数据导出管理模块具体用于：从所述调度***调取数据导出脚本，周期性自动导出数据到下游***。

可选的，所述已加载数据的特征信息包括源***信息、表信息和加载配置信息，则所述数据加载管理模块登记管理的信息包括：源***信息、源表信息、数据文件信息、大数据平台表信息、加载方式和保存策略信息。

可选的，所述导出配置信息包括大数据平台导出表、导出文件和导出方式信息。

可选的，所述大数据平台运维管理***采用BS结构软件架构实现。

可选的，所述大数据平台运维管理***的所有程序部署在应用服务器中的web中间件中。

可选的，所述程序采用Spring mvc架构开发。

本发明实施例公开了一种大数据平台运维管理***，包括数据加载管理模块、脚本发布管理模块和数据导出管理模块，分别用于从上游***中加载数据、自动实现脚本发布和将数据导出至下游***。其中，数据加载和数据导出在执行相应脚本时，根据业务编码参数读取配置信息，根据配置信息执行相应的加载/导出逻辑，实现数据加载/导出；脚本发布以目录树的形式维护管理批处理脚本发布目录，能够实现快速的批处理脚本的查找，确定相关信息，并完成批处理脚本发布。所述大数据平台运维管理***相对于现有技术提升了大数据平台的管理水平和处理效率，能够满足使用者的高标准需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的第一种大数据平台运维管理***的结构示意图；

图2为本发明实施例公开的第二种大数据平台运维管理***的结构示意图；

图3为本发明实施例公开的大数据平台运维管理***的物理架构图；

图4为本发明实施例公开的大数据平台运维管理***的功能架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例公开的第一种大数据平台运维管理***的结构示意图，参见图1所示，所述大数据平台运维管理***10可以包括：

数据加载管理模块101，用于对大数据平台的已加载数据的特征信息进行登记管理，并执行数据加载脚本，以根据业务编码参数读取配置信息，根据配置信息执行相应的逻辑，实现数据加载。

所述数据加载脚本可以预先存储在所述大数据平台运维管理***，在需要时直接调用。

其中，所述已加载数据的特征信息可以但不限制为包括源***信息、表信息和加载配置信息，则所述数据加载管理模块101登记管理的信息可以但不限制为包括：源***信息、源表信息、数据文件信息、大数据平台表信息、加载方式和保存策略信息。

在实际工作过程中，数据加载的一个示例可以是：在本***中保存一条业务编码为A的载数配置信息，内容包括源***信息B、源表信息C、数据文件信息D、大数据平台表信息E、加载方式F等。在运行所述数据加载脚本时，将业务编码A及会计日期等以参数形式传给所述数据加载脚本，所述数据加载脚本将以接收都的信息为搜索条件搜索上一条载数配置信息，读取相关的源***信息、目标表信息、加载方式等，并以此执行相应过程。

脚本发布管理模块102，用于以目录树的形式维护管理批处理脚本发布目录，自动发布用户上传的批处理脚本更新包，同时对脚本历史版本进行存档。

本发明实施例中，所述大数据平台运维管理***10可以以目录树的形式维护管理批处理脚本发布目录，可以以项目的形式实现多用户管理。实际应用场景中，可以按项目进行权限分配，用户在所述大数据平台运维管理***10中只能管理其有权限的项目。

数据导出管理模块103，用于登记不同数据的导出配置信息，并执行数据导出脚本，以根据业务编码参数读取配置信息，根据配置信息执行相应的导出逻辑，实现数据导出。

所述数据导出脚本可以预先存储在所述大数据平台运维管理***，在需要时直接调用。

本发明实施例可以实现以数据导出文本方式为下游***提供数据，在所述大数据平台中登记相关数据的导出配置信息，所述导出配置信息可以但不限制为包括大数据平台导出表、导出文件和导出方式信息。

其中，所述数据加载脚本和所述数据导出脚本可以配置在调度***中，则所述数据加载管理模块具体可以用于：从所述调度***调取数据加载脚本，周期性的自动加载上游***数据。所述数据导出管理模块具体可以用于：从所述调度***调取数据导出脚本，周期性自动导出数据到下游***。

本实施例中，所述大数据平台运维管理***在数据加载和数据导出执行相应脚本时，根据业务编码参数读取配置信息，根据配置信息执行相应的加载/导出逻辑，实现数据加载/导出；脚本发布以目录树的形式维护管理批处理脚本发布目录，能够实现快速的批处理脚本的查找，确定相关信息，并完成批处理脚本发布。所述大数据平台运维管理***相对于现有技术提升了大数据平台的管理水平和处理效率，能够满足使用者的高标准需求。

图2为本发明实施例公开的第二种大数据平台运维管理***的结构示意图，如图2所示，所述大数据平台运维管理***20可以包括：

数据加载管理模块101，用于对大数据平台的已加载数据的特征信息进行登记管理，并执行数据加载脚本，以根据业务编码参数读取配置信息，根据配置信息执行相应的逻辑，实现数据加载。

脚本发布管理模块102，用于以目录树的形式维护管理批处理脚本发布目录，自动发布用户上传的批处理脚本更新包，同时对脚本历史版本进行存档。

数据导出管理模块103，用于登记不同数据的导出配置信息，并执行数据导出脚本，以根据业务编码参数读取配置信息，根据配置信息执行相应的导出逻辑，实现数据导出。

开发运维工具模块201，用于管理开发运维工具。

其中，所述开发运维工具可以但不限制为包括批处理脚本全文检索、数据迁移比对、数据库比对、数据映射抽取和数据在线导入工具。

所述开发运维工具模块201的存在可以提升所述大数据平台的开发以及运维能力。

本实施例中，所述大数据平台运维管理***除了能够实现数据加载、脚本发布和数据导出功能外，还可以为大数据平台提供系列开发运维工具，提升所述大数据平台的开发运维能力。

图3为本发明实施例公开的大数据平台运维管理***的物理架构图，参见图3所示，本发明实施例中，所述大数据平台运维管理***可以采用BS结构软件架构实现。

其中，客户端使用浏览器访问，所述大数据平台运维管理***的所有程序部署在应用服务器中的web中间件中，所述程序采用流行的Spring mvc架构开发，展示层使用了HTTL、JS等技术，控制层为Sevlet，持久化层采用Ibatis，数据库支持主流传统关系型数据库。其中，所述持久化层是指和数据库相关的各种操作，如保存、更新、删除、加载、查询等。

图4为本发明实施例公开的大数据平台运维管理***的功能架构图。下面结合图4对大数据平台运维管理***各功能进行介绍。

一、项目管理

1.1、项目目录管理，登记维护项目脚本在服务器端存放的目录树，同时维护目录对应的大数据平台数据库用户。本功能旨在维护项目脚本上传的目录，同时限定对应目录下的脚本在执行SQL时使用的数据库用户。

1.2、项目管理，新建项目同时绑定项目目录，设定项目对于数据加载、脚本发布、数据导出三类操作的权限，指定项目负责人。本功能旨在新增项目，同时指定项目负责人、项目脚本目录以及权限信息。

1.3、我的项目，用户登录***，本功能根据权限过滤出当前登录人具备操作权限的项目，项目负责人可添加其他人员并分配权限。

本实施例项目管理模块中，可以按***维度进行项目划分，比如大数据风控***基于大数据有很多数据加载操作、批处理脚本、数据导出操作，在项目管理模块为大数据风控***建立独立的项目，指定项目负责人，配置好项目脚本发布的目录，用户登录***可以操作用户有权限的项目，在项目中进行脚本发布操作、数据加载配置、数据导出配置。

二、数据加载管理

2.1、分配了数据加载管理权限的项目中可进行数据加载信息的管理。

2.2、源***信息管理，以EXCEL上传或直接***新增的方式对入仓的源***信息进行登记，方便对入仓的源***进行快速查询。

2.3、源***表信息管理，以EXCEL上传或直接***新增的方式对源表加载配置信息进行登记，配置信息包括大数据平台表信息：表名，表字段信息。加载配置信息：业务编码、业务名称、源***编码、文本名称、文本路径、文本格式表表名、列式格式表表名、字段分隔符、文本文件编码、是否压缩、压缩类型、是否转码、数据加载类型(增量、全量)、是否数据验证、数据验证方式(首尾加中间随即检查、首行检查、全数据检查、剔除错误数据加载)、是否允许为空、是否trim、数据保留天数、数据保留月底数、目标表字段信息等。

2.4、根据配置信息自动建表。配置信息配置完毕后通过***建表功能对大数据平台目标表进行创建，方便快捷，避免后台操作。

2.5、将数据加载脚本配置到调度平台，指定相应的业务编码，实现周期性自动数据加载。

本实施例中，数据加载过程中可做配置的相关参数可以包括：数据文件路径信息、数据加载到的表信息、文件分割符、文件编码等。

三、脚本发布管理

3.1、分配了脚本发布管理权限的项目中可进行脚本发布相关管理。

3.2、待发布脚本管理，上传脚本变更包，***展示出更新包所有脚本，检查无误后发布脚本，脚本自动上传到服务器端项目目录中，对于新增脚本可直接发布，对于存量已有脚本会提示覆盖操作。

3.3、已发布脚本管理，此模块可查询该项目所有已发布的最新版本脚本、脚本内容以及版本号。

3.4、文件版本库，此模块可查询所有已发布过的历史脚本及脚本内容，方便对脚本进行回退操作。

在实际应用场景中，大数据平台运维管理***可以记录每次发布的版本信息，方便后续查找脚本历史信息。

四、数据导出管理

4.1、分配了数据导出管理权限的项目中可进行数据导出相关管理。

4.2、导出配置信息登记，以EXCEL上传或直接新增方式进行导出配置信息的登记，登记信息包括配置编码、配置名称、导数模式(指定库表/自定义SQL)、库名、表名、导数字段、SQL条件、是否生成Flg文件、是否打印表头、文件字段分隔符、文件导出路径。

4.3、将数据导出脚本配置到调度平台，指定相应的业务编码，实现周期性自动数据导出。

本实施例中，数据导出可做配置的相关参数可以包括导出文件路径、字段分割符、编码、导出表信息、自定义SQL导出等。

五、辅助工具

为提升大数据平台开发以及运维能力，开发一系列工具辅助开发运维。

本发明实施例所述的大数据平台运维管理***数据加载和数据导出在执行相应脚本时，根据业务编码参数读取配置信息，根据配置信息执行相应的加载/导出逻辑，实现数据加载/导出；脚本发布以目录树的形式维护管理批处理脚本发布目录，能够实现快速的批处理脚本的查找，确定相关信息，并完成批处理脚本发布。此外，系列开发运维工具，提升所述大数据平台的开发运维能力。项目管理模块的存在，便于用户通过所述项目管理模块更好的进行大数据平台中的项目管理和数据处理。所述大数据平台运维管理***相对于现有技术提升了大数据平台的管理水平和处理效率，能够满足使用者的高标准需求。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种大数据平台运维管理***，其特征在于，包括：

数据加载管理模块，用于对大数据平台的已加载数据的特征信息进行登记管理，并执行数据加载脚本，以根据业务编码参数读取配置信息，根据配置信息执行相应的逻辑，实现数据加载；

脚本发布管理模块，用于以目录树的形式维护管理批处理脚本发布目录，自动发布用户上传的批处理脚本更新包，同时对脚本历史版本进行存档；

数据导出管理模块，用于登记不同数据的导出配置信息，并执行数据导出脚本，以根据业务编码参数读取配置信息，根据配置信息执行相应的导出逻辑，实现数据导出。

2.根据权利要求1所述的大数据平台运维管理***，其特征在于，还包括：

开发运维工具模块，用于管理开发运维工具。

3.根据权利要求2所述的大数据平台运维管理***，其特征在于，所述开发运维工具包括批处理脚本全文检索、数据迁移比对、数据库比对、数据映射抽取和数据在线导入工具。

4.根据权利要求1所述的大数据平台运维管理***，其特征在于，还包括：

项目管理模块，用于登记维护项目脚本在服务器端存放的目录树，同时维护目录对应的大数据平台数据库用户，将新建项目绑定项目目录，设定项目对于数据加载、脚本发布、数据导出三类操作的权限，指定项目负责人，并进行登录管理，确定登录者的操作权限。

5.根据权利要求1所述的大数据平台运维管理***，其特征在于，所述大数据平台运维管理***还包括调度***，所述数据加载脚本和所述数据导出脚本配置在所述调度***中，则所述数据加载管理模块具体用于：从所述调度***调取数据加载脚本，周期性的自动加载上游***数据；

所述数据导出管理模块具体用于：从所述调度***调取数据导出脚本，周期性自动导出数据到下游***。

6.根据权利要求1所述的大数据平台运维管理***，其特征在于，所述已加载数据的特征信息包括源***信息、表信息和加载配置信息，则所述数据加载管理模块登记管理的信息包括：源***信息、源表信息、数据文件信息、大数据平台表信息、加载方式和保存策略信息。

7.根据权利要求1所述的大数据平台项目运维管理***，其特征在于，所述导出配置信息包括大数据平台导出表、导出文件和导出方式信息。

8.根据权利要求1所述的大数据平台运维管理***，其特征在于，所述大数据平台运维管理***采用BS结构软件架构实现。

9.根据权利要求1所述的大数据平台运维管理***，其特征在于，所述大数据平台运维管理***的所有程序部署在应用服务器中的web中间件中。

10.根据权利要求9所述的大数据平台运维管理***，其特征在于，所述程序采用Spring mvc架构开发。