CN103617585A - 一种基于共享数据平台的数据处理方法 - Google Patents

Abstract

本发明公开了一种基于共享数据平台的数据处理方法，包括采用数据交换中心处理器对源数据库中的数据进行抽取、清洗并加载到目标共享数据库中，具体为：S1数据交换中心处理器连接源数据库；S2数据交换中心处理器抽取源数据库中的源数据；S3数据交换中心处理器根据CELTS-34高等学校管理信息标准转换该源数据；S4数据交换中心处理器将转换后的数据写入目标共享数据库；采用数据交换中心处理器对目标共享数据库中的数据订阅到源数据库中。本发明将各个独立运行的***进行连接、实现了各个独立运行的***的数据资源的共享，解决了信息孤岛的问题，同时还具有建设周期短、开发成本低等优点。

Description

一种基于共享数据平台的数据处理方法

技术领域

本发明涉及数据处理技术领域，更具体地说，特别涉及一种基于共享数据平台的数据处理方法。

背景技术

随着计算机技术和校园网络的发展，高校信息化管理也有了很大的发展，包括诸如：教务管理***、学生缴费管理***、图书管理***和针对教职工用户的院内信息管理***等，这些***有学校自行开发的、也有其他软件厂商开发的商业软件，在经过学校数年的运行，各个***均已经积累了宝贵的数据资源。但是由于现有的各个应用***运行在不同的环境中、同时使用了不同的数据库、且彼此之间没有数据访问接口，导致无法自行实现数据交换，使得各个***彼此独立运行，形成了一个个信息孤岛。在随着学校发展的同时，新的需求不断提出，而“信息孤岛”所引发的矛盾日益突出，严重的制约了学校的信息化建设。故此，非常有必要设计一种数据处理方法。

发明内容

本发明的目的在于针对现有技术存在各个***独立运行、且各***的数据资源不能共享的技术问题，提供一种基于共享数据平台的数据处理方法。

为了达到上述目的，本发明采用的技术方案如下：

一种基于共享数据平台的数据处理方法，该方法包括采用数据交换中心处理器对源数据库中的数据进行抽取、清洗并加载到目标共享数据库中的步骤，以及采用数据交换中心处理器对目标共享数据库中的数据订阅到源数据库的步骤；

所述数据交换中心处理器对源数据库中的数据的抽取、清洗并加载到目标共享数据库中的步骤具体包括：

S1、数据交换中心处理器连接源数据库；

S2、数据交换中心处理器抽取源数据库中的源数据；

S3、数据交换中心处理器根据CELTS-34高等学校管理信息标准转换该源数据；

S4、数据交换中心处理器将转换后的数据写入目标共享数据库；

所述数据交换中心处理器对目标共享数据库中的数据订阅步骤具体包括：数据交换中心处理器将目标共享数据库中的数据按照使用数据的要求转换成应用***的数据存储格式后加载到源数据库中。

优选的，所述步骤S2中的数据交换中心处理器对源数据库中的源数据的抽取为全量抽取，即数据交换中心处理器将源数据库里的源数据读取后按照规定格式写入到目标共享数据库中。

优选的，所述步骤S2中的数据交换中心处理器对源数据库中的源数据的抽取为增量抽取，即数据交换中心处理器获取源数据库里的源数据中发生改变的数据后按照规定格式写入到目标共享数据库中。

优选的，所述增量抽取采用扫描时间截数据法，具体为：数据交换中心处理器对源数据库中含有更新时间的数据源，通过对比上次更新时间来判断新增的数据，并将该新增的数据读取后按照固定格式写入到目标共享数据库中。

优选的，所述增量抽取采用触发器和数据的复制法，具体为：数据交换中心处理器在源数据库中数据源的表上建立一触发器，并将发生改变的记录保存到一临时表上，然后再从临时表上定期抽取数据，并将该数据按照固定格式写入到目标共享数据库中。

优选的，所述增量抽取采用日志对比法，具体为：数据交换中心处理器通过对源数据库的日志文件分析并获取增量数据，再将该数据按照固定格式写入到目标共享数据库中。

优选的，所述增量抽取采用全表对比法，具体为：数据交换中心处理器通过将源数据库与目标共享数据库的记录逐条对比判断发生变化的数据，再将该数据按照固定格式写入到目标共享数据库中。

优选的，所述数据交换中心处理器对源数据库中的源数据的抽取采用定期自动抽取或手工抽取。

优选的，所述目标共享数据库包括：

用于保存统一用户认证登录所需的用户名、密码以及原有应用***中的用户、密码和***名称的用户角色信息集；

用于保存学生学籍信息的学生信息集；

用于保存教职工的职工号、专业、学历、职称以及职务信息的教职工信息集；

用于保存学生选课记录、教师教学任务、课程表信息、学生成绩信息以及调停课信息的教学信息集；

用于保存教师的论文发表信息、项目信息以及获奖信息的科研信息集；

以及用于保存学生学费缴纳信息的财务信息集。

与现有技术相比，本发明的优点在于：本发明将各个独立运行的***进行连接、实现了各个独立运行的***的数据资源的共享，解决了信息孤岛的问题，同时还具有建设周期短、开发成本低等优点。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明所述基于共享数据平台的数据处理方法的流程图。

图2是本发明所述基于共享数据平台的数据处理方法中的源数据库、数据交换中心处理器和目标共享数据库的连接关系图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的详细说明。

参阅图1-图2所示，本发明提供的一种基于共享数据平台的数据处理方法，该方法包括采用数据交换中心处理器20对源数据库10中的数据进行抽取、清洗并加载（ETL）到目标共享数据库30中的步骤，以及采用数据交换中心处理器20对目标共享数据库30中的数据订阅到源数据库10的步骤；其中：所述数据交换中心处理器20对源数据库10中的数据的抽取、清洗并加载（ETL）到目标共享数据库30中的步骤具体包括：

第一步、数据交换中心处理器20连接源数据库10；

第二步、数据交换中心处理器20抽取源数据库10中的源数据；

第三步、数据交换中心处理器20根据CELTS-34高等学校管理信息标准转换该源数据；

第四步、数据交换中心处理器20将转换后的数据写入目标共享数据库30。

而数据交换中心处理器20对目标共享数据库30中的数据订阅步骤具体包括：数据交换中心处理器20将目标共享数据库30中的数据按照使用数据的要求转换成应用***的数据存储格式后加载到源数据库10中，源数据库10中可保护有教务***、财务***、学工***等源数据内容。该数据订阅的过程是数据抽取的逆向过程，各***通过数据订阅实现数据的同一，数据订阅是通过对目标共享数据库30中的共享数据的抽取使用时间截方式获取更新数据源。

在整个方法中，对源数据库10中源数据的抽取是难点，抽取数据源或数据订阅都需要做大量的调研工作，调研工作需要了解哪些表格是存储所需数据，是否存在非结构化数据等问题。同时由于目标共享数据库30的数据来自不同的***，而针对不同的数据源有不同的抽取方法。

在本发明中，在上述第二步中对数据源的抽取通常有全量抽取和增量抽取两种方法，下面作具体介绍：

全量抽取是将数据源读取后按照规定格式写入到目标共享数据库中，对数据量不大或更新频率较小的数据，或者是非结构化的数据都可以使用全量抽取，例如：机构设置表就可以采用全量抽取，而在全量抽取前应删除目标共享数据库30中相应的数据。

增量抽取是获取数据源中发生改变的数据后按照规定格式写入到目标共享数据库中。增量数据包括新增、修改和删除过的数据，对数据源数据量较大、而且更新频率较大时可以使用增量抽取。而获取发生改变的数据是增量抽取的关键，在本发明中所采用的方法具体可以分为以下四种。

一是采用扫描时间截数据法，即对含有更新时间的数据源，通过对比上次更新时间来判断新增的数据，并将该新增的数据读取后按照固定格式写入到目标共享数据库中；比如教务信息的停课申请表可以按照审批时间进行增量判断。

二是采用触发器和数据的复制法，即在数据源的表上建立一触发器，并将发生改变的记录保存到一临时表上，然后再从临时表上定期抽取数据，并将该数据按照固定格式写入到目标共享数据库中；该触发器和数据的复制法是比较有效和常用的数据抽取方法，如用户较色集、学生信息集、教师信息集等均用词方法抽取数据。

三是采用日志对比法，即通过对源数据库日志文件分析并获取增量数据，再将该数据按照固定格式写入到目标共享数据库中。

四是采用全表对比法，即通过将源数据库与目标共享数据库的记录逐条对比判断发生变化的数据，再将该数据按照固定格式写入到目标共享数据库中。

对数据的抽取工作可根据数据的性质采取定期自动抽取或手工抽取模式，如对更新频率大或者更新频率无章可循的数据采用定期自动抽取，对数据更新周期较长的数据采用手工抽取，如用户角色信息和教务信息中的调停课信息可以每2小时左右抽取一次，学生信息集和教工信息集可以每7天左右抽取一次，而教务信息中的教师教学任务和学生成绩等信息可以3个月或6个月才抽取，对自动抽取周期较长的数据也可同时提供手动抽取模式。

目标共享数据库30是对信息管理***数据进行组织、存储、查询和通信等管理服务的数据库***，其目的是为学校提供一个统一的数据存储模式，建立跨***异构数据库的数据交换平台，使全校各信息***的基础数据保持一致，避免了数据的重复录入，同时可对学校的跨部门的数据统计分析提供数据支持。

该目标共享数据库30主要保存各个信息***中重复使用率比较高和对学校管理决策有影响的公共数据，且共享数据的目的即是为了与其他信息***进行数据交互，因此，在目标共享数据库30中采用统一的数据格式，其符合《国家经济信息***设计与应用标准规定》和《高校学校管理基本信息集》等规范的要求。其数据源主要来源于源数据库10中。而该目标共享数据库30主要包括以下个方面。

用户角色信息集310：用于保存统一用户认证登录所需的用户名、密码以及原有应用***中的用户、密码和***名称的。

学生信息集320：用于保存学生学籍信息；学生是高校信息管理中最大的主体之一，高校信息***管理很大一部分功能是对学生的管理，如学工管理、教务管理、校园一卡通管理等等，学生信息是重复使用率较高的信息之一，而学生信息的来源可以是学工管理***或教务管理***。

教职工信息集330：用于保存教职工的职工号、专业、学历、职称以及职务信息；教职工是是高校信息管理中最大两个主题的另一个，教职工信息也是重复使用率较高的信息之一，如教务管理、科研管理、人事管理等都与教职工相关，而教职工信息的来源可以是院内信息***和教务***。

教学信息集340：用于保存学生选课记录、教师教学任务、课程表信息、学生成绩信息以及调停课信息的；教学工作是学校最大的活动，教学信息是教学质量监督的重要数据来源，对学校决策有重要的影响作用，而教学信息的来源主要是教务管理***。

科研信息集350：用于保存教师的论文发表信息、项目信息以及获奖信息的；科研工作是学校除了教学活动之外的最大活动，且科研工作是高效教师的主要工作之一，科研信息也影响着学校的决策。

财务信息集360：以及用于保存学生学费缴纳信息的；学生欠费是各高效都存在的问题，该数据同样对学校的决策有着重大影响，同时其也作为学校的财政数据和教职工的工资数据的基础数据，而财务信息的数据来源为学生缴费***。

数据交换中心处理器20是本发明的核心所在，其主要起到两个方面的作用：即对源数据库10中的数据源进行抽取、清洗和加载到目标共享数据库30中，以及将该目标共享数据库30中的数据按照使用数据的要求转换格式后加载到使用的数据库中。且数据交换中心处理器20对源数据库10和使用数据的数据库来说是透明的，故数据的获取和订阅不影响原有***的正常运行。

本发明具有建设周期短、开发成本低的优点，既保存了原有信息***的独立性，又实现了数据资源的共享，解决了现有各高效“信息孤岛”的问题。

虽然结合附图描述了本发明的实施方式，但是专利所有者可以在所附权利要求的范围之内做出各种变形或修改，只要不超过本发明的权利要求所描述的保护范围，都应当在本发明的保护范围之内。

Claims (9)

1.一种基于共享数据平台的数据处理方法，包括源数据库（10）、目标共享数据库（30）以及它们之间的交换中心处理器（20），其特征在于，其包括如下步骤，

1.1所述数据交换中心处理器（20）对源数据库（10）中的数据进行抽取、清洗并加载到目标共享数据库（30）中，该步骤1.1具体为：

S1数据交换中心处理器（20）连接源数据库（10）；

S2数据交换中心处理器（20）抽取源数据库（10）中的源数据；

S3数据交换中心处理器（20）根据CELTS-34高等学校管理信息标准转换该源数据；

S4数据交换中心处理器（20）将转换后的数据写入目标共享数据库（30）；

1.2所述数据交换中心处理器（20）对目标共享数据库（30）中的数据订阅到源数据库（10），该步骤1.2具体为：

数据交换中心处理器（20）将目标共享数据库（30）中的数据按照使用数据的要求转换成应用***的数据存储格式后加载到源数据库（10）中。

2.根据权利要求1所述的基于共享数据平台的数据处理方法，其特征在于：

所述步骤S2中的数据交换中心处理器（20）对源数据库（10）中的源数据的抽取为全量抽取，即数据交换中心处理器（20）将源数据库（10）里的源数据读取后按照规定格式写入到目标共享数据库（30）中。

3.根据权利要求1所述的基于共享数据平台的数据处理方法，其特征在于：

所述步骤S2中的数据交换中心处理器（20）对源数据库（10）中的源数据的抽取为增量抽取，即数据交换中心处理器（20）获取源数据库（10）里的源数据中发生改变的数据后按照规定格式写入到目标共享数据库（30）中。

4.根据权利要求3所述的基于共享数据平台的数据处理方法，其特征在于：

所述增量抽取采用扫描时间截数据法，具体为：数据交换中心处理器（20）对源数据库（10）中含有更新时间的数据源，通过对比上次更新时间来判断新增的数据，并将该新增的数据读取后按照固定格式写入到目标共享数据库（30）中。

5.根据权利要求3所述的基于共享数据平台的数据处理方法，其特征在于：

所述增量抽取采用触发器和数据的复制法，具体为：数据交换中心处理器（20）在源数据库（10）中数据源的表上建立一触发器，并将发生改变的记录保存到一临时表上，然后再从临时表上定期抽取数据，并将该数据按照固定格式写入到目标共享数据库（30）中。

6.根据权利要求3所述的基于共享数据平台的数据处理方法，其特征在于：

所述增量抽取采用日志对比法，具体为：数据交换中心处理器（20）通过对源数据库（10）的日志文件分析并获取增量数据，再将该数据按照固定格式写入到目标共享数据库（30）中。

7.根据权利要求3所述的基于共享数据平台的数据处理方法，其特征在于：

所述增量抽取采用全表对比法，具体为：数据交换中心处理器（20）通过将源数据库（10）与目标共享数据库（30）的记录逐条对比判断发生变化的数据，再将该数据按照固定格式写入到目标共享数据库（30）中。

8.根据权利要求1所述的基于共享数据平台的数据处理方法，其特征在于：所述数据交换中心处理器（20）对源数据库（10）中的源数据的抽取采用定期自动抽取或手工抽取。

9.根据权利要求1-8任一项所述的基于共享数据平台的数据处理方法，其特征在于：所述目标共享数据库（30）包括，

用于保存统一用户认证登录所需的用户名、密码以及原有应用***中的用户、密码和***名称的用户角色信息集（310）；

用于保存学生学籍信息的学生信息集（320）；

用于保存教职工的职工号、专业、学历、职称以及职务信息的教职工信息集（330）；

用于保存学生选课记录、教师教学任务、课程表信息、学生成绩信息以及调停课信息的教学信息集（340）；

用于保存教师的论文发表信息、项目信息以及获奖信息的科研信息集（350）；

以及用于保存学生学费缴纳信息的财务信息集（360）。

Images