CN107832463A - 一种金融数据服务平台 - Google Patents

Abstract

本申请提供了一种金融数据服务平台，包括：数据服务模块和应用功能模块。其中，数据服务模块用于从金融***中的源数据文件中获取源数据，为所述源数据分配类型标签，按照所述类型标签存储所述源数据，并记录所述源数据、所述类型标签、以及所述源数据的存储位置的对应关系。应用功能模块用于基于数据服务需求，提供数据服务结果，所述数据服务结果依据存储的所述源数据得到。与现有的数据仓库相比，面向数据而非具体业务，将源数据进行整理以及分类存储，能够得到统一标准的中间层数据，为查询等应用提供数据源。

Description

一种金融数据服务平台

技术领域

本申请涉及电子信息领域，尤其涉及一种金融数据服务平台。

背景技术

纵观业界建设的各类数据服务产品，形式多种多样，但总体思想和目标差别并不大，无非都是冲着统一数据源、制定数据标准、规范数据服务、提高服务效率的目标而努力的。

在大数据背景下，相当多的业界金融业务人员和信息科技人员正在思考和尝试如何利用越来越丰富的业务数据，做好数据服务，发挥数据价值。然后当前金融业后线数据服务存在如下诸多问题：没有全辖统一的数据支持平台、数据标准和数据中间层以及数据服务界面。总之，金融数据缺少统一的、面向数据层面的数据提供服务平台。

发明内容

本申请提供了一种金融数据服务平台，目的在于解决的问题。

为了实现上述目的，本申请提供了以下技术方案：

一种金融数据服务平台，包括：

数据服务模块，用于从金融***中的源数据文件中获取源数据，为所述源数据分配类型标签，按照所述类型标签存储所述源数据，并记录所述源数据、所述类型标签、以及所述源数据的存储位置的对应关系；

应用功能模块，用于基于数据服务需求，提供数据服务结果，所述数据服务结果依据存储的所述源数据得到。

可选的，所述数据服务模块用于为所述源数据分配类型标签包括：

所述数据服务模块具体用于，将所述源数据进行预处理后，为经过所述预处理的源数据分配类型标签，所述预处理包括：对多个所述源数据进行合并、格式转换中的至少一项。

可选的，所述数据服务模块用于从金融***中的源数据文件中获取源数据包括：

所述数据服务模块具体用于，以预设周期，从所述金融***中的所述源数据文件中采集所述源数据，所述预设周期小于所述源数据文件的保存时长；

和/或，

所述数据服务模块具体用于，以增量采集的方式，从所述金融***中的所述源数据文件中采集所述源数据。

可选的，所述数据服务模块还用于：

为扩展数据分配类型标签，并记录所述扩展数据、所述类型标签以及所述扩展数据的存储位置的对应关系，所述扩展数据包括其它数据***中的数据。

可选的，所述应用功能模块还用于：

基于所述扩展数据的数据服务需求，从所述其它数据***获取所述扩展数据的数据服务结果，所述扩展数据的数据分析结果由所述其它数据***依据所述扩展数据得到。

可选的，所述应用功能模块包括：

查询单元，用于依据查询请求以及所述对应关系，从存储的所述源数据中输出查询结果，所述查询请求包括源数据的类型；

数据加工单元，用于依据加工请求，对存储的所述源数据进行加工处理后，输出所述加工处理的结果；

数据支持单元，用于为其它数据分析过程提供所述源数据。

可选的，所述数据服务模块用于按照所述类型标签存储所述源数据包括：

所述数据服务模块具体用于，如果所述类型标签表示所述源数据用于所述查询单元和所述数据加工单元，则将所述源数据存储在第一存储区，如果所述类型标签表示所述源数据用于为所述数据支持单元，则将所述源数据存储在第二存储区。

可选的，所述数据服务模块还用于：

以第一时间周期清除所述第一存储区中的源数据，和/或，在所述第二存储区中的源数据输出到所述其它数据分析过程后，清除所述第二存储区中的源数据。

可选的，所述数据服务模块包括：

标准数据存储区和贴源数据存储区，所述标准数据存储区包括所述第一存储区和所述第二存储区；

所述贴源数据存储区用于存储从所述金融***中的所述源数据文件中获取的源数据。

可选的，还包括：

源数据文件获取模块，用于从所述金融***中获取源数据文件，所述源数据文件包括所述源数据。

可选的，还包括：

***功能管理模块，用于管理元数据，所述元数据包括所述类型标签。

本申请所述的金融数据服务平台，包括：数据服务模块和应用功能模块。其中，数据服务模块用于从金融***中的源数据文件中获取源数据，为所述源数据分配类型标签，按照所述类型标签存储所述源数据，并记录所述源数据、所述类型标签、以及所述源数据的存储位置的对应关系。应用功能模块用于基于数据服务需求，提供数据服务结果，所述数据服务结果依据存储的所述源数据得到。与现有的数据仓库相比，面向数据而非具体业务，将源数据进行整理以及分类存储，能够得到统一标准的中间层数据，为查询等应用提供数据源。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1本申请实施例公开的一种金融数据服务平台的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例公开的一种金融数据服务平台，包括：数据服务模块、应用功能模块、源数据文件获取模块以及***功能管理模块。

下面将对上述各个模块的功能进行详细的说明。

源数据文件获取模块用于从金融***中获取源数据文件。具体的，金融***的核心数据库、海外数据库和其它数据库中存储有大量的数据文件，源数据文件获取模块从这些数据库中获取数据文件作为源数据文件。

源数据文件获取模块获取到源数据文件后，仅对这些源数据文件进行保存，而不做任何其它处理。因此，源数据文件获取模块保存这些源数据文件的时间可以设定在一个月左右，到期后即可清理，为新的源数据文件空出存储空间。到期的源数据文件可以被存储在扩展的存储介质中，例如磁带，以做备份。

如果能结合大数据技术，可使用分布式廉价存储设备存储过期源数据文件，不必再备份到磁带。因为入库后的数据保存期限不易超过两年，如果有超过两年的数据需求，就不必再从磁带恢复，对历史数据的使用更便捷。对于很常用的数据如客户表、账户表、交易表，可考虑重点区别对待，专门设计在线保留更久的时间。

数据服务模块用于从金融***中的源数据文件中获取源数据，为源数据分配类型标签，按照类型标签存储源数据，并记录源数据、所述类型标签、以及所述源数据的存储位置的对应关系。

数据服务模块是金融数据服务平台的关键模块。

具体的，数据服务模块可以使用预设周期，从源数据文件获取模块获取到的源数据文件中采集源数据。预设周期小于源数据文件在源数据文件获取模块中的保存时长。

数据服务模块可以使用增量采集的方式，从源数据文件获取模块获取到的源数据文件中采集源数据。所谓增量采集，是指仅采集更新(新增或修改)的数据，而不采集未更新的数据，目的在于节省资源。当然，也可以使用全量采集(采集全部数据)的方式，以提高源数据的完整性和准确性。

如果采集到具有新的数据结构的源数据，可以新建一张数据存储这类源数据。

数据服务模块中预设了类型标签。在获取源数据后，如果源数据为简单数据(例如一张表格)，则可以直接为源数据分配类型标签。如果源数据为复杂数据(例如关联的多张表格)，则需要新对源数据进行预处理，再为预处理后的源数据分配类型标签。预处理包括：对多个源数据进行合并、格式转换中的至少一项。

预处理的目的在于，将满足生成要求的数据转换为满足应用需求的数据。例如，账户数据在生成时，形成多张表格：姓名表格、账号表格和地址表格。面向数据的应用需求，将账户数据的多张表格合并为一张表格，其中记录姓名、账号和地址。

也就是说，通过建立的统一的类型标准而生成标准数据，并不意味着把所有源数据再做一道加工，而仅对需要进行加工的数据进行预处理，从而节省时间和空间。对比于现实中用于贩卖货物的超市，从源数据文件中获取源数据相当于把货物搬进超市，那么为源数据分类类型标签相当于把货物码上货架、贴上标签，存储对应关系相对于将货物标签和货架位置登记在册。数据服务模块的关键工作在于对数据的总体分析、梳理、分类(总体分析、梳理、分类可以看作预先建立类型标签的过程)和打标、注册工作。

用另一个比喻来说，数据服务模块的功能相当于在裸数据之上用唯一的业务含义勾画出一层、甚至多层逻辑数据地图，这些不同层次的逻辑数据视图，就是看待全辖数据的不同角度，每一层的每一数据节点都对应唯一的裸数据，对于不同层次中但含义一致的业务数据要对应于相同的裸数据。

具体的，数据服务模块包括以下存储区域：贴源数据存储区和标准数据存储区。

其中，贴源数据存储区用于存储从源数据文件中获取的贴源数据。即数据服务模块从源数据文件获取模块获取的源数据文件中获取贴源数据，并将贴源数据存储在贴源数据存储区。

贴源数据是指，来自各类业务***的保持原始结构和特色的业务数据，也就是没有经过处理的裸数据。

标准数据存储区用于存储已分配类型标签的源数据，以及源数据、类型标签和源数据的存储位置的对应关系。

进一步的，标准数据存储区包括应用数据区(第一存储区)和临时数据区(第二存储区)。应用数据区用于存储用于查询和加工(详细功能可参见应用功能模块的说明)的源数据。临时数据区用于存储作为其它数据分析过程的标准化数据的源数据。

可选的，以第一时间周期清除应用数据区中的源数据，和/或，在临时数据区中的源数据输出到其它数据分析过程后，清除第二存储区中的源数据。

在标准数据存储区完成之后，可以通过检索数据注册表轻松提供定位到所需要的数据，这相当于提供了一个统一数据服务界面，可以将数据需求不含糊的、唯一的映射到裸数据上。

应用功能模块用于基于用户输入的数据服务需求，提供依据存储的源数据得到的数据服务结果。

具体的，应用功能模块包括：查询单元、数据加工单元和数据支持单元。

其中，查询单元用于依据用户的查询请求以及数据服务模块存储的对应关系，从存储的源数据中输出查询结果，所述查询请求包括源数据的类型。查询结果直接返回，金融数据服务平台并不存储结果。如果再次需要查询结果，需要重新运行查询单元。

查询功能可以包括对标准数据存储区的源数据的查询，还可以包括数据流图查询、数据关联关系查询和示例数据查询，或提供对单表的有限数据查询。

可选的，可以禁止对全辖数据的复杂关联查询，根据经验，这会严重影响数据平台产品的批量性能，因此必须避免。复杂关联查询可以在现有的应用数据区或外部特定数据集市中提供。

可选的，可以对数据的查询请求进行自动统计，以了解数据的应用价值和做好热点数据的管理。

数据加工单元用于依据加工请求，对存储的所述源数据进行加工处理后(加工逻辑通常比直接查询更复杂)，输出加工处理的结果，并存储在金融数据服务平台(例如可以存储一年)，可以多次重复使用。可见，数据加工单元的功能相当于一个简单的应用***终端。因此，所述加工处理包括应用***终端具有的功能。例如，数据运算处理等功能。

数据支持单元用于为其它数据分析过程提供源数据。为应用终端提供定制的中间数据服务，这些支持数据(相当于经过筛检拼凑的毛坯数据)在提供出去后，经过短暂停留(比如1天)即可删除。

可选的，也可以对数据加工和数据支持进行次数统计。

结合上述数据服务模块的存储区域可以看出，查询单元和数据加工单元可以从应用数据区获取源数据。而数据支持单元可以从临时数据区获取源数据。

***功能管理模块包括任务调度与管理单元、源数据管理单元、作业过程监控单元和数据质量监控单元。

其中，元数据管理单元的作用最为关键。源数据是管理数据可用性和关联关系的纲领，是裸数据之上的管理层数据。具体说就是为源数据分配的类型标签等用于管理源数据的数据，相当于生活超市的货架和商品目录等。元数据包括数据字典、视图数据、流向数据(具有血缘分析和影响分析功能)等保证金融数据服务平台健壮的管理层数据。

任务调度与管理也是一个典型的后线***必不可少的功能，其关键在于合理划分和调度作业，充分利用***资源。

作业过程监控在于对数据的调度过程进行监控。

数据质量监控主要是指对源数据和报送数据之间的质量缺口进行管理，例如对于数据在传送和存储环节产生的乱码数据的管理、对源数据与报送数据要求之间的修正管理，也包括当源***数据结构变化时对源数据及元数据的更新管理。

需要说明的是，每家金融机构都有自己的历史问题和现实状况，原有的数据***不可能完全废除。因此基于实际情况考虑，本申请中提出一个虚拟金融数据服务平台的概念。

将原有的数据***的一些具有特色业务的源数据甚至汇总数据作为金融数据服务平台的编外数据加以注册管理，当在金融数据服务平台本身的数据范围或***性能难以满足某些数据服务需求时，可以将少量任务分包给相应的数据***来担当一部分工作。而在金融数据服务平台标准数据存储区的源数据中，要包括一个全辖、全视角的统一标准视图，而实际的源数据甚至汇总层数据是分布在多个物理的产品中。

基于图1所示的金融数据服务平台，实现虚拟金融数据服务平台的具体技术特征包括：

将其它数据***中的源数据作为扩展数据，为扩展数据分配类型标签，并记录所述扩展数据、类型标签以及扩展数据的存储位置的对应关系，即实现全辖、全视角的统一标准数据视图。在用户输入的服务需求涉及扩展数据的情况下，基于扩展数据的数据服务需求，从其它数据***获取扩展数据的数据服务结果，其中，扩展数据的数据分析结果由其它数据***依据扩展数据得到。

综上所述，图1所示的金融数据服务平台，面向数据而非具体业务，将源数据进行整理以及分类存储，能够得到统一标准的中间层数据，为查询等应用提供数据源。

与现有的数据仓库相比，比数据仓库更突出统一数据服务界面、数据服务机制和***实施策略，比数据仓库建设更灵活、经济、实用、高效。

本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种金融数据服务平台，其特征在于，包括：

数据服务模块，用于从金融***中的源数据文件中获取源数据，为所述源数据分配类型标签，按照所述类型标签存储所述源数据，并记录所述源数据、所述类型标签、以及所述源数据的存储位置的对应关系；

应用功能模块，用于基于数据服务需求，提供数据服务结果，所述数据服务结果依据存储的所述源数据得到。

2.根据权利要求1所述的金融数据服务平台，其特征在于，所述数据服务模块用于为所述源数据分配类型标签包括：

所述数据服务模块具体用于，将所述源数据进行预处理后，为经过所述预处理的源数据分配类型标签，所述预处理包括：对多个所述源数据进行合并、格式转换中的至少一项。

3.根据权利要求1所述的金融数据服务平台，其特征在于，所述数据服务模块用于从金融***中的源数据文件中获取源数据包括：

所述数据服务模块具体用于，以预设周期，从所述金融***中的所述源数据文件中采集所述源数据，所述预设周期小于所述源数据文件的保存时长；

和/或，

所述数据服务模块具体用于，以增量采集的方式，从所述金融***中的所述源数据文件中采集所述源数据。

4.根据权利要求1所述的金融数据服务平台，其特征在于，所述数据服务模块还用于：

为扩展数据分配类型标签，并记录所述扩展数据、所述类型标签以及所述扩展数据的存储位置的对应关系，所述扩展数据包括其它数据***中的数据。

5.根据权利要求4所述的金融数据服务平台，其特征在于，所述应用功能模块还用于：

基于所述扩展数据的数据服务需求，从所述其它数据***获取所述扩展数据的数据服务结果，所述扩展数据的数据分析结果由所述其它数据***依据所述扩展数据得到。

6.根据权利要求1所述的金融数据服务平台，其特征在于，所述应用功能模块包括：

查询单元，用于依据查询请求以及所述对应关系，从存储的所述源数据中输出查询结果，所述查询请求包括源数据的类型；

数据加工单元，用于依据加工请求，对存储的所述源数据进行加工处理后，输出所述加工处理的结果；

数据支持单元，用于为其它数据分析过程提供所述源数据。

7.根据权利要求6所述的金融数据服务平台，其特征在于，所述数据服务模块用于按照所述类型标签存储所述源数据包括：

所述数据服务模块具体用于，如果所述类型标签表示所述源数据用于所述查询单元和所述数据加工单元，则将所述源数据存储在第一存储区，如果所述类型标签表示所述源数据用于为所述数据支持单元，则将所述源数据存储在第二存储区。

8.根据权利要求7所述的金融数据服务平台，其特征在于，所述数据服务模块还用于：

以第一时间周期清除所述第一存储区中的源数据，和/或，在所述第二存储区中的源数据输出到所述其它数据分析过程后，清除所述第二存储区中的源数据。

9.根据权利要求7或8所述的金融数据服务平台，其特征在于，所述数据服务模块包括：

标准数据存储区和贴源数据存储区，所述标准数据存储区包括所述第一存储区和所述第二存储区；

所述贴源数据存储区用于存储从所述金融***中的所述源数据文件中获取的源数据。

10.根据权利要求1所述的金融数据服务平台，其特征在于，还包括：

源数据文件获取模块，用于从所述金融***中获取源数据文件，所述源数据文件包括所述源数据。

11.根据权利要求1所述的金融数据服务平台，其特征在于，还包括：

***功能管理模块，用于管理元数据，所述元数据包括所述类型标签。