CN102841934B - 一种支撑银行应用的云数据服务体系平台 - Google Patents
一种支撑银行应用的云数据服务体系平台 Download PDFInfo
- Publication number
- CN102841934B CN102841934B CN201210282739.7A CN201210282739A CN102841934B CN 102841934 B CN102841934 B CN 102841934B CN 201210282739 A CN201210282739 A CN 201210282739A CN 102841934 B CN102841934 B CN 102841934B
- Authority
- CN
- China
- Prior art keywords
- data
- service
- services
- request
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种支撑银行应用的云数据服务体系平台，用于在银行开放式平台的银行应用***或银行业务***与银行业务数据库之间实现集中统一的数据服务，其特征在于，包括连接银行各应用***或银行各业务***的应用接口，以及连接统一业务数据库或所有业务数据库的数据接口，所述云数据服务体系平台基于多个数据管理单元或多个数据存储单元，通过云服务的并行计算和处理，提供面向服务架构的服务体系，将数据服务集成为一个统一的云数据服务体系。
Description
技术领域
本发明涉及数据处理技术，特别是一种支撑银行应用的云数据服务体系平台，用于在银行开放式平台的银行应用***或银行业务***与银行业务数据库之间实现集中统一的数据服务。
背景技术
数据服务是银行应用中的关键部分。银行核心应用处理的主要内容都是围绕各类数据展开的，这些数据的种类、形式、组织等内容都依据不同的银行及具体业务要求，有较大的差异。随着应用体系架构的发展，建设独立的面向应用***数据访问特点的数据服务体系，通过其中提供的数据服务实现银行应用***的数据存储及访问需求，是银行应用***整体架构的发展方向。按照银行传统的应用***架构，基于成本、安全等因素的考虑，有相当部分的应用处理基于开放式平台搭建，应用和数据之间的关系如图1所示，即应用根据需要直接使用相关数据。在这样的应用背景下银行应用存在如下的各类困难：1.数据量巨大导致的数据保存及管理困难：伴随着银行业务的飞速发展，银行核心应用***涉及巨大的数据量可以达到数百TB，对数据的保存及管理有较大的难度；2.数据访问量巨大导致满足数据服务性能要求较困难：伴随着银行业务的飞速发展，核心应用***交易量可以达到几亿笔/日，为了保障银行核心应用的正常处理，需要建设高效的数据访问能力，这存在较大的难度；3.成本控制难度较大：银行各应用***数据处理能力处于快速扩展的阶段，由于传统的建设方式中，各应用***都独自完成固定数据对象的数据处理，而不同***所需的扩展程度又各有不同，从成本管理的角度，进行统一的成本控制难度较大。
在本次的云数据服务体系中，将采用面向服务架构的设计思想及方法。面向服务架构（SOA）最早在1994年提出，至今内容已经发生了较大的变化。自从2000年在微软推动下Web Services逐渐为公众所知，面向服务架构也获得了较大的推动力，很多公司和供应商加入了架构的推动（包括IBM\ORACLE\HP\SAP等）。根据IBM2008年所做的调研，全球企业都面临较大的变革，这些变革对企业的敏捷性均提出了很高要求，而面向服务的架构是企业实现敏捷性的关键。调研中50%的被访客户当时正在企业内部署面向服务的架构，27%的客户正在进行试点部署，以业务为中心的面向服务架构的项目实现了翻番，其中银行与保险业在面向服务（SOA）成熟度方面居领先地位。面向服务的架构的具体定义有多种，以下为其中的一种：面向服务的架构是一种范式，它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作***和编程语言。这使得构建在各种这样的***中的服务以一种统一和通用的方式进行交互。
在面向服务的架构中，服务是一组处理功能，这些功能可以是简单的内容，也可以是复杂的，但根本的在于服务专注了针对接口的处理价值。从普遍意义上，面向服务架构对企业直接的价值，可以体现在如下方面：改进的集成方式：可以大量缩减跨应用集成的成本；内部复用；改进的架构：实现一个优化的自动化环境，减少潜在处理开销和维护开销；保护原有***投入：通过面向服务架构整合原有***，降低***建设成本；组织敏捷性：通过设计良好的面向服务架构，降低组织在应对随时间推移不断变化的发展需求中所受的冲击。
发明内容
本发明针对现有技术中存在的缺陷或不足，提供一种支撑银行应用的云数据服务体系平台，用于在银行开放式平台的银行应用***或银行业务***与银行业务数据库之间实现集中统一的数据服务。
本发明技术方案如下：
一种支撑银行应用的云数据服务体系平台，其特征在于，包括连接银行各应用***或银行各业务***的应用接口，以及连接统一业务数据库或所有业务数据库的数据接口，所述云数据服务体系平台基于多个数据管理单元或多个数据存储单元，通过云服务的并行计算和处理，提供面向服务架构的服务体系，将数据服务集成为一个统一的云数据服务体系。
所述云数据服务体系平台支撑银行应用***中对数据集中处理、密集数据处理、海量数据高性能处理、实时数据分发、数据整合、数据管理、数据交换、数据迁移、数据重用、数据分发、数据安全性和/或数据可管理性方面的要求。
所述云数据服务体系平台包括依次连接的以下8个部分：数据请求网关、数据访问请求解析装置、数据基本路由映射装置、数据服务负载计算装置、数据二级路由映射装置、存储服务节点负载计算装置、并行处理控制装置、智能路由控制装置。
所述8个部分的数据处理都有相应的服务集合，各自独立的完成数据处理；针对银行应用***中批量数据服务，在不同的处理环节中针对批量处理请求由不同的处理服务进行处理。
所述数据请求网关为访问提供统一的入口服务，负责接收应用***提交的各种与数据处理相关的请求；数据请求网关也负责按照云数据服务体系的安全要求，通过数据域认证方式对服务请求进行验证，对于非法的服务请求，将拒绝请求。
所述数据访问请求解析装置将数据请求网关验证过的与数据处理相关的请求按照数据种类和访问方式进行解析，获得相应的数据组、服务组和逻辑单元组的信息，这些信息将在后继的其他处理中使用。
所述数据基本路由映射装置根据数据访问请求解析的结果，针对数据组、服务组进行数据基本路由的处理。
所述数据服务负载计算装置包括数据服务负载计算模块、数据服务集负载计算模块、批量数据服务负载计算模块和批量数据服务集负载计算模块，通过负载计算实现动态负载均衡。
所述数据二级路由映射装置在数据基本路由映射的基础上，针对实际的服务节点再次进行数据路由映射。
所述并行处理控制装置将数据处理分解为多个并发处理单元，通过并发处理控制框架及配套的控制服务集完成不同存储节点间和/或同一存储节点内的多数据处理单元并发处理。
所述智能路由控制装置负责数据服务体系最底层的路由控制功能，包括并行处理控制的相关调度和/或控制指令都通过其传递；在智能路由控制中提供对路由通路的自动监控、管理和切换功能，对于自动或手工识别为失效的路由，自动在同一逻辑单元组或物理单元组中实现路由切换。
附图说明
图1是传统应用与数据之间关系示意图。
图2是建立银行应用云数据服务体系平台后应用和数据之间关系示意图。
图3是云数据服务体系平台的总体架构示意图。
图4是数据服务负载计算装置组成示意图。
具体实施方式
本发明提供了一个通用的银行应用云数据服务体系，为相应的银行应用提供透明、高效、可扩展的数据服务（数据服务的表现形式包括专用api或专用开放式处理进程组）。本发明设计的服务体系不同于数据库***架构，关注的是基于多个数据管理单元或数据存储单元，通过云服务的并行计算和处理，提供面向服务架构的服务体系，并通过调整相应的配置、管理或基于平台进行的二次开发最终实现针对不同银行应用***数据特点的统一的数据服务。数据服务的建设以面向服务架构（SOA）的原则和思想为基础，将数据服务集成为一个统一的服务体系，将银行应用对数据的访问透明化，提升数据服务质量、提高数据服务能力、降低数据服务成本。通过云数据服务体系将银行应用和具体的复杂数据物理访问进行解耦，面向不同的甚至是异构的数据单元提供统一的服务体系，解决了软件集成商所面临的银行应用软件产品在面向不同数据特点数据、不同数据量、不同处理量需求时，如何提供统一数据处理及数据处理性能如何灵活适配的问题。同时，解决了对不同数据层的不同类型数据的数据处理功能的兼容性问题，也解决了银行所面临的伴随着业务飞速发展而来的数据保存、访问性能的扩展性问题和对相应成本的控制问题。
本发明支撑银行应用的云数据服务体系平台主要定位于银行应用和银行数据之间，用于支撑银行应用***中对数据集中处理、密集数据处理、海量数据高性能处理、实时数据分发、数据整合、数据管理、数据交换、数据迁移、数据重用、数据分发、数据安全性、数据可管理性等方面的要求。利用云数据服务体系平台，银行应用***和业务数据之间的关系如图2所示，一种支撑银行应用的云数据服务体系平台100，包括连接银行各应用***或银行各业务***（业务***1至业务***N）的应用接口，以及连接统一业务数据库或所有业务数据库的数据接口。
一种支撑银行应用的云数据服务体系平台100，如图3所示，包括依次连接的以下8个部分：数据请求网关101、数据访问请求解析装置102、数据基本路由映射装置103、数据服务负载计算装置104、数据二级路由映射装置105、存储服务节点负载计算装置106、并行处理控制装置107、智能路由控制装置108。所述数据服务负载计算装置104连接监控及失效切换装置109，所述存储服务节点负载计算装置106连接监控及失效切换装置110。所述数据请求网关101设置有应用接口111，所述智能路由控制装置108设置有数据接口112。8个部分的处理都有相应的服务集合，各自独立的完成处理。为了针对银行应用***中批量数据服务提供高效的数据服务，在不同的处理环节中针对批量处理请求由不同的处理服务进行处理。
关于8个部分的描述：1.数据请求网关是整个数据访问服务体系的统一的入口服务，负责接收应用***提交的各种与数据处理相关的请求。数据请求网关也负责按照数据服务体系的安全要求，通过数据域认证方式对服务请求进行验证，对于非法的服务请求，将拒绝请求。数据请求网关服务接收到的请求都需要符合之前统一发布的服务契约。同时，依据通讯监控的相关配置，网关服务可以对于被判定为异常的请求直接拒绝并按照契约返回相关信息，对于超过数据服务处理能力阀值的请求，网关服务也会自动拒绝。2.数据访问请求解析负责将数据请求网关验证过的数据处理请求按照数据种类、访问方式等访问路径相关的关键因素进行解析。经过解析，可以获得数据处理请求相应的数据组、服务组、逻辑单元组等信息，这些信息将在后继的其他处理中使用。解析结果中的数据组、服务组、逻辑单元组等信息是数据服务体系内部使用的不同维度的数据操作属性集合。通过这些操作属性集合，在服务处理体系前面的各处理环节中实现了对具体数据服务请求细节的屏蔽。对于不同的银行应用***的数据处理要求，可以通过增加配置或进行二次开发的方式来适应。3.数据基本路由映射根据数据访问请求解析的结果，针对数据组、服务组等进行数据基本路由的处理。基本路由的处理过程中，处理服务将前述的数据操作属性转换为各类基本路由标识。数据基本路由的处理中，不会涉及具体的数据内容，而是针对经过归纳处理的数据分类、服务分类进行路由处理。4.数据服务负载计算的组成如图4所示，包括数据服务负载计算模块401、数据服务集负载计算模块403、批量数据服务负载计算模块402、批量数据服务集负载计算模块404等部分，负责根据提供数据服务负载功能。在此部分的负载计算中，主要从服务、服务集的角度进行计算。数据服务负载计算是整个数据服务体系得以实现动态负载均衡的主要基础之一。整个数据服务体系可以设置包括过载报警、过载流量自动控制的负载策略，通过采集实时的包括在队列中的服务请求、服务正常处理、服务处理异常等数据，依据设定的数据服务请求权重计算负载因子。依据计算出的负载因子，结合***的负载均衡阀值、负载均衡策略设置，进行具体的数据服务负载均衡。针对银行应用***中批量数据服务请求，由于性能要求及对***资源的使用策略、监控策略都有不同，在负载计算中专门设立的批量数据的服务。5.数据二级路由映射在数据基本路由映射的基础上，依据服务体系中管理的逻辑单元组、物理单元组将数据服务请求再次进行数据路由映射。从整体的服务体系角度，数据二级路由映射主要针对实际的服务节点进行。在路由计算中，针对逻辑服务节点、物理服务节点进行综合计算，以保障逻辑节点、物理节点故障时的自动切换。为了保障不同数据服务对故障切换的及时性要求、对数据完整性精度要求和对方案成本的要求，可以配合以不同的数据复制或数据同步方案。6.存储服务节点负载计算是在数据服务负载计算的基础上，针对相应的存储服务节点进行负载计算。在负载计算中也会通过负载因子、负载均衡阀值、负载均衡策略进行综合计算。7.并行处理控制是整个数据服务体系处理压力较大的部分，完成了对具体数据请求的分析，将数据处理分解为多个可以并发处理的单元，通过并发处理控制框架及配套的控制服务集完成不同存储节点间、同一存储节点内的多数据处理单元并发处理。8.智能路由控制负责数据服务体系最底层的路由控制功能，包括并行处理控制的相关调度、控制指令都会通过其传递。为了适应银行应用***对数据服务高可用性的要求，在智能路由控制中提供对路由通路的自动监控、管理、切换功能，对于自动或手工识别为失效的路由，自动在同一逻辑单元、物理单元中实现路由切换。为了进一步保障底层路由链路的可用性，可以考虑采用独立的网络设备构建完整的备用路由。
在此指明，以上叙述有助于本领域技术人员理解本发明创造，但并非限制本发明创造的保护范围。任何没有脱离本发明创造实质内容的对以上叙述的等同替换、修饰改进和/或删繁从简而进行的实施，均落入本发明创造的保护范围。
Claims (7)
1.一种支撑银行应用的云数据服务体系平台，其特征在于，包括连接银行各应用***或银行各业务***的应用接口，以及连接统一业务数据库或所有业务数据库的数据接口，所述云数据服务体系平台基于多个数据管理单元或多个数据存储单元，通过云服务的并行计算和处理，提供面向服务架构的服务体系，将数据服务集成为一个统一的云数据服务体系；所述云数据服务体系平台支撑银行应用***中对数据集中处理、密集数据处理、海量数据高性能处理、实时数据分发、数据整合、数据管理、数据交换、数据迁移、数据重用、数据分发、数据安全性和/或数据可管理性方面的要求；所述云数据服务体系平台包括依次连接的以下8个部分：数据请求网关、数据访问请求解析装置、数据基本路由映射装置、数据服务负载计算装置、数据二级路由映射装置、存储服务节点负载计算装置、并行处理控制装置、智能路由控制装置；所述8个部分的数据处理都有相应的服务集合，各自独立的完成数据处理；针对银行应用***中批量数据服务，在不同的处理环节中针对批量处理请求由不同的处理服务进行处理。
2.根据权利要求1所述的支撑银行应用的云数据服务体系平台，其特征在于，所述数据请求网关为访问提供统一的入口服务，负责接收应用***提交的各种与数据处理相关的请求；数据请求网关也负责按照云数据服务体系的安全要求，通过数据域认证方式对服务请求进行验证，对于非法的服务请求，将拒绝请求。
3.根据权利要求1所述的支撑银行应用的云数据服务体系平台，其特征在于，所述数据访问请求解析装置将数据请求网关验证过的与数据处理相关的请求按照数据种类和访问方式进行解析，获得相应的数据组、服务组和逻辑单元组的信息，这些信息将在后继的其他处理中使用；所述数据基本路由映射装置根据数据访问请求解析的结果，针对数据组、服务组进行数据基本路由的处理。
4.根据权利要求1所述的支撑银行应用的云数据服务体系平台，其特征在于，所述数据服务负载计算装置包括数据服务负载计算模块、数据服务集负载计算模块、批量数据服务负载计算模块和批量数据服务集负载计算模块，通过负载计算实现动态负载均衡。
5.根据权利要求1所述的支撑银行应用的云数据服务体系平台，其特征在于，所述数据二级路由映射装置在数据基本路由映射的基础上，针对实际的服务节点再次进行数据路由映射。
6.根据权利要求1所述的支撑银行应用的云数据服务体系平台，其特征在于，所述并行处理控制装置将数据处理分解为多个并发处理单元，通过并发处理控制框架及配套的控制服务集完成不同存储节点间和/或同一存储节点内的多数据处理单元并发处理。
7.根据权利要求1所述的支撑银行应用的云数据服务体系平台，其特征在于，所述智能路由控制装置负责数据服务体系最底层的路由控制功能，包括并行处理控制的相关调度和/或控制指令都通过其传递；在智能路由控制中提供对路由通路的自动监控、管理和切换功能，对于自动或手工识别为失效的路由，自动在同一逻辑单元组或物理单元组中实现路由切换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210282739.7A CN102841934B (zh) | 2012-08-09 | 2012-08-09 | 一种支撑银行应用的云数据服务体系平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210282739.7A CN102841934B (zh) | 2012-08-09 | 2012-08-09 | 一种支撑银行应用的云数据服务体系平台 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102841934A CN102841934A (zh) | 2012-12-26 |
| CN102841934B true CN102841934B (zh) | 2015-06-24 |
Family
ID=47369297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210282739.7A Active CN102841934B (zh) | 2012-08-09 | 2012-08-09 | 一种支撑银行应用的云数据服务体系平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102841934B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103024080A (zh) * | 2013-01-04 | 2013-04-03 | 丁卓 | 基于云架构的分布式金融数据传输控制方法及*** |
| CN104199955B (zh) * | 2014-09-15 | 2018-02-16 | 中国银行股份有限公司 | 信息管理***及方法 |
| CN104391738B (zh) * | 2014-10-29 | 2018-12-07 | 中国建设银行股份有限公司 | 一种参数调用和参数管理的方法、装置及相关*** |
| CN106096832A (zh) * | 2016-06-10 | 2016-11-09 | 中山市科全软件技术有限公司 | 一种无人超市的云数据管理方法与*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101110863A (zh) * | 2007-08-16 | 2008-01-23 | 南京联创科技股份有限公司 | 增值业务综合结算分析方法 |
| CN101546325A (zh) * | 2008-12-23 | 2009-09-30 | 重庆邮电大学 | 基于soa的网格异构数据集成方法 |
| CN102033848A (zh) * | 2010-12-21 | 2011-04-27 | 东莞市高鑫机电科技服务有限公司 | 基于soa的三维设计***集成方法及*** |
| CN102148846A (zh) * | 2010-02-09 | 2011-08-10 | 中兴通讯股份有限公司 | 实现接入网关业务接入的方法、设备及*** |
| CN202711251U (zh) * | 2012-08-09 | 2013-01-30 | 北京南天软件有限公司 | 一种支撑银行应用的云数据服务体系平台 |
-
2012
- 2012-08-09 CN CN201210282739.7A patent/CN102841934B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101110863A (zh) * | 2007-08-16 | 2008-01-23 | 南京联创科技股份有限公司 | 增值业务综合结算分析方法 |
| CN101546325A (zh) * | 2008-12-23 | 2009-09-30 | 重庆邮电大学 | 基于soa的网格异构数据集成方法 |
| CN102148846A (zh) * | 2010-02-09 | 2011-08-10 | 中兴通讯股份有限公司 | 实现接入网关业务接入的方法、设备及*** |
| CN102033848A (zh) * | 2010-12-21 | 2011-04-27 | 东莞市高鑫机电科技服务有限公司 | 基于soa的三维设计***集成方法及*** |
| CN202711251U (zh) * | 2012-08-09 | 2013-01-30 | 北京南天软件有限公司 | 一种支撑银行应用的云数据服务体系平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102841934A (zh) | 2012-12-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110134674B (zh) | 一种货币信贷大数据监测分析*** | |
| CN105787089B (zh) | 一种配电网规划基础数据集成方法 | |
| CN102053982B (zh) | 一种数据库信息管理方法和设备 | |
| CN102904889B (zh) | 支持跨平台统一管理的强制访问控制***及方法 | |
| CN107193546A (zh) | 一种微服务化业务应用*** | |
| CN103473636B (zh) | 一种收集、分析和分发网络商业信息的***数据组件 | |
| CN102841934B (zh) | 一种支撑银行应用的云数据服务体系平台 | |
| CN102799962A (zh) | 一种配置型业务流程***及其实现方法 | |
| CN110188132B (zh) | 一种数据交换方法及*** | |
| CN102663008B (zh) | 政府综合业务平台业务库和基础库的构建方法 | |
| CN113515499A (zh) | 一种数据库服务方法及*** | |
| CN105956481A (zh) | 一种数据处理方法及其装置 | |
| CN104780221A (zh) | 中小企业知识产权综合服务平台*** | |
| CN106201498A (zh) | 一种分布式多层soa集成应用*** | |
| CN102110016A (zh) | 数据库集群***中获取数据库连接的方法、装置和*** | |
| CN105872024A (zh) | 容灾设备、***及方法 | |
| CN103473848A (zh) | 一种基于高并发的网络***查验构架及方法 | |
| CN115619162A (zh) | 一种基于云平台和微服务架构的供电服务指挥*** | |
| CN106385330A (zh) | 一种网络功能虚拟化编排器的实现方法及装置 | |
| CN106961440A (zh) | 基于企业级资源运行监控管理平台的方法 | |
| CN102436468A (zh) | 一种基于数据库集群的负载均衡方法及*** | |
| CN107807992A (zh) | 扫码乘公交支付*** | |
| CN202711251U (zh) | 一种支撑银行应用的云数据服务体系平台 | |
| CN204887003U (zh) | 大数据处理平台网络架构 | |
| CN107122362A (zh) | 云数据库资源扩展和服务扩展的方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Dai Min Inventor after: Pang Hongmei Inventor after: Liu Xianmin Inventor after: Chen Lixin Inventor after: Xu Chaohui Inventor after: Wang Hang Inventor after: He Shaoling Inventor after: Liu Huijing Inventor after: Zhou Ya Inventor after: Zhang Di Inventor after: Peng Jinsong Inventor after: Zhang Hanlin Inventor before: Dai Min Inventor before: Pang Hongmei Inventor before: Liu Xianmin Inventor before: Chen Lixin Inventor before: Xu Chaohui Inventor before: Wang Hang Inventor before: He Shaoling Inventor before: Liu Huijing Inventor before: Zhou Ya Inventor before: Zhang Di Inventor before: Peng Jinsong Inventor before: Zhang Hanlin |
|
| COR | Change of bibliographic data |