CN115150244A - 用于管理外部数据与资金***交互的适配***和方法 - Google Patents

Abstract

本申请公开了一种用于管理外部数据与资金***交互的适配***，该***包括：通讯适配模块，用于获取该外部数据；消息总线模块，用于从该通讯适配模块接收该外部数据；业务处理模块，用于基于消息流程配置和映射规则定义来处理该数据；以及静态数据管理模块，用于存储该消息流程配置和该映射规则定义。本申请还公开了基于上述***来实现的适配方法。

Description

用于管理外部数据与资金***交互的适配***和方法

技术领域

本申请涉及外汇交易领域，并且更为具体地，涉及一种用于管理外部数据与资金***交互的适配***和方法。

背景技术

数据作为国家基础战略性资源和重要生产要素，是推动企业数字化转型的粮仓，具有源源不断的活力。企业需将数据管好，当质量得到保障，数据才能发挥其应有的价值，同时才能成为真正意义上的企业资产。

对于金融机构来说，一般情况下数据分为内部和外部数据，相比较内部数据，外部数据量更大、来源更多、结构更复杂，导致从数据接入到实现价值的整个生命周期困难重重，既有很高的技术门槛，又无法保障质量，企业想达到“知数善用”并不容易。

随着金融服务场景越来越依赖于外部数据，但利用外部数据反哺金融业务前瞻决策的效果并不理想。在传统外部数据的管理下，金融企业面临着数据接入慢、服务价值低、质量评估难等众多问题，实现数据价值的过程越来越举步维艰。

目前，在市场上和资金交易***对接存在多种消息方式，每种消息格式都需要特定的解析方法。诸如，FIX、IMIX、CHIX、WebService、Socket等都需要单独部署程序来解析储存后再和资金***交互。

因此，针对不同的数据来源，需要设计不同的程序来解析不同格式的数据，必然造成各种成本和资源的极大提高。

因此，本领域急需一种能够为外部数据与资金***交互之间进行简单的适配处理的***和方法。

发明内容

以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在标识出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以作为稍后给出的更加详细的描述之序。

为了解决上述问题，根据本申请的方案所采用的***采用实时和事件驱动模式，通过自定义数据传输规范使用MQ(即，MQTT(Message Queuing Telemetry Transport))传输数据到业务处理模块处理，最终定制化接入/输出数据到目标***。其接入时的目标为资金交易***，而输出时的目标为外部或者行内***。

通常来说，现有技术中的用于管理外部数据与资金***交互的适配方法主要包括以下步骤：

首先，创建不同数据源对应的数据处理接口服务；

其次，独立部署各接口服务，以分别处理对应业务数据并落地资金***，以及

最后，在接口服务需要变更的情况下，更改接口程序业务逻辑对应源码，重新打包后部署接口服务。

因此，现有技术中的方法显然是繁琐的，并具有很高的人力和资源成本。

本申请的方案通过数据接口适配工具来适配资金交易***业务流转所需外部数据处理接口，以及交易业务达成后和行内***数据交互接口。例如，在资金交易***业务处理之前，可对外部***数据(例如但不限于，Wind(万得)、Reuters、Bloomberg)以及交易中心数据(例如但不限于，上下行交易、行情数据等数据)进行适配并录入资金交易***。在资金交易***业务处理完成后，对需要下发到行内其他***进行数据交互的接口也能通过适配工具进行交互。

因此，通过使用根据本申请的适配***和方法，能够整体简化资金交易***端的数据接口开发工作，从而能够节省大量的人力成本和***资源。

具体地，在本申请的第一方面，提供了一种用于管理外部数据与资金***交互的适配***，该***包括：

通讯适配模块，用于获取该外部数据；

消息总线模块，用于从该通讯适配模块接收该外部数据；

业务处理模块，用于基于消息流程配置和映射规则定义来处理该数据；以及

静态数据管理模块，用于存储该消息流程配置和该映射规则定义。

根据本申请的第二方面，提供了一种用于管理外部数据与资金***交互的适配方法，该方法包括：

通讯适配模块获取该外部数据；

将该外部数据转发给消息总线模块；

将该外部数据转发给业务处理模块；

业务处理模块基于消息流程配置和映射规则定义来处理该外部数据；

将经处理数据输出至交易***，

其中该消息流程配置和该映射规则定义存储在静态数据管理模块中。

为能达成前述及相关目的，这一个或多个方面包括在下文中充分描述并在所附权利要求中特别指出的特征。以下描述和附图详细阐述了这一个或多个方面的某些解说性特征。但是，这些特征仅仅是指示了可采用各种方面的原理的各种方式中的若干种，并且本描述旨在涵盖所有此类方面及其等效方案。

附图说明

为了能详细理解本申请的以上陈述的特征所用的方式，可参照各方面来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应该注意，附图仅解说了本申请的某些典型方面，故不应被认为限定其范围，因为本描述可允许有其他等同有效的方面。

在附图中：

图1是解说根据现有技术的用于管理外部数据与资金***交互的适配方法所适用的***10的结构框图；

图2是解说根据本申请的用于管理外部数据与资金***交互的适配方法所适用的***20的结构框图；以及

图3是解说根据本申请的用于管理外部数据与资金***交互的适配方法30的流程图。

具体实施方式

以下结合附图阐述的详细描述旨在作为各种配置的描述，而无意表示可实践本文所描述的概念的仅有配置。本详细描述包括具体细节以提供对各种概念的透彻理解。然而，对于本领域技术人员将显而易见的是，没有这些具体细节也可实践这些概念。在某些实例中，以框图形式示出众所周知的组件以便避免淡化此类概念。

应当理解，基于本公开，其他实施例将是显而易见的，并且可以在不脱离本公开的范围的情况下做出***、结构、过程或机械改变。参照图1到图3，参照可执行本文所描述的动作或功能的一个或多个组件以及一种或多种方法描绘了诸方面。在一方面，本文使用的术语“组件”/“模块”可以是构成***的诸部分之一，可以是硬件或软件或其某种组合，并且可以被划分成其他组件。尽管以下在图3中所描述的操作以特定次序呈现和/或如由示例组件执行，但应理解这些动作的次序以及执行动作的组件可取决于实现而变化。此外，应当理解，以下动作或功能可由专门编程的处理器、执行专门编程的软件或计算机可读介质的处理器、或由能够执行所描述的动作或功能的硬件组件和/或软件组件的任何其他组合来执行。

图1解说现有技术中的方案所适用的***10的结构框图。

如图1中所示，各个数据源(例如，万得、中债、支付***、数据仓库等等)的处理都需要单独部署数据接口服务(TXT、IMIX、WebService、Socket等)来处理，它们并没有统一的归口。

显然，这种数据接口的处理业务能力固定。如果需要在数据接口中开展新业务，就需要新做开发以及部署，可扩展性相对来说非常低，开发成本也很大。

并且，在运维管理方面，并没有统一的接口服务状态监控，因此不能及时监控业务是否中断。在源***增多的情况下，需要投入大量的运维成本。

图2中解说了根据本申请的用于管理外部数据与资金***交互的适配方法所适用的***20的结构框图。

如图2中所示，在通讯适配模块部署了与数据源***对应的数据接口，该接口无需进行业务处理，只需配置好相对应的链接，以确保数据接口和前项***之间的联通。

当通讯适配模块实时或者批量接收到数据后，通过约定好的数据标识组装成MQ消息并将数据发送到业务处理模块进行统一处理。

当业务处理模块收到MQ消息后，统一解析后调用对应的Mapping(映射)对业务数据进行***内落地。

在通讯适配模块中如果需要接入新的数据文件(在以上已部署的源***范围内)，业务处理模块只需要在通讯适配模块管理相应的数据源中维护新的配置项，并维护业务映射规则。通讯适配模块管理页面重启对应的接口服务后既可完成新业务数据的落地。因此，与现有技术中方案相比，极大地节省了人力和资源成本。

并且，在运维管理方面，可以设置统一的接口服务状态监控，因此能够及时监控业务是否中断。即使在源***增多的情况下，也无需投入大量的运维成本。该***采用实时(Real-Time)的事件驱动(Event-Driver)来操作。

以下，进一步结合附图2来描述该***的主要组件的详细功能。

通讯适配模块201

通讯适配模块，用于统一管理每个数据源***部署的数据接口程序并向外部数据源(行内/外部***)提供相应的通讯适配。

下行：作为消息发布者，接受到行内/外部***的报文后，按照预定义消息格式发送至消息总线。

上行：作为消息订阅者，从消息总线接收到消息后，发送到行内/外部***。具体操作如下。

a)在数据接口实时或者批量轮询到数据时，数据接口对数据项进行标识，再通过ActiveMQ向Consume(消费者)发送消息。该模块只负责消息收发，不参与业务操作。

以获取万得即期报价为例，在FX_Client接口启动后，读取配置管理中每个接口配置的业务数据项，到指定目标去轮询数据是否到达，如到达则生产消息发送到业务处理模块进行处理。

消息格式定义以及数据说明：

数据源(MQ_SOURCE):FIX_WD(通过FIX数据接口传输的万得数据)

消息主键(MQ_ID)：FIX_WD_YYYYMMDDHHMISS

消息数据类型(MQ_TYPE):TXT(枚举值可为XML,IMIX,JSON等)

消息业务类型(MQ_PRODUCT):FXSPOT(具体业务类型)

消息体(MQ_BODY):具体的消息内容

发送时间(SEND_TIME):YYYYMMDDHHMISS

b)在等待业务处理模块处理完成后，接收消息处理状态。若处理成功，则更新数据项任务状态，继续轮序其他数据项，直到该源数据的所有业务数据项都完成。

消息总线(Message Queue)模块202

消息总线的主要功能如下。

a)使用MQ Monitor(监控程序)WEB Controller来集中监控消息的处理状态。包括但不限于，监控接口状态(包括接口启停)、以及MQ消息队列监控等。

b)当MQ接收到中转消息(上行/下行)后，转发至相应的消息订阅者。

业务处理模块203

业务处理模块主要集成了消息处理模块2031和数据映射模块2032。其主要对所有的消息进行统一处理，包含：解析、转换、汇总、输出等。通过消息流程配置和映射规定义来实现从消息状态到业务数据落地的完整处理链路。具体流程步骤如下。

在接收到消息总线推送的消息后，通过数据源(MQ_SOURCE)、和预先配置好的消息流程进行匹配①，找到需要处理的目标业务类型。

匹配完成后在报文映射模块通过消息体中的消息类型(MQ_TYPE)、消息业务类型(MQ_PRODUCT)字段匹配映射规则②，对接收到的MQ消息与映射规则进行匹配，最终处理成对应的业务数据，并将其输出到资金交易***。

静态数据管理模块204

该模块主要负责管理、维护通讯适配模块中各个数据源接口(适配程序的管理)，并存储预先确定的消息流程配置和映射规则的定义。其主要功能如下。

a)可配置维护连接IP、端口，以实现对源数据接口的配置(以及更换链接)和维护(适配程序的启动/停止、版本的统一管理等)。

b)可维护与数据源对应的数据项，监控和总览数据源***数据项，例如供业务处理模块处理数据所需的消息流程配置、映射规则定义等等。该模块能够灵活配置维护数据项，从而能够体现整个***的可扩展性。

其中，

①消息流程配置定义：

流程编号(TASK_ID)：流程唯一编号

流程来源(MQ_SOURCE)：前项过来的消息来源***，对应前面“FIX_WD”

业务类型(MQ_PRODUCT)：前项过来的消息来源***，对应前面“FXSPOT”

流程业务目标大类(MQ_TARGET)：定义数据源(FIX_WD)和业务类别(FXSPOT)后续对应的映射规则。定义的数据格式：数据源***_业务类别(FIX_WD_FXSPOT)

②报文映射规则定义：用于定义数据存储目标对应的数据模型和映射规则。

映射编号(MPP_ID)：映射规则的唯一标识

业务类别(MPP_PRODUCT)：对应流程配置目标大类(FIX_WD_FXSPOT)

业务主题(MPP_THEME)：对处理的业务数据进行主体分类，如：交易类、报价类。

消息数据类型(MPP_TYPE)：根据源***数据类型定义不同数据类型，后台根据映射的不同数据类型走不同的数据处理方法(枚举值可为XML,IMIX,JSON等)

业务表名：业务数据落地的表名

业务字段1：定义对应的业务类别具体字段，后台根据消息内容映射到具体的业务字段

业务字段2：

业务字段……。

图3中解说了根据本申请的实施例的用于管理外部数据与资金***交互的适配方法30的流程图。

如图3中所示，该方法主要包括以下步骤。

在步骤301处，获取来自外部数据源的数据。在开启通讯适配模块后，可通过实时或者定时扫描的方式获取外部数据源(例如，万得)推送的文件目录以获取外部数据。通讯适配模块能够根据其定义的业务范围查找是否到达，如未达到则继续扫描直到获取到外部数据为止。

在步骤302处，将该数据以固定格式发送给消息总线模块。如上所述，消息总线模块主要负责监控消息转发和重发。

在步骤303处，消息总线模块将数据转发给业务处理模块。

在步骤304处，业务处理模块基于消息流程配置和映射规则定义来处理该数据。

其中，业务处理模块中的消息处理模块基于消息流程配置找到对应的消息处理流程，而业务处理模块中的数据映射模块基于映射规则定义来处理数据文件。其中，消息流程配置和映射规则定义是预先确定的，并存储在静态数据管理模块中，如上所述。

在步骤305处，在处理完成数据处理后，业务处理模块将经处理的数据转发给交易***，同时生成响应消息。

在步骤306处，将响应消息经由消息总线返回到给通讯适配模块以完成数据轮询操作。

整个操作流程结束。

该方法在通讯适配模块中集成了现在市面上常见的报文格式，并将其统一转发给MQ消息总线。通过业务处理模块处理，形成相应资金***特定的模型，例如，各类交易模型、行情数据模型、账务模型等。此时资金交易***只需接收特定数据的MQ消息数据进行数据存储或者交互即可。

在业务数据发生变更的情况下，通讯适配模块中对应的服务将停止，并在其中增加新的业务数据。相应的，消息流程配置中将增加与新业务对应的消息流程，映射规则定义中增加与新业务对应的映射规则，并将其存储在静态数据管理模块中。

因此，如上所述，采用根据本申请的用于管理外部数据与资金***交互的适配方法，能够整体简化资金交易***端的数据接口开发工作，从而能够节省大量的人力成本和***资源。

本申请提供了数据交互适配工具进行报文的业务处理，例如，提取报文的关键业务字段，定制化格式输出，业务逻辑深加工(如访问资金交易的数据)等处理。本申请还提供了管理界面，可监控业务消息的处理过程，方便跟踪和问题定位，异常情况下亦提供重发功能。针对业务范围的变更，本申请也能够通过简单的操作就能实现。

根据本公开的各方面、要素、或要素的任何部分、或者要素的任何组合可用包括一个或多个处理器的“处理***”来实现。处理器的示例包括：微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门控逻辑、分立的硬件电路以及其他配置成执行本公开中通篇描述的各种功能性的合适硬件。处理***中的一个或多个处理器可以执行软件。软件应当被宽泛地解释成意为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行件、执行的线程、规程、函数等，无论其是用软件、固件、中间件、微代码、硬件描述语言、还是其他术语来述及皆是如此。软件可驻留在计算机可读介质上。该计算机可读介质可以是非瞬态计算机可读介质。作为示例，非瞬态计算机可读介质包括：磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，紧致盘(CD)、数字多用盘(DVD))、智能卡、闪存设备(例如，记忆卡、记忆棒、钥匙驱动器)、随机存取存储器(RAM)、只读存储器(ROM)、可编程ROM(PROM)、可擦式PROM(EPROM)、电可擦式PROM(EEPROM)、寄存器、可移动盘、以及任何其他用于存储可由计算机访问与读取的软件与/或指令的合适介质。作为示例，计算机可读介质还可包括载波、传输线、以及任何其他用于传送可由计算机访问和读取的软件和/或指令的合适介质。计算机可读介质可以驻留在处理***中、在处理***外部、或跨包括该处理***的多个实体分布。计算机可读介质可以在计算机程序产品中实施。作为示例，计算机程序产品可包括封装材料中的计算机可读介质。本领域技术人员将认识到如何取决于具体应用和加诸于整体***上的总体设计约束来最佳地实现本公开中通篇给出的所描述的功能性。

应该理解，所公开的方法中各步骤的具体次序或阶层是示例性过程的解说。基于设计偏好，应该理解，可以重新编排本文描述的方法或方法体系中各步骤的具体次序或阶层。所附方法权利要求以样本次序呈现各种步骤的要素，且并不意味着被限定于所呈现的具体次序或阶层，除非在本文中有特别叙述。

提供先前描述是为了使本领域任何技术人员均能够实践本文中所述的各种方面。对这些方面的各种改动将容易为本领域技术人员所明白，并且在本文中所定义的普适原理可被应用于其他方面。因此，权利要求并非旨在被限定于本文中所示出的各方面，而是应被授予与权利要求的语言相一致的全部范围，其中对要素的单数形式的引述并非旨在表示“有且仅有一个”(除非特别如此声明)而是“一个或多个”。除非特别另外声明，否则术语“一些”指的是一个或多个。引述一列项目中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一者”旨在涵盖：至少一个a；至少一个b；至少一个c；至少一个a和至少一个b；至少一个a和至少一个c；至少一个b和至少一个c；以及至少一个a、至少一个b和至少一个c。本公开通篇描述的各种方面的要素为本领域普通技术人员当前或今后所知的所有结构上和功能上的等效方案通过引述被明确纳入于此，且旨在被权利要求所涵盖。此外，本文中所公开的任何内容都并非旨在贡献给公众，无论这样的公开是否在权利要求书中被显式地叙述。

Claims (10)

1.一种用于管理外部数据与资金***交互的适配***，所述***包括：

通讯适配模块，用于获取所述外部数据；

消息总线模块，用于从所述通讯适配模块接收所述外部数据；

业务处理模块，用于基于消息流程配置和映射规则定义来处理所述外部数据；以及

静态数据管理模块，用于存储所述消息流程配置和所述映射规则定义。

2.如权利要求1所述的适配***，其特征在于，

所述通讯适配模块还用于管理与所述外部数据匹配的数据接口并将所述外部数据以预定数据标识组装成MQ消息以便转发给所述消息总线模块，以及

所述消息总线模块还用于监控所述数据接口的状态和监控所述MQ消息的队列。

3.如权利要求1所述的适配***，其特征在于，所述业务处理模块进一步包括：

消息处理模块，用于基于所述消息流程配置来获取消息处理流程；以及

数据映射模块，用于基于映射规则定义来处理所述外部数据以输出至资金交易***。

4.如权利要求1所述的适配***，其特征在于，所述业务处理模块还用于：

生成响应消息并将所述响应消息经由所述消息总线模块返回给所述通讯适配模块。

5.如权利要求1所述的适配***，其特征在于，当业务数据发生变更时：

所述通讯适配模块停止当前数据服务，并增加新的业务数据；

所述消息流程配置中将增加与新业务对应的消息流程，所述映射规则定义中增加与所述新业务对应的映射规则，并将其存储在静态数据管理模块中。

6.一种使用如权利要求1到5中任一项所述的适配***实现的用于管理外部数据与资金***交互的适配方法，所述方法包括：

通讯适配模块获取所述外部数据；

将所述外部数据转发给消息总线模块；

将所述外部数据转发给业务处理模块；

业务处理模块基于消息流程配置和映射规则定义来处理所述外部数据；

将经处理数据输出至交易***，

其中所述消息流程配置和所述映射规则定义存储在静态数据管理模块中。

7.如权利要求6所述的适配方法，其特征在于，所述方法进一步包括：

管理与所述外部数据匹配的数据接口，并将所述外部数据以预定数据标识组装成MQ消息以便转发给所述消息总线模块；以及

监控所述数据接口的状态和监控所述MQ消息的队列。

8.如权利要求6所述的适配方法，其特征在于，基于所述消息流程配置和所述映射规则定义来处理所述外部数据进一步包括：

消息处理模块基于所述消息流程配置来获取消息处理流程；以及

数据映射模块基于映射规则定义来处理所述外部数据以输出至资金交易***。

9.如权利要求6所述的适配方法，其特征在于，所述方法进一步包括：

所述业务处理模块生成响应消息并将所述响应消息经由所述消息总线模块返回给所述通讯适配模块。

10.如权利要求6所述的适配方法，其特征在于，当业务数据发生变更时：

停止当前数据服务，并增加新的业务数据；

在所述消息流程配置中增加与新业务对应的消息流程，在所述映射规则定义中增加与所述新业务对应的映射规则，并将其存储在所述静态数据管理模块中。

Images