CN113435989A - 金融数据处理方法及装置 - Google Patents
金融数据处理方法及装置 Download PDFInfo
- Publication number
- CN113435989A CN113435989A CN202110714066.7A CN202110714066A CN113435989A CN 113435989 A CN113435989 A CN 113435989A CN 202110714066 A CN202110714066 A CN 202110714066A CN 113435989 A CN113435989 A CN 113435989A
- Authority
- CN
- China
- Prior art keywords
- data
- real
- target
- time
- financial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 316
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000005111 flow chemistry technique Methods 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 abstract description 35
- 238000007500 overflow downdraw method Methods 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 116
- 238000004364 calculation method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 26
- 230000006870 function Effects 0.000 description 16
- 230000007547 defect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000011161 development Methods 0.000 description 11
- 230000006399 behavior Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 238000012423 maintenance Methods 0.000 description 8
- 230000004888 barrier function Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 239000000872 buffer Substances 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000010923 batch production Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Accounting & Taxation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Finance (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
Abstract
本申请实施例提供一种金融数据处理方法及装置，可用于大数据技术领域，方法包括：基于预设的规则引擎判断当前金融业务请求对应的目标实时事件是否涉及非实时数据，若是，则调取该目标实时事件的业务参数对应的目标历史交易数据，并将该目标历史交易数据存储至批处理***中的REDIS集群；应用流处理***获取目标实时事件对应的目标实时数据，并自REDIS集群中获取业务参数对应的目标历史交易数据；对目标实时数据和目标历史交易数据进行数据关联，并基于关联后的目标实时数据和目标历史交易数据得到目标实时事件对应的处理结果数据。本申请能够有效实现金融数据处理大架构下的批处理***和流处理***之间的批流融合。
Description
技术领域
本申请涉及数据处理技术领域，特别涉及大数据技术领域，具体涉及金融数据处理方法及装置。
背景技术
商业银行通常采用流式数据处理框架进行实时联机交易数据处理。流式数据框架目前由批处理和流处理两套框架组成且独立使用。批处理主要使用SPARK框架处理非实时数据作业，流处理使用FLINK处理时效性较高的准实时数据作业。
目前，由于批处理和流处理这两个框架彼此独立，在开发和运营过程中需要维护两套不同的集群环境，且不同框架开发规范不同，接收的数据类型不同，数据清洗和转换的效率低。同时，现有独立运行的框架之间由于无法及时获取彼此的数据而导致的无法满足存在有批流融合需求的情景，如流处理进行实时数据分析时如需参考之前非实时的数据、批处理进行非准实时数据分析时需要加入实时数据等。
也就是说，现有的金融数据处理方式存在金融数据处理效率低、可靠性差且无法满足存在有批流融合需求的情景等问题。
发明内容
针对现有技术中的问题，本申请提供一种金融数据处理方法及装置，能够有效实现金融数据处理大架构下的批处理***和流处理***之间的批流融合，进而能够有效提高存在批流融合需求的金融数据处理过程的处理效率及可靠性，有效满足存在有批流融合需求的金融业务处理情景。
为解决上述技术问题，本申请提供以下技术方案：
第一方面，本申请提供一种金融数据处理方法，包括：
基于预设的规则引擎判断当前金融业务请求对应的目标实时事件是否涉及非实时数据，若是，则调取该目标实时事件的业务参数对应的目标历史交易数据，并将该目标历史交易数据存储至批处理***中的REDIS集群；
应用流处理***获取所述目标实时事件对应的目标实时数据，并自所述REDIS集群中获取所述业务参数对应的目标历史交易数据；
对所述目标实时数据和所述目标历史交易数据进行数据关联，并基于关联后的目标实时数据和目标历史交易数据得到所述目标实时事件对应的处理结果数据。
进一步地，在所述基于预设的规则引擎判断当前金融业务请求对应的目标实时事件是否涉及非实时数据之前，还包括：
接收金融业务请求；
根据预设的交易代码配置规则确定所述金融业务请求对应的交易代码的目标处理类型；
若所述目标处理类型为预设的第一类或第二类，则将所述金融业务请求对应的待处理事件确认为目标实时事件，其中，所述第一类为实时处理类型，所述第二类为实时处理类型与非实时处理类型的组合。
进一步地，还包括：
若所述目标处理类型为预设的第三类，则将所述金融业务请求对应的待处理事件确认为目标非实时事件，其中，所述第三类为非实时处理类型；
将所述目标非实时事件的业务参数发送至批处理***，以使该批处理***在预设的处理时间范围内调取所述目标非实时事件的业务参数对应的数据，并得到所述目标非实时事件对应的处理结果数据。
进一步地，还包括：
若经判断获知当前金融业务请求对应的目标实时事件不涉及非实时数据，则将所述目标实时事件的业务参数发送至流处理***，以使该流处理***实时调取所述目标实时事件的业务参数对应的数据，并得到所述目标实时事件对应的处理结果数据。
进一步地，所述调取该目标实时事件的业务参数对应的目标历史交易数据，并将该目标历史交易数据存储至批处理***中的REDIS集群，包括：
将所述目标实时事件的业务参数发送至预设的批处理数据湖内；
根据所述批处理数据湖内的业务参数自预设的分布式文件***中调取对应的目标历史交易数据；
将所述目标历史交易数据以键值对的形式存储至批处理***中的REDIS集群中。
进一步地，在将所述目标实时事件的业务参数发送至预设的批处理数据湖内之前，还包括：
将所述金融业务请求分别发送至流处理***对应的实时规则引擎和批处理***对应的非实时批量规则引擎；
相对应的，所述对所述目标实时数据和所述目标历史交易数据进行数据关联，包括：
根据所述非实时批量规则引擎对应的规则和所述实时规则引擎对应的规则，将所非述实时批量规则引擎对应的目标历史交易数据和所述实时规则引擎对应的目标实时数据进行数据关联。
进一步地，所述应用流处理***获取所述目标实时事件对应的目标实时数据，包括：
应用预设的KAFKA分布式发布订阅***将所述目标实时事件对应的目标实时数据写入所述流处理***中。
第二方面，本申请提供一种金融数据处理装置，包括：
数据判断模块，用于基于预设的规则引擎判断当前金融业务请求对应的目标实时事件是否涉及非实时数据，若是，则调取该目标实时事件的业务参数对应的目标历史交易数据，并将该目标历史交易数据存储至批处理***中的REDIS集群；
数据获取模块，用于应用流处理***获取所述目标实时事件对应的目标实时数据，并自所述REDIS集群中获取所述业务参数对应的目标历史交易数据；
数据关联模块，用于对所述目标实时数据和所述目标历史交易数据进行数据关联，并基于关联后的目标实时数据和目标历史交易数据得到所述目标实时事件对应的处理结果数据。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的金融数据处理方法。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的金融数据处理方法。
由上述技术方案可知，本申请提供的一种金融数据处理方法及装置，方法包括：基于预设的规则引擎判断当前金融业务请求对应的目标实时事件是否涉及非实时数据，若是，则调取该目标实时事件的业务参数对应的目标历史交易数据，并将该目标历史交易数据存储至批处理***中的REDIS集群；应用流处理***获取所述目标实时事件对应的目标实时数据，并自所述REDIS集群中获取所述业务参数对应的目标历史交易数据；对所述目标实时数据和所述目标历史交易数据进行数据关联，并基于关联后的目标实时数据和目标历史交易数据得到所述目标实时事件对应的处理结果数据，通过将目标历史交易数据存储至批处理***中的REDIS集群，应用流处理***自所述REDIS集群中获取所述业务参数对应的目标历史交易数据并对所述目标实时数据和所述目标历史交易数据进行数据关联，能够有效实现金融数据处理大架构下的批处理***和流处理***之间的批流融合，进而能够有效提高存在批流融合需求的金融业务请求的处理效率及智能化程度，并能够有效提高金融数据处理过程的可靠性及有效性，有效满足存在有批流融合需求的金融业务处理情景；同时，通过采用REDIS集群，能够在不改变批处理***和流处理***各自的架构模式的基础上，有效实现批处理***和流处理***之间的结合，克服了现有技术中批处理和流处理需使用两套框架的不足，同时弥补了部分业务需关联历史数据和实时数据的金融业务请求处理上的不足，打破了传统的批量和实时数据两套框架的壁垒，节省资源的同时也节省了开发和维护的成本，同时相比之前只有实时数据的计算，加入历史数据的考虑，可以更多维度地对金融业务请求进行分析计算，给金融客户以更好的体验，并能够给金融机构或商家等提供更直观全面的客户行为。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中的金融数据处理装置与客户端设备之间的交互示意图。
图2是本申请实施例中的金融数据处理方法的第一种流程示意图。
图3是本申请实施例中的金融数据处理方法的第二种流程示意图。
图4是本申请实施例中的金融数据处理方法的第三种流程示意图。
图5是本申请实施例中的金融数据处理方法的第四种流程示意图。
图6是本申请实施例中的金融数据处理方法的第五种流程示意图。
图7是本申请实施例中的金融数据处理方法的第六种流程示意图。
图8是本申请实施例中的金融数据处理方法的第七种流程示意图。
图9是本申请实施例中的金融数据处理装置的结构示意图。
图10是本申请应用实例的金融数据处理方法的逻辑功能示意图。
图11是本申请实施例中的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请公开的金融数据处理方法和装置可用于大数据技术领域，也可用于除大数据技术领域之外的任意领域，本申请公开的金融数据处理方法和装置的应用领域不做限定。
由于批处理和流处理这两个框架彼此独立，在开发和运营过程中需要维护两套不同的集群环境，维护成本高，且不同框架开发规范不同，接收的数据类型不同，数据清洗和转换成本较高。同时，现有独立运行的框架之间由于无法及时获取彼此的数据而导致的无法满足存在有批流融合需求的情景，如流处理进行实时数据分析时如需参考之前非实时的数据、批处理进行非准实时数据分析时需要加入实时数据等。也就是说，现有的金融数据处理方式存在金融数据处理效率低、可靠性差且无法满足存在有批流融合需求的情景等问题。基于此，本申请实施例提供一种金融数据处理方法，基于预设的规则引擎判断当前金融业务请求对应的目标实时事件是否涉及非实时数据，若是，则调取该目标实时事件的业务参数对应的目标历史交易数据，并将该目标历史交易数据存储至批处理***中的REDIS集群；应用流处理***获取所述目标实时事件对应的目标实时数据，并自所述REDIS集群中获取所述业务参数对应的目标历史交易数据；对所述目标实时数据和所述目标历史交易数据进行数据关联，并基于关联后的目标实时数据和目标历史交易数据得到所述目标实时事件对应的处理结果数据，通过将目标历史交易数据存储至批处理***中的REDIS集群，应用流处理***自所述REDIS集群中获取所述业务参数对应的目标历史交易数据并对所述目标实时数据和所述目标历史交易数据进行数据关联，能够有效实现金融数据处理大架构下的批处理***和流处理***之间的批流融合，进而能够有效提高存在批流融合需求的金融业务请求的处理效率及智能化程度，并能够有效提高金融数据处理过程的可靠性及有效性，有效满足存在有批流融合需求的金融业务处理情景；同时，通过采用REDIS集群，能够在不改变批处理***和流处理***各自的架构模式的基础上，有效实现批处理***和流处理***之间的结合，克服了现有技术中批处理和流处理需使用两套框架的不足，同时弥补了部分业务需关联历史数据和实时数据的金融业务请求处理上的不足，打破了传统的批量和实时数据两套框架的壁垒，节省资源的同时也节省了开发和维护的成本，同时相比之前只有实时数据的计算，加入历史数据的考虑，可以更多维度地对金融业务请求进行分析计算，给金融客户以更好的体验，并能够给金融机构或商家等提供更直观全面的客户行为。
基于上述内容，本申请还提供一种用于实现本申请一个或多个实施例中提供的金融数据处理方法的金融数据处理装置，参见图1，该金融数据处理装置可以与客户端设备之间进行通信连接，所述金融数据处理装置可以接收客户端设备发送的金融业务请求，而后金融数据处理装置调用金融机构中预设的批处理***、流处理***、分布式文件***等等中进行针对金融业务请求的金融数据处理过程，并在得到金融业务请求的处理结果数据之后，将该处理结果数据发送至金融机构的客户端设备进行存储或显示等等。
在一种实际应用情形中，所述金融数据处理装置可以采用服务器实现；所述服务器可以与至少一个客户端设备之间通信连接。
可以理解的是，所述客户端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。
在另一种实际应用情形中，前述的金融数据处理装置进行金融数据处理的部分可以在如上述内容的服务器中执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器，用于金融数据处理的具体处理。
在第三种实际应用情形中，前述的金融数据处理装置还可以为金融机构的流平台或流处理***等架构中的一个功能模块等等。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
上述服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。
在本申请的一个或多个实施例中，非实时事件是指无需流处理***实时处理的事件，其可以包含有准实时事件，准实时事件的处理时间规则预先基于批处理***进行人为设置，例如每10分钟或每24小时进行一次批处理等等，具体可以根据实际应用情形设置。
具体通过下述各个实施例及应用实例分别进行详细说明。
为了解决现有的金融数据处理方式存在由于批处理和流处理这两个框架彼此独立而导致的金融数据处理效率低、可靠性差且无法满足存在有批流融合需求的情景等问题，本申请提供一种金融数据处理方法的实施例，适用于流平台大数据采用流式数据处理框架实时处理联机交易数据和非实时批量数据的批处理场景，如商业银行实时发送动帐余额短信提醒、黑名单交易实时拦截等多种交易场景。参见图2，应用金融数据处理装置执行的所述金融数据处理方法具体包含有如下内容：
步骤110：基于预设的规则引擎判断当前金融业务请求对应的目标实时事件是否涉及非实时数据，若是，则执行步骤120。
步骤120：调取该目标实时事件的业务参数对应的目标历史交易数据，并将该目标历史交易数据存储至批处理***中的REDIS集群。
在步骤110和步骤120中，可以引入Drools规则引擎(开放源码规则引擎)作为所述的规则引擎，以针对目标实时事件对应的交易代码进行引擎规则路由。一笔银行交易数据进到流平台，首先由Drools引擎根据银行交易数据中携带的交易代码判断是否需要读取历史交易数据，若不需要读取历史数据，仅做实时计算，则直接应用流处理***获取所述目标实时事件对应的目标实时数据，并根据该目标实时数据得到所述目标实时事件对应的处理结果数据。若Drolls引擎判断读取实时数据的基础上还需要读取历史数据，则该笔数据同时被路由到实时规则引擎和非实时批量规则引擎。
步骤200：应用流处理***获取所述目标实时事件对应的目标实时数据，并自所述REDIS集群中获取所述业务参数对应的目标历史交易数据。
在步骤200中，需要读取历史数据的实时数据被路由到非实时批量规则引擎，在该笔数据实时进入开源流处理框架FLINK计算框架的同时，向批处理框架内的批处理数据湖HIVE传入标记要请求数据特征的参数，如交易代码、交易编号、应用名、日期等，读数线程从Hadoop分布式文件***HDFS中获取对应表数据，读数线程依次将每一行数据放入读数队列中，入库线程从对应读数队列中读取数据，入库线程更新远程字典服务REDIS(RemoteDictionary Server)集群，将要取的数据(如与该笔交易相同的事件编号、***、客编等的在某段时间内的数据)存储至REDIS集群后，开源流处理框架FLINK调用自身的REDIS类读取REDIS集群中的数据，通过采用如REDIS集群这种键值对存储数据库集群，可以使得流处理***快速且准确地之间访问该REDIS集群来快速获取批处理***中的历史数据，流处理***无需访问批处理***原本对应的数据存储***或数据库，因此不需要通过复杂的执行手段实现流处理***和批处理***二者的兼容也能够实现流处理***对历史数据的快速获取，同时也保证了批处理***内部数据的安全性等等。
步骤300：对所述目标实时数据和所述目标历史交易数据进行数据关联，并基于关联后的目标实时数据和目标历史交易数据得到所述目标实时事件对应的处理结果数据。
在步骤300中，可以根据非实时规则引擎中的规则与之前直接进到FLINK的数据进行关联，如相同事件编号、***、客编的数据进行关联计算，实现业务需求。
从上述描述可知，本申请实施例提供的金融数据处理方法，通过将目标历史交易数据存储至批处理***中的REDIS集群，应用流处理***自所述REDIS集群中获取所述业务参数对应的目标历史交易数据并对所述目标实时数据和所述目标历史交易数据进行数据关联，能够有效实现金融数据处理大架构下的批处理***和流处理***之间的批流融合，进而能够有效提高存在批流融合需求的金融业务请求的处理效率及智能化程度，并能够有效提高金融数据处理过程的可靠性及有效性，有效满足存在有批流融合需求的金融业务处理情景；同时，通过采用REDIS集群，能够在不改变批处理***和流处理***各自的架构模式的基础上，有效实现批处理***和流处理***之间的结合，克服了现有技术中批处理和流处理需使用两套框架的不足，同时弥补了部分业务需关联历史数据和实时数据的金融业务请求处理上的不足，打破了传统的批量和实时数据两套框架的壁垒，节省资源的同时也节省了开发和维护的成本，同时相比之前只有实时数据的计算，加入历史数据的考虑，可以更多维度地对金融业务请求进行分析计算，给金融客户以更好的体验，并能够给金融机构或商家等提供更直观全面的客户行为。
为了提高将所述金融业务请求对应的待处理事件确认为目标实时事件的准确性及效率，在本申请提供的金融数据处理方法的一个实施例，参见图3，所述金融数据处理方法的步骤100之前还具体包含有如下内容：
步骤010：接收金融业务请求。
步骤020：根据预设的交易代码配置规则确定所述金融业务请求对应的交易代码的目标处理类型。
步骤030：若所述目标处理类型为预设的第一类或第二类，则将所述金融业务请求对应的待处理事件确认为目标实时事件，其中，所述第一类为实时处理类型，所述第二类为实时处理类型与非实时处理类型的组合。
具体举例来说，发送个人余额动帐提醒短信，则配置为实时事件规则。客户营销在客户进行交易的瞬间根据该客户某段时间内的交易行为进行有针对性的实时推荐、挽留等，则配置为实时事件规则+准实时事件规则，一段时间内相同事件编号、***、客编等的数据与该笔实时交易一起计算。
从上述描述可知，本申请实施例提供的金融数据处理方法，通过根据预设的交易代码配置规则确定所述金融业务请求对应的交易代码的目标处理类型，能够有效提高将所述金融业务请求对应的待处理事件确认为目标实时事件的准确性及效率，进而能够为后续的金融数据处理过程提供准确的数据基础，以进一步提高金融数据处理过程的效率及结果可靠性。
为了提高针对非实时事件处理的可靠性及准确性，在本申请提供的金融数据处理方法的一个实施例，参见图4，所述金融数据处理方法的步骤020之后还具体包含有如下内容：
步骤400：若所述目标处理类型为预设的第三类，则将所述金融业务请求对应的待处理事件确认为目标非实时事件，其中，所述第三类为非实时处理类型。
步骤500：将所述目标非实时事件的业务参数发送至批处理***，以使该批处理***在预设的处理时间范围内调取所述目标非实时事件的业务参数对应的数据，并得到所述目标非实时事件对应的处理结果数据。
具体举例来说，客户上午9点做的交易数据需在次日凌晨分发给其他应用加载，则配置为准实时事件规则。
从上述描述可知，本申请实施例提供的金融数据处理方法，通过将所述目标非实时事件的业务参数发送至批处理***，以使该批处理***在预设的处理时间范围内调取所述目标非实时事件的业务参数对应的数据，并得到所述目标非实时事件对应的处理结果数据，能够有效提高针对非实时事件处理的可靠性及准确性，进而能够有效提高金融数据处理过程的适用全面性及广泛性，以进一步提高金融数据处理过程的智能化程度。
为了提高针对实时事件处理的效率、可靠性及准确性，在本申请提供的金融数据处理方法的一个实施例，参见图5，所述金融数据处理方法的步骤110之后还具体包含有如下内容：
步骤130：若经判断获知当前金融业务请求对应的目标实时事件不涉及非实时数据，则将所述目标实时事件的业务参数发送至流处理***，以使该流处理***实时调取所述目标实时事件的业务参数对应的数据，并得到所述目标实时事件对应的处理结果数据。
从上述描述可知，本申请实施例提供的金融数据处理方法，通过将所述目标实时事件的业务参数发送至流处理***，以使该流处理***实时调取所述目标实时事件的业务参数对应的数据，并得到所述目标实时事件对应的处理结果数据，能够有效提高针对实时事件处理的效率、可靠性及准确性，进而能够有效提高金融数据处理过程的适用全面性及广泛性，以进一步提高金融数据处理过程的智能化程度。
为了提高调取该目标实时事件的业务参数对应的目标历史交易数据，并将该目标历史交易数据存储至批处理***中的REDIS集群的处理过程的可靠性及效率，在本申请提供的金融数据处理方法的一个实施例，参见图6，所述金融数据处理方法中的步骤120还具体包含有如下内容：
步骤121：将所述目标实时事件的业务参数发送至预设的批处理数据湖内；
步骤122：根据所述批处理数据湖内的业务参数自预设的分布式文件***中调取对应的目标历史交易数据。
步骤123：将所述目标历史交易数据以键值对的形式存储至批处理***中的REDIS集群中。
从上述描述可知，本申请实施例提供的金融数据处理方法，通过批处理数据湖、分布式文件***及REDIS集群的使用，能够提高调取该目标实时事件的业务参数对应的目标历史交易数据，并将该目标历史交易数据存储至批处理***中的REDIS集群的处理过程的可靠性及效率，进而能够进一步提高存在批流融合需求的金融数据处理过程的处理效率及可靠性。
为了提高对所述目标实时数据和所述目标历史交易数据进行数据关联的可靠性及效率，在本申请提供的金融数据处理方法的一个实施例，参见图7，所述金融数据处理方法中的步骤121之前还具体包含有如下内容：
步骤124：将所述金融业务请求分别发送至流处理***对应的实时规则引擎和批处理***对应的非实时批量规则引擎。
相对应的，所述金融数据处理方法中的步骤300还具体包含有如下内容：
步骤310：根据所述非实时批量规则引擎对应的规则和所述实时规则引擎对应的规则，将所非述实时批量规则引擎对应的目标历史交易数据和所述实时规则引擎对应的目标实时数据进行数据关联。
在步骤310中，将所非述实时批量规则引擎对应的目标历史交易数据和所述实时规则引擎对应的目标实时数据进行数据关联的具体方式可以为应用预设的FLINK算子计算方式对目标历史交易数据和目标实时数据进行FLINK算子计算。
步骤320：基于关联后的目标实时数据和目标历史交易数据得到所述目标实时事件对应的处理结果数据。
从上述描述可知，本申请实施例提供的金融数据处理方法，通过根据所述非实时批量规则引擎对应的规则和所述实时规则引擎对应的规则，将所非述实时批量规则引擎对应的目标历史交易数据和所述实时规则引擎对应的目标实时数据进行数据关联，能够有效提高对所述目标实时数据和所述目标历史交易数据进行数据关联的可靠性及效率，进而能够进一步提高存在批流融合需求的金融数据处理过程的处理效率及可靠性。
为了提高流处理***获取所述目标实时事件对应的目标实时数据的效率及可靠性，在本申请提供的金融数据处理方法的一个实施例，参见图8，所述金融数据处理方法中的步骤200具体包含有如下内容：
步骤210：应用预设的KAFKA分布式发布订阅***将所述目标实时事件对应的目标实时数据写入所述流处理***中。
步骤220：自所述REDIS集群中获取所述业务参数对应的目标历史交易数据。
从上述描述可知，本申请实施例提供的金融数据处理方法，通过应用预设的KAFKA分布式发布订阅***将所述目标实时事件对应的目标实时数据写入所述流处理***中，能够有效提高流处理***获取所述目标实时事件对应的目标实时数据的效率及可靠性，进而能够进一步提高存在批流融合需求的金融数据处理过程的处理效率及可靠性。
从软件层面来说，为了解决现有的金融数据处理方式存在由于批处理和流处理这两个框架彼此独立而导致的金融数据处理效率低、可靠性差且无法满足存在有批流融合需求的情景等问题，本申请提供一种用于执行所述金融数据处理方法中全部或部分内容的金融数据处理装置的实施例，参见图9，所述金融数据处理装置具体包含有如下内容：
数据判断模块10，用于基于预设的规则引擎判断当前金融业务请求对应的目标实时事件是否涉及非实时数据，若是，则调取该目标实时事件的业务参数对应的目标历史交易数据，并将该目标历史交易数据存储至批处理***中的REDIS集群。
在数据判断模块10中，可以引入Drools规则引擎(开放源码规则引擎)作为所述的规则引擎，以针对目标实时事件对应的交易代码进行引擎规则路由。一笔银行交易数据进到流平台，首先由Drools引擎根据银行交易数据中携带的交易代码判断是否需要读取历史交易数据，若不需要读取历史数据，仅做实时计算，则直接应用流处理***获取所述目标实时事件对应的目标实时数据，并根据该目标实时数据得到所述目标实时事件对应的处理结果数据。若Drolls引擎判断读取实时数据的基础上还需要读取历史数据，则该笔数据同时被路由到实时规则引擎和非实时批量规则引擎。
数据获取模块20，用于应用流处理***获取所述目标实时事件对应的目标实时数据，并自所述REDIS集群中获取所述业务参数对应的目标历史交易数据。
在数据获取模块20中，需要读取历史数据的实时数据被路由到非实时批量规则引擎，在该笔数据实时进入开源流处理框架FLINK计算框架的同时，向批处理框架内的批处理数据湖HIVE传入标记要请求数据特征的参数，如交易代码、交易编号、应用名、日期等，读数线程从Hadoop分布式文件***HDFS中获取对应表数据，读数线程依次将每一行数据放入读数队列中，入库线程从对应读数队列中读取数据，入库线程更新远程字典服务REDIS(Remote Dictionary Server)集群，将要取的数据(如与该笔交易相同的事件编号、***、客编等的在某段时间内的数据)存储至REDIS集群后，开源流处理框架FLINK调用自身的REDIS类读取REDIS集群中的数据。
数据关联模块30，用于对所述目标实时数据和所述目标历史交易数据进行数据关联，并基于关联后的目标实时数据和目标历史交易数据得到所述目标实时事件对应的处理结果数据。
在数据关联模块30中，可以根据非实时规则引擎中的规则与之前直接进到FLINK的数据进行关联，如相同事件编号、***、客编的数据进行关联计算，实现业务需求。
本申请提供的金融数据处理装置的实施例具体可以用于执行上述实施例中的金融数据处理方法的实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
从上述描述可知，本申请实施例提供的金融数据处理装置，通过将目标历史交易数据存储至批处理***中的REDIS集群，应用流处理***自所述REDIS集群中获取所述业务参数对应的目标历史交易数据并对所述目标实时数据和所述目标历史交易数据进行数据关联，能够有效实现金融数据处理大架构下的批处理***和流处理***之间的批流融合，进而能够有效提高存在批流融合需求的金融业务请求的处理效率及智能化程度，并能够有效提高金融数据处理过程的可靠性及有效性，有效满足存在有批流融合需求的金融业务处理情景；同时，通过采用REDIS集群，能够在不改变批处理***和流处理***各自的架构模式的基础上，有效实现批处理***和流处理***之间的结合，克服了现有技术中批处理和流处理需使用两套框架的不足，同时弥补了部分业务需关联历史数据和实时数据的金融业务请求处理上的不足，打破了传统的批量和实时数据两套框架的壁垒，节省资源的同时也节省了开发和维护的成本，同时相比之前只有实时数据的计算，加入历史数据的考虑，可以更多维度地对金融业务请求进行分析计算，给金融客户以更好的体验，并能够给金融机构或商家等提供更直观全面的客户行为。
为了进一步说明书本方案，本申请还提供一种金融数据处理方法的具体应用实例，本申请应用实例适用于流平台大数据采用流式数据处理框架实时处理联机交易数据和非实时批量数据的批处理场景，如商业银行实时发送动帐余额短信提醒、黑名单交易实时拦截等多种交易场景。
本申请应用实例克服了现有技术中批处理和流处理需使用两套框架的不足，同时弥补了部分业务需综合考量历史数据和实时数据需求的不足，提供了一种基于FLINK开源流处理框架和REDIS内存key-value数据库集群的批流融合的金融数据处理方法。
参见图10，本申请应用实例中提及的金融数据处理方法具体包含有如下内容：
步骤1：业务在前台根据交易代码配置规则(业务前台规则配置)；
例如：发送个人余额动帐提醒短信，则配置为实时事件规则。
例如：客户营销在客户进行交易的瞬间根据该客户某段时间内的交易行为进行有针对性的实时推荐、挽留等，则配置为实时事件规则+准实时事件规则，一段时间内相同事件编号、***、客编等的数据与该笔实时交易一起计算。
例如：客户上午9点做的交易数据需在次日凌晨分发给其他应用加载，则配置为准实时事件规则。
步骤2：引入Drools规则引擎(开放源码规则引擎)，对数据根据交易代码进行引擎规则路由。一笔银行交易数据进到流平台，首先Drools引擎根据数据中携带的交易代码判断是否需要读取历史交易数据，若不需要读取历史数据，仅做实时计算，则执行步骤3；若Drolls引擎判断读取实时数据的基础上还需要读取历史数据，则该笔数据同时被路由到实时规则引擎和准实时批量规则引擎，即执行步骤3和步骤6；
步骤3：仅做实时计算的该笔数据被路由到实时规则引擎；
步骤4：数据写入KAFKA相应的TOPIC；
步骤5：直接进到开源流处理框架FLINK通过算子进行计算得到实时结果。
步骤6：还需要读取历史数据的实时数据被路由到准实时批量规则引擎；
步骤7：在该笔数据实时进入开源流处理框架FLINK计算框架的同时，向批处理框架内的批处理数据湖HIVE传入标记要请求数据特征的参数，如交易代码、交易编号、应用名、日期等；
步骤8：读数线程从Hadoop分布式文件***HDFS中获取对应表数据，读数线程依次将每一行数据放入读数队列中；
步骤9：入库线程从对应读数队列中读取数据，入库线程更新远程字典服务REDIS(Remote Dictionary Server)集群。
步骤10：将要取的数据(如与该笔交易相同的事件编号、***、客编等的在某段时间内的数据)存储至REDIS集群后，开源流处理框架FLINK调用自身的REDIS类读取REDIS集群中的数据，根据准实时规则引擎中的规则与之前直接进到FLINK的数据进行关联，如相同事件编号、***、客编的数据进行关联计算，实现业务需求。
步骤11：同时还可以使用用户自定义函数UDF对历史数据进行FLINKSQL编写，实现批量需求，即数据被Drolls规则引擎路由到准实时批量规则引擎时，该部分数据被加载到REDIS，FLINK读取REDIS数据进行FLINKSQL批量计算。
基于上述内容，具体批流结合的数据处理实例的实现方式如下：
步骤01.构建基于REDIS的内存数据库集群，用于存放键值对key-value的数据；
步骤02.实时数据通过KAFKA分布式发布订阅***写入开源流处理框架FLINK；
步骤03.非实时数据向批处理数据湖HIVE传入数据特征参数，获得相应数据；
步骤04.将步骤03中获取的数据以键值对key-value的形式写入步骤01构建的REDIS内存数据库集群中，以作为开源流处理框架FLINK的数据源；
步骤05.FLINK的数据源包括步骤02通过KAFKA分布式发布订阅***写入的实时数据和步骤04通过REDIS内存数据库集群获得的批数据。其中，若仅需实时流处理，则用实时数据进行FLINK算子计算。若实时计算的同时需要历史数据，则用两种数据源进行FLINK算子计算。若仅需批处理，则用从REDIS获取的数据进行FLINKSQL的批计算。
从上述内容可知，本申请应用实例提供的基于FLINK和REDIS的批流融合的金融数据处理方法，建立了一种既涵盖批量又涵盖流式数据的处理方式，打破了传统的批量和实时数据两套框架的壁垒，节省资源的同时也节省了开发和维护的成本，同时相比之前只有实时数据的计算，加入历史数据的考虑，可以更多维度地对数据进行分析计算，给客户以更好的体验，给商家更直观全面的客户行为。以银行***智能营销业务为例，可以使用本申请提出的金融数据处理方法能够在客户在金融机构开卡或销卡时，实时结合客户的历史数据行为来分析客户流入或流失情况，以及某段时间内的数据通过批量以报表形式直观显示，进而使银行做出针对性的调整和改进，同时白天联机数据较多，晚上批量需求较大，批流融合完美适合该需求，有较大的推广价值。
从硬件层面来说，为了解决现有的金融数据处理方式存在由于批处理和流处理这两个框架彼此独立而导致的金融数据处理效率低、可靠性差且无法满足存在有批流融合需求的情景等问题，本申请提供一种用于实现所述金融数据处理方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
图11为本申请实施例的电子设备9600的***构成的示意框图。如图11所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图11是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
在一实施例中，金融数据处理功能可以被集成到中央处理器中。其中，中央处理器可以被配置为进行如下控制：
步骤110：基于预设的规则引擎判断当前金融业务请求对应的目标实时事件是否涉及非实时数据，若是，则执行步骤120。
步骤120：调取该目标实时事件的业务参数对应的目标历史交易数据，并将该目标历史交易数据存储至批处理***中的REDIS集群。
步骤200：应用流处理***获取所述目标实时事件对应的目标实时数据，并自所述REDIS集群中获取所述业务参数对应的目标历史交易数据。
步骤300：对所述目标实时数据和所述目标历史交易数据进行数据关联，并基于关联后的目标实时数据和目标历史交易数据得到所述目标实时事件对应的处理结果数据。
从上述描述可知，本申请实施例提供的电子设备，通过将目标历史交易数据存储至批处理***中的REDIS集群，应用流处理***自所述REDIS集群中获取所述业务参数对应的目标历史交易数据并对所述目标实时数据和所述目标历史交易数据进行数据关联，能够有效实现金融数据处理大架构下的批处理***和流处理***之间的批流融合，进而能够有效提高存在批流融合需求的金融业务请求的处理效率及智能化程度，并能够有效提高金融数据处理过程的可靠性及有效性，有效满足存在有批流融合需求的金融业务处理情景；同时，通过采用REDIS集群，能够在不改变批处理***和流处理***各自的架构模式的基础上，有效实现批处理***和流处理***之间的结合，克服了现有技术中批处理和流处理需使用两套框架的不足，同时弥补了部分业务需关联历史数据和实时数据的金融业务请求处理上的不足，打破了传统的批量和实时数据两套框架的壁垒，节省资源的同时也节省了开发和维护的成本，同时相比之前只有实时数据的计算，加入历史数据的考虑，可以更多维度地对金融业务请求进行分析计算，给金融客户以更好的体验，并能够给金融机构或商家等提供更直观全面的客户行为。
在另一个实施方式中，金融数据处理装置可以与中央处理器9100分开配置，例如可以将金融数据处理装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现金融数据处理功能。
如图11所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图11中所示的所有部件；此外，电子设备9600还可以包括图11中没有示出的部件，可以参考现有技术。
如图11所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本申请的实施例还提供能够实现上述实施例中的金融数据处理方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的金融数据处理方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤110：基于预设的规则引擎判断当前金融业务请求对应的目标实时事件是否涉及非实时数据，若是，则执行步骤120。
步骤120：调取该目标实时事件的业务参数对应的目标历史交易数据，并将该目标历史交易数据存储至批处理***中的REDIS集群。
步骤200：应用流处理***获取所述目标实时事件对应的目标实时数据，并自所述REDIS集群中获取所述业务参数对应的目标历史交易数据。
步骤300：对所述目标实时数据和所述目标历史交易数据进行数据关联，并基于关联后的目标实时数据和目标历史交易数据得到所述目标实时事件对应的处理结果数据。
从上述描述可知，本申请实施例提供的计算机可读存储介质，通过将目标历史交易数据存储至批处理***中的REDIS集群，应用流处理***自所述REDIS集群中获取所述业务参数对应的目标历史交易数据并对所述目标实时数据和所述目标历史交易数据进行数据关联，能够有效实现金融数据处理大架构下的批处理***和流处理***之间的批流融合，进而能够有效提高存在批流融合需求的金融业务请求的处理效率及智能化程度，并能够有效提高金融数据处理过程的可靠性及有效性，有效满足存在有批流融合需求的金融业务处理情景；同时，通过采用REDIS集群，能够在不改变批处理***和流处理***各自的架构模式的基础上，有效实现批处理***和流处理***之间的结合，克服了现有技术中批处理和流处理需使用两套框架的不足，同时弥补了部分业务需关联历史数据和实时数据的金融业务请求处理上的不足，打破了传统的批量和实时数据两套框架的壁垒，节省资源的同时也节省了开发和维护的成本，同时相比之前只有实时数据的计算，加入历史数据的考虑，可以更多维度地对金融业务请求进行分析计算，给金融客户以更好的体验，并能够给金融机构或商家等提供更直观全面的客户行为。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种金融数据处理方法，其特征在于，包括：
基于预设的规则引擎判断当前金融业务请求对应的目标实时事件是否涉及非实时数据，若是，则调取该目标实时事件的业务参数对应的目标历史交易数据，并将该目标历史交易数据存储至批处理***中的REDIS集群；
应用流处理***获取所述目标实时事件对应的目标实时数据，并自所述REDIS集群中获取所述业务参数对应的目标历史交易数据；
对所述目标实时数据和所述目标历史交易数据进行数据关联，并基于关联后的目标实时数据和目标历史交易数据得到所述目标实时事件对应的处理结果数据。
2.根据权利要求1所述的金融数据处理方法，其特征在于，在所述基于预设的规则引擎判断当前金融业务请求对应的目标实时事件是否涉及非实时数据之前，还包括：
接收金融业务请求；
根据预设的交易代码配置规则确定所述金融业务请求对应的交易代码的目标处理类型；
若所述目标处理类型为预设的第一类或第二类，则将所述金融业务请求对应的待处理事件确认为目标实时事件，其中，所述第一类为实时处理类型，所述第二类为实时处理类型与非实时处理类型的组合。
3.根据权利要求2所述的金融数据处理方法，其特征在于，还包括：
若所述目标处理类型为预设的第三类，则将所述金融业务请求对应的待处理事件确认为目标非实时事件，其中，所述第三类为非实时处理类型；
将所述目标非实时事件的业务参数发送至批处理***，以使该批处理***在预设的处理时间范围内调取所述目标非实时事件的业务参数对应的数据，并得到所述目标非实时事件对应的处理结果数据。
4.根据权利要求1所述的金融数据处理方法，其特征在于，还包括：
若经判断获知当前金融业务请求对应的目标实时事件不涉及非实时数据，则将所述目标实时事件的业务参数发送至流处理***，以使该流处理***实时调取所述目标实时事件的业务参数对应的数据，并得到所述目标实时事件对应的处理结果数据。
5.根据权利要求1所述的金融数据处理方法，其特征在于，所述调取该目标实时事件的业务参数对应的目标历史交易数据，并将该目标历史交易数据存储至批处理***中的REDIS集群，包括：
将所述目标实时事件的业务参数发送至预设的批处理数据湖内；
根据所述批处理数据湖内的业务参数自预设的分布式文件***中调取对应的目标历史交易数据；
将所述目标历史交易数据以键值对的形式存储至批处理***中的REDIS集群中。
6.根据权利要求5所述的金融数据处理方法，其特征在于，在将所述目标实时事件的业务参数发送至预设的批处理数据湖内之前，还包括：
将所述金融业务请求分别发送至流处理***对应的实时规则引擎和批处理***对应的非实时批量规则引擎；
相对应的，所述对所述目标实时数据和所述目标历史交易数据进行数据关联，包括：
根据所述非实时批量规则引擎对应的规则和所述实时规则引擎对应的规则，将所非述实时批量规则引擎对应的目标历史交易数据和所述实时规则引擎对应的目标实时数据进行数据关联。
7.根据权利要求1所述的金融数据处理方法，其特征在于，所述应用流处理***获取所述目标实时事件对应的目标实时数据，包括：
应用预设的KAFKA分布式发布订阅***将所述目标实时事件对应的目标实时数据写入所述流处理***中。
8.一种金融数据处理装置，其特征在于，包括：
数据判断模块，用于基于预设的规则引擎判断当前金融业务请求对应的目标实时事件是否涉及非实时数据，若是，则调取该目标实时事件的业务参数对应的目标历史交易数据，并将该目标历史交易数据存储至批处理***中的REDIS集群；
数据获取模块，用于应用流处理***获取所述目标实时事件对应的目标实时数据，并自所述REDIS集群中获取所述业务参数对应的目标历史交易数据；
数据关联模块，用于对所述目标实时数据和所述目标历史交易数据进行数据关联，并基于关联后的目标实时数据和目标历史交易数据得到所述目标实时事件对应的处理结果数据。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的金融数据处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的金融数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110714066.7A CN113435989A (zh) | 2021-06-25 | 2021-06-25 | 金融数据处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110714066.7A CN113435989A (zh) | 2021-06-25 | 2021-06-25 | 金融数据处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113435989A true CN113435989A (zh) | 2021-09-24 |
Family
ID=77754694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110714066.7A Pending CN113435989A (zh) | 2021-06-25 | 2021-06-25 | 金融数据处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113435989A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113836235A (zh) * | 2021-09-29 | 2021-12-24 | 平安医疗健康管理股份有限公司 | 基于数据中台的数据处理方法及其相关设备 |
| CN114996260A (zh) * | 2022-08-05 | 2022-09-02 | 深圳市深蓝信息科技开发有限公司 | 一种清洗ais数据的方法、装置、终端设备及存储介质 |
| CN115618396A (zh) * | 2022-11-28 | 2023-01-17 | 云账户技术(天津)有限公司 | 一种数据的加密方法及装置 |
| CN116841753A (zh) * | 2023-08-31 | 2023-10-03 | 杭州迅杭科技有限公司 | 一种流处理和批处理的切换方法及切换装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111258978A (zh) * | 2020-01-17 | 2020-06-09 | 广东小天才科技有限公司 | 一种数据存储的方法 |
| CN111611221A (zh) * | 2019-02-26 | 2020-09-01 | 北京京东尚科信息技术有限公司 | 混合计算***、数据处理方法及装置 |
| CN111951010A (zh) * | 2020-07-26 | 2020-11-17 | 中国建设银行股份有限公司 | 一种基于规则引擎的业务决策方法、装置、电子设备和可读存储介质 |
| CN112163946A (zh) * | 2020-09-30 | 2021-01-01 | 中国工商银行股份有限公司 | 基于分布式交易***的账务处理方法及装置 |
| CN112256734A (zh) * | 2020-10-20 | 2021-01-22 | 中国农业银行股份有限公司 | 一种大数据处理方法、装置、***、设备和存储介质 |
-
2021
- 2021-06-25 CN CN202110714066.7A patent/CN113435989A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111611221A (zh) * | 2019-02-26 | 2020-09-01 | 北京京东尚科信息技术有限公司 | 混合计算***、数据处理方法及装置 |
| CN111258978A (zh) * | 2020-01-17 | 2020-06-09 | 广东小天才科技有限公司 | 一种数据存储的方法 |
| CN111951010A (zh) * | 2020-07-26 | 2020-11-17 | 中国建设银行股份有限公司 | 一种基于规则引擎的业务决策方法、装置、电子设备和可读存储介质 |
| CN112163946A (zh) * | 2020-09-30 | 2021-01-01 | 中国工商银行股份有限公司 | 基于分布式交易***的账务处理方法及装置 |
| CN112256734A (zh) * | 2020-10-20 | 2021-01-22 | 中国农业银行股份有限公司 | 一种大数据处理方法、装置、***、设备和存储介质 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113836235A (zh) * | 2021-09-29 | 2021-12-24 | 平安医疗健康管理股份有限公司 | 基于数据中台的数据处理方法及其相关设备 |
| CN113836235B (zh) * | 2021-09-29 | 2024-04-09 | 平安医疗健康管理股份有限公司 | 基于数据中台的数据处理方法及其相关设备 |
| CN114996260A (zh) * | 2022-08-05 | 2022-09-02 | 深圳市深蓝信息科技开发有限公司 | 一种清洗ais数据的方法、装置、终端设备及存储介质 |
| CN114996260B (zh) * | 2022-08-05 | 2022-11-11 | 深圳市深蓝信息科技开发有限公司 | 一种清洗ais数据的方法、装置、终端设备及存储介质 |
| CN115618396A (zh) * | 2022-11-28 | 2023-01-17 | 云账户技术(天津)有限公司 | 一种数据的加密方法及装置 |
| CN115618396B (zh) * | 2022-11-28 | 2023-04-07 | 云账户技术(天津)有限公司 | 一种数据的加密方法及装置 |
| CN116841753A (zh) * | 2023-08-31 | 2023-10-03 | 杭州迅杭科技有限公司 | 一种流处理和批处理的切换方法及切换装置 |
| CN116841753B (zh) * | 2023-08-31 | 2023-11-17 | 杭州迅杭科技有限公司 | 一种流处理和批处理的切换方法及切换装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111031058A (zh) | 基于WebSocket的分布式服务器集***互方法及装置 | |
| CN113435989A (zh) | 金融数据处理方法及装置 | |
| CN110764881A (zh) | 分布式***后台重试方法及装置 | |
| CN112615753B (zh) | 一种链路异常追踪方法、第一节点、第二节点以及链路 | |
| CN110990228A (zh) | 数据接口监控方法及装置 | |
| CN110908875B (zh) | 基于操作终端的巡检方法及装置 | |
| US20220391642A1 (en) | Method and apparatus for evaluating joint training model | |
| CN112163946A (zh) | 基于分布式交易***的账务处理方法及装置 | |
| CN111353892A (zh) | 交易风险监控方法及装置 | |
| CN111405129A (zh) | 智能外呼风险监控方法及装置 | |
| CN114257532B (zh) | 服务端状态探测方法及装置 | |
| CN112927017A (zh) | 外呼营销流程的控制方法、装置及*** | |
| CN112396511A (zh) | 分布式风控变量数据处理方法、装置及*** | |
| CN111767558A (zh) | 数据访问监控方法、装置及*** | |
| CN115099930A (zh) | 金融业务数据处理方法及装置 | |
| CN115205009A (zh) | 基于虚拟技术的开户业务处理方法及装置 | |
| CN113434423A (zh) | 接口测试方法及装置 | |
| CN114339628A (zh) | 5g富媒体消息发送方法、设备、存储介质及产品 | |
| CN112734545A (zh) | 区块链数据共享方法、装置及*** | |
| CN115208875B (zh) | 多传输中间件的信息集成*** | |
| CN112968954B (zh) | 一种服务迁移的流量控制方法、服务器及*** | |
| CN113051094B (zh) | 监管数据报送测试方法及装置 | |
| CN115731019A (zh) | 柔性事务数据处理方法及装置 | |
| CN114331458A (zh) | 可疑交易监测方法及装置 | |
| CN115278555A (zh) | 基于5g消息的在线交易方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |