CN113407540A - 交易数据流获取方法及装置 - Google Patents
交易数据流获取方法及装置 Download PDFInfo
- Publication number
- CN113407540A CN113407540A CN202110690821.2A CN202110690821A CN113407540A CN 113407540 A CN113407540 A CN 113407540A CN 202110690821 A CN202110690821 A CN 202110690821A CN 113407540 A CN113407540 A CN 113407540A
- Authority
- CN
- China
- Prior art keywords
- data
- transaction
- information
- data stream
- main key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000008859 change Effects 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000012544 monitoring process Methods 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000012163 sequencing technique Methods 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims description 27
- 230000009191 jumping Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000005111 flow chemistry technique Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 238000009960 carding Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 101000674731 Homo sapiens TGF-beta-activated kinase 1 and MAP3K7-binding protein 1 Proteins 0.000 description 2
- 102100021228 TGF-beta-activated kinase 1 and MAP3K7-binding protein 1 Human genes 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000013049 sediment Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Technology Law (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种交易数据流获取方法及装置,涉及大数据处理领域,可应用于金融领域和其他领域,所述方法包含:接收交易信息,根据交易信息分析获得交易流程数据;采集后台数据库的监控数据,根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息,并以所述变化数据信息的时间发生先后进行排序生成数据流集合;根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联生成交易数据流。
Description
技术领域
本发明涉及大数据处理领域,可应用于金融领域和其他领域,尤指一种交易数据流获取方法及装置。
背景技术
一个计算机软件***的前台交易,往往对应着后台数据库中复杂的数据流动和关联关系。交易流程与后台数据流的对应关系的梳理,在复杂的分布式***中,尤其是架构复杂的联机交易***中,一直都是难点。但这种对应关系的梳理,对于当前日益复杂的分布式架构下的联机交易***,整体链路的梳理和问题排查、资产沉淀,都是非常有意义和有必要的。
目前在进行这类链路的梳理和对应关系的提取时,常用的几种方法主要有:一:(纯人工提取)人工业务逻辑梳理与人工数据流程梳理的结合,这种方法需要领域内对业务交易和数据架构都深入了解的专家,同时也需要大量的人工干预。二:(半自动提取)人工业务逻辑梳理与自动的数据架构匹配,这种方法相对于上一种方法,属于半自动化的方式,但是需要提前预知交易逻辑背后所对应的数据库的表、存储过程、索引等数据结构的情况,同样需要大量开发人员的知识积累和沉淀,且存在遗漏的可能。
发明内容
本发明目的在于提供一种交易数据流获取方法及装置,予以借助后台数据库自动生成的监控数据,通过时间链路采集、主键传递跟踪、噪声处理等技术的组合运用,形成一套无需人工干预,并且可以通过后台的学习机制,逐步完善和动态调整所匹配到的数据流,效率远高于传统的人工和半自动的实现方式,且避免了人工干预造成的数据遗漏。
为达上述目的,本发明所提供的交易数据流获取方法,具体包含:接收交易信息,根据交易信息分析获得交易流程数据;采集后台数据库的监控数据,根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息,并以所述变化数据信息的时间发生先后进行排序生成数据流集合;根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联生成交易数据流。
在上述交易数据流获取方法中,优选的,根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联之前还包含:当所述数据流集合中存在交易链路数据流在传递过程中主键变化时,通过主键传递跟踪技术获取主键跳跃位置;根据所述主键跳跃位置将变化的主键与主键跳跃位置的主键关联后存入所述数据流集合。
在上述交易数据流获取方法中,优选的,根据交易信息分析获得交易流程数据包含:分析所述交易信息获得交易要素,对所述交易要素进行归类生成交易流程数据。
在上述交易数据流获取方法中,优选的,所述监控数据包含查询文本、执行时间和对应的表名。
在上述交易数据流获取方法中,优选的,根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息包含:根据所述交易信息中的开始结束时间于所述监控数据中的数据表结构中获得主键信息;通过所述主键信息提取所述监控数据中对应时段的变化数据信息。
在上述交易数据流获取方法中,优选的,以所述变化数据信息的时间发生先后进行排序生成数据流集合包含:当所述变化数据信息分别来至于不同时间设置的数据库时,通过时间换算公式计算所述变化数据信息的标准时间;根据所述标准时间将所述变化数据信息的时间发生先后进行排序生成数据流集合。
在上述交易数据流获取方法中,优选的,根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联之前还包含:通过不同预设周期的业务要素采集提取与交易关联的相关信息,通过所述相关信息对所述数据流集合进行降噪处理。
本发明还提供一种交易数据流获取装置,所述装置包含交易采集模块、技术数据流处理模块和汇总模块;所述交易采集模块用于接收交易信息,根据交易信息分析获得交易流程数据;所述技术数据流处理模块用于采集后台数据库的监控数据,根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息,并以所述变化数据信息的时间发生先后进行排序生成数据流集合;所述汇总模块用于根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联生成交易数据流。
在上述交易数据流获取装置中,优选的,所述技术数据流处理模块还包含主键传递跟踪模块和噪声处理模块;所述主键传递跟踪模块用于当所述数据流集合中存在交易链路数据流在传递过程中主键变化时,通过主键传递跟踪技术获取主键跳跃位置;根据所述主键跳跃位置将变化的主键与主键跳跃位置的主键关联后存入所述数据流集合;所述噪声处理模块用于通过不同预设周期的业务要素采集提取与交易关联的相关信息,通过所述相关信息对所述数据流集合进行降噪处理。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。
本发明的有益技术效果在于:大幅降低人工梳理的时间成本和经验门槛要求,只需前期样本采集期间少量的人工录入;自动生成的数据流信息,对于全链路交易的监控和跟踪,提供了分析和问题排查的有效依据;通过监控数据不断自动刷新丰富内容,形成一套完整的数据流信息资产沉淀。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。在附图中:
图1为本发明一实施例所提供的交易数据流获取方法的流程示意图;
图2为本发明一实施例所提供的变化数据信息的获取流程示意图;
图3为本发明一实施例所提供的不同时间的数据流集合的生成流程示意图;
图4为本发明一实施例所提供的时间链路提取的流程示意图;
图5为本发明一实施例所提供的主键传递跟踪的流程示意图;
图6为本发明一实施例所提供的主键传递跟踪的原理示意图;
图7为本发明一实施例所提供的噪声处理的原理示意图;
图8为本发明一实施例所提供的交易数据流获取装置的结构示意图;
图9为本发明一实施例所提供的交易数据流获取装置的应用结构示意图;
图10为本发明一实施例所提供的电子设备的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式,借此对本发明如何应用技术手段来解决技术问题,并达成技术效果的实现过程能充分理解并据以实施。需要说明的是,只要不构成冲突,本发明中的各个实施例及各实施例中的各个特征可以相互结合,所形成的技术方案均在本发明的保护范围之内。
另外,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
请参考图1所示,本发明所提供的交易数据流获取方法,具体包含:
S101接收交易信息,根据交易信息分析获得交易流程数据;
S102采集后台数据库的监控数据,根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息,并以所述变化数据信息的时间发生先后进行排序生成数据流集合;
S103根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联生成交易数据流。
在上述实施例中,所述监控数据可包含查询文本即SQL文本、执行时间和对应的表名等要素信息。根据交易信息分析获得交易流程数据包含:分析所述交易信息获得交易要素,对所述交易要素进行归类生成交易流程数据。具体的,所述交易信息在实际工作中主要包含三要素:交易名称、开始时间、结束时间;其中开始时间和结束时间可通过打点或者快照的方式来实现,最大的可能简化手工操作。其后,将收集上来的交易信息要素归类并提供至后续步骤S103进行关联。
请参考图2所示,在本发明一实施例中,根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息包含:
S201根据所述交易信息中的开始结束时间于所述监控数据中的数据表结构中获得主键信息;
S202通过所述主键信息提取所述监控数据中对应时段的变化数据信息。
具体的,在该实施例中主要进行时间链路提取,即从监控数据中,提取在步骤S101中确定时间段内的变化数据信息,采取按主键提取的方式(主键可以在数据表的结构中获取),并将该信息按照时间发生的先后顺序(根据数据库中的时间戳,目前规范的分布式事务设计的数据库表中,交易类表普遍具有时间戳的信息)。
进一步的,请参考图3所示,在本发明一实施例中,以所述变化数据信息的时间发生先后进行排序生成数据流集合可包含:
S301当所述变化数据信息分别来至于不同时间设置的数据库时,通过时间换算公式计算所述变化数据信息的标准时间;
S302根据所述标准时间将所述变化数据信息的时间发生先后进行排序生成数据流集合。
具体请参考图4所示,实际工作中的处理流程主要是将从各个分布式数据库中采集到的变化信息汇总,并按照时间戳的顺序重新排列组合(假设各个分布式数据库的时间采取同步机制,为同一时间。)如各个数据库的时间不同(存在于某些用于测试的数据库),则需要采取换算公式来对应自然时间后,再进行排列组合。排列组合后的信息,汇总进入临时信息库,用于后续的进一步处理。
请参考图5所示,在本发明一实施例中,根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联之前还包含:
S501当所述数据流集合中存在交易链路数据流在传递过程中主键变化时,通过主键传递跟踪技术获取主键跳跃位置;
S502根据所述主键跳跃位置将变化的主键与主键跳跃位置的主键关联后存入所述数据流集合。
上述实施例主要适用于在整个交易链路数据流传递的过程中,出现主键变化的情况,即主键发生“跳跃”,比如从集团编号跳跃到某一具体的交易流水号,在此过程中通过此技术去跟踪主键跳跃的情况,避免数据流跟踪断裂,保护其传递完整性。具体可参考图6所示,在实际工作中,主键传递跟踪的数据源为步骤S102处理完成的临时信息库中有序数据的集合,在这些数据中,逐一提取每一条数据的主键信息进行分析,假设数据库中有n条数据,通过for循环的方式,将每一条主键数据与其余n-1条主键数据进行比对,如发现共同主键,且存在这一主键上的相同数据值,可视为一条关联数据,即串联起数据流中的“一环”,可纳入数据链路。如未发现关联主键,则寻找跳跃主键的信息。跳跃主键寻找的原理为:假设A数据中存在主键A1,B数据中存在主键B1,A1不等于B1,但是通过对其他中间表的扫描,发现存在表TAB1,可以建立从A1到B1的主键关联关系,则可以通过TAB1表作为中间转换,形成A1与B1之间的串联信息。此情况可能是:A1与B1是一对多的关系,或者A1与B1一一对应的关系,也存在A1与B1为多对一的关系;以此可纳入数据链路;如为发现跳跃主键则可认定为可疑噪声数据予以滤除。
在本发明一实施例中,根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联之前还包含:通过不同预设周期的业务要素采集提取与交易关联的相关信息,通过所述相关信息对所述数据流集合进行降噪处理。该实施例主要是针对获取的数据流集合中的噪音部分,通过在不同时段的业务要素采集,反复提取真正与交易有直接关系的信息,降低噪声对数据流链接形成的影响。具体可参考图7所示,在实际工作中可按照x轴、y轴两个维度对数据链路进行处理,x轴将数据链路信息按照业务时段分别存放为不同的数据集合,Y轴按照数据链路的唯一值进行存储。根据横轴和纵轴的排列关系,可以将数据链路提取为三类:A:在全业务时段均存在的数据流,B:偶尔出现的数据流C:只出现过一次的数据流。此三类数据,A类数据直接进入提取信息库,B类数据进如可疑信息库,C类数据抛弃。需要说明的是,业务时段的数据是一个动态逐次递增的过程,随着不同业务时段采集的数据流越来越多,对数据链路的ABC类分流越来越准确,知道最后将可疑信息逐一分析提取,纳入提取库或者抛弃库。
为便于更清楚的理解本发明所提供的交易数据流获取方法的具体实施流程及方式,以下以一个业务名称为Trade 1的交易为例,对上述实施例做整合说明,本领域相关技术人员当可知,该实例并不对其进行任何限定。
1、Trade1分别在业务时段:T1、T2、T3采集,纳入数据库。
2、从监控数据库中提取T1、T2、T3时段的变化数据信息,假设为A库的A1表,新增了n条数据(insert操作)、B库的B1表,修改或者更新了n条数据(update操作),C库的C1、C2表,分别新增了m条数据(insert操作)。
3、提取数据之间的时间戳关系,发现时间顺序为:B1更新->A1新增->C1新增->C2新增。
4、B1表存在主键B1pk1,A1表存在主键A1pk1,C1表处在主键C1pk1,C2表存在主键C2pk1,经业务逻辑比对发现,B1pk1等于A1pk1,C1pk1等于C2pk1。
5、对A、B、C库的数据结构分别扫描,发现B库的B2表,存在B1pk1与C1pk1的关联,由此满足主键跳跃的条件,链路生成,为:B1pk1->A1pk1->C1pk1->C2pk1。
6、根据5中的链路,对n条数据内容逐一进行数据流链路建立,在数据链路信息库中存储n条数据流信息:dataflow1……dataflow n。
7、建立起数据流与业务时段的对应存储关系,如:
T1:dataflow 1……dataflow x(均具备同一数据链路B1pk1->A1pk1->C1pk1->C2pk1);
T2:dataflow x+1……dataflow y(均具备同一数据链路B1pk1->A1pk1->C1pk1->C2pk1);
T3:dataflow y+1……dataflow n(均具备同一数据链路B1pk1->A1pk1->C1pk1->C2pk1);
8、由于同一数据链路的数据在T1、T2、T3 3个时段均存在,则认定为与Trade1存在密切关联的数据链路,进入数据链路提取库。
9、在监控中提取的数据,还发现了另外一条数据链路,假设为:A库的A2表,到B库的B2表,C库的C3表,数据链路为:A2pk1->B2pk1->C2pk1。
10、该数据链路只在T1时段存在,在T2、T3时段均未发现,则进入可疑库,等待更多时段样本T4……Tn入库后进一步分析。
请参考图8所示,本发明还提供一种交易数据流获取装置,所述装置包含交易采集模块、技术数据流处理模块和汇总模块;所述交易采集模块用于接收交易信息,根据交易信息分析获得交易流程数据;所述技术数据流处理模块用于采集后台数据库的监控数据,根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息,并以所述变化数据信息的时间发生先后进行排序生成数据流集合;所述汇总模块用于根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联生成交易数据流。
在上述实施例中,所述技术数据流处理模块还包含主键传递跟踪模块和噪声处理模块;所述主键传递跟踪模块用于当所述数据流集合中存在交易链路数据流在传递过程中主键变化时,通过主键传递跟踪技术获取主键跳跃位置;根据所述主键跳跃位置将变化的主键与主键跳跃位置的主键关联后存入所述数据流集合;所述噪声处理模块用于通过不同预设周期的业务要素采集提取与交易关联的相关信息,通过所述相关信息对所述数据流集合进行降噪处理。
为便于更清楚额说明,本发明所提供的交易数据流获取装置的具体结构及彼此之间的关系,以下请参考图9所示,对上述交易数据流获取装置在实际应用工作中各组件的具体原理做进一步说明。
本发明所提供的交易数据流获取装置在实际工作中主要包含三个模块:交易采集模块、技术数据流处理模块和汇总模块。
其中,交易采集模块包含交易信息录入和交易流程采集两个单元:
交易信息录入,录入交易的信息,主要包括三要素:交易名称、开始时间、结束时间。其中开始时间和结束时间通过打点或者快照的方式来实现,最大的可能简化手工操作。
交易流程采集,将收集上来的交易信息要素归类,并上送信息汇总单元。
其中,技术数据流处理模块包含监控数据获取、时间链路提取、主键传递跟踪和噪声处理四个单元:
监控数据获取,数据来源为后台数据库监控数据,其中包括SQL文本、执行时间、对应的表名等要素信息。
时间链路提取,从监控数据中,提取在子模块1中获取的时间段内的变化数据信息,采取按主键提取的方式(主键可以在数据表的结构中获取),并将该信息按照时间发生的先后顺序(根据数据库中的时间戳,目前规范的分布式事务设计的数据库表中,交易类表普遍具有时间戳的信息)。
主键传递跟踪:该模块为可选模块,普遍适用于在整个交易链路数据流传递的过程中,出现主键变化的情况,即主键发生“跳跃”,比如从集团编号跳跃到某一具体的交易流水号,在此过程中通过此技术去跟踪主键跳跃的情况,避免数据流跟踪断裂,保护其传递完整性。
噪声处理:针对获取的数据流集合中的噪音部分,通过在不同时段的业务要素采集,反复提取真正与交易有直接关系的信息,降低噪声对数据流链接形成的影响。
其中,汇总模块包含信息汇总和交易流程数据流关系提取两个单元:
信息汇总:存储交易流程采集和时间链路提取、主键传递跟踪、噪声处理处理后传递的两路数据源信息。
交易流程数据流关系:将业务要素和数据流信息进行有序匹配,匹配的依据是业务时间段内提取到的经过时间链路提取、主键传递跟踪、噪声处理处理后的有序数据流集合,并对外展示,供查询和检索用。
本发明的有益技术效果在于:大幅降低人工梳理的时间成本和经验门槛要求,只需前期样本采集期间少量的人工录入;自动生成的数据流信息,对于全链路交易的监控和跟踪,提供了分析和问题排查的有效依据;通过监控数据不断自动刷新丰富内容,形成一套完整的数据流信息资产沉淀。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述方法的计算机程序。
如图10所示,该电子设备600还可以包括:通信模块110、输入单元120、音频处理单元130、显示器160、电源170。值得注意的是,电子设备600也并不是必须要包括图10中所示的所有部件;此外,电子设备600还可以包括图10中没有示出的部件,可以参考现有技术。
如图10所示,中央处理器100有时也称为控制器或操作控件,可以包括微处理器或其他处理器装置和/或逻辑装置,该中央处理器100接收输入并控制电子设备600的各个部件的操作。
其中,存储器140,例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息,此外还可存储执行有关信息的程序。并且中央处理器100可执行该存储器140存储的该程序,以实现信息存储或处理等。
输入单元120向中央处理器100提供输入。该输入单元120例如为按键或触摸输入装置。电源170用于向电子设备600提供电力。显示器160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器,但并不限于此。
该存储器140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器,其即使在断电时也保存信息,可被选择性地擦除且设有更多数据,该存储器的示例有时被称为EPROM等。存储器140还可以是某种其它类型的装置。存储器140包括缓冲存储器141(有时被称为缓冲器)。存储器140可以包括应用/功能存储部142,该应用/功能存储部142用于存储应用程序和功能程序或用于通过中央处理器100执行电子设备600的操作的流程。
存储器140还可以包括数据存储部143,该数据存储部143用于存储数据,例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器140的驱动程序存储部144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块110即为经由天线111发送和接收信号的发送机/接收机110。通信模块(发送机/接收机)110耦合到中央处理器100,以提供输入信号和接收输出信号,这可以和常规移动通信终端的情况相同。
基于不同的通信技术,在同一电子设备中,可以设置有多个通信模块110,如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)110还经由音频处理器130耦合到扬声器131和麦克风132,以经由扬声器131提供音频输出,并接收来自麦克风132的音频输入,从而实现通常的电信功能。音频处理器130可以包括任何合适的缓冲器、解码器、放大器等。另外,音频处理器130还耦合到中央处理器100,从而使得可以通过麦克风132能够在本机上录音,且使得可以通过扬声器131来播放本机上存储的声音。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种交易数据流获取方法,其特征在于,所述方法包含:
接收交易信息,根据交易信息分析获得交易流程数据;
采集后台数据库的监控数据,根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息,并以所述变化数据信息的时间发生先后进行排序生成数据流集合;
根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联生成交易数据流。
2.根据权利要求1所述的交易数据流获取方法,其特征在于,根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联之前还包含:
当所述数据流集合中存在交易链路数据流在传递过程中主键变化时,通过主键传递跟踪技术获取主键跳跃位置;
根据所述主键跳跃位置将变化的主键与主键跳跃位置的主键关联后存入所述数据流集合。
3.根据权利要求1所述的交易数据流获取方法,其特征在于,根据交易信息分析获得交易流程数据包含:
分析所述交易信息获得交易要素,对所述交易要素进行归类生成交易流程数据。
4.根据权利要求1所述的交易数据流获取方法,其特征在于,所述监控数据包含查询文本、执行时间和对应的表名。
5.根据权利要求4所述的交易数据流获取方法,其特征在于,根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息包含:
根据所述交易信息中的开始结束时间于所述监控数据中的数据表结构中获得主键信息;
通过所述主键信息提取所述监控数据中对应时段的变化数据信息。
6.根据权利要求4所述的交易数据流获取方法,其特征在于,以所述变化数据信息的时间发生先后进行排序生成数据流集合包含:
当所述变化数据信息分别来至于不同时间设置的数据库时,通过时间换算公式计算所述变化数据信息的标准时间;
根据所述标准时间将所述变化数据信息的时间发生先后进行排序生成数据流集合。
7.根据权利要求1至6中任一项所述的交易数据流获取方法,其特征在于,根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联之前还包含:
通过不同预设周期的业务要素采集提取与交易关联的相关信息,通过所述相关信息对所述数据流集合进行降噪处理。
8.一种交易数据流获取装置,其特征在于,所述装置包含交易采集模块、技术数据流处理模块和汇总模块;
所述交易采集模块用于接收交易信息,根据交易信息分析获得交易流程数据;
所述技术数据流处理模块用于采集后台数据库的监控数据,根据所述交易信息中的开始结束时间按主键提取的方式提取所述监控数据中对应时段的变化数据信息,并以所述变化数据信息的时间发生先后进行排序生成数据流集合;
所述汇总模块用于根据所述交易信息中的业务要素将所述交易流程数据与所述数据流集合进行按序匹配关联生成交易数据流。
9.根据权利要求8所述的交易数据流获取装置,其特征在于,所述技术数据流处理模块还包含主键传递跟踪模块和噪声处理模块;
所述主键传递跟踪模块用于当所述数据流集合中存在交易链路数据流在传递过程中主键变化时,通过主键传递跟踪技术获取主键跳跃位置;根据所述主键跳跃位置将变化的主键与主键跳跃位置的主键关联后存入所述数据流集合;
所述噪声处理模块用于通过不同预设周期的业务要素采集提取与交易关联的相关信息,通过所述相关信息对所述数据流集合进行降噪处理。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7任一所述方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有由计算机执行权利要求1至7任一所述方法的计算机程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110690821.2A CN113407540A (zh) | 2021-06-22 | 2021-06-22 | 交易数据流获取方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110690821.2A CN113407540A (zh) | 2021-06-22 | 2021-06-22 | 交易数据流获取方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113407540A true CN113407540A (zh) | 2021-09-17 |
Family
ID=77682373
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110690821.2A Pending CN113407540A (zh) | 2021-06-22 | 2021-06-22 | 交易数据流获取方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113407540A (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170132705A1 (en) * | 2015-11-06 | 2017-05-11 | PGMtech Solutions, LLC | System and method for aggregating financial data |
CN109669933A (zh) * | 2018-12-10 | 2019-04-23 | 平安科技(深圳)有限公司 | 交易数据智能处理方法、装置及计算机可读存储介质 |
CN110457336A (zh) * | 2019-08-15 | 2019-11-15 | 中国银行股份有限公司 | 交易数据处理方法及装置 |
US20200074368A1 (en) * | 2018-08-31 | 2020-03-05 | Jason L. Klemow | System and method to assembly, track, and analyze multi-period deals formed from multiple service offerings |
CN111221635A (zh) * | 2019-11-22 | 2020-06-02 | 深圳前海微众银行股份有限公司 | 一种多进程交易流水处理方法及装置 |
CN112581277A (zh) * | 2020-12-24 | 2021-03-30 | ***股份有限公司 | 一种数据处理方法及装置 |
-
2021
- 2021-06-22 CN CN202110690821.2A patent/CN113407540A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170132705A1 (en) * | 2015-11-06 | 2017-05-11 | PGMtech Solutions, LLC | System and method for aggregating financial data |
US20200074368A1 (en) * | 2018-08-31 | 2020-03-05 | Jason L. Klemow | System and method to assembly, track, and analyze multi-period deals formed from multiple service offerings |
CN109669933A (zh) * | 2018-12-10 | 2019-04-23 | 平安科技(深圳)有限公司 | 交易数据智能处理方法、装置及计算机可读存储介质 |
CN110457336A (zh) * | 2019-08-15 | 2019-11-15 | 中国银行股份有限公司 | 交易数据处理方法及装置 |
CN111221635A (zh) * | 2019-11-22 | 2020-06-02 | 深圳前海微众银行股份有限公司 | 一种多进程交易流水处理方法及装置 |
CN112581277A (zh) * | 2020-12-24 | 2021-03-30 | ***股份有限公司 | 一种数据处理方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111597257A (zh) | 数据库的同步方法、装置、存储介质及终端 | |
US8078628B2 (en) | Streaming faceted search | |
CN111708841B (zh) | 数据库数据同步方法及装置 | |
JP2011039818A (ja) | ストリームデータ処理システム、ストリームデータ処理方法及びストリームデータ処理プログラム | |
CN115033646B (zh) | 一种基于Flink&Doris构建实时数仓***的方法 | |
CN110704484A (zh) | 一种对海量实时数据流进行处理的方法及*** | |
CN110928851B (zh) | 处理日志信息的方法、装置、设备及存储介质 | |
CN109086382B (zh) | 一种数据同步方法、装置、设备及存储介质 | |
CN103995807A (zh) | 一种基于Web架构下海量数据查询和二次处理的方法 | |
CN106156047A (zh) | 一种快照信息处理方法及装置 | |
CN113282611A (zh) | 一种流数据同步的方法、装置、计算机设备及存储介质 | |
CN110198327B (zh) | 一种数据传输方法及相关设备 | |
CN114820080A (zh) | 基于人群流转的用户分群方法、***、装置及介质 | |
CN113468196B (zh) | 用于处理数据的方法、装置、***、服务器和介质 | |
EP4206945A1 (en) | Search content matching method and apparatus, and electronic device and storage medium | |
CN102737082A (zh) | 一种动态更新文稿数据索引的方法和*** | |
CN113407540A (zh) | 交易数据流获取方法及装置 | |
CN112162905A (zh) | 一种日志处理方法、装置、电子设备及存储介质 | |
CN115495519A (zh) | 报表数据加工方法及装置 | |
JP2006157687A (ja) | 視聴者間コミュニケーション方法及び装置及びプログラム | |
CN111291017B (zh) | 镜像仓库的镜像存储、提取方法及装置 | |
CN114297211A (zh) | 一种数据在线分析***、方法、设备及存储介质 | |
CN112486979B (zh) | 数据处理方法、装置和***、电子设备以及计算机可读存储介质 | |
CN112597225A (zh) | 基于集散模型的数据采集方法及装置 | |
CN111831527A (zh) | 扫描数据库性能问题的方法、装置、电子设备、及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |