CN112270600A - 一种多源数据的处理方法、***及相关装置 - Google Patents

一种多源数据的处理方法、***及相关装置 Download PDF

Info

Publication number
CN112270600A
CN112270600A CN202011180781.9A CN202011180781A CN112270600A CN 112270600 A CN112270600 A CN 112270600A CN 202011180781 A CN202011180781 A CN 202011180781A CN 112270600 A CN112270600 A CN 112270600A
Authority
CN
China
Prior art keywords
data
transaction
target
queue
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011180781.9A
Other languages
English (en)
Inventor
湛兴梦
颜肖珂
於彬
刘科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Tongguan Technology Co ltd
Original Assignee
Guangdong Tongguan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Tongguan Technology Co ltd filed Critical Guangdong Tongguan Technology Co ltd
Priority to CN202011180781.9A priority Critical patent/CN112270600A/zh
Publication of CN112270600A publication Critical patent/CN112270600A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/217—Database tuning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多源数据的处理方法、***及相关装置，该方法包括采集若干目标业务***端对应的若干交易数据；对所述若干交易数据进行预处理，并将预处理后的若干交易数据存储在预设的结构化表数据队列中；获取业务需求，从所述预设的结构化表数据队列中查找与所述业务需求匹配的目标交易数据，并将所述目标交易数据发送至对应的目标业务***端进行数据处理。本发明旨在将各个交易***的数据通过统一标准的方式采集到一个队列，针对多样化业务需求及扩展，从同一队列中实时获取到交易***的数据，对各自交易***做到隔离，也不会对交易***的数据库增加负载压力与统计压力，从而提高数据处理效率，降低开发和维护难度，方便用户。

Description

一种多源数据的处理方法、***及相关装置
技术领域
本发明数据处理技术领域，尤其涉及一种多源数据的处理方法、***及相关装置。
背景技术
随着传统POS刷卡业务逐步迁移至移动支付、线上支付或码牌支付，在完成交易支付的同时，也催生了随着支付订单的一些附加业务功能，比如对接商户需要能够实时进行订单状态的获取来进行对账、支付后需要进行云语音播报设备播报支付信息、支付后需要进行云打印机打印支付凭证信息、多个支付平台订单数据的汇总分析等。
传统处理方案需要对每种业务类型进行独立***开发并连接到支付平台对应的数据库，对支付***数据库造成极大的承载压力与数据操作压力。而且，随着需要关联支付订单明细的业务场景逐步延伸，对数据库不可控的负载压力也会逐步加剧，使得实时订单数据所需要使用的业务场景越来越多，但这些订单数据的存储较分散，订单业务方式多样化，导致相关技术数据处理效率低，并且增加维护开发难度，带来成本增加。
因此，如何提高多源数据的处理效率，进而降低成本是本领域技术人员亟需解决的技术问题。
因此，现有技术还有待于发展和改进。
发明内容
基于此，有必要针对上述技术问题，提出了一种多源数据的处理方法、***及相关装置。
一种多源数据的处理方法，所述多源数据的处理方法包括：
采集若干目标业务***端对应的若干交易数据；
对所述若干交易数据进行预处理，并将预处理后的若干交易数据存储在预设的结构化表数据队列中；
获取业务需求，从所述预设的结构化表数据队列中查找与所述业务需求匹配的目标交易数据，并将所述目标交易数据发送至对应的目标业务***端进行数据处理。
所述的多源数据的处理方法，其中，所述采集若干目标业务***端对应的若干交易数据具体包括：
确定与若干目标业务***端对应的若干目标交易***端；
查询各自目标交易***端的数据库，并从各自目标交易***端的数据库中提取属于目标业务***端对应的交易数据。
所述的多源数据的处理方法，其中，所述多源数据的处理方法还包括：
监测各自目标交易***端的数据库中所存储的数据文件是否有变化；
若监测到存在至少一目标交易***端的数据库中所存储的数据文件有变化，则获取有变化的数据文件，并将所述有变化的数据文件进行预处理；
将预处理后的所述有变化的数据文件存储在预设的结构化数据队列中。
所述的多源数据的处理方法，其中，所述监测各自目标交易***端的数据库中所存储的数据文件是否有变化具体包括：
启动各自目标交易***端的canal服务；
监测各自目标交易***端的数据库中Mysql binlog二进制日志文件，以通过各自Mysql binlog二进制日志文件确定各自数据库所存储的数据文件是否变更。
所述的多源数据的处理方法，其中，所述对所述若干交易数据进行预处理，并将预处理后的若干交易数据存储在预设的结构化表数据队列中具体包括：
获取预设的结构化表数据队列；所述结构化表数据队列配置有一标准格式；
将所述若干交易数据通过canal服务采用并行处理方式分别转化成统一的标准格式数据；
将转化后的各标准格式数据存储在预设的结构化表数据队列。
所述的多源数据的处理方法，其中，所述标准格式为json格式。
所述的多源数据的处理方法，其中，所述获取业务需求，从所述预设的结构化表数据队列中查找与所述业务需求匹配的目标交易数据，并将所述目标交易数据发送至对应的目标业务***端进行数据处理具体包括：
解析所获取的业务需求，确定所述业务需求对应的目标业务***端的交易标识信息；
基于所述交易标识信息，确定所述结构化表数据队列中是否存在与所述交易标识信息相同的目标交易数据；
若存在与所述交易标识信息相同的目标交易数据，将所述目标交易数据发送至所述交易标识信息对应的目标业务***端；
通过所述目标业务***端对所述目标交易数据进行数据处理。
本申请还提供一种多源数据的处理***，所述多源数据的处理***包括若干业务***端、预处理服务器端以及若干交易***端，所述若干业务***端和所述若干交易***端均与所述预处理服务器端连接，所述多源数据的处理***用于实现所述的多源数据的处理方法的步骤。
本申请还提供一种服务器集群，其包括：
存储器和处理器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现所述的多源数据的处理方法的步骤。
本申请还提供一种计算机临时存储介质，该存储介质存储有一个或多个程序，所述程序被处理器执行以实现所述的多源数据的处理方法中的步骤。
采用本发明实施例，具有如下有益效果：
本发明公开了一种多源数据的处理方法、***及相关装置，所述多源数据的处理方法包括采集若干目标业务***端对应的若干交易数据；对所述若干交易数据进行预处理，并将预处理后的若干交易数据存储在预设的结构化表数据队列中；获取业务需求，从所述预设的结构化表数据队列中查找与所述业务需求匹配的目标交易数据，并将所述目标交易数据发送至对应的目标业务***端进行数据处理。本发明旨在将各个交易***的数据通过统一标准的方式采集到一个队列，针对多样化业务需求及扩展，从同一队列中实时获取到交易***的数据，对各自交易***做到隔离，也不会对交易***的数据库增加负载压力与统计压力，从而提高数据处理效率，降低开发和维护难度，方便用户。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本发明提供的一种多源数据的处理***的结构框图。
图2为本发明提供的一种多源数据的处理方法的一实施例的流程图。
图3为本发明提供的一种服务器集群的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1示例了本发明提供的一种多源数据的处理***的结构框图，如图1所示，所述多源数据的处理***包括若干业务***端、预处理服务器端以及若干交易***端，所述若干业务***端和所述若干交易***端均与所述预处理服务器端连接。
具体地，业务***端指的是需要获取交易数据的对象，即目标对象。当目标对象存在多个时，通过用户ID用于区分不同的目标对象。例如业务***端可以是点餐业务***端、外卖业务***端等。所述交易***端指的是完成交易操作并存储交易数据的对象，例如各大银行、移动终端等，所述交易数据为各支付渠道对应的订单数据、流水线数据等。所述预处理服务器端即为从交易***端获取业务***端所需的交易数据，进行大批量预处理，并将预处理后的数据存储在结构化表数据队列中，从而使得各业务***端直接从该结构化表数据队列中读取交易数据，无需经过交易***端的数据库中提取交易数据。这样，由发送端到预处理端再到接收端，以预处理端作为中间件，使得各自交易***端数据相互独立，互不干扰，同时加快数据处理效率。
请参阅图2，图2示例了本发明提供的一种多源数据的处理方法的一实施例的流程图。所述多源数据的处理方法，应用于如图1所示的多源数据处理***，通俗来讲，本申请的方法的设计部署架构为数据采集端-数据预处理端-数据接收端,数据采集端是采用心跳模式安装在业务***端的大量数据采集中间件；数据预处理端指的是与分布式部署的大批量预处理业务数据的服务器集群；数据接收端是存储预处理完成后数据,并进行数据库和搜索引擎定时同步的服务器集群。发生数据交换的场景为数据采集端到预处理端再到数据接收端,通过预处理环节可以预先判断出待处理的待处理数据的类型、结构,处理方法等,便可以参考知识库(过去的经验,以及历史积累的模式)进行处理。本申请实施例中将传统数据处理模式由发送端到接收端改为发送端到预处理再到接收端,可以有效加快数据处理效率,实现在终端上快速处理的有益效果，且由于处理过程中采用动态扩展的方式,可有效解决多源数据处理瓶颈问题。
具体地，如图2所示，所述多源数据的处理方法包括：
S10、采集若干目标业务***端对应的若干交易数据。
在本实施例中，所述目标业务***端指的是需要获取交易数据的对象，即目标对象。当目标对象存在多个时，通过用户ID用于区分不同的目标对象。也就是说，所述用户ID唯一确定目标对象。本实施例中所述用户ID指的是***自动为每一目标对象创建的序列号或设备本身的设备标识。该标识不仅用于确定目标对象，还用于在结构化表数据队列中通过关联关系确定存储在结构化表数据队列中各数据对应的目标对象，所述用户ID类似于索引信息，用于快速查询。
由于不同业务***端可能通过不同交易***端得到对应的交易数据。该交易***端可以是第三方交易端或平台，也可以是不同支付渠道。所述支付渠道可以是乐刷、微信、支付宝、富有支付、银联、云闪付等，可划分为移动支付、线下刷卡、银联、现金支付等支付类型。
为了避免若干目标业务***端对不同交易***端的数据库进行数据处理导致各数据库的负载压力加大，且数据库间数据干扰，采用将各目标业务***端所需的目标交易***对应的目标交易数据存储在一中间件中，然后从这中间件中获取所需的交易数据，下载在目标业务***端本地进行相应的数据处理，这样，就保证相互间数据库取得的交易数据隔离不干扰，同时也减轻对各自交易***端的各自数据库的负载压力和统计压力。
示例性的，所述采集若干目标业务***端对应的若干交易数据具体包括：
S11，确定与若干目标业务***端对应的若干目标交易***端；
S12，查询各自目标交易***端的数据库，并从各自目标交易***端的数据库中提取属于目标业务***端对应的交易数据。
也就是说，每个交易***端都对应一个数据库Mysql，其存储了各业务***端所需的交易数据。因此，预处理服务器从各交易***端中各自数据库采集交易数据，然后对所采集到的交易数据进行预处理，然后将预处理后的交易数据发送给目标业务***端。
由于预处理服务器可对应多个业务***端，因此，需要确定所需交易数据对应的目标业务***端，通过解析业务需求，获取到目标对象的标识信息如用户ID或设备标识来确定需要从哪些目标交易***端中获取交易数据。
一旦确定目标交易***端，则预处理服务器从其目标交易***端的数据库中采集交易数据。
S20、对所述若干交易数据进行预处理，并将预处理后的若干交易数据存储在预设的结构化表数据队列中。
具体地，由于获取到的交易数据的格式数据多样化，如excel、txt、json、压缩包、xtp等格式文件流，减少无效数据，节省存储空间，同时也为了提高处理效率，需要对所获取的交易数据进行预处理。所述预处理包括解析、转化、提取等，在本实施例中，所述预处理指的是将获取到的交易数据通过canal服务转化为统一的标准格式数据，所述标准格式数据为json格式数据。json(JavaScript Object Notation,JS对象简谱)是一种轻量级的数据交换格式，其采用完全独立于编程语言的文本格式来存储和表示数据，简洁和清晰的层次结构使得JSON成为理想的数据交换语言，其易于人阅读和编写，同时也易于机器解析和生成，并有效地提升网络传输效率。
需要说明的是，上述标准格式并非限制的，还可以根据业务需求进行设定，如excel、txt、压缩包、xtp等文件流中一种或多种。
当然，所述预处理还可以是预先判断出待处理的待处理数据的类型、结构,处理方法等,便可以参考知识库(过去的经验,以及历史积累的模式)进行处理，也还可以是定制预处理流程所对应的流程。因此，该预处理并非限制的，可根据业务需求进行设定。
在预处理服务器中预先创建一结构化表数据队列。该结构化表数据队列配置有该标准格式。所述结构化表数据队列用于存储预处理后的交易数据。进一步地，创建监控该结构化表数据队列的工作线程，用于监控该结构化表数据队列中的数据文件的异动。
更进一步地，在所述监测到任一存储的所述数据文件被删除时，则删除所述数据文件对应的所述结构化表数据队列的工作线程。
示例性的，所述对所述若干交易数据进行预处理，并将预处理后的若干交易数据存储在预设的结构化表数据队列中具体包括：
S21，获取预设的结构化表数据队列；所述结构化表数据队列配置有一标准格式；
S22，将所述若干交易数据通过canal服务采用并行处理方式分别转化成统一的标准格式数据；
S23，将转化后的各标准格式数据存储在预设的结构化表数据队列。
具体地，各交易***端的数据库均对应一canal服务，该canal服务用于监听和转化。即将采集到的交易数据经过该canal服务后采用并行处理方式，即多线程选取多条交易处理，并行同步解析和转化，以得到各交易数据对应的标准格式数据。
与此同时，canal服务实时监测各自交易***端的数据库中所存储的数据文件是否有变化，该变化指的是所存储的数据文件是否进行修改，如增加、删除、更改等。具体表现为监测各自目标交易***端的数据库中Mysql binlog二进制日志文件，该Mysql binlog二进制日志文件能够记录mysql的数据更新或者潜在更新(比如DELETE语句执行删除而实际并没有符合条件的数据)，因此，通过各自Mysql binlog二进制日志文件用于确定各自数据库所存储的数据文件是否变更。
若监测到存在至少一目标交易***端的数据库中所存储的数据文件有变化，则获取有变化的数据文件，并将所述有变化的数据文件进行预处理，执行步骤S22后续操作，继而将预处理后的所述有变化的数据文件存储在预设的结构化数据队列中。
S30、获取业务需求，从所述预设的结构化表数据队列中查找与所述业务需求匹配的目标交易数据，并将所述目标交易数据发送至对应的目标业务***端进行数据处理。
具体地，基于步骤S20，预处理服务器可以获取到多条业务需求，因此，当业务需求有多条时，需要确定发送业务需求的目标业务***终端以及与各业务需求匹配的交易数据。
由于所有的交易数据均可从结构化表数据队列中获取，因此，通过业务需求对应的目标业务***端与交易***端具有同一交易标识的关联关系，来从该结构化表数据队列中查找与业务需求匹配的目标交易数据。
然后预处理服务器将该目标交易数据转发至业务需求对应的目标业务***端进行数据处理。具体表现为目标业务***端从预处理服务器端下载到该业务需求对应的目标交易数据至本地，进而对该目标交易数据进行处理。
进一步地，由于目标业务***端所获取的交易数据来源于预处理服务器的结构化表数据队列中，并非直接作用于源头的数据库即目标交易***对应的数据库，因此，可对获取到的交易数据进行二次业务处理、分析或者做消息推送场景，完全不影响原有目标交易***对应的数据库中数据有任何影响，继而达到对交易***做到完全隔离，从而不限制负责上限，节省成本，最大化提高复用率。
示例性的，所述获取业务需求，从所述预设的结构化表数据队列中查找与所述业务需求匹配的目标交易数据，并将所述目标交易数据发送至对应的目标业务***端进行数据处理具体包括：
S31，解析所获取的业务需求，确定所述业务需求对应的目标业务***端的交易标识信息；
S32，基于所述交易标识信息，确定所述结构化表数据队列中是否存在与所述交易标识信息相同的目标交易数据；
S33，若存在与所述交易标识信息相同的目标交易数据，将所述目标交易数据发送至所述交易标识信息对应的目标业务***端；
S34，通过所述目标业务***端对所述目标交易数据进行数据处理。
上述交易标识信息包括用户ID或设备标识。进一步地，所述确定所述结构化表数据队列中是否存在与所述交易标识信息相同的目标交易数据表现为在结构化表数据队列中查找与该用户ID或设备标识相同的目标交易数据。
这样，基于步骤S10-S30，本发明旨在将各个交易***的数据通过统一标准的方式采集到一个队列，针对多样化业务需求及扩展，从同一队列中实时获取到交易***的数据，对各自交易***做到隔离，也不会对交易***的数据库增加负载压力与统计压力，从而提高数据处理效率，降低开发和维护难度，方便用户。
在上述实施例中，可以全部或部分的通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或者数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或半导体介质(例如固态硬盘Solid State Disk(SSD))等。
基于上述方法，本申请还提供一种服务器集群。在一个实施例中，如图3所示，图3展示了一种多服务器集群的结构框图。其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本发明实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作语音客服***、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种多源数据的处理方法，所述多源数据的处理方法包括：
采集若干目标业务***端对应的若干交易数据；
对所述若干交易数据进行预处理，并将预处理后的若干交易数据存储在预设的结构化表数据队列中；
获取业务需求，从所述预设的结构化表数据队列中查找与所述业务需求匹配的目标交易数据，并将所述目标交易数据发送至对应的目标业务***端进行数据处理。
2.根据权利要求1所述的多源数据的处理方法，其特征在于，所述采集若干目标业务***端对应的若干交易数据具体包括：
确定与若干目标业务***端对应的若干目标交易***端；
查询各自目标交易***端的数据库，并从各自目标交易***端的数据库中提取属于目标业务***端对应的交易数据。
3.根据权利要求2所述的多源数据的处理方法，其特征在于，所述多源数据的处理方法还包括：
监测各自目标交易***端的数据库中所存储的数据文件是否有变化；
若监测到存在至少一目标交易***端的数据库中所存储的数据文件有变化，则获取有变化的数据文件，并将所述有变化的数据文件进行预处理；
将预处理后的所述有变化的数据文件存储在预设的结构化数据队列中。
4.根据权利要求3所述的多源数据的处理方法，其特征在于，所述监测各自目标交易***端的数据库中所存储的数据文件是否有变化具体包括：
启动各自目标交易***端的canal服务；
监测各自目标交易***端的数据库中Mysqlbinlog二进制日志文件，以通过各自Mysqlbinlog二进制日志文件确定各自数据库所存储的数据文件是否变更。
5.根据权利要求1或3所述的多源数据的处理方法，其特征在于，所述对所述若干交易数据进行预处理，并将预处理后的若干交易数据存储在预设的结构化表数据队列中具体包括：
获取预设的结构化表数据队列；所述结构化表数据队列配置有一标准格式；
将所述若干交易数据通过canal服务采用并行处理方式分别转化成统一的标准格式数据；
将转化后的各标准格式数据存储在预设的结构化表数据队列。
6.根据权利要求5所述的多源数据的处理方法，其特征在于，所述标准格式为json格式。
7.根据权利要求1所述的多源数据的处理方法，其特征在于，所述获取业务需求，从所述预设的结构化表数据队列中查找与所述业务需求匹配的目标交易数据，并将所述目标交易数据发送至对应的目标业务***端进行数据处理具体包括：
解析所获取的业务需求，确定所述业务需求对应的目标业务***端的交易标识信息；
基于所述交易标识信息，确定所述结构化表数据队列中是否存在与所述交易标识信息相同的目标交易数据；
若存在与所述交易标识信息相同的目标交易数据，将所述目标交易数据发送至所述交易标识信息对应的目标业务***端；
通过所述目标业务***端对所述目标交易数据进行数据处理。
8.一种多源数据的处理***，其特征在于，所述多源数据的处理***包括若干业务***端、预处理服务器端以及若干交易***端，所述若干业务***端和所述若干交易***端均与所述预处理服务器端连接，所述多源数据的处理***用于实现如权利要求1至7任一项所述的多源数据的处理方法的步骤。
9.一种服务器集群，其特征在于，包括：
存储器和处理器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现如权利要求1至7任一项所述的多源数据的处理方法的步骤。
10.一种计算机临时存储介质，其特征在于，该存储介质存储有一个或多个程序，所述程序被处理器执行以实现如权利要求1-7任一项所述的多源数据的处理方法中的步骤。
CN202011180781.9A 2020-10-29 2020-10-29 一种多源数据的处理方法、***及相关装置 Pending CN112270600A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011180781.9A CN112270600A (zh) 2020-10-29 2020-10-29 一种多源数据的处理方法、***及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011180781.9A CN112270600A (zh) 2020-10-29 2020-10-29 一种多源数据的处理方法、***及相关装置

Publications (1)

Publication Number Publication Date
CN112270600A true CN112270600A (zh) 2021-01-26

Family

ID=74345330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011180781.9A Pending CN112270600A (zh) 2020-10-29 2020-10-29 一种多源数据的处理方法、***及相关装置

Country Status (1)

Country Link
CN (1) CN112270600A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841570A (zh) * 2022-05-07 2022-08-02 金腾科技信息(深圳)有限公司 用于客户关系管理***的数据处理方法、装置、设备及介质
CN115115457A (zh) * 2022-08-29 2022-09-27 天津金城银行股份有限公司 业务交易流水的处理方法、***及介质
CN115599797A (zh) * 2022-11-29 2023-01-13 广东通莞科技股份有限公司（Cn） 基于操作日志的双向同步方法、装置和电子设备
CN118014732A (zh) * 2024-04-10 2024-05-10 深圳华锐分布式技术股份有限公司 数据回传方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8671001B1 (en) * 2010-12-30 2014-03-11 Eventbrite, Inc. Real-time attendance reporting
CN110489475A (zh) * 2019-08-14 2019-11-22 广东电网有限责任公司 一种多源异构数据处理方法、***及相关装置
CN111124679A (zh) * 2019-12-19 2020-05-08 南京莱斯信息技术股份有限公司 一种面向多源异构海量数据限时自动处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8671001B1 (en) * 2010-12-30 2014-03-11 Eventbrite, Inc. Real-time attendance reporting
CN110489475A (zh) * 2019-08-14 2019-11-22 广东电网有限责任公司 一种多源异构数据处理方法、***及相关装置
CN111124679A (zh) * 2019-12-19 2020-05-08 南京莱斯信息技术股份有限公司 一种面向多源异构海量数据限时自动处理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114841570A (zh) * 2022-05-07 2022-08-02 金腾科技信息(深圳)有限公司 用于客户关系管理***的数据处理方法、装置、设备及介质
CN115115457A (zh) * 2022-08-29 2022-09-27 天津金城银行股份有限公司 业务交易流水的处理方法、***及介质
CN115599797A (zh) * 2022-11-29 2023-01-13 广东通莞科技股份有限公司（Cn） 基于操作日志的双向同步方法、装置和电子设备
CN118014732A (zh) * 2024-04-10 2024-05-10 深圳华锐分布式技术股份有限公司 数据回传方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN112270600A (zh) 一种多源数据的处理方法、***及相关装置
CN101611402B (zh) 用于优化数据集的变化的***和方法
CN111639138B (zh) 数据处理方法、装置、设备及存储介质
CN112527649A (zh) 一种测试用例的生成方法和装置
CN112434039A (zh) 数据的存储方法、装置、存储介质以及电子装置
CN111090268A (zh) 基于线程划分的数据采集方法、装置及数据采集设备
CN106709805B (zh) 一种用户收益数据获取方法及***
CN104881454A (zh) 参数的更新方法及***
CN111339743B (zh) 一种账号生成的方法和装置
CN114398520A (zh) 数据检索方法、***、装置、电子设备及存储介质
CN110222046B (zh) 列表数据的处理方法、装置、服务器和存储介质
CN110032578B (zh) 一种海量数据查询缓存的方法及装置
CN111752541A (zh) 一种基于Rete算法的支付路由方法
CN111046077A (zh) 数据的获取方法及装置、存储介质、终端
KR20210000041A (ko) 로그 데이터의 실시간 분석 방법 및 그 장치
CN116016561A (zh) 数据的同步方法和装置
CN112764988B (zh) 一种数据分段采集方法及装置
CN110569424A (zh) 一种信息推介的方法和装置
CN115344633A (zh) 数据处理方法、装置、设备和存储介质
CN111061719B (zh) 数据收集方法、装置、设备和存储介质
CN112783500B (zh) 编译优化信息生成方法、装置及电子设备
CN111401819A (zh) ***间数据推送方法及***
CN113778977A (zh) 数据处理方法和数据处理装置
CN111695984A (zh) 一种账号余额处理方法和装置
CN117112846B (zh) 一种多信息源证照信息管理方法、***及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210126