CN111680080A - 数据处理方法及数据处理*** - Google Patents

数据处理方法及数据处理*** Download PDF

Info

Publication number
CN111680080A
CN111680080A CN202010297874.3A CN202010297874A CN111680080A CN 111680080 A CN111680080 A CN 111680080A CN 202010297874 A CN202010297874 A CN 202010297874A CN 111680080 A CN111680080 A CN 111680080A
Authority
CN
China
Prior art keywords
data processing
batch
account
processing
accounts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010297874.3A
Other languages
English (en)
Inventor
李远鑫
唐镇坤
杨安
戴飞
刘伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Post Consumer Finance Co ltd
Original Assignee
China Post Consumer Finance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Post Consumer Finance Co ltd filed Critical China Post Consumer Finance Co ltd
Priority to CN202010297874.3A priority Critical patent/CN111680080A/zh
Publication of CN111680080A publication Critical patent/CN111680080A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明涉及一种数据处理方法及数据处理***，该数据处理方法包括以下步骤：S1：触发***批处理机制；S2：获取***中需进行批量数据处理的账号，并建立需进行批量数据处理的账号集合；S3：执行批量数据处理，使多个计算节点对所述账号集合的账号进行并行处理，并分别调用批处理交易级接口对所述账号进行多项串行数据处理。本发明的技术方案不仅能充分利用分布式的计算资源，实现对大规模数据量的支撑，而且使得核心业务***日终处理出现异常时风险可控，影响范围极大缩小，对金融体系整体稳健运行、降低风险有着重要意义。

Description

数据处理方法及数据处理***
技术领域
本发明涉及数据处理技术领域，特别涉及一种数据处理方法及数据处理***。
背景技术
目前，消费金融软件常见的核心业务***日终批处理，因为数据量大，为了处理起来更快，优化的方式通常都是业务处理逻辑、增大并发量或者增加硬件资源等方式。效率虽然提升了，但是只要其中一条数据记录有问题，可能会导致整个批处理停止，影响范围是全量级别的，如果解决不及时，不仅影响核心业务***本身，还会影响后续所有的依赖***，甚至影响报送监管部门的时间，影响第二天的正常营业。传统核心业务***的日终批处理，将相同处理逻辑的功能集中在一起，全量处理完后，再处理下一个相同处理逻辑的功能，必须串行处理，每一步都是关键路径。只要其中一步出现问题，就会导致全量数据暂停，甚至引起多米诺骨牌效应，延迟了后续的所有未处理的步骤、未处理的相关***。
发明内容
基于此，本发明提供了一种可以降低批量数据处理风险的数据处理方法及数据处理***。
本发明实施例一方面提供一种数据处理方法，其包括以下步骤：
S1：触发***批处理机制；
S2：获取***中需进行批量数据处理的账号，并建立需进行批量数据处理的账号集合；
S3：执行批量数据处理，使多个计算节点对所述账号集合的账号进行并行处理，并分别调用批处理交易级接口对所述账号进行多项串行数据处理。
作为上述实施例的进一步改进，步骤S3进一步包括如下步骤：
S31：对所述账号集合进行分区，每个分区包括多个需进行批量数据处理的账号；
S32：使所述多个计算节点每次分别从所述账号集合中获取一个分区，将所述分区中未处理账号按客户分组，将按客户分组后的账号交给线程池；
S33：在线程内逐个账号调用所述批处理交易级接口，对所述账号进行多项串行数据处理；
S34：对于已完成当前分区账号处理的计算节点，返回步骤S32，继续处理下一个未处理或者处理失败的分区，直至所有分区均处理完毕。
作为上述实施例的进一步改进，在步骤S3，所述批量数据处理为日终批处理，在步骤S1，通过日切操作自动触发***批处理机制，或者通过手动起批触发***批处理机制。
作为上述实施例的进一步改进，所述账号为金融贷款账号，所述批处理交易级接口对账号进行的数据处理操作包括串行的数据备份、计结息、转逾期、转非应计。
作为上述实施例的进一步改进，在步骤S3中，如果出现单个账号处理异常，登记失败标识以及异常信息，由人工介入，对异常账号重新调用所述批处理交易级接口进行多项串行数据处理；在步骤S3中，如果出现批次账号处理异常，则通过后台重启该批次账号数据处理操作，通过交易幂等跳过已处理步骤。
作为上述实施例的进一步改进，在步骤S1之前，还包括步骤S0：检查当日是否已执行过一次批量数据处理，如果是，则结束，如果否，则进入步骤S1。
本发明实施例另一方面提供一种数据处理***，其包括
数据存储模块，用于存储***中多个账号的数据；
触发模块，用于触发***批处理机制；
账号集合建立模块，用于获取***中需进行批量数据处理的账号，并建立需进行批量数据处理的账号集合；
批处理交易级接口，用于对所述账号进行多项串行数据处理；以及
数据处理模块，用于执行批量数据处理，使多个计算节点对所述账号集合的账号进行并行处理，并分别调用所述批处理交易级接口对所述账号集合中的账号进行多项串行数据处理。
作为上述实施例的进一步改进，所述账号为金融贷款账号，所述批处理交易级接口对账号进行的数据处理操作包括串行的数据备份、计结息、转逾期、转非应计。
作为上述实施例的进一步改进，所述数据处理模块按以下步骤进行批量数据处理：
S31：对所述账号集合进行分区，每个分区包括多个需进行批量数据处理的账号；
S32：使所述多个计算节点每次分别从所述账号集合中获取一个分区，将所述分区中未处理账号按客户分组，将按客户分组后的账号交给线程池；
S33：在线程内逐个账号调用所述批处理交易级接口，对所述账号进行多项串行数据处理；
S34：对于已完成当前分区账号处理的计算节点，返回步骤S32，继续处理下一个未处理或者处理失败的分区，直至所有分区均处理完毕。
作为上述实施例的进一步改进，在数据处理模块执行批量数据处理时，如果出现单个账号处理异常，登记失败标识以及异常信息，由人工介入，对异常账号重新调用所述批处理交易级接口进行多项串行数据处理；如果出现批次账号处理异常，则通过后台重启该批次账号数据处理操作，通过交易幂等跳过已处理步骤。
本发明的技术方案不仅能充分利用分布式的计算资源，实现对大规模数据量的支撑，而且使得核心业务***日终处理出现异常时风险可控，影响范围极大缩小，对金融体系整体稳健运行、降低风险有着重要意义。
附图说明
通过附图中所示的本发明优选实施例更具体的说明，本发明上述及其它目的、特征和优势将变得更加清晰。在全部附图中相同的附图标记指示相同的部分，且并未刻意按实际尺寸等比例缩放绘制附图，重点在于示出本发明的主旨。
图1为本发明实施例的数据处理方法的流程图。
图2为批量数据处理的流程图。
图3为本发明另一实施例的数据处理方法的流程图。
图4为本发明实施例的数据处理方法的示意图。
图5为本发明又一实施例的数据处理方法的流程图。
图6为本发明实施例的数据处理***的结构图。
具体实施方式
下面结合附图和具体实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
请参考图1至图5，本发明实施例提供一种数据处理方法，其包括以下步骤：
S1：触发***批处理机制；
S2：获取***中需进行批量数据处理的账号（也即账户），并建立需进行批量数据处理的账号集合；
S3：执行批量数据处理，使多个计算节点对所述账号集合的账号进行并行处理，并分别调用批处理交易级接口对所述账号进行多项串行数据处理。
该数据处理方法可以应用于银行***或者是消费金融公司的贷款***。所指触发***批处理机制，即启动批量数据处理任务。在步骤S2中，当触发后，可以从***中将需进行批量数据处理的账号数据同步到批量子***的数据库中，形成需进行批量数据处理的账号集合。在步骤S3中，各计算节点对账号集合中的多个账号进行并行处理，例如读取账号信息，将账号处理任务传给线程池进行处理，还可以将多个不同账号按客户分组，也即将属于同一客户的不同账号归为同一组，后续调用批处理交易级接口时，可以对同一客户的不同账号同时进行处理。在对每个账号进行数据处理时，逐个账号调用批处理交易级接口，批处理交易级接口被调用后，对每个账号进行多项串行的数据处理操作。在应用于金融领域***时，这些串行的数据处理操作可以是数据备份、计结息、转逾期、转非应计等。
在优选实施例中，在步骤S3，所述批量数据处理为日终批处理，在步骤S1，通过日切操作自动触发***批处理机制，或者通过手动起批（也即手动发起批量数据处理任务）触发***批处理机制。所指日切，是指日期切换，通俗的来说就是更换***记账的时间；***时间从当前工作日切换到下一工作日。
在优选实施例中，所述账号为金融贷款账号，所述批处理交易级接口对账号进行的数据处理操作包括串行的数据备份、计结息、转逾期、转非应计。所指转逾期，是指账号的贷款发生逾期，将账号属性记为逾期账号，非应计是指指贷款本金或利息逾期90天没有收回的贷款，转非应计是指将账号属性记为非应计账号。
请参考图2，在优选实施例中，步骤S3进一步包括如下步骤：
S31：对所述账号集合进行分区，每个分区包括多个需进行批量数据处理的账号；
S32：使所述多个计算节点每次分别从所述账号集合中获取一个分区，将所述分区中未处理账号按客户分组，将按客户分组后的账号交给线程池；
S33：在每个线程内，逐个账号调用所述批处理交易级接口，对所述账号进行多项串行数据处理，直至该账号的多项数据处理操作执行完毕；
S34：对于已完成当前分区账号处理的计算节点，返回步骤S32，继续处理下一个未处理或者处理失败的分区，直至所有分区均处理完毕。
线程池内具有多个线程，将按客户分组后的账号交给线程池后，就有处于空闲状态的线程来执行这一数据处理任务，执行时，调用批处理交易级接口对账号进行处理，执行完毕后，线程根据返回处理结果并登记流水，然后又进入空闲状态，等待执行下一个数据处理任务。不同线程可以并行调用批处理交易级接口。
在优选实施例中，在步骤S3中，如果出现单个账号处理异常，登记失败标识以及异常信息，由人工介入，对异常账号重新调用所述批处理交易级接口进行多项串行数据处理。
在优选实施例中，在步骤S3中，如果出现批次账号处理异常，则通过后台重启该批次账号数据处理操作，通过交易幂等跳过已处理步骤，避免重复计算。所指幂等，是指在多个同样的交易指令或请求同时或者先后到达后台，即使重复执行，***也必须始终提供与一致的状态，而不能有其他的副作用。
请参考图3，在优选实施例中，在步骤S1之前，还包括步骤S0：检查当日是否已执行过一次批量数据处理，如果是，则结束，如果否，则进入步骤S1。在本实施例中，该***的批量数据处理一般一个自然日只需执行一次，如果当日已经执行过一次批量数据处理，则不再触发***批处理机制。
请参考图6，本发明实施例还提供一种数据处理***，其包括数据存储模块2，用于存储***中多个账号的数据。该数据处理***还包括后台管理子***1和批量子***3，后台管理子***1用于发起对***中多个账号进行数据处理的批量数据处理任务，批量子***3用于执行批量数据处理任务。
批量子***3进一步包括：
触发模块33，用于触发***批处理机制；
账号集合建立模块34，用于从数据存储模块2获取***中需进行批量数据处理的账号，并建立需进行批量数据处理的账号集合；
批处理交易级接口36，用于对所述账号进行多项串行数据处理；以及
数据处理模块35，用于执行批量数据处理，使多个计算节点对所述账号集合的账号进行并行处理，并分别调用所述批处理交易级接口36对所述账号集合中的账号进行多项串行数据处理。
该批量子***3还可以包括预处理模块31，用于检查上一批次批量数据处理任务是否执行成功或者当日是否已执行过一次批量数据处理。如果上一批次批量数据处理任务未执行成功，则先执行上一批次批量数据处理任务。如果当日已经执行过一次批量数据处理，则触发模块33不再触发***批处理机制。
在优选实施例中，所述账号为金融账号，所述批处理交易级接口对账号进行的数据处理操作包括串行的数据备份、计结息、转逾期、转非应计。
请参考图2，在优选实施例中，所述数据处理模块35按以下步骤进行批量数据处理：
S31：对所述账号集合进行分区；
S32：使所述多个计算节点每次分别从所述账号集合中获取一个分区，将所述分区中未处理账号按客户分组，将按客户分组后的账号交给线程池；
S33：在线程内逐个账号调用批处理交易级接口36，对账号进行多项串行数据处理；
S34：对于已完成当前分区账号处理的计算节点，返回步骤S42，继续处理下一个未处理或者处理失败的分区，直至所有分区均处理完毕。
在优选实施例中，在数据处理模块35执行批量数据处理时，如果出现单个账号处理异常，登记失败标识以及异常信息，由人工介入，对异常账号重新调用所述批处理交易级接口36进行多项串行数据处理；如果出现批次账号处理异常，则通过后台重启该批次账号数据处理操作，通过交易幂等跳过已处理步骤，避免重复计算。
本发明实施例将传统核心***的批量处理机制，改为按账号单笔调用联机接口进行处理。将核心业务***的日终处理功能拆解为多个功能数据模块，例如a模块、b模块、c模块和d模块等，将各模块整合为独立的批量处理交易级接口（当采用日切换时，可以叫做日终处理交易级接口），即该批量处理交易级接口包含了a、b、c、d功能模块及他们之间的组合关系。同时，批量处理交易级接口支持幂等，当重新处理功能模块时，已经处理完成的，不会再进行重复处理。当将该数据处理方法应用于金融贷款***时，a模块、b模块、c模块和d模块可以分别是数据备份模块、计结息模块、转逾期模块、转非应计模块。
触发***批处理机制可以包括时间驱动机制和事件驱动机制。例如批处理采用时间驱动，自然日的0点(也可以设置其他时间点)开始批处理（跑批）。当然还可以通过事件驱动的模式触发***批处理机制，例如当日处理一定数量的业务，最后一件业务完成后自行进行批量处理。
***批处理机制支持部分账号灰度执行：***筛选符合条件的账号，并验证批量处理交易级接口功能；若验证通过，再手工触发全量处理日终处理交易级接口的数据，且***自动过滤已完成日终处理的账号。
批量数据处理由独立的批量处理交易级接口处理，当存在未完成日终处理的数据时，可选择以下两种处理方式；第一种处理方式，通过数据分片时剔除已完成日终处理的数据，仅处理未完成日终处理的数据；第二种处理方式，全部数据重新处理，并通过交易幂等保证数据不被重复处理。使用者可以根据需求自行选择。
参考图3和图4，该数据处理***用于银行网点且采用***会计日切换时，该数据处理***的工作流程如下：
1）后台管理子***1通知批量子***3，批量子***3接收到执行请求后,检查当前批次是否已经执行完成或正在执行中,如果当前批次没有执行，则进入主流程。
2）批量子***3判断前一天的处理是否处理成功,再次检查通过后,则进入日切环节。
3）在执行日切前,检查批次运行步骤表是否已经日切成功,如果当前批次未日切，则执行日切操作,并将日切结果写入批次运行步骤表,并初始化跑批账号集汇总表（也即需进行批量数据处理的账号集合），操作成功后,进入静态化跑批环节。
4）批量子***3将跑批数据同步到跑批账号流水表,并初始化跑批分区信息表,每一步的操作结果，写入批次运行步骤表。
5）批量子***通知各个节点开始处理批次任务分片,收到通知的各个节点,每次从跑批分区信息表获取一个未处理或处理失败的分区,更新其状态,获取分区名,根据分区名获取未跑批账号,将账号按客户分组,将客户分组账号交给线程池, 在线程内,逐个账号调用批量处理交易级接口（在本实施例中为日终接口A）,日终接口A需要完成a、b、c、d等操作，线程根据接口返回结果登记流水, 处理完一页，取下一页，等到当前分区所有账号处理完毕后, 更新跑批分区信息表状态,再去取下一个未处理或处理失败的分区，直到未处理的分区数为0。
5）批量子***3各个计算节点检测到未处理的分区数为0时，去跑批账号流水表中查询未处理账号是否为0，若是，则更新跑批账号集汇总表状态以及相关统计信息,并发送一个批次结束的事件。
6）批量子***3的同步数据事件***监听到批次结束事件，判断批次是否是成功的,如果成功，则将跑批账号流水表归档。
本发明的技术克服了当前传统核心业务***日终处理异常影响范围巨大的缺点，提供了一种独立的交易级处理改造方案，使之不仅能充分利用分布式的计算资源，实现对大规模数据量的支撑，而且使得核心业务***日终处理出现异常时风险可控，影响范围极大缩小，对金融体系整体稳健运行、降低风险有着重要意义。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据处理方法，其特征在于，包括以下步骤：
S1：触发***批处理机制；
S2：获取***中需进行批量数据处理的账号，并建立需进行批量数据处理的账号集合；
S3：执行批量数据处理，使多个计算节点对所述账号集合的账号进行并行处理，并分别调用批处理交易级接口对所述账号进行多项串行数据处理。
2.根据权利要求1所述的数据处理方法，其特征在于，步骤S3进一步包括如下步骤：
S31：对所述账号集合进行分区，每个分区包括多个需进行批量数据处理的账号；
S32：使所述多个计算节点每次分别从所述账号集合中获取一个分区，将所述分区中未处理账号按客户分组，将按客户分组后的账号交给线程池；
S33：在线程内逐个账号调用所述批处理交易级接口，对所述账号进行多项串行数据处理；
S34：对于已完成当前分区账号处理的计算节点，返回步骤S32，继续处理下一个未处理或者处理失败的分区，直至所有分区均处理完毕。
3.根据权利要求1所述的数据处理方法，其特征在于，在步骤S3，所述批量数据处理为日终批处理，在步骤S1，通过日切操作自动触发***批处理机制，或者通过手动起批触发***批处理机制。
4.根据权利要求1所述的数据处理方法，其特征在于，所述账号为金融贷款账号，所述批处理交易级接口对账号进行的数据处理操作包括串行的数据备份、计结息、转逾期、转非应计。
5.根据权利要求1所述的数据处理方法，其特征在于，在步骤S3中，如果出现单个账号处理异常，登记失败标识以及异常信息，由人工介入，对异常账号重新调用所述批处理交易级接口进行多项串行数据处理；在步骤S3中，如果出现批次账号处理异常，则通过后台重启该批次账号数据处理操作，通过交易幂等跳过已处理步骤。
6.根据权利要求1所述的数据处理方法，其特征在于，在步骤S1之前，还包括步骤S0：检查当日是否已执行过一次批量数据处理，如果是，则结束，如果否，则进入步骤S1。
7.一种数据处理***，其特征在于，包括
数据存储模块，用于存储***中多个账号的数据；
触发模块，用于触发***批处理机制；
账号集合建立模块，用于获取***中需进行批量数据处理的账号，并建立需进行批量数据处理的账号集合；
批处理交易级接口，用于对所述账号进行多项串行数据处理；以及
数据处理模块，用于执行批量数据处理，使多个计算节点对所述账号集合的账号进行并行处理，并分别调用所述批处理交易级接口对所述账号集合中的账号进行多项串行数据处理。
8.根据权利要求7所述的数据处理***，其特征在于，所述账号为金融贷款账号，所述批处理交易级接口对账号进行的数据处理操作包括串行的数据备份、计结息、转逾期、转非应计。
9.根据权利要求7所述的数据处理***，其特征在于，所述数据处理模块按以下步骤进行批量数据处理：
S31：对所述账号集合进行分区，每个分区包括多个需进行批量数据处理的账号；
S32：使所述多个计算节点每次分别从所述账号集合中获取一个分区，将所述分区中未处理账号按客户分组，将按客户分组后的账号交给线程池；
S33：在线程内逐个账号调用所述批处理交易级接口，对所述账号进行多项串行数据处理；
S34：对于已完成当前分区账号处理的计算节点，返回步骤S32，继续处理下一个未处理或者处理失败的分区，直至所有分区均处理完毕。
10.根据权利要求7所述的数据处理***，其特征在于，在数据处理模块执行批量数据处理时，如果出现单个账号处理异常，登记失败标识以及异常信息，由人工介入，对异常账号重新调用所述批处理交易级接口进行多项串行数据处理；如果出现批次账号处理异常，则通过后台重启该批次账号数据处理操作，通过交易幂等跳过已处理步骤。
CN202010297874.3A 2020-04-16 2020-04-16 数据处理方法及数据处理*** Pending CN111680080A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010297874.3A CN111680080A (zh) 2020-04-16 2020-04-16 数据处理方法及数据处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010297874.3A CN111680080A (zh) 2020-04-16 2020-04-16 数据处理方法及数据处理***

Publications (1)

Publication Number Publication Date
CN111680080A true CN111680080A (zh) 2020-09-18

Family

ID=72451485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010297874.3A Pending CN111680080A (zh) 2020-04-16 2020-04-16 数据处理方法及数据处理***

Country Status (1)

Country Link
CN (1) CN111680080A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112099934A (zh) * 2020-09-22 2020-12-18 中国建设银行股份有限公司 一种批处理方法、***、计算机设备及存储介质
CN112307126A (zh) * 2020-11-24 2021-02-02 上海浦东发展银行股份有限公司 一种***账户管理数据的批处理方法及***
CN113888276A (zh) * 2021-10-12 2022-01-04 四川新网银行股份有限公司 一种批量扣款的分布式分片处理方法、***及设备
CN115345728A (zh) * 2022-08-19 2022-11-15 中电金信软件有限公司 一种结算计息结息的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050291A (zh) * 2014-06-30 2014-09-17 浪潮(北京)电子信息产业有限公司 一种账户余额数据的并行处理方法和***
CN109376189A (zh) * 2018-09-13 2019-02-22 阿里巴巴集团控股有限公司 批量数据操作的处理方法、装置及设备
US20190220459A1 (en) * 2017-11-27 2019-07-18 Snowflake Computing, Inc. Batch Data Ingestion In Database Systems
CN110070440A (zh) * 2019-04-30 2019-07-30 苏州工业园区服务外包职业学院 一种业务数据处理方法、装置、设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050291A (zh) * 2014-06-30 2014-09-17 浪潮(北京)电子信息产业有限公司 一种账户余额数据的并行处理方法和***
US20190220459A1 (en) * 2017-11-27 2019-07-18 Snowflake Computing, Inc. Batch Data Ingestion In Database Systems
CN109376189A (zh) * 2018-09-13 2019-02-22 阿里巴巴集团控股有限公司 批量数据操作的处理方法、装置及设备
CN110070440A (zh) * 2019-04-30 2019-07-30 苏州工业园区服务外包职业学院 一种业务数据处理方法、装置、设备和存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112099934A (zh) * 2020-09-22 2020-12-18 中国建设银行股份有限公司 一种批处理方法、***、计算机设备及存储介质
CN112307126A (zh) * 2020-11-24 2021-02-02 上海浦东发展银行股份有限公司 一种***账户管理数据的批处理方法及***
CN112307126B (zh) * 2020-11-24 2022-09-27 上海浦东发展银行股份有限公司 一种***账户管理数据的批处理方法及***
CN113888276A (zh) * 2021-10-12 2022-01-04 四川新网银行股份有限公司 一种批量扣款的分布式分片处理方法、***及设备
CN115345728A (zh) * 2022-08-19 2022-11-15 中电金信软件有限公司 一种结算计息结息的方法及装置
CN115345728B (zh) * 2022-08-19 2023-11-03 中电金信软件有限公司 一种结算计息结息的方法及装置

Similar Documents

Publication Publication Date Title
CN111680080A (zh) 数据处理方法及数据处理***
US8909977B2 (en) Failover system and method
CN111400011B (zh) 一种实时任务调度方法、***、设备及可读存储介质
CN111160873B (zh) 基于分布式架构的跑批处理装置及方法
CN103647834A (zh) 一种用于处理多阶段分布式任务调度的***及方法
CN104094228A (zh) 用于支持基于二阶段提交调用的严格定序的事务恢复的***和方法
CN114253673A (zh) 一种分布式***的事务处理方法和事务处理装置
CN112131305A (zh) 账户处理***
CN115526608A (zh) 一种批量交易业务自动化处理方法、***及存储介质
US20130318059A1 (en) Transfer of data from transactional data sources to partitioned databases in restartable environment
CN111666144A (zh) 批处理任务执行方法、***以及机房部署***
CN112685208B (zh) 批量处理方法、装置、设备及存储介质
CN114579654A (zh) 一种银行多支付结算***的统一运营管理方法及平台
CN112116471B (zh) 一种证券算法交易过程中的实时算法交易总线***
US20170235600A1 (en) System and method for running application processes
CN113742043A (zh) 一种服务器后端任务异步拆分方法
CN114138833A (zh) 用于关系型数据库与缓存数据库数据同步的方法及***
CN112099934A (zh) 一种批处理方法、***、计算机设备及存储介质
CN115437766A (zh) 一种任务处理方法和装置
EP0394019A2 (en) Computerised database system
CN115687377A (zh) 基于Flink实现的端到端一致性数据实时处理方法及介质
CN114595071A (zh) 一种券商核心交易数据同步***及方法
CN117994015B (zh) 银行作业批量调度的方法、装置、电子设备和存储介质
CN115271835A (zh) 一种***生成方法、装置、电子设备及存储介质
CN113436018A (zh) 一种资产托管业务处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200918

RJ01 Rejection of invention patent application after publication