CN113918651A - 业务数据、资金流水处理方法、装置、设备和介质 - Google Patents

业务数据、资金流水处理方法、装置、设备和介质 Download PDF

Info

Publication number
CN113918651A
CN113918651A CN202111191536.2A CN202111191536A CN113918651A CN 113918651 A CN113918651 A CN 113918651A CN 202111191536 A CN202111191536 A CN 202111191536A CN 113918651 A CN113918651 A CN 113918651A
Authority
CN
China
Prior art keywords
data
service
analysis
database
distributed database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111191536.2A
Other languages
English (en)
Inventor
李从凡
罗燕忠
刘思琪
郭玉伟
杨智帆
陈展威
刘红波
刘宇明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Litong Technology Investment Co ltd
Original Assignee
Guangdong Litong Technology Investment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Litong Technology Investment Co ltd filed Critical Guangdong Litong Technology Investment Co ltd
Priority to CN202111191536.2A priority Critical patent/CN113918651A/zh
Publication of CN113918651A publication Critical patent/CN113918651A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/12—Accounting
    • G06Q40/125—Finance or payroll

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • Computing Systems (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本申请涉及大数据技术领域，提供了一种业务数据、资金流水处理方法、装置、计算机设备和存储介质。本申请能够实现在海量数据、高并发更新场景下高效、准确处理业务数据。该方法包括：接收各业务节点对业务数据进行处理后得到的业务数据处理结果，将业务数据处理结果作为业务处理状态标识数据写入分布式数据库中，根据业务分析需求信息，将相应的目标业务数据进行聚合并存储至分析数据库中，该目标业务数据为已在分布式数据库中完成状态标识的业务数据，根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示。

Description

业务数据、资金流水处理方法、装置、设备和介质
技术领域
本申请涉及大数据技术领域，特别是涉及一种基于分布式数据库的业务数据处理、资金流水处理方法、装置、计算机设备和存储介质。
背景技术
在财务资金结算***中，准确、及时掌握资金流水全流程流转状态，既可为财务资金稽核工作提供强有力的数据统计支撑，也可进一步加强资金结算风险防控力度。目前，对于采用关系型数据库作为单一数据存储方式的财务资金***，通过一张流水状态标识表记录资金流水全流程流转状态，以Oracle数据库为例，其流水状态标识表在高并发量更新场景下面临如下问题：
(1)流水状态标识表是基于明细流水级别的，其精确记录每一条资金流水在***的状态及去向，以此支撑***记录资金流水全流程流转状态。在海量数据增改的业务场景下，大量施加行级排他性锁将会升级为表锁，从而引发大规模的锁等待或锁超时，这会严重影响正常业务流程；
(2)对于日均亿级的数据量，可采用分表分区模式存储，定期对冷表压缩，有效降低单表数据量和存储占用。但是在面对不同时间跨度的流水统计需求时，分表大大增加了统计难度，例如，需要根据记账时间统计数据，而分表是根据流水上传时间分表；
(3)为了加快查询速度，一般需要创建索引，在***升级时，需要对表增加字段就一定要修改表结构，为了进行这些操作，就需要对表施加排他锁，则期间数据更新、***、删除等操作都是无法进行的。
因此，如何在海量数据、高并发更新场景下高效、准确处理业务数据是本领域技术人员目前需要解决的技术问题。
发明内容
基于此，有必要针对上述技术问题，提供一种基于分布式数据库的业务数据处理、资金流水处理方法、装置、计算机设备和存储介质。
一种基于分布式数据库的业务数据处理方法，所述方法包括：
接收各业务节点对业务数据进行处理后得到的业务数据处理结果；
将业务数据处理结果作为业务处理状态标识数据写入分布式数据库中；
根据业务分析需求信息，将相应的目标业务数据进行聚合并存储至分析数据库中；该目标业务数据为已在分布式数据库中完成状态标识的业务数据；
根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示。
在其中一个实施例中，将业务数据处理结果作为业务处理状态标识数据写入分布式数据库中，包括：
通过消息队列接收业务数据处理结果；该消息队列包括Kafka或RabbitMQ；
从消息队列中获取业务数据处理结果作为业务处理状态标识数据写入分布式数据库中。
在其中一个实施例中，对相应的分析数据的数据展示方式包括静态报表和/或动态热力图。
在其中一个实施例中，业务数据包括铁路售票***资金流水和/或高速公路通行费结算***资金流水；分布式数据库包括Hbase或TiDB；分析数据库包括关系型数据库。
一种基于分布式数据库的资金流水处理方法，所述方法包括：
接收各业务节点对资金流水进行处理后得到的资金流水处理结果；
将资金流水处理结果作为资金流水状态标识数据写入分布式数据库中；
根据业务分析需求信息，将相应的目标资金流水进行聚合并存储至分析数据库中；该目标资金流水为已在分布式数据库中完成状态标识的资金流水；
根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示。
在其中一个实施例中，
将资金流水处理结果作为资金流水状态标识数据写入分布式数据库中，包括：
通过Kafka或RabbitMQ接收资金流水处理结果；
从Kafka或RabbitMQ中获取资金流水处理结果作为资金流水状态标识数据写入分布式数据库中；
从分析数据库中读取相应的分析数据进行数据展示，包括：
以静态报表和/或动态热力图的展示方式展示从关系型数据库中读取的所述相应的分析数据。
一种基于分布式数据库的业务数据处理装置，所述装置包括：
数据接收模块，用于接收各业务节点对资金流水进行处理后得到的资金流水处理结果；
数据写入模块，用于将所述资金流水处理结果作为资金流水状态标识数据写入分布式数据库中；
数据聚合模块，用于根据业务分析需求信息，将相应的目标资金流水进行聚合并存储至分析数据库中；所述目标资金流水为已在所述分布式数据库中完成状态标识的资金流水；
数据展示模块，用于根据数据展示需求信息，从所述分析数据库中读取相应的分析数据进行数据展示。
一种基于分布式数据库的资金流水处理装置，所述装置包括：
流水接收模块，用于接收各业务节点对资金流水进行处理后得到的资金流水处理结果；
流水写入模块，用于将所述资金流水处理结果作为资金流水状态标识数据写入分布式数据库中；
流水聚合模块，用于根据业务分析需求信息，将相应的目标资金流水进行聚合并存储至分析数据库中；所述目标资金流水为已在所述分布式数据库中完成状态标识的资金流水；
流水展示模块，用于根据数据展示需求信息，从所述分析数据库中读取相应的分析数据进行数据展示。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收各业务节点对业务数据进行处理后得到的业务数据处理结果；将业务数据处理结果作为业务处理状态标识数据写入分布式数据库中；根据业务分析需求信息，将相应的目标业务数据进行聚合并存储至分析数据库中；该目标业务数据为已在分布式数据库中完成状态标识的业务数据；根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收各业务节点对资金流水进行处理后得到的资金流水处理结果；将资金流水处理结果作为资金流水状态标识数据写入分布式数据库中；根据业务分析需求信息，将相应的目标资金流水进行聚合并存储至分析数据库中；该目标资金流水为已在分布式数据库中完成状态标识的资金流水；根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收各业务节点对业务数据进行处理后得到的业务数据处理结果；将业务数据处理结果作为业务处理状态标识数据写入分布式数据库中；根据业务分析需求信息，将相应的目标业务数据进行聚合并存储至分析数据库中；该目标业务数据为已在分布式数据库中完成状态标识的业务数据；根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收各业务节点对资金流水进行处理后得到的资金流水处理结果；将资金流水处理结果作为资金流水状态标识数据写入分布式数据库中；根据业务分析需求信息，将相应的目标资金流水进行聚合并存储至分析数据库中；该目标资金流水为已在分布式数据库中完成状态标识的资金流水；根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示。
上述基于分布式数据库的业务数据处理、资金流水方法、装置、计算机设备和存储介质，接收各业务节点对业务数据进行处理后得到的业务数据处理结果，将业务数据处理结果作为业务处理状态标识数据写入分布式数据库中，根据业务分析需求信息，将相应的目标业务数据进行聚合并存储至分析数据库中，该目标业务数据为已在分布式数据库中完成状态标识的业务数据，根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示。该方案接收各个业务节点对业务数据进行处理后得到的业务数据处理结果，该业务数据处理结果为业务数据相应的流转状态，同时实时地将业务数据相应的流转状态作为业务处理状态标识数据写入分布式数据库中，将已在分布式数据库中完成状态标识的业务数据作为目标业务数据，根据业务分析需求信息，将相应的目标业务数据进行聚合并存储至分析数据库中，根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示，由于分布式数据库支持存储PB级别的海量数据，且在高并发场景下，分布式数据库更新操作无表级排他性锁，从而实现在海量数据、高并发更新场景下高效、准确处理业务数据。
附图说明
图1为一个实施例中基于分布式数据库的业务数据处理方法、基于分布式数据库的资金流水处理方法的应用环境图；
图2为一个实施例中基于分布式数据库的业务数据处理方法的流程示意图；
图3为另一个实施例中基于分布式数据库的业务数据处理方法的流程示意图；
图4为一个实施例中获取全局唯一有序时间戳的流程示意图；
图5为一个实施例中基于分布式数据库的资金流水处理方法的流程示意图；
图6为另一个实施例中基于分布式数据库的资金流水处理方法的流程示意图；
图7为又一个实施例中基于分布式数据库的资金流水处理方法的流程示意图；
图8为一个实施例中基于分布式数据库的业务数据处理装置的结构框图；
图9为一个实施例中基于分布式数据库的资金流水处理装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，本申请所涉及的与用户相关的信息(包括但不限于用户设备信息、用户个人信息等)和数据及其处理(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据；对应的，本申请还为此提供有相应的用户授权入口，供用户选择授权或者选择拒绝。
本申请提供的基于分布式数据库的业务数据处理方法和基于分布式数据库的资金流水处理方法均可以应用于如图1所示的应用环境中。该应用场景可以包括：各业务节点110和终端120，各业务节点110和终端120可以进行通信连接。具体的，终端120接收各业务节点110对业务数据进行处理后得到的业务数据处理结果，然后终端120将业务数据处理结果作为业务处理状态标识数据写入分布式数据库中，然后终端120根据业务分析需求信息，将相应的目标业务数据进行聚合并存储至分析数据库中，该目标业务数据为已在分布式数据库中完成状态标识的业务数据，然后终端120根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示。其中，各业务节点110可以用独立的服务器或者是多个服务器组成的服务器集群来实现，终端120可以但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑。
在一个实施例中，如图2所示，提供了一种基于分布式数据库的业务数据处理方法，以该方法应用于图1中的终端120为例进行说明，包括以下步骤：
步骤S201，接收各业务节点对业务数据进行处理后得到的业务数据处理结果。
其中，各业务节点是指一个或多个对业务数据进行处理并将处理后得到的业务数据处理结果发送至终端120的业务节点；业务数据是指由各业务节点进行处理的数据，例如铁路售票***资金流水和/或高速公路通行费结算***资金流水；业务数据处理结果是指各业务节点对业务数据进行处理后得到的并发送至终端120的处理结果，例如业务数据相应的流转状态。
具体地，各业务节点110对业务数据进行处理，将处理后得到的业务数据处理结果发送至终端120，终端120接收该业务数据处理结果。
步骤S202，将业务数据处理结果作为业务处理状态标识数据写入分布式数据库中。
本步骤中，业务处理状态标识数据是指需写入分布式数据库中的业务数据处理结果，例如业务数据相应的流转状态；其中，分布式数据库是指用于存储业务处理状态标识数据的数据库，例如Hbase或TiDB。具体的，终端120将业务数据处理结果作为业务处理状态标识数据，将业务处理状态标识数据写入分布式数据库中。
步骤S203，根据业务分析需求信息，将相应的目标业务数据进行聚合并存储至分析数据库中。
其中，业务分析需求信息是指用于指示终端120将相应的目标业务数据进行聚合并存储至分析数据库中的信息；目标业务数据为已在分布式数据库中完成状态标识的业务数据；分析数据库是指用于存储相应的目标业务数据进行聚合后的数据的数据库，例如关系型数据库。
具体的，终端120将已在分布式数据库中完成状态标识的业务数据作为目标业务数据，然后终端120根据业务分析需求信息，将相应的目标业务数据进行聚合并存储至分析数据库中。
步骤S204，根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示。
本步骤中，数据展示需求信息是指用于指示终端120从分析数据库中读取相应的分析数据进行数据展示的信息；相应的分析是指终端120根据数据展示需求信息从分析数据库中读取并进行数据展示的数据，其中，分析数据是指相应的目标业务数据进行聚合后的存储在分析数据库中的数据；对相应的分析数据的数据展示方式包括静态报表和/或动态热力图。示例性的，终端120根据数据展示需求信息，从分析数据库中读取相应的分析数据以静态报表和/或二维、三维的动态热力图的数据展示方式进行数据展示。
上述基于分布式数据库的业务数据处理方法中，接收各业务节点对业务数据进行处理后得到的业务数据处理结果，将业务数据处理结果作为业务处理状态标识数据写入分布式数据库中，根据业务分析需求信息，将相应的目标业务数据进行聚合并存储至分析数据库中，该目标业务数据为已在分布式数据库中完成状态标识的业务数据，根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示。该方案接收各个业务节点对业务数据进行处理后得到的业务数据处理结果，该业务数据处理结果为业务数据相应的流转状态，同时实时地将业务数据相应的流转状态作为业务处理状态标识数据写入分布式数据库中，将已在分布式数据库中完成状态标识的业务数据作为目标业务数据，根据业务分析需求信息，将相应的目标业务数据进行聚合并存储至分析数据库中，根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示，由于分布式数据库支持存储PB级别的海量数据，且在高并发场景下，分布式数据库更新操作无表级排他性锁，从而实现在海量数据、高并发更新场景下高效、准确处理业务数据。
在一个实施例中，上述步骤S202具体包括：通过消息队列接收业务数据处理结果，从消息队列中获取业务数据处理结果作为业务处理状态标识数据写入分布式数据库中。
其中，消息队列是指用于接收业务数据处理结果以供终端120获取业务数据处理结果的消息队列，例如Kafka或RabbitMQ。
具体的，如图3所示，各业务节点实时将业务数据处理结果发送给终端120，终端120通过消息队列接收业务数据处理结果，然后终端120从消息队列中获取业务数据处理结果作为业务处理状态标识数据写入分布式数据库中。如图4所示为对复合状态列的更新操作定制化获取全局唯一有序时间戳的过程，示例性的，消息队列同时获取多个更新指令，更新指令为对列A的时间戳更新，通过决算器得到唯一有序时间戳“列A：TimeStamp＝10003”。
本实施例中，使用消息队列分区特性汇聚更新指令和控制并发，或因分布式应用高并发特性而导致更新顺序不可控时，需要业务节点在发起增删改指令时，对复合状态列的更新操作定制化获取全局唯一有序时间戳，利用分布式数据库的并发控制特性，从而实现无序更新的有序识别，能够实现更高效、准确处理业务数据。
在一个实施例中，如图5所示，提供了一种基于分布式数据库的资金流水处理方法，以该方法应用于图1中的终端120为例进行说明，包括以下步骤：
步骤S501，接收各业务节点对资金流水进行处理后得到的资金流水处理结果。
其中，各业务节点是指一个或多个对资金流水进行处理并将处理后得到的资金流水处理结果发送至终端120的业务节点；资金流水是指由各业务节点进行处理的资金流水，例如铁路售票***资金流水和/或高速公路通行费结算***资金流水；资金流水处理结果是指各业务节点对资金流水进行处理后得到的并发送至终端120的处理结果，例如资金流水相应的流转状态。
具体的，各业务节点110对资金流水进行处理，将处理后得到的资金流水处理结果发送至终端120，终端120接收该资金流水处理结果。
步骤S502，将资金流水处理结果作为资金流水状态标识数据写入分布式数据库中。
本步骤中，资金流水状态标识数据是指需写入分布式数据库中的资金流水处理结果，例如资金流水相应的流转状态；其中，分布式数据库是指用于存储资金流水状态标识数据的数据库，例如Hbase或TiDB。具体的，终端120将资金流水处理结果作为资金流水状态标识数据，将资金流水状态标识数据写入分布式数据库中。
步骤S503，根据业务分析需求信息，将相应的目标资金流水进行聚合并存储至分析数据库中；该目标资金流水为已在分布式数据库中完成状态标识的资金流水。
其中，业务分析需求信息是指用于指示终端120将相应的目标资金流水进行聚合并存储至分析数据库中的信息；目标资金流水为已在分布式数据库中完成状态标识的资金流水；分析数据库是指用于存储相应的目标资金流水进行聚合后的数据的数据库，例如关系型数据库。
具体的，如图6所示，终端120将已在分布式数据库中完成状态标识的资金流水作为目标资金流水，然后终端120根据业务分析需求信息，将相应的目标资金流水进行聚合并存储至分析数据库中。
步骤S504，根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示。
本步骤中，数据展示需求信息是指用于指示终端120从分析数据库中读取相应的分析数据进行数据展示的信息；相应的分析是指终端120根据数据展示需求信息从分析数据库中读取并进行数据展示的数据，其中，分析数据是指相应的目标资金流水进行聚合后的存储在分析数据库中的数据；对相应的分析数据的数据展示方式包括静态报表和/或动态热力图。
示例性的，终端120根据数据展示需求信息，从分析数据库中读取相应的分析数据以静态报表和/或动态热力图的数据展示方式进行数据展示。
上述基于分布式数据库的资金流水处理方法中，接收各业务节点对资金流水进行处理后得到的资金流水处理结果，将资金流水处理结果作为资金流水状态标识数据写入分布式数据库中，根据业务分析需求信息，将相应的目标资金流水进行聚合并存储至分析数据库中，该目标资金流水为已在分布式数据库中完成状态标识的资金流水，根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示。该方案接收各个业务节点对资金流水进行处理后得到的资金流水处理结果，该资金流水处理结果为资金流水相应的流转状态，同时实时地将资金流水相应的流转状态作为资金流水状态标识数据写入分布式数据库中，将已在分布式数据库中完成状态标识的资金流水作为目标资金流水，根据业务分析需求信息，将相应的目标资金流水进行聚合并存储至分析数据库中，根据数据展示需求信息，从分析数据库中读取相应的分析数据进行数据展示，由于分布式数据库支持存储PB级别的海量数据，且在高并发场景下，分布式数据库更新操作无表级排他性锁，从而实现在海量数据、高并发更新场景下高效、准确处理资金流水。
在一个实施例中，上述步骤S502具体包括：通过Kafka或RabbitMQ接收所述资金流水处理结果，从所述Kafka或RabbitMQ中获取所述资金流水处理结果作为资金流水状态标识数据写入分布式数据库中。
具体的，如图7所示，各业务节点实时将资金流水处理结果发送给终端120，终端120通过Kafka或RabbitMQ接收资金流水处理结果，然后终端120从Kafka或RabbitMQ中获取资金流水处理结果作为资金流水状态标识数据写入分布式数据库中。
上述步骤S504具体包括：根据数据展示需求信息，以静态报表和/或动态热力图的展示方式展示从关系型数据库中读取的所述相应的分析数据。
具体的，终端120根据数据展示需求信息，从关系型数据库中读取相应的分析数据以静态报表和/或二维、三维动态热力图的数据展示方式进行数据展示。
本实施例中，使用Kafka或RabbitMQ分区特性汇聚更新指令和控制并发，或因分布式应用高并发特性而导致更新顺序不可控时，需要业务节点在发起增删改指令时，对复合状态列的更新操作定制化获取全局唯一有序时间戳，利用分布式数据库的并发控制特性，从而实现无序更新的有序识别，能够实现更高效、准确处理资金流水。
应该理解的是，虽然如上流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种基于分布式数据库的业务数据处理装置，该装置800可以包括：
数据接收模块801，用于接收各业务节点对资金流水进行处理后得到的资金流水处理结果；
数据写入模块802，用于将所述资金流水处理结果作为资金流水状态标识数据写入分布式数据库中；
数据聚合模块803，用于根据业务分析需求信息，将相应的目标资金流水进行聚合并存储至分析数据库中；所述目标资金流水为已在所述分布式数据库中完成状态标识的资金流水；
数据展示模块804，用于根据数据展示需求信息，从所述分析数据库中读取相应的分析数据进行数据展示。
在一个实施例中，数据写入模块802，用于通过消息队列接收所述业务数据处理结果；所述消息队列包括Kafka或RabbitMQ；从所述消息队列中获取所述业务数据处理结果作为业务处理状态标识数据写入分布式数据库中。
在一个实施例中，对所述相应的分析数据的数据展示方式包括静态报表和/或动态热力图。
在一个实施例中，所述业务数据包括铁路售票***资金流水和/或高速公路通行费结算***资金流水；所述分布式数据库包括Hbase或TiDB；所述分析数据库包括关系型数据库。
关于基于分布式数据库的业务数据处理装置的具体限定可以参见上文中对于基于分布式数据库的业务数据处理方法的限定，在此不再赘述。上述基于分布式数据库的业务数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，如图9所示，提供了一种基于分布式数据库的资金流水处理装置，该装置900可以包括：
流水接收模块901，用于接收各业务节点对资金流水进行处理后得到的资金流水处理结果；
流水写入模块902，用于将所述资金流水处理结果作为资金流水状态标识数据写入分布式数据库中；
流水聚合模块903，用于根据业务分析需求信息，将相应的目标资金流水进行聚合并存储至分析数据库中；所述目标资金流水为已在所述分布式数据库中完成状态标识的资金流水；
流水展示模块904，用于根据数据展示需求信息，从所述分析数据库中读取相应的分析数据进行数据展示。
在一个实施例中，流水写入模块902，用于通过Kafka或RabbitMQ接收所述资金流水处理结果，从所述Kafka或RabbitMQ中获取所述资金流水处理结果作为资金流水状态标识数据写入分布式数据库中；流水展示模块904，用于以静态报表和/或动态热力图的展示方式展示从关系型数据库中读取的所述相应的分析数据。
关于基于分布式数据库的资金流水处理装置的具体限定可以参见上文中对于基于分布式数据库的资金流水处理方法的限定，在此不再赘述。上述基于分布式数据库的资金流水处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过***总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于分布式数据库的业务数据处理方法、一种基于分布式数据库的资金流水处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于分布式数据库的业务数据处理方法，其特征在于，所述方法包括：
接收各业务节点对业务数据进行处理后得到的业务数据处理结果；
将所述业务数据处理结果作为业务处理状态标识数据写入分布式数据库中；
根据业务分析需求信息，将相应的目标业务数据进行聚合并存储至分析数据库中；所述目标业务数据为已在所述分布式数据库中完成状态标识的业务数据；
根据数据展示需求信息，从所述分析数据库中读取相应的分析数据进行数据展示。
2.根据权利要求1所述的方法，其特征在于，所述将所述业务数据处理结果作为业务处理状态标识数据写入分布式数据库中，包括：
通过消息队列接收所述业务数据处理结果；所述消息队列包括Kafka或RabbitMQ；
从所述消息队列中获取所述业务数据处理结果作为业务处理状态标识数据写入分布式数据库中。
3.根据权利要求1所述的方法，其特征在于，对所述相应的分析数据的数据展示方式包括静态报表和/或动态热力图。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述业务数据包括铁路售票***资金流水和/或高速公路通行费结算***资金流水；所述分布式数据库包括Hbase或TiDB；所述分析数据库包括关系型数据库。
5.一种基于分布式数据库的资金流水处理方法，其特征在于，所述方法包括：
接收各业务节点对资金流水进行处理后得到的资金流水处理结果；
将所述资金流水处理结果作为资金流水状态标识数据写入分布式数据库中；
根据业务分析需求信息，将相应的目标资金流水进行聚合并存储至分析数据库中；所述目标资金流水为已在所述分布式数据库中完成状态标识的资金流水；
根据数据展示需求信息，从所述分析数据库中读取相应的分析数据进行数据展示。
6.根据权利要求5所述的方法，其特征在于，
所述将所述资金流水处理结果作为资金流水状态标识数据写入分布式数据库中，包括：
通过Kafka或RabbitMQ接收所述资金流水处理结果；
从所述Kafka或RabbitMQ中获取所述资金流水处理结果作为资金流水状态标识数据写入分布式数据库中；
所述从所述分析数据库中读取相应的分析数据进行数据展示，包括：
以静态报表和/或动态热力图的展示方式展示从关系型数据库中读取的所述相应的分析数据。
7.一种基于分布式数据库的业务数据处理装置，其特征在于，所述装置包括：
数据接收模块，用于接收各业务节点对资金流水进行处理后得到的资金流水处理结果；
数据写入模块，用于将所述资金流水处理结果作为资金流水状态标识数据写入分布式数据库中；
数据聚合模块，用于根据业务分析需求信息，将相应的目标资金流水进行聚合并存储至分析数据库中；所述目标资金流水为已在所述分布式数据库中完成状态标识的资金流水；
数据展示模块，用于根据数据展示需求信息，从所述分析数据库中读取相应的分析数据进行数据展示。
8.一种基于分布式数据库的资金流水处理装置，其特征在于，所述装置包括：
流水接收模块，用于接收各业务节点对资金流水进行处理后得到的资金流水处理结果；
流水写入模块，用于将所述资金流水处理结果作为资金流水状态标识数据写入分布式数据库中；
流水聚合模块，用于根据业务分析需求信息，将相应的目标资金流水进行聚合并存储至分析数据库中；所述目标资金流水为已在所述分布式数据库中完成状态标识的资金流水；
流水展示模块，用于根据数据展示需求信息，从所述分析数据库中读取相应的分析数据进行数据展示。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202111191536.2A 2021-10-13 2021-10-13 业务数据、资金流水处理方法、装置、设备和介质 Pending CN113918651A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111191536.2A CN113918651A (zh) 2021-10-13 2021-10-13 业务数据、资金流水处理方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111191536.2A CN113918651A (zh) 2021-10-13 2021-10-13 业务数据、资金流水处理方法、装置、设备和介质

Publications (1)

Publication Number Publication Date
CN113918651A true CN113918651A (zh) 2022-01-11

Family

ID=79240184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111191536.2A Pending CN113918651A (zh) 2021-10-13 2021-10-13 业务数据、资金流水处理方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN113918651A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114676190A (zh) * 2022-05-27 2022-06-28 太平金融科技服务(上海)有限公司深圳分公司 数据展示方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778148A (zh) * 2012-10-23 2014-05-07 阿里巴巴集团控股有限公司 Hadoop分布式文件***数据文件的生命周期管理方法和设备
US20170124497A1 (en) * 2015-10-28 2017-05-04 Fractal Industries, Inc. System for automated capture and analysis of business information for reliable business venture outcome prediction
CN108647361A (zh) * 2018-05-21 2018-10-12 中国工商银行股份有限公司 一种基于区块链的数据存储方法、装置及***
CN110784419A (zh) * 2019-10-22 2020-02-11 中国铁道科学研究院集团有限公司电子计算技术研究所 铁路电务专业数据可视化方法及***
CN112883121A (zh) * 2021-02-01 2021-06-01 南京苏宁软件技术有限公司 数据处理方法、装置、计算机设备和存储介质
CN113392158A (zh) * 2021-06-11 2021-09-14 中国工商银行股份有限公司 业务数据处理方法、装置及数据中台

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778148A (zh) * 2012-10-23 2014-05-07 阿里巴巴集团控股有限公司 Hadoop分布式文件***数据文件的生命周期管理方法和设备
US20170124497A1 (en) * 2015-10-28 2017-05-04 Fractal Industries, Inc. System for automated capture and analysis of business information for reliable business venture outcome prediction
CN108647361A (zh) * 2018-05-21 2018-10-12 中国工商银行股份有限公司 一种基于区块链的数据存储方法、装置及***
CN110784419A (zh) * 2019-10-22 2020-02-11 中国铁道科学研究院集团有限公司电子计算技术研究所 铁路电务专业数据可视化方法及***
CN112883121A (zh) * 2021-02-01 2021-06-01 南京苏宁软件技术有限公司 数据处理方法、装置、计算机设备和存储介质
CN113392158A (zh) * 2021-06-11 2021-09-14 中国工商银行股份有限公司 业务数据处理方法、装置及数据中台

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114676190A (zh) * 2022-05-27 2022-06-28 太平金融科技服务(上海)有限公司深圳分公司 数据展示方法、装置、计算机设备和存储介质
CN114676190B (zh) * 2022-05-27 2022-10-11 太平金融科技服务(上海)有限公司深圳分公司 数据展示方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110968585B (zh) 面向列的存储方法、装置、设备及计算机可读存储介质
CN109828809B (zh) 看板的信息可视化方法、装置、计算机设备和存储介质
CN113918651A (zh) 业务数据、资金流水处理方法、装置、设备和介质
CN115470156A (zh) 基于rdma的内存使用方法、***、电子设备和存储介质
CN112364021B (zh) 业务数据处理方法、装置及存储介质
CN114089921A (zh) 电力***数据存储方法、装置、计算机设备和存储介质
CN117390011A (zh) 报表数据处理方法、装置、计算机设备和存储介质
CN115168668A (zh) 信息推荐方法、装置、计算机设备和存储介质
CN110515970B (zh) 业务处理方法、装置、计算机设备和存储介质
CN112597749A (zh) 目标模板的生成方法、装置、计算机设备和存储介质
CN116541454B (zh) 事件配置方法、装置、计算机设备和存储介质
CN118332002A (zh) 数据查询方法、装置、计算机设备和存储介质
CN113918996B (zh) 分布式数据处理方法、装置、计算机设备和存储介质
CN117195856A (zh) 文件处理方法、装置、计算机设备和存储介质
CN118227286A (zh) 基于多方安全计算的任务分批处理方法和装置
CN116681203A (zh) 基于大数据分析的企业管理咨询方法与***
CN117908825A (zh) 芯片数据的按序处理方法、装置、计算机设备和存储介质
CN117648336A (zh) 数据查询方法、装置、计算机设备和存储介质
CN115374114A (zh) 数据维护的方法、装置、计算机设备和存储介质
CN116089399A (zh) 数据库节点的运维方法、装置、计算机设备和存储介质
CN118247025A (zh) 数据转移方法、装置、计算机设备、存储介质和程序产品
CN117439769A (zh) 页面访问方法、装置、计算机设备和存储介质
CN117592757A (zh) 报表数据处理方法、装置、计算机设备和存储介质
CN116228346A (zh) 订单任务处理方法、装置、***和存储介质
CN114666402A (zh) 资源信息推送方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220111