CN109034993A - 对账方法、设备、***及计算机可读存储介质 - Google Patents
对账方法、设备、***及计算机可读存储介质 Download PDFInfo
- Publication number
- CN109034993A CN109034993A CN201811153706.6A CN201811153706A CN109034993A CN 109034993 A CN109034993 A CN 109034993A CN 201811153706 A CN201811153706 A CN 201811153706A CN 109034993 A CN109034993 A CN 109034993A
- Authority
- CN
- China
- Prior art keywords
- transaction
- data
- reconciliation
- distributed
- journal data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/12—Accounting
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Engineering & Computer Science (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种对账方法，该方法包括：实时读取交易***产生的交易流水数据；从所述交易流水数据中提取待对账的交易数据；从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；对各分组中的所述待对账的交易数据进行对账处理。本发明还公开了一种对账设备、***和一种计算机可读存储介质。本发明提高了交易对账的实时性。
Description
技术领域
本发明涉及大数据处理技术领域，尤其涉及对账方法、设备、***及计算机可读存储介质。
背景技术
随着大数据时代的到来，大数据相关应用呈现出爆发式增长，尤其对于大型交易***，每天都要处理海量的交易数据，在此情况下，如何对交易***产生的交易数据进行分析处理，从而满***易对账需求是目前亟待解决的问题。
现有的金融网络中，交易***对账方案主要是对离线交易数据进行批处理对账，比如“T+1”日模式，通过头天采集交易数据，次日才能够对交易数据进行对账，这种对账方式的缺陷在于，对账的时效性不高，若有金融交易出现问题，要等到对账时才发现，容易导致损失。
发明内容
本发明的主要目的在于提出一种对账方法、设备、***及计算机可读存储介质，旨在提高交易对账的实时性。
为实现上述目的，本发明提供一种对账方法，所述对账方法包括如下步骤：
实时读取交易***产生的交易流水数据；
从所述交易流水数据中提取待对账的交易数据；
从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；
对各分组中的所述待对账的交易数据进行对账处理。
优选地，所述实时读取交易***产生的交易流水数据的步骤包括：
从预设的消息采集节点实时读取交易***产生的交易流水数据，其中消息采集节点用于实时采集交易***产生的交易流水数据；
或者，从分布式消息队列中实时读取交易***产生的交易流水数据，其中分布式消息队列用于缓存所述消息采集节点发送的交易流水数据。
优选地，所述交易流水数据由消息采集节点从交易***对应的数据中心节点的从节点中同步交易日志文件，并对交易日志文件进行解析和标准化处理得到。
优选地，所述从分布式消息队列中实时读取交易***产生的交易流水数据的步骤包括：
创建一个滑动窗口，并设置所述滑动窗口的滑动步长；
基于所述滑动窗口和所述滑动步长从分布式消息队列中读取交易***产生的交易流水数据，其中每个滑动窗口用于采集预设时长内交易***产生的交易流水数据。
优选地，所述基于所述滑动窗口和所述滑动步长从分布式消息队列中读取交易***产生的交易流水数据的步骤之后，还包括：
在所述滑动窗口滑动过程中，通过预设的检查点记录所述交易流水数据的数据潜伏期和数据等待次数；
当所述数据潜伏期达到预设的最大潜伏期时，执行步骤：从所述交易流水数据中提取待对账的交易数据；
当所述数据等待次数达到预设的最大潜伏期时，删除所述检查点；
其中，所述数据潜伏期和所述最大潜伏期以计数的方式进行表示。
优选地，所述从所述交易流水数据中提取待对账的交易数据的步骤包括：
将所述交易流水数据转换为分布式数据集；
按照所述交易流水数据来源的数据库表对所述分布式数据集进行拆分，得到若干个子分布式数据集；
从所述子分布式数据集中提取待对账的数据字段值，并将提取到的所述数据字段值转换为预设的标准数据格式；
对转换为标准数据格式后的数据字段值进行去重处理，得到与预设的最终交易状态对应的数据字段值；
对各子分布式数据集中去重处理后的数据字段值进行汇总，得到一个新的分布式数据集，将所述新的分布式数据集中的数据作为待对账的交易数据。
优选地，所述对各分组中的所述待对账的交易数据进行对账处理的步骤包括：
在各分组中，根据交易金额和交易状态对所述待对账的交易数据进行对账处理。
此外，为实现上述目的，本发明还提供一种对账设备，所述对账设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的对账程序，所述对账程序被所述处理器执行时实现如上所述的对账方法的步骤。
此外，为实现上述目的，本发明还提供一种对账***，所述对账***包括对账设备和消息采集节点，其中：
所述对账设备为上述的对账设备；
所述消息采集节点，用于实时采集交易***产生的交易流水数据，以供对账设备通过所述消息采集节点读取交易***产生的交易流水数据。
优选地，所述消息采集节点，还用于同步交易***的数据中心节点中的从节点产生的交易日志文件，所述交易日志文件中记录了交易***产生的交易流水数据；
解析并标准化所述交易日志文件中的交易流水数据，将解析并标准化后的所述交易流水数据存储至本地存储区或者发送至分布式消息队列，以供对账设备从消息采集节点或者所述分布式消息队列读取交易***产生的交易流水数据。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有对账程序，所述对账程序被处理器执行时实现如上所述的对账方法的步骤。
本发明实时读取交易***产生的交易流水数据；从所述交易流水数据中提取待对账的交易数据；从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；对各分组中的所述待对账的交易数据进行对账处理。由于本发明实时读取交易流水数据，且由于交易标识信息用于唯一标识一笔交易，因而通过上述方式，本发明能够实现对交易***产生的每一笔交易进行实时对账，提高了交易对账的实时性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明对账方法第一实施例的流程示意图；
图3为图2中步骤S20的细化步骤示意图；
图4为本发明实施例中通过滑动窗口采集交易流水数据的示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：实时读取交易***产生的交易流水数据；从所述交易流水数据中提取待对账的交易数据；从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；对各分组中的所述待对账的交易数据进行对账处理。
现有的金融网络中，交易***对账方案主要是对离线交易数据进行批处理对账，比如“T+1”日模式，通过头天采集交易数据，次日才能够对交易数据进行对账，这种对账方式的缺陷在于，对账的时效性不高，若有金融交易出现问题，要等到对账时才发现，容易导致损失。
本发明实时读取交易***产生的交易流水数据；从所述交易流水数据中提取待对账的交易数据；从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；对各分组中的所述待对账的交易数据进行对账处理。由于本发明实时读取交易流水数据，且由于交易标识信息用于唯一标识一笔交易，因而通过上述方式，本发明能够实现对交易***产生的每一笔交易进行实时对账，提高了交易对账的实时性。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例对账设备可以是服务器、PC机或虚拟机设备。
如图1所示，该对账设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及对账程序。
在图1所示的设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的对账程序，并执行下述对账方法实施例中的操作。
基于上述硬件结构，提出本发明对账方法实施例。
参照图2，图2为本发明对账方法第一实施例的流程示意图，所述对账方法包括：
步骤S10，实时读取交易***产生的交易流水数据；
本实施例对账方法应用于在大数据平台上运行的对账***中的对账设备，其中，大数据平台可以为Spark平台，Spark平台是目前流行的一种大数据计算和统计平台，通过对大数据进行计算和统计，Spark平台能够实现各种机器学习和数据挖掘；交易***可以为银行、证券公司、保险公司等金融机构的业务***，用于处理和记录用户的储蓄、转账、投资等各种金融业务，并生成对应的交易流水数据，以银行的交易***为例，由于银行每天的交易数量十分庞大，因此其交易***可以包括一个后台的交易***数据库，用于将银行账户的储蓄、转账、汇款等相关业务信息分布式保存在多个存储设备中，如此保证存储海量的业务数据。对账设备包括分布式流式计算组件，所述流式计算组件包括但不限于：SparkStreaming、Storm、Samza、Flink和Kafka Streams。
上述步骤S10具体可以包括：从预设的消息采集节点实时读取交易***产生的交易流水数据，其中消息采集节点用于实时采集交易***产生的交易流水数据；
或者，从分布式消息队列中实时读取交易***产生的交易流水数据，其中分布式消息队列用于缓存所述消息采集节点发送的交易流水数据。
需要说明的是，上述两种方式中，由消息采集节点实现交易流水数据的采集以供对账设备直接读取，或者由消息采集节点传输至分布式消息队列，以供对账设备在分布式消息队列中读取，这两种方式均无需更改交易***的代码，没有侵入到交易***，接入更为方便。
在其他实施例中，所述步骤S10之前，也可选在交易***修改代码，以将交易流水数据实时存储到分布式消息队列中，以便对账设备从分布式消息队列中实时读取；
还可选在交易***把交易流水数据写入本地日志文件中，并且在交易***的主机上部署代理(flume agent)，对本地日志文件进行监控，实时采集日志文件中的交易流水数据，并写入到分布式消息队列中，以便对账设备从分布式消息队列中实时读取。
在本实施例中，优选通过一消息采集节点实时采集交易***产生的交易流水数据，该消息采集节点在采集到交易流水数据后，将交易流水数据存储到消息采集节点的预设空间或者发送至分布式消息队列，以供对账设备可以从消息采集节点读取，也可以从分布式消息队列读取，其中，将数据缓存到分布式队列后读取的优势在于，在对账设备故障后恢复的时候，直接从分布式队列中读取，可以防止数据由于未缓存而导致消息采集节点的数据过多。这种情况下，该对账设备相当于通过分布式消息队列中间件和交易***对接，可以实时获取交易***产生的交易流水数据。
进一步地，所述交易流水数据可以由消息采集节点从交易***对应的数据中心节点的从节点中同步交易日志文件，并对交易日志文件进行解析和标准化处理得到。
具体实施时，消息采集节点可以伪装成交易***的数据中心节点中的从节点的从节点，并同步交易***的数据中心节点中的从节点产生的交易日志文件，该交易日志文件可以是Binlog日志文件，其中记录了交易***产生的交易流水数据。采集到交易流水数据之后，消息采集节点解析并标准化该交易日志文件中的交易流水数据，并将解析并标准化后的交易流水数据存储至本地存储区或者发送至分布式消息队列，以供对账设备从消息采集节点或者分布式消息队列读取交易***产生的交易流水数据，并进行后续的对账操作。
具体地，以分布式消息队列Apache Kafka(一种分布式发布-订阅消息***，主要用于处理活跃的流式数据)为例，交易***产生的交易流水数据保存在binlog(一种二进制日志文件，用于记录用户对数据库更新的SQL语句信息)中，消息采集节点解析binlog，得到标准化的交易流水数据发送至Kafka消息队列，其中，消息采集节点解析数据成为标准化的交易流水数据的过程是：将数据按照二进制数据位确定各个字段，然后确定出各个字段对应的各个属性(如dcn号、表名、库名)，得到标准化的交易流水数据，对账设备从Kafka消息队列读取到交易流水数据，这部分是实时的。
需要说明的是，交易***数据库还可以包括与之对应的备库，备库用于将交易数据进行备份保存，在Apache Kafka读取在线流式数据时，可以从备库中读取，以避免占用交易***资源。此外，除了Apache Kafka，本发明实施例中的分布式消息队列还可以是其他类型的分布式消息队列，比如ActiveMQ(Message Queue，消息总线)、RabbitMQ、RocketMQ等，具体实施时可灵活设置。
步骤S20，从所述交易流水数据中提取待对账的交易数据；
该步骤中，对账设备从上述获取到的交易流水数据中提取待对账的交易数据，该待对账的交易数据包括但不限于交易金额、交易状态、交易标识(如交易流水号)等数据。
具体地，参照图3，图3为图2中步骤S20的细化步骤示意图，上述步骤S20可以包括：
步骤S21，将所述交易流水数据转换为分布式数据集；
步骤S22，按照所述交易流水数据来源的数据库表对所述分布式数据集进行拆分，得到若干个子分布式数据集；
步骤S23，从所述子分布式数据集中提取待对账的数据字段值，并将提取到的所述数据字段值转换为预设的标准数据格式；
步骤S24，对转换为标准数据格式后的数据字段值进行去重处理，得到与预设的最终交易状态对应的数据字段值；
步骤S25，对各子分布式数据集中去重处理后的数据字段值进行汇总，得到一个新的分布式数据集，将所述新的分布式数据集中的数据作为待对账的交易数据。
在本实施例中，对账设备通过分布式流式计算组件读取和处理交易流水数据，以分布式流式计算组件为Spark Streaming为例进行说明。Spark Streaming从交易流水数据中提取待对账的交易数据的步骤如下：
1、Spark Streaming将读取到的交易流水数据转换为分布式数据集。SparkStreaming可以首先将读取到的交易流水数据转换为弹性分布式数据集RDD(ResilientDistributed Dataset)，然后在弹性分布式数据集封装一层数据结构得到分布式数据集DStream。
2、按表分离。DStream中存在着不同数据库表的交易流水数据，它们的数据结构各异，此时可以按照交易流水数据来源的数据库表的不同，对该DStream进行拆分，得到若干个子DStream，其中每个子DStream中的交易流水数据的数据结构相同。
3、数据标准化。Spark Streaming按照预设的与数据结构对应的提取规则，从每个子DStream中提取待对账的数据字段值，并将提取到的数据字段值转换为预设的标准数据格式(如JSON格式)，由此实现了不同子DStream的数据结构的统一。
4、去重取终态。由于数据库表中的数据经历了创建和多次更新的过程，所以同一条数据在Binlog中可能会存在着多条记录，但是对于对账设备来说，关心的只是最终态的数据，因此该步骤需要对转换为标准数据格式后的数据字段值进行去重处理，以得到与预设的最终交易状态对应的数据字段值，其中，最终交易状态可根据业务灵活设置，比如可以为交易成功、交易失败等。
5、数据合并。对账需要将来自不同数据库表的数据进行比对，所以需要将各个子Dstream中的数据汇总到一个Dstream中，从而得到一个新的分布式数据集，该新的分布式数据集中的数据即作为待对账的交易数据。
需要说明的是，除Spark Streaming外，上述采用的分布式流式计算组件也可以由以下相类似的流式计算组件替代：Storm、Samza、Flink、Kafka Streams。
S30，从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；
该步骤中，可基于交易标识信息，如交易流水号对待对账的交易数据进行分组，由于交易标识信息用于唯一标识一笔交易，因此该步骤可以实现对待对账的交易数据按照交易不同进行划分。
此外，需要说明的是，在对待对账的交易数据进行分组之后，方法还包括：
若在分组后的交易数据中只检测到一个交易流水数据，说明当前另一个交易***的交易流水数据还没有获取到，此时先缓存一个交易流水数据到预设存储区中，以便在该分组内检测到两个交易流水数据才执行后续的对账。
步骤S40，对各分组中的所述待对账的交易数据进行对账处理。
该步骤中，对各分组中的待对账的交易数据进行对账处理。作为一种实施方式，该步骤可以包括：在各分组中，根据交易金额和交易状态对所述待对账的交易数据进行对账处理，也即，对账设备通过比对同一笔交易数据中的交易金额和交易状态，得出对账结果。当然，还可以根据实际需要比对其他的交易数据，如交易类型、交易时间等，从而得出对账结果，具体实施时可灵活设置。
在本实施例中，对账设备从实时读取交易***产生的交易流水数据；从所述交易流水数据中提取待对账的交易数据；从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；对各分组中的所述待对账的交易数据进行对账处理。由于本实施例实时读取交易流水数据，且由于交易标识信息用于唯一标识一笔交易，因而通过上述方式，本发明能够实现对交易***产生的每一笔交易进行实时对账，提高了交易对账的实时性。
进一步地，基于本发明对账方法第一实施例，提出本发明对账方法第二实施例。
在本实施例中，所述从分布式消息队列中实时读取交易***产生的交易流水数据的步骤可以包括：
创建一个滑动窗口，并设置所述滑动窗口的滑动步长；
基于所述滑动窗口和所述滑动步长从分布式消息队列中读取交易***产生的交易流水数据，其中每个滑动窗口用于采集预设时长内交易***产生的交易流水数据。
在本实施例中，考虑到Spark Streaming在一个时间单位做一次数据计算，但是同一笔交易的流水数据由于网络延时等原因，可能不在同一个时间单位内到达，此时在处理数据的时候就会出现数据边界的问题，为此，可以以滑动窗口的方式从分布式消息队列中读取交易***产生的交易流水数据。
参照图4，图4为本发明实施例中通过滑动窗口采集交易流水数据的示意图。其中滑动窗口的长度固定且至少包括2个Batch(原始数据流的最小采集时间单位)，比如滑动窗口中可以包括3个Batch，而滑动窗口的滑动步长可以设置为1个Batch，此时滑动窗口每滑动一个步长，就会得到一个对应的窗口数据流，如图中的Window1、Window2、Window3所示。通过这种方式，既解决了数据边界的问题，又保证了对账的实时性，
进一步地，上述基于所述滑动窗口和所述滑动步长从分布式消息队列中读取交易***产生的交易流水数据的步骤之后，还可以包括：在所述滑动窗口滑动过程中，通过预设的检查点记录基于所述交易流水数据的数据潜伏期和数据等待次数；当所述数据潜伏期达到预设的最大潜伏期时，执行步骤：从所述交易流水数据中提取待对账的交易数据；当所述数据等待次数达到预设的最大潜伏期时，删除所述检查点；其中，所述数据潜伏期和所述最大潜伏期以计数的方式进行表示。
在本实施例中，由于上述滑动窗口的方式会产生多次重复计算同一数据的情况，为保证最终对账结果的可靠性和时效性，可以对交易流水数据的等待次数、潜伏期和最大潜伏期等关键指标建立相应的Checkpoint(计算引擎在计算的过程中为了避免数据丢失建立的检查点，相当于数据快照)，在滑动窗口滑动过程中，通过该预设的检查点记录基于交易流水数据的数据潜伏期和数据等待次数；当数据潜伏期达到预设的最大潜伏期时，可以认为交易已达到最终态(交易成功、交易失败等)，满足对账条件，此时可以执行从交易流水数据中提取待对账的交易数据的步骤，进而进行对账操作，如此可以保证参与对账的交易数据为交易最终态所对应的交易数据，从而保证了对账结果的准确性；当所述数据等待次数达到预设的最大潜伏期时，可以认为对账结束，此时删除对应的检查点Checkpoint，可以减少不必要的***资源占用。
本发明还提供一种对账设备。
本发明对账设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的对账程序，所述对账程序被所述处理器执行时实现如上所述的对账方法的步骤。
其中，在所述处理器上运行的对账程序被执行时所实现的方法可参照本发明对账方法各个实施例，此处不再赘述。
本发明还提供一种对账***。
在本发明对账***一实施例中，该***包括对账设备和消息采集节点，其中：
所述对账设备为上文所述的对账设备；
所述消息采集节点，用于实时采集交易***产生的交易流水数据，以供对账设备通过所述消息采集节点读取交易***产生的交易流水数据。
具体实施时，消息采集节点可以伪装成交易***的数据中心节点中的从节点的从节点，并同步交易***的数据中心节点中的从节点产生的交易日志文件，该交易日志文件可以是Binlog日志文件，其中记录了交易***产生的交易流水数据。
采集到交易流水数据之后，消息采集节点解析并标准化该交易日志文件中的交易流水数据，并将解析并标准化后的交易流水数据存储至本地存储区或者发送至分布式消息队列，以供对账设备从消息采集节点或者分布式消息队列读取交易***产生的交易流水数据，并进行后续的对账操作。其中，对账设备所执行的对账操作可参照本发明对账方法的各实施例，此处不作赘述。
上述交易流水数据的采集方式对交易***没有侵入性，不需要在交易***中做任何代码的改动，且接入比较方便。
在本实施例中，由于实时读取交易流水数据，且由于交易标识信息用于唯一标识一笔交易，因而通过上述方式，本发明能够实现对交易***产生的每一笔交易进行实时对账，提高了交易对账的实时性。
本发明还提供一种计算机可读存储介质。
本发明计算机可读存储介质上存储有对账程序，所述对账程序被处理器执行时实现如上所述的对账方法的步骤。
其中，在所述处理器上运行的对账程序被执行时所实现的方法可参照本发明对账方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (11)
1.一种对账方法，其特征在于，所述对账方法包括如下步骤：
实时读取交易***产生的交易流水数据；
从所述交易流水数据中提取待对账的交易数据；
从提取到的所述待对账的交易数据中获取交易标识信息，根据所述交易标识信息对提取到的所述待对账的交易数据进行分组，所述交易标识信息用于唯一标识一笔交易；
对各分组中的所述待对账的交易数据进行对账处理。
2.如权利要求1所述的对账方法，其特征在于，所述实时读取交易***产生的交易流水数据的步骤包括：
从预设的消息采集节点实时读取交易***产生的交易流水数据，其中消息采集节点用于实时采集交易***产生的交易流水数据；
或者，从分布式消息队列中实时读取交易***产生的交易流水数据，其中分布式消息队列用于缓存所述消息采集节点发送的交易流水数据。
3.如权利要求2所述的对账方法，其特征在于，所述交易流水数据由消息采集节点从交易***对应的数据中心节点的从节点中同步交易日志文件，并对交易日志文件进行解析和标准化处理得到。
4.如权利要求2所述的对账方法，其特征在于，所述从分布式消息队列中实时读取交易***产生的交易流水数据的步骤包括：
创建一个滑动窗口，并设置所述滑动窗口的滑动步长；
基于所述滑动窗口和所述滑动步长从分布式消息队列中读取交易***产生的交易流水数据，其中每个滑动窗口用于采集预设时长内交易***产生的交易流水数据。
5.如权利要求4所述的对账方法，其特征在于，所述基于所述滑动窗口和所述滑动步长从分布式消息队列中读取交易***产生的交易流水数据的步骤之后，还包括：
在所述滑动窗口滑动过程中，通过预设的检查点记录所述交易流水数据的数据潜伏期和数据等待次数；
当所述数据潜伏期达到预设的最大潜伏期时，执行步骤：从所述交易流水数据中提取待对账的交易数据；
当所述数据等待次数达到预设的最大潜伏期时，删除所述检查点；
其中，所述数据潜伏期和所述最大潜伏期以计数的方式进行表示。
6.如权利要求1至5中任一项所述的对账方法，其特征在于，所述从所述交易流水数据中提取待对账的交易数据的步骤包括：
将所述交易流水数据转换为分布式数据集；
按照所述交易流水数据来源的数据库表对所述分布式数据集进行拆分，得到若干个子分布式数据集；
从所述子分布式数据集中提取待对账的数据字段值，并将提取到的所述数据字段值转换为预设的标准数据格式；
对转换为标准数据格式后的数据字段值进行去重处理，得到与预设的最终交易状态对应的数据字段值；
对各子分布式数据集中去重处理后的数据字段值进行汇总，得到一个新的分布式数据集，将所述新的分布式数据集中的数据作为待对账的交易数据。
7.如权利要求6所述的对账方法，其特征在于，所述对各分组中的所述待对账的交易数据进行对账处理的步骤包括：
在各分组中，根据交易金额和交易状态对所述待对账的交易数据进行对账处理。
8.一种对账设备，其特征在于，所述对账设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的对账程序，所述对账程序被所述处理器执行时实现如权利要求1至7中任一项所述的对账方法的步骤。
9.一种对账***，其特征在于，所述对账***包括对账设备和消息采集节点，其中：
所述对账设备为权利要求8所述的对账设备；
所述消息采集节点，用于实时采集交易***产生的交易流水数据，以供对账设备通过所述消息采集节点读取交易***产生的交易流水数据。
10.如权利要求9所述的对账***，其特征在于，
所述消息采集节点，还用于同步交易***的数据中心节点中的从节点产生的交易日志文件，所述交易日志文件中记录了交易***产生的交易流水数据；
解析并标准化所述交易日志文件中的交易流水数据，将解析并标准化后的所述交易流水数据存储至本地存储区或者发送至分布式消息队列，以供对账设备从消息采集节点或者所述分布式消息队列读取交易***产生的交易流水数据。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有对账程序，所述对账程序被处理器执行时实现如权利要求1至7中任一项所述的对账方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811153706.6A CN109034993B (zh) | 2018-09-29 | 2018-09-29 | 对账方法、设备、***及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811153706.6A CN109034993B (zh) | 2018-09-29 | 2018-09-29 | 对账方法、设备、***及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109034993A true CN109034993A (zh) | 2018-12-18 |
| CN109034993B CN109034993B (zh) | 2022-04-01 |
Family
ID=64615561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811153706.6A Active CN109034993B (zh) | 2018-09-29 | 2018-09-29 | 对账方法、设备、***及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109034993B (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109615495A (zh) * | 2018-10-11 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 一种数据的对账方法、装置、设备及*** |
| CN109783701A (zh) * | 2018-12-20 | 2019-05-21 | 平安信托有限责任公司 | 相同流水判定方法、装置、计算机设备和存储介质 |
| CN109816481A (zh) * | 2019-01-04 | 2019-05-28 | 平安科技（深圳）有限公司 | 账单处理方法、装置及计算机可读存储介质 |
| CN109934693A (zh) * | 2019-02-22 | 2019-06-25 | 东莞市盟大塑化科技有限公司 | 分类对账方法及***、存储介质、电子设备 |
| CN110060140A (zh) * | 2019-03-15 | 2019-07-26 | 深圳壹账通智能科技有限公司 | 海量数据对账方法、装置、介质和计算机设备 |
| CN110084690A (zh) * | 2019-03-18 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 数据处理方法、装置、计算机装置及存储介质 |
| CN110175165A (zh) * | 2019-04-16 | 2019-08-27 | 平安普惠企业管理有限公司 | 交易对账方法、装置、计算机设备及存储介质 |
| CN110298740A (zh) * | 2019-06-24 | 2019-10-01 | 深圳乐信软件技术有限公司 | 数据对账方法、装置、设备以及存储介质 |
| CN110378778A (zh) * | 2019-07-10 | 2019-10-25 | 中信百信银行股份有限公司 | 多数据源对账方法、***、电子设备及存储介质 |
| CN110544164A (zh) * | 2019-08-27 | 2019-12-06 | 中信百信银行股份有限公司 | 全链路对账方法和*** |
| CN110647544A (zh) * | 2019-09-10 | 2020-01-03 | 四川新网银行股份有限公司 | 基于流数据的账务检核方法 |
| CN110880131A (zh) * | 2019-11-11 | 2020-03-13 | 深圳前海微众银行股份有限公司 | 一种***的生成方法及装置 |
| CN110889754A (zh) * | 2019-11-19 | 2020-03-17 | 中信百信银行股份有限公司 | 提高不可透支热点账户处理效率的方法 |
| CN110991871A (zh) * | 2019-11-29 | 2020-04-10 | 深圳前海微众银行股份有限公司 | 风险监测方法、装置、设备与计算机可读存储介质 |
| CN111695904A (zh) * | 2020-06-24 | 2020-09-22 | 深圳壹账通智能科技有限公司 | 数据风险控制方法、***和计算机设备 |
| CN111899087A (zh) * | 2020-06-16 | 2020-11-06 | 中国建设银行股份有限公司 | 数据的提供方法、装置、电子设备及计算机可读存储介质 |
| CN112116306A (zh) * | 2020-07-01 | 2020-12-22 | 神思旭辉医疗信息技术有限责任公司 | 一种基于t+0/n结合的医疗对账方法 |
| CN112328545A (zh) * | 2020-11-03 | 2021-02-05 | 河北幸福消费金融股份有限公司 | 对账文件生成方法、***、装置和存储介质 |
| CN112419018A (zh) * | 2020-01-03 | 2021-02-26 | 上海哔哩哔哩科技有限公司 | 分布式环境下的通用数据对账方法、服务器及存储介质 |
| CN112734544A (zh) * | 2020-12-31 | 2021-04-30 | 四川新网银行股份有限公司 | 一种基于消息队列的分布式实时对账方法 |
| CN113448713A (zh) * | 2021-07-12 | 2021-09-28 | 中国银行股份有限公司 | 一种流水数据异步处理方法、装置、存储介质和设备 |
| CN113590602A (zh) * | 2021-07-30 | 2021-11-02 | 上海微盟企业发展有限公司 | 一种消息去重方法、装置、设备及存储介质 |
| CN115115433A (zh) * | 2022-07-19 | 2022-09-27 | 深圳市享多多网络技术有限公司 | 订单数据处理方法、装置、计算机设备和存储介质 |
| CN115115457A (zh) * | 2022-08-29 | 2022-09-27 | 天津金城银行股份有限公司 | 业务交易流水的处理方法、***及介质 |
| CN117251120A (zh) * | 2023-11-17 | 2023-12-19 | 杭州乒乓智能技术有限公司 | 基于jvm堆外内存的对账***优化方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1763776A2 (en) * | 2004-05-21 | 2007-03-21 | Bea Systems, Inc. | Service oriented architecture |
| CN101650795A (zh) * | 2009-09-09 | 2010-02-17 | 浪潮集团山东通用软件有限公司 | 一种基于内部交易实时确认减少未达账项的方法 |
| CN106227765A (zh) * | 2016-07-13 | 2016-12-14 | 广州唯品会网络技术有限公司 | 时间窗口累计的实现方法 |
| CN107665460A (zh) * | 2016-07-24 | 2018-02-06 | 平安科技（深圳）有限公司 | 基于实时交易的核算方法及装置 |
-
2018
- 2018-09-29 CN CN201811153706.6A patent/CN109034993B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1763776A2 (en) * | 2004-05-21 | 2007-03-21 | Bea Systems, Inc. | Service oriented architecture |
| CN101650795A (zh) * | 2009-09-09 | 2010-02-17 | 浪潮集团山东通用软件有限公司 | 一种基于内部交易实时确认减少未达账项的方法 |
| CN106227765A (zh) * | 2016-07-13 | 2016-12-14 | 广州唯品会网络技术有限公司 | 时间窗口累计的实现方法 |
| CN107665460A (zh) * | 2016-07-24 | 2018-02-06 | 平安科技（深圳）有限公司 | 基于实时交易的核算方法及装置 |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109615495B (zh) * | 2018-10-11 | 2023-08-18 | 创新先进技术有限公司 | 一种数据的对账方法、装置、设备及*** |
| CN109615495A (zh) * | 2018-10-11 | 2019-04-12 | 阿里巴巴集团控股有限公司 | 一种数据的对账方法、装置、设备及*** |
| CN109783701A (zh) * | 2018-12-20 | 2019-05-21 | 平安信托有限责任公司 | 相同流水判定方法、装置、计算机设备和存储介质 |
| CN109816481A (zh) * | 2019-01-04 | 2019-05-28 | 平安科技（深圳）有限公司 | 账单处理方法、装置及计算机可读存储介质 |
| CN109934693A (zh) * | 2019-02-22 | 2019-06-25 | 东莞市盟大塑化科技有限公司 | 分类对账方法及***、存储介质、电子设备 |
| CN110060140A (zh) * | 2019-03-15 | 2019-07-26 | 深圳壹账通智能科技有限公司 | 海量数据对账方法、装置、介质和计算机设备 |
| CN110084690A (zh) * | 2019-03-18 | 2019-08-02 | 深圳壹账通智能科技有限公司 | 数据处理方法、装置、计算机装置及存储介质 |
| CN110175165A (zh) * | 2019-04-16 | 2019-08-27 | 平安普惠企业管理有限公司 | 交易对账方法、装置、计算机设备及存储介质 |
| CN110298740A (zh) * | 2019-06-24 | 2019-10-01 | 深圳乐信软件技术有限公司 | 数据对账方法、装置、设备以及存储介质 |
| CN110378778A (zh) * | 2019-07-10 | 2019-10-25 | 中信百信银行股份有限公司 | 多数据源对账方法、***、电子设备及存储介质 |
| CN110544164A (zh) * | 2019-08-27 | 2019-12-06 | 中信百信银行股份有限公司 | 全链路对账方法和*** |
| CN110647544A (zh) * | 2019-09-10 | 2020-01-03 | 四川新网银行股份有限公司 | 基于流数据的账务检核方法 |
| CN110880131A (zh) * | 2019-11-11 | 2020-03-13 | 深圳前海微众银行股份有限公司 | 一种***的生成方法及装置 |
| CN110889754A (zh) * | 2019-11-19 | 2020-03-17 | 中信百信银行股份有限公司 | 提高不可透支热点账户处理效率的方法 |
| CN110889754B (zh) * | 2019-11-19 | 2023-07-11 | 中信百信银行股份有限公司 | 提高不可透支热点账户处理效率的方法 |
| CN110991871A (zh) * | 2019-11-29 | 2020-04-10 | 深圳前海微众银行股份有限公司 | 风险监测方法、装置、设备与计算机可读存储介质 |
| CN112419018B (zh) * | 2020-01-03 | 2022-11-18 | 上海哔哩哔哩科技有限公司 | 分布式环境下的通用数据对账方法、服务器及存储介质 |
| CN112419018A (zh) * | 2020-01-03 | 2021-02-26 | 上海哔哩哔哩科技有限公司 | 分布式环境下的通用数据对账方法、服务器及存储介质 |
| CN111899087A (zh) * | 2020-06-16 | 2020-11-06 | 中国建设银行股份有限公司 | 数据的提供方法、装置、电子设备及计算机可读存储介质 |
| CN111695904A (zh) * | 2020-06-24 | 2020-09-22 | 深圳壹账通智能科技有限公司 | 数据风险控制方法、***和计算机设备 |
| CN112116306A (zh) * | 2020-07-01 | 2020-12-22 | 神思旭辉医疗信息技术有限责任公司 | 一种基于t+0/n结合的医疗对账方法 |
| CN112328545A (zh) * | 2020-11-03 | 2021-02-05 | 河北幸福消费金融股份有限公司 | 对账文件生成方法、***、装置和存储介质 |
| CN112328545B (zh) * | 2020-11-03 | 2022-11-22 | 河北幸福消费金融股份有限公司 | 对账文件生成方法、***、装置和存储介质 |
| CN112734544A (zh) * | 2020-12-31 | 2021-04-30 | 四川新网银行股份有限公司 | 一种基于消息队列的分布式实时对账方法 |
| CN113448713A (zh) * | 2021-07-12 | 2021-09-28 | 中国银行股份有限公司 | 一种流水数据异步处理方法、装置、存储介质和设备 |
| CN113448713B (zh) * | 2021-07-12 | 2024-02-13 | 中国银行股份有限公司 | 一种流水数据异步处理方法、装置、存储介质和设备 |
| CN113590602A (zh) * | 2021-07-30 | 2021-11-02 | 上海微盟企业发展有限公司 | 一种消息去重方法、装置、设备及存储介质 |
| CN115115433B (zh) * | 2022-07-19 | 2023-09-05 | 深圳市享多多网络技术有限公司 | 订单数据处理方法、装置、计算机设备和存储介质 |
| CN115115433A (zh) * | 2022-07-19 | 2022-09-27 | 深圳市享多多网络技术有限公司 | 订单数据处理方法、装置、计算机设备和存储介质 |
| CN115115457B (zh) * | 2022-08-29 | 2022-11-22 | 天津金城银行股份有限公司 | 业务交易流水的处理方法、***及介质 |
| CN115115457A (zh) * | 2022-08-29 | 2022-09-27 | 天津金城银行股份有限公司 | 业务交易流水的处理方法、***及介质 |
| CN117251120A (zh) * | 2023-11-17 | 2023-12-19 | 杭州乒乓智能技术有限公司 | 基于jvm堆外内存的对账***优化方法、装置、设备及介质 |
| CN117251120B (zh) * | 2023-11-17 | 2024-03-01 | 杭州乒乓智能技术有限公司 | 基于jvm堆外内存的对账***优化方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109034993B (zh) | 2022-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109034993A (zh) | 对账方法、设备、***及计算机可读存储介质 | |
| Muniswamaiah et al. | Big data in cloud computing review and opportunities | |
| US11379755B2 (en) | Feature processing tradeoff management | |
| US20210374610A1 (en) | Efficient duplicate detection for machine learning data sets | |
| US20200050968A1 (en) | Interactive interfaces for machine learning model evaluations | |
| US11100420B2 (en) | Input processing for machine learning | |
| US10339465B2 (en) | Optimized decision tree based models | |
| US10540606B2 (en) | Consistent filtering of machine learning data | |
| US10318882B2 (en) | Optimized training of linear machine learning models | |
| US9483387B1 (en) | Tree comparison functionality for services | |
| US10078843B2 (en) | Systems and methods for analyzing consumer sentiment with social perspective insight | |
| CN113254466B (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
| CN110019267A (zh) | 一种元数据更新方法、装置、***、电子设备及存储介质 | |
| US20210241273A1 (en) | Smart contract platform | |
| CN109656999A (zh) | 大数据量的数据同步方法、设备、存储介质及装置 | |
| CN110457260A (zh) | 文件处理方法、装置、设备及计算机可读存储介质 | |
| CN110502583A (zh) | 分布式数据同步方法、装置、设备及可读存储介质 | |
| CN113282611B (zh) | 一种流数据同步的方法、装置、计算机设备及存储介质 | |
| CN113094434A (zh) | 数据库同步方法、***、装置、电子设备及介质 | |
| CN112100182A (zh) | 数据入库处理方法、装置和服务器 | |
| CN116860856A (zh) | 一种财务数据处理方法、装置、计算机设备及存储介质 | |
| CN110336791A (zh) | 一种断点数据传输方法、装置、设备及计算机存储介质 | |
| CN110457327A (zh) | 一种数据处理方法、装置及存储介质 | |
| CN113836235B (zh) | 基于数据中台的数据处理方法及其相关设备 | |
| US20220284045A1 (en) | Matching machine generated data entries to pattern clusters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Shi Zuheng Inventor after: Hu Dongdong Inventor after: Yin Song Inventor after: Fan Ruibin Inventor after: Wan Lei Inventor before: Shi Zuheng Inventor before: Hu Dongdong Inventor before: Yin Song Inventor before: Fan Ruibin Inventor before: Wan Lei |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |