CN112184368A - 一种交易数据处理方法、装置及服务端 - Google Patents
一种交易数据处理方法、装置及服务端 Download PDFInfo
- Publication number
- CN112184368A CN112184368A CN202010986267.8A CN202010986267A CN112184368A CN 112184368 A CN112184368 A CN 112184368A CN 202010986267 A CN202010986267 A CN 202010986267A CN 112184368 A CN112184368 A CN 112184368A
- Authority
- CN
- China
- Prior art keywords
- data
- transaction data
- transaction
- target attribute
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000001914 filtration Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 19
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000013075 data extraction Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000011144 upstream manufacturing Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/12—Accounting
- G06Q40/125—Finance or payroll
Landscapes
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Engineering & Computer Science (AREA)
- Marketing (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Technology Law (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种交易数据处理方法、装置及服务器。该交易数据处理方法,包括:提取不同来源的多组交易数据,多组所述交易数据是按照交易执行的先后顺序依次生成的;将每组所述交易数据与各自后一顺序的一组所述交易数据比对;将所述交易执行的顺序的最后一组交易数据与第一组交易数据比对,得到比对结果。本发明实施方式提供的交易数据处理方法,按照交易执行的先后顺序,将每组交易数据与各自后依顺序的交易数据比对,且将最后一组数据与第一组数据比对,这能够快速、高效而且准确的比对不同来源的交易数据,及时发现存在有误的数据,及时止损。
Description
技术领域
本发明涉及数据处理领域,尤其是涉及一种交易数据处理方法、装置及服务端。
背景技术
现有的电商***存在多个业务***,每一笔交易业务都有对应一系列交易数据,这一系列交易数据的上下游***复杂,有可能存在一系列的交易数据中的交易的状态、数据的个数不一致等情况,而***的交易次数比较多,数据量庞大,不容易跟踪和发现,而交易数据中包括了交易的金额,如果交易的金额存在不一致,可能出现多扣款,或者少扣款,或者重复扣款等问题,如果不及时跟踪发现,容易造成商家或者购买的用户出现损失,出现购买纠纷,因此,及时准确的对比对交易数据是否有误,有助于及时的发现***中交易的问题,避免出现纠纷。
发明内容
(一)发明目的
本发明的目的是提供一种交易数据处理方法、装置及服务端,该交易数据处理方法,按照交易执行的先后顺序,将每组交易数据与各自后依顺序的交易数据比对,且将最后一组数据与第一组数据比对,这能够快速、高效而且准确的对不同来源的交易数据比对,及时发现存在有误的数据,及时止损。
(二)技术方案
为解决上述问题,本发明的第一方面提供了一种交易数据处理方法,包括:提取不同来源的多组交易数据,多组所述交易数据是按照交易执行的先后顺序依次生成的;将每组所述交易数据与各自后一顺序的一组所述交易数据比对;将所述交易执行的顺序的最后一组交易数据与第一组交易数据比对,得到比对结果。
本发明实施方式提供的交易数据处理方法,按照交易执行的先后顺序,将每组交易数据与各自后依顺序的交易数据比对,且将最后一组数据与第一组数据比对,这能够快速、高效而且准确的不同来源的交易数据比对,及时发现存在有误的数据,及时止损。
在一些实施例中,每组所述交易数据包括多个目标属性特征;每组所述交易数据与各自下一顺序的交易数据具有至少两个相对应的目标属性特征;所述将每组所述交易数据与各自后一顺序的一组交易数据比对,包括:将每组交易数据的目标属性特征与各自下一顺序的相对应的目标属性特征比对;当至少存在一个目标属性特征与各自下一顺序的相对应的目标属性特征不匹配,确定比对结果为两组交易数据存在错误。
在一些实施例中,按照交易执行的先后顺序,多组所述交易数据依次包括工单数据、订单数据和支付数据;其中,所述工单数据的多个目标属性特征包括:工单号、交易金额、订单生成时间和交易状态;所述订单数据的多个目标属性特征包括:工单号、订单号、交易金额、订单生成时间、支付完成时间和支付状态;所述支付数据的多个目标属性特征包括:订单号、交易金额、支付完成时间和交易状态。
在一些实施例中,在提取多组交易数据之后,在将每组所述交易数据与各自后一顺序的一组交易数据比对之前,还包括:对所述多组交易数据进行数据过滤,所述数据过滤包括下述步骤中的一种或多种:将所述多组交易数据中重复的交易数据删除,保留至一条;或者,将不符合预设条件的交易数据删除。
在一些实施例中,在对所述多组交易数据进行数据过滤之后,在将每组所述交易数据与各自后一顺序的一组交易数据比对之前,还包括:将每组所述交易数据的目标属性特征转换成预设的格式;或者将每组所述交易数据的目标属性特征转和其后一顺序的一组交易数据的目标属性特征换成相同格式。
在一些实施例中,上述交易数据处理方法,还包括:发送所述比对结果至与每组交易数据对应的目标任务的邮箱或APP软件账号。
在一些实施例中,上述交易数据处理方法,还包括:每隔预设时间执行交易数据对比方法。
根据本发明的第二方面,提供了一种交易数据处理装置,包括:数据获取模块,提取不同来源的多组交易数据,多组所述交易数据是按照交易执行的先后顺序依次生成的;数据对比模块,用于将每组所述交易数据与各自后一顺序的一组所述交易数据比对;将所述交易执行的顺序的最后一组交易数据与第一组交易数据比对,得到比对结果。
在一些实施例中,每组所述交易数据包括多个目标属性特征;每组所述交易数据与各自下一顺序的交易数据具有至少两个相对应的目标属性特征;所述数据比对模块,用于将每组交易数据的目标属性特征与各自下一顺序的相对应的目标属性特征比对;当至少存在一个目标属性特征与各自下一顺序的相对应的目标属性特征不匹配,确定比对结果为两组交易数据存在错误。
在一些实施例中,所述数据提取模块提取的多组所述交易数据包括工单数据、订单数据和支付数据;其中,所述工单数据的多个目标属性特征包括:工单号、交易金额、订单生成时间和交易状态;所述订单数据的多个目标属性特征包括:工单号、订单号、交易金额、订单生成时间、支付完成时间和支付状态;所述支付数据的多个目标属性特征包括:订单号、交易金额、支付完成时间和交易状态。
在一些实施例中,还包括:数据过滤模块,用于对所述多组交易数据进行数据过滤,所述数据过滤包括将所述多组交易数据中重复的交易数据删除,保留至一条,或者将不符合预设条件的交易数据删除。
在一些实施例中,上述交易数据处理装置,还包括:数据清洗模块,用于将每组所述交易数据的目标属性特征转换成预设的格式,或者将每组所述交易数据的目标属性特征转和其后一顺序的一组交易数据的目标属性特征换成相同格式。
在一些实施例中,上述交易数据处理装置,还包括:比对结果发送模块,用于发送所述比对结果至与每组交易数据对应的目标任务的邮箱或APP软件账号。
在一些实施例中,上述交易数据处理装置,还包括:时钟模块,用于每隔预设时间指示所述数据提取模块提取不同来源的多组交易数据,以使所述数据比对模块每隔所述预设时间将每组所述交易数据与各自后一顺序的一组所述交易数据比对;将所述交易执行的顺序的最后一组交易数据与第一组交易数据比对,得到比对结果。
根据本发明的第三方面,还提供了一种服务端,包括处理器,处理器采用第一方面提供的方法执行交易数据处理。
根据本发明的第四方面,提供了一种计算机存储介质,计算机存储介质上存储有计算机程序,程序被处理器执行时实现第一方面提供的方法执行交易数据处理。
根据本发明的第八方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现第一方面提供的方法执行交易数据处理。
(三)有益效果
本发明的上述技术方案具有如下有益的技术效果:
本发明实施方式提供的交易数据处理方法,按照交易执行的先后顺序,将每组交易数据与各自后依顺序的交易数据比对,且将最后一组数据与第一组数据比对,这能够快速、高效而且准确的不同来源的交易数据比对,及时发现存在有误的数据,及时止损。
附图说明
图1是本发明第一实施方式提供的交易数据处理方法的流程示意图;
图2是本发明第二实施方式提供的交易数据处理装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
在详细论述本发明第一实施方式提供的交易数据处理方法之前,先介绍一下交易执行的顺序。
通常,为促成一单交易,通常交易***会包括多个子***,例如工单***、订单生成***和支付***。
其中,用户会现在工单***申请工单,工单***生成工单数据,工单数据中包括工单号、交易金额和交易状态、工单数据生成的时间。
然后,工单***基于生成的工单调用订单***,订单***生成对应的订单数据。订单数据包括订单编号、与本订单对应的工单号、订单生成的时间、支付状态等。
订单***生成订单数据后,调用支付***,支付***生成支付数据,支付数据包括:支付流水号、与本次支付对应的订单号、支付金额、支付完成的时间和交易状态。
当本次工单支付款项之后,支付***会获取支付状态,如果状态为已经支付后,支付***会将支付完成的状态通知到订单***,订单***将交易状态修改为交易完成,然后订单***会将交易完成的状态通知到工单***,工单***会修改工单的交易状态为已支付状态。
通常上述一个简单的支付场景,需要涉及到工单、订单、交易这三个***,通常每个***会分别将各自的数据分别存储至各自的服务端中。三个***存在上下游的业务关系,而上下游业务***的数据不是相互打通的关系。
可见,上述的支付***中,属于一个交易的多组交易数据的处理链路比较长,对于企业内部,会设置多种服务的子***,这样会使得交易数据的处理链路越来越长,一条数据从最上游业务***产生到最下游消费***使用往往需要经历数个甚至十几个大小不一、作用不同的服务子***。因此,对于多方流转的数据进行比较核对、及时发现差错遗漏或重复这种需求就日益增多。查看从最上游的业务数据源头,追踪到最下游消费数据,进行整个业务链路数据关联关系和核对结果的需求也迫切。
下面将详细论述本发明第一实施方式提供的交易数据处理方法。
图1是本发明第一实施方式提供的交易数据处理方法的流程示意图。
如图1所示,该交易数据处理方法包括:步骤S101-步骤S103,其中,
步骤S101,提取不同来源的多组交易数据,多组所述交易数据是按照交易执行的先后顺序依次生成的。
结合上述描述,完成一个交易,包括工单数据、订单数据、交易数据等多组交易数据,而每组交易数据会各自存储不同的服务端。因此,在本步骤中,提取不同来源的多组交易数据,便于为下一步的数据比对准备。
在一个实施例中,所述提取不同来源的多组交易数据,还包括:
先将不同来源的多组交易数据同步至一个TIDB数据库中,然后提取存储至TIDB数据库中的不同来源的多组交易数据。
可以理解的是,有可能不同来源的多组交易数据的数据库类型存在差别,而每种数据库可能提取数据的要求不同,有些数据库可能可以采用发送脚本的方式直接提取,有些数据库可能需要调用接口的方式提取,因此,为便于统一提取的方式,先将不同来源的交易数据同步至一个TIDB数据库中,这样后续提取多组交易数据时,可以统一采用SQL脚本的方式进行读取,当提取的交易数据类型变化、或者交易数据的属性特征变化,可以通过动态配置SQL脚本,实现动态调整,而且可以实时生效,无需每次调整交易***的代码。简化了提取不同来源的多组交易数据的步骤。
步骤S102,将每组所述交易数据与各自后一顺序的一组所述交易数据比对。
在一个实施例中,每组所述交易数据包括多个目标属性特征;每组所述交易数据与各自下一顺序的交易数据具有至少两个相对应的目标属性特征
所述将每组所述交易数据与各自后一顺序的一组交易数据比对,包括:将每组交易数据的目标属性特征与各自下一顺序的相对应的目标属性特征比对;当至少存在一个目标属性特征与各自下一顺序的相对应的目标属性特征不匹配,确定比对结果为两组交易数据存在错误。
进一步地,在本实施例中,按照交易执行的先后顺序,多组所述交易数据依次包括工单数据、订单数据和支付数据。
其中,所述工单数据的多个目标属性特征包括:工单号、交易金额、订单生成时间和交易状态。
所述订单数据的多个目标属性特征包括:工单号、订单号、交易金额、订单生成时间、支付完成时间和支付状态。
所述支付数据的多个目标属性特征包括:订单号、交易金额、支付完成时间和交易状态。
具体地,在本实施例中,交易执行的顺序是,先生成工单数据、然后订单数据和支付数据。
将每组交易数据的目标属性特征与各自下一顺序的相对应的目标属性特征比对,包括:
将工单数据与订单数据进行比对;将订单数据与支付数据进行比对,将支付数据与工单数据进行比对。
具体地,将工单数据与订单数据进行比对,包括:将工单数据中包括的工单的号与订单数据包括的工单号比对、将工单数据中包括的交易金额与订单数据包括的交易金额比对、将工单数据中的订单生成的时间和订单数据中订单生成的时间比对。
将订单数据与支付数据进行比对,包括:将订单数据中的订单号与支付数据中的订单号比对,将订单数据中的交易金额和支付数据中的交易金额比对,将订单数据中的支付完成时间和支付数据中的支付完成时间比对。
将支付数据和工单数据进行比对,包括:将工单数据中的交易金额和支付数据中的交易金额比对,将工单数据中的交易状态比对和支付数据中的交易状态比对。
可以理解的是,按照本发明上述实施例进行依次比对,即可完成三组交易数据的比对,得到比对结果。
在一个具体的实施例中,当上述两组交易数据的目标属性特征进行比对时,只有存在不匹配的情况,则确定比对结果为两组交易数据都存在错误。
其中两组交易数据的目标属性特征存在不匹配例如是指,本组交易数据中有一个目标属性特征,而其下一组交易数据中没有对比到与该目标属性特征对应的属性特征。例如,将工单数据中的交易金额和支付数据中的交易金额比对时,发现工单数据中没有交易金额这一属性特征,确认这一笔交易中,工单数据和支付数据有误。更具体的,确定这一笔交易中,工单数据的交易金额这个属性特征和支付数据的交易金额这个属性特征都有误。
或者,两组交易数据的目标属性特征存在不匹配例如是指,本组交易数据中有一个目标属性特征,而其下一组交易数据中与该目标属性特征对应的属性特征二者不一致。例如,将工单数据中的交易金额和支付数据中的交易金额比对时,发现工单数据的交易金额与支付数据的交易金额大小不同,例如工单数据的交易金额为10000,而支付数据的交易金额为1000,则确认这一笔交易中,工单数据和支付数据有误。更具体的,确定这一笔交易中,工单数据的交易金额这个属性特征和支付数据的交易金额这个属性特征都有误。
在一个实施例中,在提取多组交易数据之后,在将每组所述交易数据与各自后一顺序的一组交易数据比对之前,还包括:对所述多组交易数据进行数据过滤,所述数据过滤包括下述步骤中的一种或多种:将所述多组交易数据中重复的交易数据删除,保留至一条;或者,将不符合预设条件的交易数据删除。
需要说明的是,本实施例中,采用sql脚本来从TIDB数据库中调取数据,有时候调取的数据可能存在重复,或者调取的数据不准确,因此在比对之前,先对数据进行过滤,减少比对的数据处理量。
当然,还可以根据预设条件对交易数据筛选,预设条件例如是,删除不是某一天产生的数据,或者删除不是某段时间产生的数据。
在一个实施例中,在对所述多组交易数据进行数据过滤之后,在将每组所述交易数据与各自后一顺序的一组交易数据比对之前,还包括:将每组所述交易数据的目标属性特征转换成预设的格式;或者将每组所述交易数据的目标属性特征转和其后一顺序的一组交易数据的目标属性特征换成相同格式。
需要说明的是,在本实施例中,由于需要比对的几组交易数据的数据来源不同,每中数据存储的格式可能有差异,例如前一组交易数据对于时间存储的格式是,年、月、日为一个字段,时、分、秒为另一个字段,则提取的时间这一个目标属性,就包括两个字段,而另一组交易数据对于时间存储的格式是,年、月、日、时、分、秒为一个字段,如果不将二者的格式转换一致,则无法对两组交易数据比对。
再例如,前一组交易数据的对于金额的数据格式为中文的大写数字,例如为壹万零五佰元,而后一组交易数据对于金额的格式为***数字,例如为10500元,如果不将二者的金额统一为一个格式,则比对会困难。
再例如,有时候每组交易数据会存在很多的信息,例如工单数据可能存在下单的用户名、用户手机号、下单的备注等信息,而有些信息可能无需比对,虽然提取时要求只提取每组交易数据特定的几个目标属性特征,但是有时候可能存在sql脚本误将其他的属性特征提取出来,因此,设置本步骤的数据清洗,也可以是对每组数据中非目标属性特征删除,即对第一步提取的每组交易数据进行查漏补缺。
在一个实施例中,上述交易数据处理方法还包括:步骤S104,发送所述比对结果至与每组交易数据对应的目标邮箱或目标APP软件账号。
在本实施例中,可以将出现比对错误的数据分别发送给目标邮箱或目标APP软件账号,以便于相应账号的人及时解决数据错误的问题。可以理解的是,目标邮箱例如是出现比对错误的两组交易数据对应的负责人的邮箱。其中每组交易数据对应的负责人例如是每个交易***对应的负责人。
在一个实施例中,方法还包括:步骤S105,每隔预设时间执行交易数据对比方法。
具体的,可以设置每隔一天对交易数据进行上述比对处理。
本发明实施方式提供的交易数据处理方法,按照交易执行的先后顺序,将每组交易数据与各自后依顺序的交易数据比对,且将最后一组数据与第一组数据比对,这能够快速、高效而且准确的不同来源的交易数据比对,及时发现存在有误的数据,及时止损。
图2是本发明第二实施方式提供的交易数据处理装置。
如图2所示,该交易数据处理装置包括:数据获取模块和数据对比模块。
其中,数据获取模块,用于提取不同来源的多组交易数据,多组所述交易数据是按照交易执行的先后顺序依次生成的。
结合上述描述,完成一个交易,包括工单数据、订单数据、交易数据等多组交易数据,而每组交易数据会各自存储不同的服务端。因此,在本步骤中,提取不同来源的多组交易数据,便于为下一步的数据比对准备。
在一个实施例中,数据获取模块,先将不同来源的多组交易数据同步至一个TIDB数据库中,然后提取存储至TIDB数据库中的不同来源的多组交易数据。
可以理解的是,有可能不同来源的多组交易数据的数据库类型存在差别,而每种数据库可能提取数据的要求不同,有些数据库可能可以采用发送脚本的方式直接提取,有些数据库可能需要调用接口的方式提取,因此,为便于统一提取的方式,先将不同来源的交易数据同步至一个TIDB数据库中,这样后续提取多组交易数据时,可以统一采用SQL脚本的方式进行读取,当提取的交易数据类型变化、或者交易数据的属性特征变化,可以通过动态配置SQL脚本,实现动态调整,而且可以实时生效,无需每次调整交易***的代码。简化了提取不同来源的多组交易数据的步骤。
数据对比模块用于将每组所述交易数据与各自后一顺序的一组所述交易数据比对。
在一个实施例中,每组所述交易数据包括多个目标属性特征;每组所述交易数据与各自下一顺序的交易数据具有至少两个相对应的目标属性特征。
数据对比模块用于将每组交易数据的目标属性特征与各自下一顺序的相对应的目标属性特征比对;当至少存在一个目标属性特征与各自下一顺序的相对应的目标属性特征不匹配,确定比对结果为两组交易数据存在错误。
进一步地,在本实施例中,按照交易执行的先后顺序,多组所述交易数据依次包括工单数据、订单数据和支付数据。
其中,所述工单数据的多个目标属性特征包括:工单号、交易金额、订单生成时间和交易状态。
所述订单数据的多个目标属性特征包括:工单号、订单号、交易金额、订单生成时间、支付完成时间和支付状态。
所述支付数据的多个目标属性特征包括:订单号、交易金额、支付完成时间和交易状态。
具体地,在本实施例中,交易执行的顺序是,先生成工单数据、然后订单数据和支付数据。
数据对比模块用于将工单数据与订单数据进行比对,将订单数据与支付数据进行比对,将支付数据与工单数据进行比对。
具体地,数据对比模块将工单数据与订单数据进行比对,包括:将工单数据中包括的工单的号与订单数据包括的工单号比对、将工单数据中包括的交易金额与订单数据包括的交易金额比对、将工单数据中的订单生成的时间和订单数据中订单生成的时间比对。
数据对比模块将订单数据与支付数据进行比对,包括:将订单数据中的订单号与支付数据中的订单号比对,将订单数据中的交易金额和支付数据中的交易金额比对,将订单数据中的支付完成时间和支付数据中的支付完成时间比对。
数据对比模块将支付数据和工单数据进行比对,包括:将工单数据中的交易金额和支付数据中的交易金额比对,将工单数据中的交易状态比对和支付数据中的交易状态比对。
可以理解的是,按照本发明上述实施例进行依次比对,即可完成三组交易数据的比对,得到比对结果。
在一个具体的实施例中,当上述两组交易数据的目标属性特征进行比对时,只有存在不匹配的情况,则确定比对结果为两组交易数据都存在错误。
其中两组交易数据的目标属性特征存在不匹配例如是指,本组交易数据中有一个目标属性特征,而其下一组交易数据中没有对比到与该目标属性特征对应的属性特征。例如,将工单数据中的交易金额和支付数据中的交易金额比对时,发现工单数据中没有交易金额这一属性特征,确认这一笔交易中,工单数据和支付数据有误。更具体的,确定这一笔交易中,工单数据的交易金额这个属性特征和支付数据的交易金额这个属性特征都有误。
或者,两组交易数据的目标属性特征存在不匹配例如是指,本组交易数据中有一个目标属性特征,而其下一组交易数据中与该目标属性特征对应的属性特征二者不一致。例如,将工单数据中的交易金额和支付数据中的交易金额比对时,发现工单数据的交易金额与支付数据的交易金额大小不同,例如工单数据的交易金额为10000,而支付数据的交易金额为1000,则确认这一笔交易中,工单数据和支付数据有误。更具体的,确定这一笔交易中,工单数据的交易金额这个属性特征和支付数据的交易金额这个属性特征都有误。
在一个实施例中,上述交易数据处理模块还包括:数据过滤模块,数据过滤模块用于对所述多组交易数据进行数据过滤,所述数据过滤模块数据过滤包括下述步骤中的一种或多种:将所述多组交易数据中重复的交易数据删除,保留至一条;或者,将不符合预设条件的交易数据删除。
需要说明的是,本实施例中,采用sql脚本来从TIDB数据库中调取数据,有时候调取的数据可能存在重复,或者调取的数据不准确,因此在比对之前,先对数据进行过滤,减少比对的数据处理量。
当然,还可以根据预设条件对交易数据筛选,预设条件例如是,删除不是某一天产生的数据,或者删除不是某段时间产生的数据。
在一个实施例中,上述交易数据处理装置还包括:数据清洗模块,将每组所述交易数据的目标属性特征转换成预设的格式;或者将每组所述交易数据的目标属性特征转和其后一顺序的一组交易数据的目标属性特征换成相同格式。
需要说明的是,在本实施例中,由于需要比对的几组交易数据的数据来源不同,每中数据存储的格式可能有差异,例如前一组交易数据对于时间存储的格式是,年、月、日为一个字段,时、分、秒为另一个字段,则提取的时间这一个目标属性,就包括两个字段,而另一组交易数据对于时间存储的格式是,年、月、日、时、分、秒为一个字段,如果不将二者的格式转换一致,则无法对两组交易数据比对。
再例如,前一组交易数据的对于金额的数据格式为中文的大写数字,例如为壹万零五佰元,而后一组交易数据对于金额的格式为***数字,例如为10500元,如果不将二者的金额统一为一个格式,则比对会困难。
再例如,有时候每组交易数据会存在很多的信息,例如工单数据可能存在下单的用户名、用户手机号、下单的备注等信息,而有些信息可能无需比对,虽然提取时要求只提取每组交易数据特定的几个目标属性特征,但是有时候可能存在sql脚本误将其他的属性特征提取出来,因此,设置本步骤的数据清洗,也可以是对每组数据中非目标属性特征删除,即对第一步提取的每组交易数据进行查漏补缺。
在一个实施例中,上述交易数据处理装置还包括:比对结果发送模块,用于发送所述比对结果至与每组交易数据对应的目标任务的邮箱或APP软件账号。
在本实施例中,可以将出现比对错误的数据分别发送给目标邮箱或目标APP软件账号,以便于相应账号的人及时解决数据错误的问题。可以理解的是,目标邮箱例如是出现比对错误的两组交易数据对应的负责人的邮箱。其中每组交易数据对应的负责人例如是每个交易***对应的负责人。
在一个实施例中,交易数据处理装置还包括:时钟模块,用于每隔预设时间指示所述数据提取模块提取不同来源的多组交易数据,以使所述数据比对模块每隔所述预设时间将每组所述交易数据与各自后一顺序的一组所述交易数据比对;将所述交易执行的顺序的最后一组交易数据与第一组交易数据比对,得到比对结果。
具体的,可以设置每隔一天对交易数据进行上述比对处理。
本发明实施方式提供的交易数据处理方法及装置,按照交易执行的先后顺序,将每组交易数据与各自后依顺序的交易数据比对,且将最后一组数据与第一组数据比对,这能够快速、高效而且准确的不同来源的交易数据比对,及时发现存在有误的数据,及时止损。
本发明的一个实施方式,还提供了一种服务端,包括处理器,所述处理器用于对交易数据进行处理,其中交易数据处理步骤包括:该交易数据处理方法包括:步骤S101-步骤S103,其中,
步骤S101,提取不同来源的多组交易数据,多组所述交易数据是按照交易执行的先后顺序依次生成的。
结合上述描述,完成一个交易,包括工单数据、订单数据、交易数据等多组交易数据,而每组交易数据会各自存储不同的服务端。因此,在本步骤中,提取不同来源的多组交易数据,便于为下一步的数据比对准备。
在一个实施例中,所述提取不同来源的多组交易数据,还包括:
先将不同来源的多组交易数据同步至一个TIDB数据库中,然后提取存储至TIDB数据库中的不同来源的多组交易数据。
可以理解的是,有可能不同来源的多组交易数据的数据库类型存在差别,而每种数据库可能提取数据的要求不同,有些数据库可能可以采用发送脚本的方式直接提取,有些数据库可能需要调用接口的方式提取,因此,为便于统一提取的方式,先将不同来源的交易数据同步至一个TIDB数据库中,这样后续提取多组交易数据时,可以统一采用SQL脚本的方式进行读取,当提取的交易数据类型变化、或者交易数据的属性特征变化,可以通过动态配置SQL脚本,实现动态调整,而且可以实时生效,无需每次调整交易***的代码。简化了提取不同来源的多组交易数据的步骤。
步骤S102,将每组所述交易数据与各自后一顺序的一组所述交易数据比对。
在一个实施例中,每组所述交易数据包括多个目标属性特征;每组所述交易数据与各自下一顺序的交易数据具有至少两个相对应的目标属性特征
所述将每组所述交易数据与各自后一顺序的一组交易数据比对,包括:将每组交易数据的目标属性特征与各自下一顺序的相对应的目标属性特征比对;当至少存在一个目标属性特征与各自下一顺序的相对应的目标属性特征不匹配,确定比对结果为两组交易数据存在错误。
进一步地,在本实施例中,按照交易执行的先后顺序,多组所述交易数据依次包括工单数据、订单数据和支付数据。
其中,所述工单数据的多个目标属性特征包括:工单号、交易金额、订单生成时间和交易状态。
所述订单数据的多个目标属性特征包括:工单号、订单号、交易金额、订单生成时间、支付完成时间和支付状态。
所述支付数据的多个目标属性特征包括:订单号、交易金额、支付完成时间和交易状态。
具体地,在本实施例中,交易执行的顺序是,先生成工单数据、然后订单数据和支付数据。
将每组交易数据的目标属性特征与各自下一顺序的相对应的目标属性特征比对,包括:
将工单数据与订单数据进行比对;将订单数据与支付数据进行比对,将支付数据与工单数据进行比对。
具体地,将工单数据与订单数据进行比对,包括:将工单数据中包括的工单的号与订单数据包括的工单号比对、将工单数据中包括的交易金额与订单数据包括的交易金额比对、将工单数据中的订单生成的时间和订单数据中订单生成的时间比对。
将订单数据与支付数据进行比对,包括:将订单数据中的订单号与支付数据中的订单号比对,将订单数据中的交易金额和支付数据中的交易金额比对,将订单数据中的支付完成时间和支付数据中的支付完成时间比对。
将支付数据和工单数据进行比对,包括:将工单数据中的交易金额和支付数据中的交易金额比对,将工单数据中的交易状态比对和支付数据中的交易状态比对。
可以理解的是,按照本发明上述实施例进行依次比对,即可完成三组交易数据的比对,得到比对结果。
在一个具体的实施例中,当上述两组交易数据的目标属性特征进行比对时,只有存在不匹配的情况,则确定比对结果为两组交易数据都存在错误。
其中两组交易数据的目标属性特征存在不匹配例如是指,本组交易数据中有一个目标属性特征,而其下一组交易数据中没有对比到与该目标属性特征对应的属性特征。例如,将工单数据中的交易金额和支付数据中的交易金额比对时,发现工单数据中没有交易金额这一属性特征,确认这一笔交易中,工单数据和支付数据有误。更具体的,确定这一笔交易中,工单数据的交易金额这个属性特征和支付数据的交易金额这个属性特征都有误。
或者,两组交易数据的目标属性特征存在不匹配例如是指,本组交易数据中有一个目标属性特征,而其下一组交易数据中与该目标属性特征对应的属性特征二者不一致。例如,将工单数据中的交易金额和支付数据中的交易金额比对时,发现工单数据的交易金额与支付数据的交易金额大小不同,例如工单数据的交易金额为10000,而支付数据的交易金额为1000,则确认这一笔交易中,工单数据和支付数据有误。更具体的,确定这一笔交易中,工单数据的交易金额这个属性特征和支付数据的交易金额这个属性特征都有误。
在一个实施例中,在提取多组交易数据之后,在将每组所述交易数据与各自后一顺序的一组交易数据比对之前,还包括:对所述多组交易数据进行数据过滤,所述数据过滤包括下述步骤中的一种或多种:将所述多组交易数据中重复的交易数据删除,保留至一条;或者,将不符合预设条件的交易数据删除。
需要说明的是,本实施例中,采用sql脚本来从TIDB数据库中调取数据,有时候调取的数据可能存在重复,或者调取的数据不准确,因此在比对之前,先对数据进行过滤,减少比对的数据处理量。
当然,还可以根据预设条件对交易数据筛选,预设条件例如是,删除不是某一天产生的数据,或者删除不是某段时间产生的数据。
在一个实施例中,在对所述多组交易数据进行数据过滤之后,在将每组所述交易数据与各自后一顺序的一组交易数据比对之前,还包括:将每组所述交易数据的目标属性特征转换成预设的格式;或者将每组所述交易数据的目标属性特征转和其后一顺序的一组交易数据的目标属性特征换成相同格式。
需要说明的是,在本实施例中,由于需要比对的几组交易数据的数据来源不同,每中数据存储的格式可能有差异,例如前一组交易数据对于时间存储的格式是,年、月、日为一个字段,时、分、秒为另一个字段,则提取的时间这一个目标属性,就包括两个字段,而另一组交易数据对于时间存储的格式是,年、月、日、时、分、秒为一个字段,如果不将二者的格式转换一致,则无法对两组交易数据比对。
再例如,前一组交易数据的对于金额的数据格式为中文的大写数字,例如为壹万零五佰元,而后一组交易数据对于金额的格式为***数字,例如为10500元,如果不将二者的金额统一为一个格式,则比对会困难。
再例如,有时候每组交易数据会存在很多的信息,例如工单数据可能存在下单的用户名、用户手机号、下单的备注等信息,而有些信息可能无需比对,虽然提取时要求只提取每组交易数据特定的几个目标属性特征,但是有时候可能存在sql脚本误将其他的属性特征提取出来,因此,设置本步骤的数据清洗,也可以是对每组数据中非目标属性特征删除,即对第一步提取的每组交易数据进行查漏补缺。
在一个实施例中,上述交易数据处理方法还包括:步骤S104,发送所述比对结果至与每组交易数据对应的目标邮箱或目标APP软件账号。
在本实施例中,可以将出现比对错误的数据分别发送给目标邮箱或目标APP软件账号,以便于相应账号的人及时解决数据错误的问题。可以理解的是,目标邮箱例如是出现比对错误的两组交易数据对应的负责人的邮箱。其中每组交易数据对应的负责人例如是每个交易***对应的负责人。
在一个实施例中,方法还包括:步骤S105,每隔预设时间执行交易数据对比方法。
具体的,可以设置每隔一天对交易数据进行上述比对处理。
本发明实施方式提供的交易数据处理方法,按照交易执行的先后顺序,将每组交易数据与各自后依顺序的交易数据比对,且将最后一组数据与第一组数据比对,这能够快速、高效而且准确的不同来源的交易数据比对,及时发现存在有误的数据,及时止损。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
以上参照本发明的实施例对本发明予以了说明。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本发明的范围。本发明的范围由所附权利要求及其等价物限定。不脱离本发明的范围,本领域技术人员可以做出多种替换和修改,这些替换和修改都应落在本发明的范围之内。
尽管已经详细描述了本发明的实施方式,但是应该理解的是,在不偏离本发明的精神和范围的情况下,可以对本发明的实施方式做出各种改变、替换和变更。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
Claims (15)
1.一种交易数据处理方法,其特征在于,包括:
提取不同来源的多组交易数据,多组所述交易数据是按照交易执行的先后顺序依次生成的;
将每组所述交易数据与各自后一顺序的一组所述交易数据比对;
将所述交易执行的顺序的最后一组交易数据与第一组交易数据比对,得到比对结果。
2.根据权利要求1所述的交易数据处理方法,其特征在于,每组所述交易数据包括多个目标属性特征;每组所述交易数据与各自下一顺序的交易数据具有至少两个相对应的目标属性特征;
所述将每组所述交易数据与各自后一顺序的一组交易数据比对,包括:
将每组交易数据的目标属性特征与各自下一顺序的相对应的目标属性特征比对;
当至少存在一个目标属性特征与各自下一顺序的相对应的目标属性特征不匹配,确定比对结果为两组交易数据存在错误。
3.根据权利要求2所述的交易数据处理方法,其特征在于,
按照交易执行的先后顺序,多组所述交易数据依次包括工单数据、订单数据和支付数据;
其中,所述工单数据的多个目标属性特征包括:工单号、交易金额、订单生成时间和交易状态;
所述订单数据的多个目标属性特征包括:工单号、订单号、交易金额、订单生成时间、支付完成时间和支付状态;
所述支付数据的多个目标属性特征包括:订单号、交易金额、支付完成时间和交易状态。
4.根据权利要求1所述的交易数据处理方法,其特征在于,在提取多组交易数据之后,在将每组所述交易数据与各自后一顺序的一组交易数据比对之前,还包括:
对所述多组交易数据进行数据过滤,所述数据过滤包括下述步骤中的一种或多种:
将所述多组交易数据中重复的交易数据删除,保留至一条;或者,
将不符合预设条件的交易数据删除。
5.根据权利要求4所述的交易数据处理方法,其特征在于,在对所述多组交易数据进行数据过滤之后,在将每组所述交易数据与各自后一顺序的一组交易数据比对之前,还包括:
将每组所述交易数据的目标属性特征转换成预设的格式;或者
将每组所述交易数据的目标属性特征转和其后一顺序的一组交易数据的目标属性特征换成相同格式。
6.根据权利要求1所述的交易数据处理方法,其特征在于,还包括:发送所述比对结果至与每组交易数据对应的目标邮箱或目标APP软件账号。
7.根据权利要求1所述的交易数据处理方法,其特征在于,
每隔预设时间执行交易数据对比方法。
8.一种交易数据处理装置,其特征在于,包括:
数据获取模块,用于提取不同来源的多组交易数据,多组所述交易数据是按照交易执行的先后顺序依次生成的;
数据对比模块,用于将每组所述交易数据与各自后一顺序的一组所述交易数据比对;将所述交易执行的顺序的最后一组交易数据与第一组交易数据比对,得到比对结果。
9.根据权利要求8所述的交易数据处理装置,其特征在于,每组所述交易数据包括多个目标属性特征;每组所述交易数据与各自下一顺序的交易数据具有至少两个相对应的目标属性特征;
所述数据比对模块,用于将每组交易数据的目标属性特征与各自下一顺序的相对应的目标属性特征比对;当至少存在一个目标属性特征与各自下一顺序的相对应的目标属性特征不匹配,确定比对结果为两组交易数据存在错误。
10.根据权利要求9所述的交易数据处理装置,其特征在于,
所述数据提取模块提取的多组所述交易数据包括工单数据、订单数据和支付数据;
其中,所述工单数据的多个目标属性特征包括:工单号、交易金额、订单生成时间和交易状态;
所述订单数据的多个目标属性特征包括:工单号、订单号、交易金额、订单生成时间、支付完成时间和支付状态;
所述支付数据的多个目标属性特征包括:订单号、交易金额、支付完成时间和交易状态。
11.根据权利要求8所述的交易数据处理装置,其特征在于,还包括:
数据过滤模块,用于对所述多组交易数据进行数据过滤,所述数据过滤包括将所述多组交易数据中重复的交易数据删除,保留至一条,或者将不符合预设条件的交易数据删除。
12.根据权利要求11所述的交易数据处理装置,其特征在于,还包括:
数据清洗模块,用于将每组所述交易数据的目标属性特征转换成预设的格式,或者将每组所述交易数据的目标属性特征转和其后一顺序的一组交易数据的目标属性特征换成相同格式。
13.根据权利要求8所述的交易数据处理装置,其特征在于,还包括:
比对结果发送模块,用于发送所述比对结果至与每组交易数据对应的目标任务的邮箱或APP软件账号。
14.根据权利要求8所述的交易数据处理装置,其特征在于,还包括:
时钟模块,用于每隔预设时间指示所述数据提取模块提取不同来源的多组交易数据,以使所述数据比对模块每隔所述预设时间将每组所述交易数据与各自后一顺序的一组所述交易数据比对;将所述交易执行的顺序的最后一组交易数据与第一组交易数据比对,得到比对结果。
15.一种服务端,其特征在于,包括处理器,所述处理器采用如权利要求1-8任一项所述的方法执行交易数据处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010986267.8A CN112184368A (zh) | 2020-09-18 | 2020-09-18 | 一种交易数据处理方法、装置及服务端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010986267.8A CN112184368A (zh) | 2020-09-18 | 2020-09-18 | 一种交易数据处理方法、装置及服务端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112184368A true CN112184368A (zh) | 2021-01-05 |
Family
ID=73920129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010986267.8A Pending CN112184368A (zh) | 2020-09-18 | 2020-09-18 | 一种交易数据处理方法、装置及服务端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112184368A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109859025A (zh) * | 2019-01-24 | 2019-06-07 | 上海蔚来汽车有限公司 | 一种自动对账方法及电子设备 |
CN109993651A (zh) * | 2019-04-11 | 2019-07-09 | 软通动力信息技术(集团)有限公司 | 数据核算业务指令集校验方法、装置、计算机设备和介质 |
CN110059077A (zh) * | 2019-04-19 | 2019-07-26 | 深圳乐信软件技术有限公司 | 一种数据核对方法、装置、设备和存储介质 |
-
2020
- 2020-09-18 CN CN202010986267.8A patent/CN112184368A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109859025A (zh) * | 2019-01-24 | 2019-06-07 | 上海蔚来汽车有限公司 | 一种自动对账方法及电子设备 |
CN109993651A (zh) * | 2019-04-11 | 2019-07-09 | 软通动力信息技术(集团)有限公司 | 数据核算业务指令集校验方法、装置、计算机设备和介质 |
CN110059077A (zh) * | 2019-04-19 | 2019-07-26 | 深圳乐信软件技术有限公司 | 一种数据核对方法、装置、设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107464151B (zh) | 高并发业务的订单数据处理方法及装置 | |
CN107819861A (zh) | 业务数据处理方法、装置及*** | |
CN105989059B (zh) | 数据记录核对方法及装置 | |
CN108805632B (zh) | 一种计费方法和装置 | |
CN104156832A (zh) | ***间数据核对方法及装置 | |
CN110321339B (zh) | 一种数据迁移方法、装置、设备和存储介质 | |
CN111343241B (zh) | 一种图数据更新方法、装置及*** | |
CN107153646B (zh) | 一种数据处理方法和设备 | |
CN110264332A (zh) | 账户出账的方法、装置和电子设备 | |
CN106250501A (zh) | 报表处理方法及报表*** | |
CN112907336A (zh) | 一种基于mybatis***实现订单状态同步的方法及服务器 | |
CN110046172B (zh) | 在线计算数据处理方法及*** | |
CN112184368A (zh) | 一种交易数据处理方法、装置及服务端 | |
CN110427399A (zh) | 实时数据采集方法、***、装置及存储介质 | |
CN112256978B (zh) | 一种基于数据模型的数据处理方法、装置、介质 | |
CN112181817B (zh) | 用于soa架构平台的测试方法及测试装置 | |
CN113011869A (zh) | 测试数据生成方法、装置和计算机可读存储介质 | |
CN110517010A (zh) | 一种数据处理方法、***及存储介质 | |
CN104574183A (zh) | 跨***信息处理方法及装置 | |
CN110309211A (zh) | 一种定位etl过程问题的方法及相关设备 | |
CN109376141A (zh) | 一种数据迁移方法和装置 | |
CN115665674B (zh) | 一种5g消息处理方法、装置、设备及存储介质 | |
CN113590717A (zh) | 一种高并发交易量下的补录处理方法及装置 | |
CN112559610A (zh) | 一种生成对账文件的方法及装置 | |
CN117149702A (zh) | 一种业务数据的处理方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |