CN114201484A - 信息处理方法、装置、电子设备及存储介质 - Google Patents

信息处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114201484A
CN114201484A CN202111544978.0A CN202111544978A CN114201484A CN 114201484 A CN114201484 A CN 114201484A CN 202111544978 A CN202111544978 A CN 202111544978A CN 114201484 A CN114201484 A CN 114201484A
Authority
CN
China
Prior art keywords
data
compared
comparison
providers
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111544978.0A
Other languages
English (en)
Inventor
车晋强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202111544978.0A priority Critical patent/CN114201484A/zh
Publication of CN114201484A publication Critical patent/CN114201484A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/546Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开关于一种信息处理方法、装置、电子设备及存储介质。所述方法包括:确定待进行数据比对的多个数据提供方,获取并存储多个数据提供方各自对应的待比对数据;响应于数据比对指示,生成与预先获取的配置文件对应的比对规则;若待比对数据中的目标待比对数据所对应的等待时间达到预设时长,则基于比对规则,对多个数据提供方各自对应的目标待比对数据进行数据比对。在本公开的方案中,数据比对平台可以通过配置的方式设定比对规则,避免代码开发上线等繁琐操作,同时,通过在等待时间达到预设时长时再进行比对,可以实现不同的数据提供方之间数据的精细化核对,避免因时间误差而造成比对失败,有效提高数据比对效率。

Description

信息处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术领域,尤其涉及一种信息处理方法、装置、电子设备及存储介质。
背景技术
随着计算技术的发展,***与***之间的通信日益频繁。由于网络问题、***故障或人为操作失误等诸多因素,***间的数据交互容易出现数据不一致的问题。为了提高***之间的数据一致性,可以对跨***的数据交互进行数据比对。
在相关技术中,每次进行数据比对时,可以根据数据比对需求,通过编写代码的方式设置对应的核对规则,并按照当前核对规则进行数据比对。
然而,待比对的数据来自不同的数据源,其对应的数据格式或数据内容存在差异,难以直接进行比对,工作人员往往需要设置适配的核对规则。每当数据比对需求发生变化,工作人员都需要花费大量时间编写适配的代码,以调整或变更数据的核对规则,在对当前的核对规则进行开发上线等一系列操作后,才能开始进行本次的数据比对。因此,相关技术存在数据比对效率低下的问题。
发明内容
本公开提供一种信息处理方法、装置、电子设备及存储介质,以至少解决相关技术中数据比对效率低下的问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种信息处理方法,包括:
确定待进行数据比对的多个数据提供方,获取并存储所述多个数据提供方各自对应的待比对数据;
响应于数据比对指示,生成与预先获取的配置文件对应的比对规则;
若所述待比对数据中的目标待比对数据所对应的等待时间达到预设时长,则基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对;所述目标待比对数据为已存储的所述待比对数据中的至少部分待比对数据。
在一示例性实施例中,在所述确定待进行数据比对的多个数据提供方,获取并存储所述多个数据提供方各自对应的待比对数据之前,还包括:
获取针对所述多个数据提供方的比对配置信息,所述比对配置信息包括比对触发条件和数据内容核对规则,所述比对触发条件用于指示在所述待比对数据包含设定数据项时进行数据比对;
基于所述比对配置信息生成对应的脚本文件,作为所述多个数据提供方对应的配置文件。
在一示例性实施例中,所述目标待比对数据包括第一数据提供方提供的第一待比对数据和第二数据提供方提供的第二待比对数据,
所述基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对,包括:
当所述第一数据提供方提供的第一待比对数据中包含对应的第一设定数据项,并且所述第二数据提供方提供的第二待比对数据中包含对应的第二设定数据项时,获取所述第一待比对数据中与所述数据内容核对规则关联的第一数据内容,以及,获取所述第二待比对数据中与所述数据内容核对规则关联的第二数据内容;
基于所述数据内容核对规则,对所述第一数据内容和所述第二数据内容进行比较,以确定所述第一数据内容与所述第二数据内容是否一致。
在一示例性实施例中,所述获取并存储所述多个数据提供方各自对应的待比对数据,包括:
获取所述多个数据提供方各自对应的数据源中的原始数据;
对所述原始数据进行过滤,基于过滤后的原始数据,获取所述多个数据提供方各自对应的待比对数据并进行存储。
在一示例性实施例中,所述获取所述多个数据提供方各自对应的数据源中的原始数据,包括:
获取预先配置的所述多个数据提供方各自对应的存储路径,并确定所述存储路径对应的数据源;
通过预设的公共消息队列,获取各个所述数据源中的原始数据。
在一示例性实施例中,在所述若所述待比对数据中的目标待比对数据所对应的等待时间达到预设时长,则基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对之前,还包括:
从预设的标识队列中获取等待时间达到预设时长的目标数据标识;所述标识队列中存储有当前已获取的各待比对数据对应的数据标识;
在已存储的所述待比对数据中,获取与所述目标数据标识对应的待比对数据,作为等待时间达到预设时长的目标待比对数据。
在一示例性实施例中,在所述获取并存储所述多个数据提供方各自对应的待比对数据之后,还包括:
获取所述待比对数据对应的数据标识,并将所述数据标识存储到预设的标识队列中。
在一示例性实施例中,所述数据标识中包括与核对模块关联的核对模块标识,所述核对模块用于对目标待比对数据进行数据比对,
所述基于所述比对规则对所述目标待比对数据进行数据比对,包括:
基于当前获取的数据标识中的核对模块标识,确定对应的目标核对模块;
调用所述目标核对模块,以触发所述目标核对模块基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对。
根据本公开实施例的第二方面,提供一种信息处理装置,包括:
数据获取单元,被配置为执行确定待进行数据比对的多个数据提供方,获取并存储所述多个数据提供方各自对应的待比对数据;
比对规则生成单元,被配置为执行响应于数据比对指示,生成与预先获取的配置文件对应的比对规则;
数据比对单元,被配置为执行若所述待比对数据中的目标待比对数据所对应的等待时间达到预设时长,则基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对;所述目标待比对数据为已存储的所述待比对数据中的至少部分待比对数据。
在一示例性实施例中,所述装置还包括:
比对配置信息获取单元,被配置为执行获取针对所述多个数据提供方的比对配置信息,所述比对配置信息包括比对触发条件和数据内容核对规则,所述比对触发条件用于指示在所述待比对数据包含设定数据项时进行数据比对;
脚本文件生成单元,被配置为执行基于所述比对配置信息生成对应的脚本文件,作为所述多个数据提供方对应的配置文件。
在一示例性实施例中,所述目标待比对数据包括第一数据提供方提供的第一待比对数据和第二数据提供方提供的第二待比对数据,
所述数据比对单元,包括:
数据内容获取模块,被配置为执行当所述第一数据提供方提供的第一待比对数据中包含对应的第一设定数据项,并且所述第二数据提供方提供的第二待比对数据中包含对应的第二设定数据项时,获取所述第一待比对数据中与所述数据内容核对规则关联的第一数据内容,以及,获取所述第二待比对数据中与所述数据内容核对规则关联的第二数据内容;
数据内容比对模块,被配置为执行基于所述数据内容核对规则,对所述第一数据内容和所述第二数据内容进行比较,以确定所述第一数据内容与所述第二数据内容是否一致。
在一示例性实施例中,所述数据获取单元,包括:
原始数据获取模块,被配置为执行获取所述多个数据提供方各自对应的数据源中的原始数据;
数据过滤模块,被配置为执行对所述原始数据进行过滤,基于过滤后的原始数据,获取所述多个数据提供方各自对应的待比对数据并进行存储。
在一示例性实施例中,所述原始数据获取模块,包括:
存储路径获取模块,被配置为执行获取预先配置的所述多个数据提供方各自对应的存储路径,并确定所述存储路径对应的数据源;
消息队列调用模块,被配置为执行通过预设的公共消息队列,获取各个所述数据源中的原始数据。
在一示例性实施例中,所述装置还包括:
数据标识读取单元,被配置为执行从预设的标识队列中获取等待时间达到预设时长的目标数据标识;所述标识队列中存储有当前已获取的各待比对数据对应的数据标识;
目标数据查找单元,被配置为执行在已存储的所述待比对数据中,获取与所述目标数据标识对应的待比对数据,作为等待时间达到预设时长的目标待比对数据。
在一示例性实施例中,所述装置还包括:
数据标识存储单元,被配置为执行获取所述待比对数据对应的数据标识,并将所述数据标识存储到预设的标识队列中。
在一示例性实施例中,所述数据标识中包括与核对模块关联的核对模块标识,所述核对模块用于对目标待比对数据进行数据比对,
所述数据比对单元,包括:
查询模块,被配置为执行基于当前获取的数据标识中的核对模块标识,确定对应的目标核对模块;
调用模块,被配置为执行调用所述目标核对模块,以触发所述目标核对模块基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如上任一项所述的信息处理方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如上任一项所述的信息处理方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,所述计算机程序产品中包括指令,所述指令被电子设备的处理器执行时,使得所述电子设备能够执行如上任一项所述的信息处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
在本公开的方案中,数据比对平台可以通过配置的方式设定比对规则,避免代码开发上线等繁琐操作,同时,通过在等待时间达到预设时长时再进行比对,可以实现不同的数据提供方之间数据的精细化核对,避免因时间误差而造成比对失败,有效提高数据比对效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种信息处理方法的应用环境图。
图2是根据一示例性实施例示出的一种信息处理方法的流程图。
图3是根据一示例性实施例示出的一种获取待比对数据的流程图。
图4是根据一示例性实施例示出的另一种信息处理方法的流程图。
图5是根据一示例性实施例示出的一种信息处理装置的框图。
图6是根据一示例性实施例示出的一种电子设备的框图。
图7是根据一示例性实施例示出的另一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
还需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
随着计算技术的发展,***与***之间的通信日益频繁。由于网络问题、***故障或人为操作失误等诸多因素,***间的数据交互容易出现数据不一致的问题。为了提高***之间的数据一致性,可以对跨***的数据交互进行数据比对。
在相关技术中,在对多个***进行数据比对时,可以预先针对本次数据比对申请对应的消息队列,并通过该消息队列获取待比对的数据,按照核对规则进行数据比对。例如,以***A和***B的数据比对为例,可以预先为本次数据比对的***A和***B申请一消息队列,以通过该消息队列从***A和***B获取相关数据。在申请消息队列后,可以监听***A和***B的数据库,获取对应的日志文件,并通过预先申请的消息队列,将日志文件发送到对账平台。对账平台在对日志文件进行预处理后,可以将预处理后的***A和***B的日志文件存储到数据库中,并基于代码编写的核对规则进行数据比对。
然而,在该方式中,工作人员往往需要花费大量时间进行对账准备工作,包括申请消息队列和编写核对规则对应的代码,在经过开发上线等一系列操作后,才能进行数据对账。因此,相关技术的数据比对方式,存在数据比对效率低下的问题。
本公开所提供的一种信息处理方法,可以应用于如图1所示的应用环境中。在该应用环境中,可以包括数据比对平台110和数据提供方120,数据提供方120可以是至少两个数据提供方120。其中,数据比对平台110可以用独立的服务器或者是多个服务器组成的服务器集群来实现,也可以是由终端和服务器组成的***;数据提供方120可以是提供待比对数据的终端或服务器,也可以是由终端和服务器组成的***。
图2是根据一示例性实施例示出的一种信息处理方法的流程图,如图2所示,以该方法应用于数据比对平台110为例进行说明,可以包括以下步骤。
在步骤S210中,确定待进行数据比对的多个数据提供方,获取并存储所述多个数据提供方各自对应的待比对数据。
在具体实现中,数据比对平台110可以确定待进行数据比对的多个数据提供方,其中,多个数据提供方可以是两个或两个以上的数据提供方。在确定数据提供方后,数据比对平台110可以获取各个数据提供方对应的待比对数据,并对获取到的待比对数据进行存储。
在步骤S220中,响应于数据比对指示,生成与预先获取的配置文件对应的比对规则。
作为一示例,配置文件可以是基于输入的配置信息生成的文件。
在实际应用中,在进行数据对账时,工作人员可以向数据比对平台110发送数据比对指示。响应于接收到的数据比对指示,数据比对平台110可以获取与多个数据提供方120对应的配置文件,并生成与配置文件对应的比对规则。
具体例如,可以预先生成针对多个数据提供方120的配置文件,配置文件中可以具有对应的配置信息,配置信息可以至少包括表征数据比对方式的信息;在配置文件生成后可以将其存储到数据库中,进而在接收到数据比对指示后,数据比对平台110可以从数据库中加载配置文件,并根据配置文件中的配置信息,生成对应的比对规则。
在本实施例中,可以将可变的业务场景与相对稳定的数据比流程逻辑相互分离,通过采用配置文件设置待比对数据对应的比对规则,可以简便快捷地在后台调整比对规则,当数据比对场景发生变化时,如数据的比对方式改变时,无需修改数据比对平台的核心代码逻辑,只需要修改配置文件,使其与新的数据比对场景适配,无需开发人员对比对规则进行开发迭代或上线等繁琐操作,大大增加了该方法在分布式数据比对场景下的通用性,在提高数据比对效率的同时,降低数据比对的人工和时间成本。
在步骤S230中,若所述待比对数据中的目标待比对数据所对应的等待时间达到预设时长,则基于所述比对规则,对所述多个数据提供方各自对应的目标待比对数据进行数据比对。
作为一示例,目标待比对数据可以为已存储的待比对数据中的至少部分待比对数据,例如,可以为不同数据提供方120针对同一事项记录的数据,如针对事项M1,数据提供方A生成了数据记录a,数据提供方B生成了数据记录b,则可以将已存储的数据记录a和数据记录b作为目标待比对数据。
等待时间可以是待比对数据被数据比对平台存储后到当前时刻的时间,或者,也可以将待比对数据在预设队列中等待的时间作为等待时间。
具体地,在获取到待比对数据并进行存储后,可以将待比对数据中的至少数据作为目标待比对数据,并且,可以获取目标待比对数据对应的等待时间。当目标待比对时间对应的等待时间达到预设时长,则可以基于获取的比对规则,对多个数据提供方各自对应的目标待比对数据进行数据比对,得到比对结果。
通过在等待时间达到预设时长后再对各个数据提供方对应的目标待比对数据进行比对,实现不同的数据提供方之间数据的精细化核对,避免因不同数据提供方***时间的误差导致目标待比对数据不完整,造成数据比对失败。
上述信息处理方法中,数据比对平台110可以确定待进行数据比对的多个数据提供方,从共用的多条消息队列中,确定出各数据提供方可调用的消息队列,通过可调用的消息队列,获取各数据提供方对应的待比对数据并进行存储,响应于数据比对指示,可以获取多个数据提供方对应的配置文件,并生成与配置文件对应的比对规则,进而可以获取已存储的待比对数据中的至少部分待比对数据作为目标待比对数据,并基于比对规则对目标待比对数据进行数据比对。在本公开的方案中,数据比对平台可以通过配置的方式设定比对规则,避免代码开发上线等繁琐操作,同时,通过在等待时间达到预设时长时再进行比对,可以实现不同的数据提供方之间数据的精细化核对,避免因时间误差而造成比对失败,有效提高数据比对效率。
在一示例性实施例中,在所述确定待进行数据比对的多个数据提供方,获取并存储所述多个数据提供方各自对应的待比对数据之前,还包括:
获取针对所述多个数据提供方的比对配置信息;基于所述比对配置信息生成对应的脚本文件,作为所述多个数据提供方对应的配置文件。
作为一示例,比对配置信息可以包括比对触发条件和数据内容核对规则。
其中,比对触发条件可用于指示在待比对数据包含设定数据项时进行数据比对,具体地,待比对数据中可以包含多个数据项,当待比对数据包含设定数据项时,可以对待比对数据进行数据比对。
数据内容核对规则可以是待比对数据中的数据内容的核对方式,可用于确定不同数据提供方各自提供的待比对数据是否一致或匹配。
在具体实现中,数据比对平台110可以获取针对多个数据提供方120的比对配置信息。具体而言,工作人员可以在数据比对平台对应的配置界面中,针对每个数据提供方120输入对应的比对配置信息,进而可以使数据比对平台获取到针对多个数据提供方120的比对配置信息。
在获取到比对配置信息后,数据比对平台110可以基于比对配置信息生成对应的脚本文件,并将该脚本文件作为多个数据提供方对应的配置文件。具体地,相较于代码这一编译型语言,由于脚本文件中存储的信息为解释型语言,因此无需脚本文件进行上线发布等操作。
在本公开中,数据比对平台110可以获取针对多个数据提供方的比对配置信息,并基于比对配置信息生成对应的脚本文件,作为多个数据提供方对应的配置文件,工作人员能够通过比对配置信息快速修改数据比对平台的比对规则,避免通过代码设置比对规则,减少上线发布等繁琐操作,提高数据比对效率。
在一示例性实施例中,所述目标待比对数据包括第一数据提供方提供的第一待比对数据和第二数据提供方提供的第二待比对数据,在步骤S230中,所述基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对,包括:
当所述第一数据提供方提供的第一待比对数据中包含对应的第一设定数据项,并且所述第二数据提供方提供的第二待比对数据中包含对应的第二设定数据项时,获取所述第一待比对数据中与所述数据内容核对规则关联的第一数据内容,以及,获取所述第二待比对数据中与所述数据内容核对规则关联的第二数据内容;基于所述数据内容核对规则,对所述第一数据内容和所述第二数据内容进行比较,以确定所述第一数据内容与所述第二数据内容是否一致。
作为一示例,第一设定数据项可以是比对触发条件中针对第一数据提供方配置的设定数据项,第二设定数据项可以是比对触发条件中针对第二数据提供方配置的设定数据项,第一设定数据项可以与第二设定数据项相同,也可以不相同。
数据内容核对规则可以表征对来自不同数据提供方的数据内容的比对标准,与数据内容核对规则关联的第一数据内容可以是数据内容核对规则指定进行核对的第一待比对数据中的数据内容,与数据内容核对规则关联的第二数据内容可以是数据内容核对规则指定进行核对的第二待比对数据中的数据内容。
在实际应用中,多个数据提供方120可以包括第一数据提供方和第二数据提供方。在获取到多个目标待比对数据后,可以从多个目标待比对数据中获取第一数据提供方提供的第一待比对数据,以及第二数据提供方提供的第二待比对数据,并根据比对规则中的比对触发条件,获取第一待比对数据中是否包含针对第一数据提供方配置的第一设定数据项,以及,获取第二待比对数据中是否包含针对第二数据提供方配置的第二设定数据项,而第一待比对数据和第二待比对数据中不需要进行数据比对的其他数据内容,可以过滤掉。
当第一待比对数据不包含第一设定数据项,或者,第二待比对数据不包含第二设定数据项时,数据比对平台可以不比较第一待比对数据和第二待比对数据。
当第一数据提供方提供的第一待比对数据中包含对应的第一设定数据项,并且第二数据提供方提供的第二待比对数据中包含对应的第二设定数据项时,数据比对平台可以获取第一待比对数据中与数据内容核对规则关联的第一数据内容,以及,获取第二待比对数据中与数据内容核对规则关联的第二数据内容,进而可以采用数据内容核对规则,对第一数据内容和第二数据内容进行比较,以确定第一数据内容与第二数据内容是否一致。
为了使本领域技术人员能够更好地理解对触发条件和数据内容核对规则,以下通过一些例子对本公开实施例加以示例性说明,但应当理解的是,本公开实施例并不限于此。
如下表1所示,为示例性的比对配置信息:
表1
列名 数据类型 是否为空 注释
id bigint 主键id
aMsgConfigId bigint 业务一
bMsgConfigId bigint 业务二
checkType int 核对类型
aTriggerRule text 业务一触发规则
bTriggerRule text 业务二触发规则
aRootKey varchar 业务一触发主键
bRootKey varchar 业务二触发主键
expireTime long 核对时效
checkRuleConfigId bigint 数据内容核对规则id
aFields varchar 业务一核对数据项
bFields varchar 业务二核对数据项
alarmRecipient varchar 告警接收人
其中,主键id可以是比对配置信息对应的标识。
业务一和业务二可以是指第一待比对数据和第二待比对数据对应的业务描述或业务标识。
核对类型可以包括单流核对和双流核对,具体而言,在数据比对中,往往涉及到多个待比对数据,单流核对是指将其中一个待比对数据与其他待比对数据进行比较,确定该待比对数据与其他待比对数据之间的差异,而双流核对是指多个待比对数据之间相互进行比较,确定每个待比对数据与其他待比对数据之间的差异。例如,对第一待比对数据和第二待比对数据进行比对,单流核对可以是指确定第一待比对数据相较于第二待比对数据缺少的信息,而双流核对可以在单流核对的基础上,进一步确定第二待比对数据相较于第一待比对数据缺少的信息。
业务一触发规则和业务二触发规则可以是另一种比对触发条件,其中,业务一触发规则可以是为第一数据提供方中的数据库表或第一待比对数据配置的,用于在其他数据提供方中的数据库表或待比对数据满足业务一触发规则时,才将其与第一待比对数据进行比对。相应地,业务二触发规则可以是为第二数据提供方中的数据库表或第二待比对数据配置的,用于在其他数据提供方中的数据库表或待比对数据满足业务二触发规则时,才将其与第二待比对数据进行比对。
核对时效可以是第一待比对数据和第二待比对数据可进行数据比对的有效时间范围。具体地,第一待比对数据和第二待比对数据从生成到进行比对,可以具有一定时间延迟,核对时效可用于在预设的时间延迟范围内,比较第一待比对数据和第二待比对数据,从而提高数据比对结果的时效性和准确性。
核对数据项也可以称为核对属性。在实际中,第一待比对数据和第二待比对数据都可以包含多个数据项,即可以包含多个字段,但在数据比对时,并不必然需要对每个数据项进行逐一比对,因此,业务一核对数据项和业务二核对数据项可以分别指定第一待比对数据和第二待比对数据中,需要进行比对的数据项,从而可以避免对所有数据项的数据内容进行比对,节省比对时间,提高数据比对效率。
告警接收人可以为比对结果的接收人,也可以是比对结果出现异常时,异常的比对结果的接收人,例如比对结果为不匹配,则可以向告警接收人发送告警信息。
数据内容核对规则可以通过如下表2所示的信息进行配置:
表2
列名 数据类型 是否为空 注释
id bigint 主键id
ruleName varchar 规则名称
ruleDesc varchar 规则描述
ruleScript text 脚本文件
scriptType varchar 规则类型
ruleStatus varchar 状态
其中,主键id可以为数据内容核对规则id,规则类型可以是groovy、aviator或java中的任一种,状态可用于设置数据内容核对规则当前是否处于使用状态。
在本公开中,当第一数据提供方提供的第一待比对数据中包含对应的第一设定数据项,并且第二数据提供方提供的第二待比对数据中包含对应的第二设定数据项时,数据比对平台可以获取第一待比对数据中与数据内容核对规则关联的第一数据内容,以及,获取第二待比对数据中与数据内容核对规则关联的第二数据内容,进而可以基于数据内容核对规则,对第一数据内容和第二数据内容进行比较,以确定第一数据内容与第二数据内容是否一致。在本公开的方案中,能过在第一待比对数据和第二比对数据满足比对触发条件时再进行比对,避免在缺少指定信息的情况下进行比对,提高数据比对的可靠性和效率。
在一示例性实施例中,在步骤S210中,所述获取并存储所述多个数据提供方各自对应的待比对数据,包括:
获取所述多个数据提供方各自对应的数据源中的原始数据;对所述原始数据进行过滤,基于过滤后的原始数据,获取所述多个数据提供方各自对应的待比对数据并进行存储。
具体实现中,在确定多个数据提供方后,可以确定多个数据提供方待比对数据对应的数据源,并从各个数据提供方对应的数据源中获取原始数据。
在获取原始数据后,由于原始数据中可能存在不需要进行比对的数据,可以获取预设的数据过滤规则,对原始数据进行过略,并基于过滤后的原始数据,已筛除无关数据的原始数据,作为多个数据提供方各自对应的待比对数据,并对当前得到的待比对数据进行存储。
在对原始数据进行过滤时,不同的数据提供方可以使用不同的数据过滤规则,分别对每个数据提供方对应的原始数据进行过滤,也可以使用相同的数据过滤规则对不同数据提供方对应的原始数据进行过滤。
在实际应用中,工作人员可以预先通过配置界面设定待比对数据的过滤规则,数据过滤规则可以作为用于过滤数据的配置信息存储在配置文件中,进而数据比对平台可以从配置文件读取数据过滤规则进行过滤。例如,可以预先配置过滤规则“$.amount>0&&$.state==SUCCESS”,以将获取到的待比对数据中“amount(金额)”和“state(状态)”满足条件的待比对数据过滤出来。
在本公开中,数据比对平台在获取原始数据后,可以对原始数据进行过滤,基于过滤后的原始数据,得到多个数据提供方各自对应的待比对数据并进行存储,能够滤除不需要进行比对的数据,减轻后续环节的存储和计算成本。
在一示例性实施例中,在步骤S210中,所述获取所述多个数据提供方各自对应的数据源中的原始数据,包括:
获取预先配置的所述多个数据提供方各自对应的存储路径,并确定所述存储路径对应的数据源;通过预设的公共消息队列,获取各个所述数据源中的原始数据。
其中,存储路径为数据提供方对应的数据源的存储路径。
在具体实现中,工作人员可以预先进行存储路径配置,该存储路径为原始数据对应的数据源在数据提供方中的存储路径,通过预先配置存储路径,可以基于该存储路径确定出对应的数据源。在一示例中,可以通过如下所示的表3进行数据路径配置:
表3
Figure BDA0003415518890000111
Figure BDA0003415518890000121
其中,主键标识和名称为原始数据对应的主键标识和名称,业务描述用于表征原始数据所描述的业务。
数据提供方为工作人员配置的待进行数据比对的数据提供方,数据比对平台通过读取数据路径配置中的数据提供方,可以确定出待进行数据比对的多个数据提供方120。由于每个数据提供方可以对应有一个或多个用于存储数据的数据库,因此,数据库可以用于确定与数据提供方120关联的指定的数据库。
数据库表规则可用于筛选出数据库中满足该数据库表规则的一个或多个数据表,当数据库表记载有多个关于不同类型业务的数据时,可以对数据库表进行划分,得到多个分区,并通过分发键确定对应的分区,分发键也可以成为分区键。进而可以基于业务标识和分发键,确定数据库表中指定的数据。
在本示例中,在确定多个待进行数据比对的数据提供方120后,可以获取预先配置的各数据提供方120对应的存储路径,并通过预设的公共消息队列,获取存储路径对应的数据源中的原始数据。
例如,如图3所示,包括第一数据提供方和第二数据提供方,第一数据提供方和第二数据提供方可以提供日志文件(如binlog二进制日志文件)作为待比对数据。在进行数据对账时,数据比对平台110可以读取包含表3内容的路径配置信息,并根据路径配置信息确定待进行数据比对的第一数据提供方和第二数据提供方,进一步地,还可以从路径配置信息中获取第一数据提供方和第二数据提供方各自对应的存储路径,进而可以发送包含该存储路径的数据获取请求到第一数据提供方和第二数据提供方。
在接收到数据获取请求后,第一数据提供方和第二数据提供方可以获取对应存储路径下的日志数据,并通过日志解析器对日志数据进行解析,分别将解析后得到的数据作为第一原始数据和第二原始数据,进而第一数据提供方和第二数据提供方可以通过公共消息队列,将第一原始数据和第二原始数据传输到数据比对平台。
在一示例中,公共消息队列可以是一个或多个公共消息队列,通过设置公共消息队列,可以避免在进行数据比对前申请专门的消息队列。各数据提供方对应的存储路径可以是两个或两个以上的数据提供方对应的存储路径,例如,在单数据表与单数据表的比对场景中,数据表A的数据比对可以仅依赖数据表B,又如,在单数据表与多数据表的比对场景中,数据表C的数据比对可以依赖数据表D和数据表E,则可以同时配置数据表C、数据表D和数据表E的存储路径。
在本公开中,数据比对平台可以获取预先配置的多个数据提供方各自对应的存储路径,并确定存储路径对应的数据源,进而可以通过预设的公共消息队列,获取各个数据源中的原始数据,能够通过配置的方式,将数据比对过程中多变的数据比对场景与较稳定的数据比对流程相分离,当数据比对场景发生变化时,如数据提供方或待比对数据改变时,通过修改对应的存储路径即可对不同数据进行比对,有效提高数据比对效率。
在一示例性实施例中,在所述通过所述可调用的消息队列,获取所述各数据提供方对应的待比对数据并进行存储之后,所述方法还可以包括:
获取所述待比对数据对应的数据标识,并将所述数据标识存储到预设的标识队列中。
其中,标识队列中可以存储有当前已获取的各待比对数据对应的数据标识,标识队列作为一种队列,可以按照先进先出的方式存取数据标识。
在实际应用中,数据比对平台110在获取到待比对数据后,可以获取待比对数据对应的数据标识。
具体而言,数据比对平台110在获取到待比对数据后,可以获取待比对数据对应的核对模块标识(checkUnitId)、存储路径标识(triggerMsgConfigId)和唯一标识(rootKey),其中,核对模块标识为后续对待比对数据进行数据比对的核对模块所对应的标识,存储路径配置标识为待比对数据对应存储路径的标识,唯一标识是可以在多个待比对数据中,对当前的待比对数据进行唯一识别的标识。进而,数据比对平台可以拼接核对模块标识、存储路径标识和唯一标识,并将拼接得到的字符串作为待比对数据的数据标识。
在获取待比对数据对应的数据标识后,可以将数据标识存储到预设的标识队列中。具体地,数据比对平台110获取都一个待比对数据后,都可以及时获取该待比对数据对应的数据标识,并将其存储标识队列中,由此,可以在标识队列中依次存储先后获取到的多个数据标识。
在本公开中,数据比对平台通过获取所比对数据对应的数据标识,并将数据标识存储到预设的标识队列中,为后续实现待比对数据的有序比对提供基础。
在一示例性实施例中,在所述若所述待比对数据中的目标待比对数据所对应的等待时间达到预设时长,则基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对之前,还包括:
从预设的标识队列中获取等待时间达到预设时长的目标数据标识;在已存储的所述待比对数据中,获取与所述目标数据标识对应的待比对数据,作为等待时间达到预设时长的目标待比对数据。
其中,标识队列中存储有当前已获取的各待比对数据对应的数据标识。
在实际应用中,在将数据标识存储到标识队列后,可以不立即从标识队列中取出数据标识,而是在等待若干时间后,再从预设的标识队列中获取等待时间达到预设时长的目标数据标识。在获取到目标数据标识后,可以在已存储的待比对数据中,获取与目标数据标识对应的待比对数据,作为等待时间达到预设时长的目标待比对数据。
如图4所示,在获取到待比对数据后,可以将其存储到缓存中,并将待比对数据对应的数据标识存储到标识队列中,该标识队列可以为延时队列(triggerQueue),工作人员可以根据不同的业务场景,调整延时队列的预设延时。在接收到数据比对指令后,数据比对平台可以从数据库中加载对应的脚本文件,生成比对规则,同时,可以确定数据标识在标识队列中的等待时间是否届满,当等待时间届满时,则可以根据当前从延时队列中取出的目标数据标识,查询与该目标数据标识关联的目标待比对数据。
在本公开中,数据比对平台110从预设的标识队列中获取等待时间达到预设时长的目标数据标识,并在已存储的待比对数据中,获取与目标数据标识对应的待比对数据,作为目标待比对数据,通过调整数据标识在标识队列中的等待时间,实现不同的数据提供方之间数据的精细化核对,避免因***时间误差导致比对失败。
在一示例性实施例中,数据标识中可以包括与核对模块关联的核对模块标识,核对模块可用于对目标待比对数据进行数据比对,所述基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对,可以包括:
基于当前获取的数据标识中的核对模块标识,确定对应的目标核对模块;调用所述目标核对模块,以触发所述目标核对模块基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对。
在实际应用中,可以预先设置多个核对模块,例如在待比对数据数量较多时,通过多个核对模块,可以对不同数据提供方同一存储路径下的待比对数据,并行地比对,从而大大提升数据比对效率。
在本实施例中,从标识队列中获取到数据标识后,可以基于当前获取的数据标识中的核对模块标识,确定与该核对模块标识对应的目标核对模块,进而可以调用目标核对模块,以触发目标核对模块基于比对规则对各个数据提供方对应的目标待比对数据进行数据比对。具体实现中,多个核对模块可以采用相同的比对规则,对目标待比对数据进行数据比对。
在本公开中,数据比对平台可以基于当前获取的数据标识中的核对模块标识,确定对应的目标核对模块,并调用目标核对模块,以触发目标核对模块基于比对规则对目标待比对数据进行数据比对,能过合理调度多个核对模块进行数据比对,提高数据比对的速度。
在一示例性实施例中,在对目标待比对数据进行比对后,可以获取对应的比对结果。具体地,若比对结果为数据匹配,则可以继续获取目标待比对数据进行比对,若比对结果为数据不匹配,则可以将对应的目标待比对数据存储起来,以便后续针对存在错误的目标待比对数据进行查询、校对或告警中的任一项或多项处理。此外,还可以预先对比对结果的记录方式进行配置,如下表4所示,为比对结果记录方式配置表:
表4
列名 数据类型 是否为空 注释
id bigint 比对结果对应的标识
resultCode varchar 比对结果编码(编码规则)
resultMsg varchar 比对结果
checkUnitId bigint 核对模块标识
在实际应用中,还可以按照预设时间间隔进行告警操作,例如可以每分钟对比对结果异常的数据进行告警。
应该理解的是,虽然图2、图3和图4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图3和图4中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
可以理解的是,本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见,每个实施例重点说明的是与其他实施例的不同之处,相关之处参见其他方法实施例的说明即可。
图5是根据一示例性实施例示出的一种信息处理装置500框图。参照图5,该装置包括数据获取单元501,比对规则生成单元502和数据比对单元503。
数据获取单元501,被配置为执行确定待进行数据比对的多个数据提供方,获取并存储所述多个数据提供方各自对应的待比对数据;
比对规则生成单元502,被配置为执行响应于数据比对指示,生成与预先获取的配置文件对应的比对规则;
数据比对单元503,被配置为执行若所述待比对数据中的目标待比对数据所对应的等待时间达到预设时长,则基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对;所述目标待比对数据为已存储的所述待比对数据中的至少部分待比对数据。
在一示例性实施例中,所述装置还包括:
比对配置信息获取单元,被配置为执行获取针对所述多个数据提供方的比对配置信息,所述比对配置信息包括比对触发条件和数据内容核对规则,所述比对触发条件用于指示在所述待比对数据包含设定数据项时进行数据比对;
脚本文件生成单元,被配置为执行基于所述比对配置信息生成对应的脚本文件,作为所述多个数据提供方对应的配置文件。
在一示例性实施例中,所述目标待比对数据包括第一数据提供方提供的第一待比对数据和第二数据提供方提供的第二待比对数据,
所述数据比对单元503,包括:
数据内容获取模块,被配置为执行当所述第一数据提供方提供的第一待比对数据中包含对应的第一设定数据项,并且所述第二数据提供方提供的第二待比对数据中包含对应的第二设定数据项时,获取所述第一待比对数据中与所述数据内容核对规则关联的第一数据内容,以及,获取所述第二待比对数据中与所述数据内容核对规则关联的第二数据内容;
数据内容比对模块,被配置为执行基于所述数据内容核对规则,对所述第一数据内容和所述第二数据内容进行比较,以确定所述第一数据内容与所述第二数据内容是否一致。
在一示例性实施例中,所述数据获取单元501,包括:
原始数据获取模块,被配置为执行获取所述多个数据提供方各自对应的数据源中的原始数据;
数据过滤模块,被配置为执行对所述原始数据进行过滤,基于过滤后的原始数据,获取所述多个数据提供方各自对应的待比对数据并进行存储。
在一示例性实施例中,所述原始数据获取模块,包括:
存储路径获取模块,被配置为执行获取预先配置的所述多个数据提供方各自对应的存储路径,并确定所述存储路径对应的数据源;
消息队列调用模块,被配置为执行通过预设的公共消息队列,获取各个所述数据源中的原始数据。
在一示例性实施例中,所述装置还包括:
数据标识读取单元,被配置为执行从预设的标识队列中获取等待时间达到预设时长的目标数据标识;所述标识队列中存储有当前已获取的各待比对数据对应的数据标识;
目标数据查找单元,被配置为执行在已存储的所述待比对数据中,获取与所述目标数据标识对应的待比对数据,作为等待时间达到预设时长的目标待比对数据。
在一示例性实施例中,所述装置还包括:
数据标识存储单元,被配置为执行获取所述待比对数据对应的数据标识,并将所述数据标识存储到预设的标识队列中。
在一示例性实施例中,所述数据标识中包括与核对模块关联的核对模块标识,所述核对模块用于对目标待比对数据进行数据比对,
所述数据比对单元503,包括:
查询模块,被配置为执行基于当前获取的数据标识中的核对模块标识,确定对应的目标核对模块;
调用模块,被配置为执行调用所述目标核对模块,以触发所述目标核对模块基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种用于实现信息处理方法的电子设备600的框图。例如,电子设备600可以为服务器。参照图6,电子设备600包括处理组件620,其进一步包括一个或多个处理器,以及由存储器622所代表的存储器资源,用于存储可由处理组件620的执行的指令,例如应用程序。存储器622中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件620被配置为执行指令,以执行上述方法。
电子设备600还可以包括:电源组件624被配置为执行电子设备600的电源管理,有线或无线网络接口626被配置为将电子设备600连接到网络,和输入输出(I/O)接口628。电子设备600可以操作基于存储在存储器622的操作***,例如Windows Server,Mac OS X,Unix,Linux,FreeBSD或类似。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器622,上述指令可由电子设备600的处理器执行以完成上述方法。存储介质可以是计算机可读存储介质,例如,所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供一种计算机程序产品,所述计算机程序产品中包括指令,上述指令可由电子设备600的处理器执行以完成上述方法。
图7是根据一示例性实施例示出的一种用于实现信息处理方法的电子设备700的框图。例如,电子设备700可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
参照图7,电子设备700可以包括以下一个或多个组件:处理组件702、存储器704、电源组件706、多媒体组件708、音频组件710、输入/输出(I/O)的接口712、传感器组件714以及通信组件716。
处理组件702通常控制电子设备700的整体操作,诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件702可以包括一个或多个模块,便于处理组件702和其他组件之间的交互。例如,处理组件702可以包括多媒体模块,以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在电子设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
电源组件706为电子设备700的各种组件提供电力。电源组件706可以包括电源管理***,一个或多个电源,及其他与为电子设备700生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述电子设备700和用户之间的提供输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件708包括前置摄像头和/或后置摄像头。当电子设备700处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜***或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如,音频组件710包括麦克风(MIC),当电子设备700处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中,音频组件710还包括扬声器,用于输出音频信号。
I/O接口712为处理组件702和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器,用于为电子设备700提供各个方面的状态评估。例如,传感器组件714可以检测到电子设备700的打开/关闭状态,组件的相对定位,例如所述组件为电子设备700的显示器和小键盘,传感器组件714还可以检测电子设备700或电子设备700组件的位置改变,用户与电子设备700接触的存在或不存在,设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件714还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件716经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件716还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器704,上述指令可由电子设备700的处理器720执行以完成上述方法。例如,计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供一种计算机程序产品,所述计算机程序产品中包括指令,上述指令可由电子设备700的处理器720执行以完成上述方法。
需要说明的,上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种信息处理方法,其特征在于,包括:
确定待进行数据比对的多个数据提供方,获取并存储所述多个数据提供方各自对应的待比对数据;
响应于数据比对指示,生成与预先获取的配置文件对应的比对规则;
若所述待比对数据中的目标待比对数据所对应的等待时间达到预设时长,则基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对;所述目标待比对数据为已存储的所述待比对数据中的至少部分待比对数据。
2.根据权利要求1所述的方法,其特征在于,在所述确定待进行数据比对的多个数据提供方,获取并存储所述多个数据提供方各自对应的待比对数据之前,还包括:
获取针对所述多个数据提供方的比对配置信息,所述比对配置信息包括比对触发条件和数据内容核对规则,所述比对触发条件用于指示在所述待比对数据包含设定数据项时进行数据比对;
基于所述比对配置信息生成对应的脚本文件,作为所述多个数据提供方对应的配置文件。
3.根据权利要求2所述的方法,其特征在于,所述目标待比对数据包括第一数据提供方提供的第一待比对数据和第二数据提供方提供的第二待比对数据,
所述基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对,包括:
当所述第一数据提供方提供的第一待比对数据中包含对应的第一设定数据项,并且所述第二数据提供方提供的第二待比对数据中包含对应的第二设定数据项时,获取所述第一待比对数据中与所述数据内容核对规则关联的第一数据内容,以及,获取所述第二待比对数据中与所述数据内容核对规则关联的第二数据内容;
基于所述数据内容核对规则,对所述第一数据内容和所述第二数据内容进行比较,以确定所述第一数据内容与所述第二数据内容是否一致。
4.根据权利要求1所述的方法,其特征在于,所述获取并存储所述多个数据提供方各自对应的待比对数据,包括:
获取所述多个数据提供方各自对应的数据源中的原始数据;
对所述原始数据进行过滤,基于过滤后的原始数据,获取所述多个数据提供方各自对应的待比对数据并进行存储。
5.根据权利要求4所述的方法,其特征在于,所述获取所述多个数据提供方各自对应的数据源中的原始数据,包括:
获取预先配置的所述多个数据提供方各自对应的存储路径,并确定所述存储路径对应的数据源;
通过预设的公共消息队列,获取各个所述数据源中的原始数据。
6.根据权利要求1所述的方法,其特征在于,在所述若所述待比对数据中的目标待比对数据所对应的等待时间达到预设时长,则基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对之前,还包括:
从预设的标识队列中获取等待时间达到预设时长的目标数据标识;所述标识队列中存储有当前已获取的各待比对数据对应的数据标识;
在已存储的所述待比对数据中,获取与所述目标数据标识对应的待比对数据,作为等待时间达到预设时长的目标待比对数据。
7.一种信息处理装置,其特征在于,包括:
数据获取单元,被配置为执行确定待进行数据比对的多个数据提供方,获取并存储所述多个数据提供方各自对应的待比对数据;
比对规则生成单元,被配置为执行响应于数据比对指示,生成与预先获取的配置文件对应的比对规则;
数据比对单元,被配置为执行若所述待比对数据中的目标待比对数据所对应的等待时间达到预设时长,则基于所述比对规则,对所述多个数据提供方各自对应的所述目标待比对数据进行数据比对;所述目标待比对数据为已存储的所述待比对数据中的至少部分待比对数据。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6中任一项所述的信息处理方法。
9.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至6中任一项所述的信息处理方法。
10.一种计算机程序产品,所述计算机程序产品中包括指令,其特征在于,所述指令被电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至8中任一项所述的信息处理方法。
CN202111544978.0A 2021-12-16 2021-12-16 信息处理方法、装置、电子设备及存储介质 Pending CN114201484A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111544978.0A CN114201484A (zh) 2021-12-16 2021-12-16 信息处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111544978.0A CN114201484A (zh) 2021-12-16 2021-12-16 信息处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114201484A true CN114201484A (zh) 2022-03-18

Family

ID=80654738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111544978.0A Pending CN114201484A (zh) 2021-12-16 2021-12-16 信息处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114201484A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628107A (zh) * 2023-05-30 2023-08-22 曙光云计算集团有限公司 一种数据比对方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136276A (zh) * 2011-12-02 2013-06-05 阿里巴巴集团控股有限公司 一种数据核对***,方法及装置
CN110209512A (zh) * 2019-05-30 2019-09-06 口碑(上海)信息技术有限公司 基于多数据源的数据核对方法及装置
CN111708767A (zh) * 2020-05-12 2020-09-25 苏宁云计算有限公司 数据核对方法、装置、存储介质及计算机设备
CN113608845A (zh) * 2021-07-12 2021-11-05 阿里巴巴新加坡控股有限公司 数据处理方法及装置
CN113641498A (zh) * 2021-08-16 2021-11-12 腾讯科技(深圳)有限公司 一种数据核对方法、***、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136276A (zh) * 2011-12-02 2013-06-05 阿里巴巴集团控股有限公司 一种数据核对***,方法及装置
CN110209512A (zh) * 2019-05-30 2019-09-06 口碑(上海)信息技术有限公司 基于多数据源的数据核对方法及装置
CN111708767A (zh) * 2020-05-12 2020-09-25 苏宁云计算有限公司 数据核对方法、装置、存储介质及计算机设备
CN113608845A (zh) * 2021-07-12 2021-11-05 阿里巴巴新加坡控股有限公司 数据处理方法及装置
CN113641498A (zh) * 2021-08-16 2021-11-12 腾讯科技(深圳)有限公司 一种数据核对方法、***、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
退役的BUG程序员: "Java 6种延时队列的实现方法,方法没有好坏,适合自己的才是最好的", pages 1 - 2, Retrieved from the Internet <URL:https://blog.csdn.net/banzhuanhu/article/details/106445598> *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116628107A (zh) * 2023-05-30 2023-08-22 曙光云计算集团有限公司 一种数据比对方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN111274131A (zh) 接口测试方法、装置、电子设备及存储介质
CN115185717B (zh) 接口调用方法、装置、电子设备和存储介质
CN114201484A (zh) 信息处理方法、装置、电子设备及存储介质
CN116069612A (zh) 一种异常定位方法、装置和电子设备
CN111813685B (zh) 自动化测试方法和装置
CN112783779A (zh) 测试用例的生成方法、装置、电子设备和存储介质
CN116541591A (zh) 一种信息处理方法、装置、电子设备及存储介质
CN113590605B (zh) 数据处理方法、装置、电子设备及存储介质
CN115729609A (zh) 配置库信息规范性检查方法、装置、设备及存储介质
CN115811463A (zh) 一种数据分析方法、装置、电子设备及存储介质
CN115408277A (zh) 一种接口测试方法及装置
CN114896165A (zh) 会话机器人***的测试方法、装置、电子设备和存储介质
CN115470754A (zh) 数据分析方法、装置、计算机可读介质及电子设备
CN114417133A (zh) 业务数据处理方法、装置、电子设备及计算机存储介质
CN111290882B (zh) 数据文件备份方法、数据文件备份装置及电子设备
CN115033812A (zh) 信息处理方法、装置、终端和存储介质
CN110059304B (zh) 一种数据处理方法、装置、电子设备以及存储介质
CN111898100A (zh) 代码泄露溯源的方法、装置及终端设备
CN113378022A (zh) 一种站内搜索平台、搜索方法和相关装置
CN115242606B (zh) 数据处理方法、装置、服务器、存储介质及程序产品
CN113206772B (zh) 应答报文正确性判别方法、装置、设备、介质及产品
CN117075986A (zh) 配置校验方法、装置、电子设备及计算机可读存储介质
CN116185477A (zh) 数据处理方法、装置、电子设备和存储介质
CN115688187B (zh) 硬链接数据的安全管理方法、装置、设备及存储介质
CN112988692B (zh) 数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination