CN110175182A - 数据核对方法及装置 - Google Patents
数据核对方法及装置 Download PDFInfo
- Publication number
- CN110175182A CN110175182A CN201910465753.2A CN201910465753A CN110175182A CN 110175182 A CN110175182 A CN 110175182A CN 201910465753 A CN201910465753 A CN 201910465753A CN 110175182 A CN110175182 A CN 110175182A
- Authority
- CN
- China
- Prior art keywords
- data
- verification
- target
- change message
- storage space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据核对方法及装置。其中,方法包括:确定与核对规则对应的多个数据源,针对于多个数据源中的每个数据源,当该数据源中发生目标数据变更时,生成与目标数据变更对应的数据变更消息;订阅多个数据源的数据变更消息;将数据变更消息存储于目标存储空间中;利用核对规则,对目标存储空间中的数据进行数据核对。本方案能够及时地将核对数据存储于目标存储空间中,从而避免了现有技术中出现的数据核对存在较大核对延迟的弊端;并且通过利用目标存储空间中的数据进行数据核对,能够进一步降低业务***的业务处理压力,提升业务***的业务处理效率。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种数据核对方法及装置。
背景技术
随着互联网技术的飞速发展,各类业务处理效率也随之不断提升,从而极大方便了人们的工作与生活。在业务处理过程中,通常会涉及业务数据的流转。目前,为避免业务数据流转异常而引起的用户资源损失,通常需在数据流转过程中进行数据核对操作。例如,在银行、第三方支付平台、或其他涉及物品交易的各类平台中,通常需要进行账账核对、账证核对、***间的核对、***间各节点的核对等针对业务处理的核对操作,从而保障业务流水等的准确性。
目前在进行数据的核对过程中,通常采用的核对方式有两种(如公布号为CN103136276A的中国发明专利申请):其一,按照预设周期来获取核对数据,进而实现数据的核对;其二实时地查找对应的线上数据库,进而实现数据的核对。
然而,发明人在实施过程中发现现有技术中存在如下问题:当采用按照预设周期来获取核对数据实现数据的核对时,无法实现数据的及时核对,从而易引起较大的核对延迟;而采用实时地查找对应的线上数据库实现数据的核对,不仅会增加业务***压力,还进一步降低业务***处理业务的效率。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据核对方法及装置。
根据本发明的一个方面,提供了一种数据核对方法,包括:
确定与核对规则对应的多个数据源,针对于所述多个数据源中的每个数据源,当该数据源中发生目标数据变更时,生成与所述目标数据变更对应的数据变更消息;
订阅所述多个数据源的数据变更消息;
将所述数据变更消息存储于目标存储空间中;
利用所述核对规则,对所述目标存储空间中的数据进行数据核对。
可选的,所述当该数据源中发生目标数据变更时,生成与所述目标数据变更对应的数据变更消息进一步包括:
当该数据源中目标数据发生变更时,根据变更后的目标数据的快照信息,生成与所述目标数据变更对应的数据变更消息。
可选的,所述将所述数据变更消息存储于目标存储空间中进一步包括:
确定与所述数据变更消息对应的唯一键;
判断所述目标存储空间中是否存在与所述唯一键对应的存储数据;
若是,则通过将所述数据变更消息覆盖所述唯一键对应的存储数据的方式,将所述数据变更消息存储于目标存储空间中;
若否,则将所述数据变更消息直接存储于所述目标存储空间中。
可选的,所述确定与所述数据变更消息对应的唯一键进一步包括:
确定与所述数据变更消息对应的核对规则;
根据所述与所述数据变更消息对应的核对规则,确定与所述数据变更消息对应的唯一键确定方式;
采用所述唯一键确定方式,确定与所述数据变更消息对应的唯一键。
可选的,所述确定与所述数据变更消息对应的唯一键进一步包括:
依据所述数据变更消息中的业务表标识、业务主键、和/或业务ID,确定所述数据变更消息对应的唯一键。
可选的,所述方法还包括:
根据所述核对规则,确定目标数据所对应的数据维度。
可选的,所述目标数据所对应的数据维度包括以下数据维度中的至少一种:数据表维度、单条数据维度、和/或数据库维度。
根据本发明的另一方面,提供了一种数据核对装置,包括:
确定模块,适于确定与核对规则对应的多个数据源,针对于所述多个数据源中的每个数据源,当该数据源中发生目标数据变更时,生成与所述目标数据变更对应的数据变更消息;
订阅模块,适于订阅所述多个数据源的数据变更消息;
存储模块,适于将所述数据变更消息存储于目标存储空间中;
核对模块,适于利用所述核对规则,对所述目标存储空间中的数据进行数据核对。
可选的,所述确定模块进一步适于:
当该数据源中目标数据发生变更时,根据变更后的目标数据的快照信息,生成与所述目标数据变更对应的数据变更消息。
可选的,所述存储模块进一步适于:确定与所述数据变更消息对应的唯一键;
判断所述目标存储空间中是否存在与所述唯一键对应的存储数据;
若是,则通过将所述数据变更消息覆盖所述唯一键对应的存储数据的方式,将所述数据变更消息存储于目标存储空间中;
若否,则将所述数据变更消息直接存储于所述目标存储空间中。
可选的,所述存储模块进一步适于:确定与所述数据变更消息对应的核对规则;
根据所述与所述数据变更消息对应的核对规则,确定与所述数据变更消息对应的唯一键确定方式;
采用所述唯一键确定方式,确定与所述数据变更消息对应的唯一键。
可选的,所述存储模块进一步适于:依据所述数据变更消息中的业务表标识、业务主键、和/或业务ID,确定所述数据变更消息对应的唯一键。
可选的,所述装置还包括:
维度确定模块,适于根据所述核对规则,确定目标数据所对应的数据维度。
可选的,所述目标数据所对应的数据维度包括以下数据维度中的至少一种:数据表维度、单条数据维度、和/或数据库维度。
根据本发明的又一方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述数据核对方法对应的操作。
根据本发明的再一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述数据核对方法对应的操作。
根据本发明提供的数据核对方法及装置,首先确定与核对规则对应的多个数据源,针对于多个数据源中的每个数据源,当该数据源中发生目标数据变更时,生成与目标数据变更对应的数据变更消息;进一步订阅多个数据源的数据变更消息;将数据变更消息存储于目标存储空间中;最终利用核对规则,对目标存储空间中的数据进行数据核对。本方案中能够及时地将核对数据存储于目标存储空间中,从而避免了现有技术中出现的数据核对存在较大的核对延迟的弊端;并且通过利用目标存储空间中的数据进行数据核对,进一步降低业务***的业务处理压力,提升业务***的业务处理效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例提供的一种数据核对方法的流程示意图;
图2示出了根据本发明另一个实施例提供的一种数据核对方法的流程示意图;
图3示出了根据本发明一个实施例提供的一种数据核对装置的功能结构示意图;
图4示出了根据本发明一个实施例提供的一种计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了根据本发明一个实施例提供的一种数据核对方法的流程示意图。其中,本实施例所提供的数据核对方法并非由业务***执行,而是由预设的数据核对***执行。
如图1所示,该方法包括:
步骤S110,确定与核对规则对应的多个数据源,针对于多个数据源中的每个数据源,当该数据源中发生目标数据变更时,生成与目标数据变更对应的数据变更消息。
不同于现有技术中周期性地调用数据库接口来获取核对数据,本实施例是在与核对规则对应的数据源中发生目标数据变更时,生成与目标数据变更对应的数据变更消息,并根据后续步骤S120中对该数据变更消息的订阅操作,来实时地获取核对数据,避免数据核对发生较大的核对延迟。在具体的实施过程中:
首先,确定与核对规则对应的多个数据源:在现有技术中,通常是由业务***接收每一次的数据核对请求,通过分析该数据核对请求中的核对信息,来确定此次数据核对所需的数据,从而调用相应的数据库接口来获取相应的核对数据进行数据核对。本实施例则不同于现有技术中的该操作方式,本实施例具体是先获取核对规则,该核对规则是为数据核对而进行配置的。其中,获取到的核对规则可以为一条,也可以为多条,本实施例对此不做限定。进一步地,在获取到核对规则之后,根据该核对规则来确定与核对规则对应的多个数据源。其中,该核对规则中包含了核对过程中进行核对的数据源信息及具体的核对方式,从而在具体的实施过程中,可根据字段解析等方式自动地确定与核对规则对应的多个数据源。
进一步地,针对于多个数据源中的每个数据源,当该数据源中发生目标数据变更时,生成与目标数据变更对应的数据变更消息。具体地,在确定与核对规则对应的多个数据源之后,针对于每个数据源,确定该数据源中的目标数据,其中,该目标数据由核对规则确定。并在目标数据发生数据变更时,生成与该目标数据变更对应的数据变更消息。
步骤S120,订阅多个数据源的数据变更消息。
本实施中由该预设的数据核对***对多个数据源的数据变更消息实现订阅,从而能够及时地获取与核对规则对应的核对数据的变化。本实施例对具体的订阅方式不做限定。
步骤S130,将数据变更消息存储于目标存储空间中。
在预设的数据核对***对多个数据源的数据变更消息实现订阅之后,可及时获取核对数据,并且将订阅的数据变更消息存储于目标存储空间中,从而便于后续步骤中直接利用该目标存储空间中的数据进行数据核对,从而减少线上业务***的处理压力,提升业务***的处理效率。其中,本实施例对具体的目标存储空间不做限定,例如,该目标存储空间可以为hbase等等。
步骤S140,利用核对规则,对目标存储空间中的数据进行数据核对。
本步骤可根据核对规则所设定的具体的核对时机,从目标存储空间中获取相应的核对数据,采用核对规则中的核对方式实现数据核对。
由此可见,本实施例在与核对规则对应的数据源中发生目标数据变更时,生成与目标数据变更对应的数据变更消息,并由预设的数据核对***对多个数据源的数据变更消息实现订阅,进一步将数据变更消息存储于目标存储空间中,将数据变更消息存储于目标存储空间中。从而避免现有技术中出现的数据核对存在较大的核对延迟的弊端;并且通过利用目标存储空间中的数据进行数据核对,进一步降低业务***的业务处理压力,提升业务***的业务处理效率。
图2示出了根据本发明另一个实施例提供的一种数据核对方法的流程示意图。本实施例提供的数据核对方法具体是对图1所示方法实施例的进一步优化。如图2所示,该方法包括:
步骤S210,确定与核对规则对应的多个数据源。
本实施例中,核对规则可以为在预设的数据核对***中配置的一个或多个核对规则。在具体的实施过程中,可根据字段解析等方式自动地确定与核对规则对应的多个数据源。
可选的,为及时调整确定的多个数据源,本实施例可监听针对于预设的数据核对***中核对规则的更改操作。其中,该更改操作包括增加操作、删除操作、和/或修改操作等等。进而根据针对核对规则的更改操作,动态调整确定的多个数据源,从而避免无效数据的出现,提升数据核对的准确性。
进一步可选的,还可以根据核对规则所对应的有效核对期限,更新确定的多个数据源。在实际的实施过程中,许多核对规则通常包含有相应的有效核对期限,例如针对于某项促销活动的核对规则,其核对规则通常仅在该促销活动期间或之后一段时间内有效,则本实施例中可通过对核对规则有效核对期限字段的解析,获取核对规则所对应的有效核对期限,并通过该有效核对期限与当前时间的比对,确定是否剔除该核对规则。当确定需剔除该核对规则时,解除针对该核对规则对应的数据源的订阅,以此提高数据核对***的整体处理效率,避免***资源的浪费。
步骤S220,针对于多个数据源中的每个数据源,当该数据源中目标数据发生变更时,根据变更后的目标数据快照信息,生成与目标数据变更对应的数据变更消息。
针对于与核对规则对应的多个数据源中的每个数据源,确定该数据源中的目标数据。在具体的实施过程中,可根据核对规则,确定目标数据所对应的数据维度。其中,该目标数据所对应的数据维度包括以下数据维度的至少一种:数据表维度、单条数据维度、和/或数据库维度等等。即本实施例中针对于每个核对规则,通过对该核对规则的数据源字段的自动解析,自动分析出与该核对规则所匹配的数据维度,从而便于提升后续数据核对的效率。
进一步地,当该数据源中目标数据发生变更时,根据变更后的目标数据的快照信息,生成与目标数据变更对应的数据变更消息。在确定与核对规则对应的多个数据源中的目标数据之后,每当该数据源中目标数据发生变更时,获取变更后的目标数据的快照信息,其中,本实施例对具体的快照信息获取方式不做限定,本领域技术人员可根据的实际情况选择相应的快照信息生成方式。进一步地,根据变更后的目标数据的快照信息,生成与目标数据变更对应的数据变更消息。即生成的数据变更消息为当前目标数据的最新数据状态,从而保障后续数据核对的准确性,降低数据核对噪音。
可选的,为避免后续目标存储空间中出现较多的冗余数据,本步骤中生成的数据变更消息中还包含有与该数据变更消息对应的目标数据的变更时间。
步骤S230,订阅多个数据源的数据变更消息。
本实施中由该预设的数据核对***对多个数据源的数据变更消息实现订阅,从而能够及时地获取与核对规则对应的核对数据的变化。本实施例对具体的订阅方式不做限定。
步骤S240,确定与数据变更消息对应的唯一键,根据该唯一键将数据变更消息存储于目标存储空间中。
为了能够保障目标存储空间中存储的数据为最新的数据,以及避免目标存储空间出现较多的数据冗余。本实施例具体对数据变更消息设置有对应的唯一键,即目标存储空间中存储的数据也具有相对应的唯一键,从而根据该唯一键将数据变更消息存储于目标存储空间中。
在具体的实施过程中,首先确定与数据变更消息对应的唯一键。其中,在确定与数据变更消息对应的唯一键时,可先确定与数据变更消息对应的核对规则,进而根据与数据变更消息对应的核对规则,确定与数据变更消息对应的唯一键确定方式,最终采用该唯一键确定方式,确定与数据变更消息对应的唯一键。通过该种唯一键的确定方式,可实时地根据核对规则的变化来动态地调整或确定唯一键的确定方式,进而动态调整与数据变更消息对应的唯一键,实现存储的数据与核对规则的强联系,进一步地提升了数据核对的准确性,避免数据核对噪音的发生;并且,能够在数据核对过程中,根据核对规则准确快速地获取所需的核对数据,进一步提升数据核对效率。另外,也可依据数据变更消息中的业务表标识、业务主键、和/或业务ID,确定数据变更消息对应的唯一键。例如,将业务表标识、业务主键、和/或业务ID的拼接字段进行哈希运算之后获得的结果确定为与该数据变更消息所对应的唯一键。
进一步地,判断目标存储空间中是否存在与唯一键对应的存储数据。在具体的实施过程中,需确定目标存储空间中存储数据对应的唯一键。其中,目标存储空间中存储数据对应的唯一键可根据上述确定与数据变更消息对应的唯一键的方式进行确定。则通过目标存储空间中存储数据对应的唯一键,与该数据变更消息对应的唯一键是否匹配,来判断目标存储空间中是否存在与唯一键对应的存储数据。即若目标存储空间中存储某存储数据的唯一键与该数据变更消息对应的唯一键相匹配,则确定目标存储空间中存在与唯一键对应的存储数据;否则,则确定目标存储空间中不存在与唯一键对应的存储数据。
若目标存储空间中存在与该数据变更消息对应的唯一键对应的存储数据,则通过将该数据变更消息覆盖该唯一键对应的存储数据的方式,将该数据变更消息存储于目标存储空间中。即删除该唯一键对应的存储数据,并在该存储数据对应的位置处存储该数据变更消息,从而保障目标存储空间中存储的数据为最新的数据。
若目标存储空间中不存在与该数据变更消息对应的唯一键对应的存储数据,则将数据变更消息直接存储于目标存储空间中。
在一种可选的实施方式中,可针对于同一核对规则所对应的存储数据进行集中管理,从而便于提升数据变更消息在目标存储空间中的存储效率,进而有利于核对效率的整体提升;并且,在核对规则发生更改时,可实现与该核对规则对应的存储数据的批量化管理。可选的,该目标存储空间可以为hbase等等。
步骤S250,利用核对规则,对目标存储空间中的数据进行数据核对。
本步骤可根据核对规则所设定的具体的核对时机,从目标存储空间中获取相应的核对数据,从而实现数据核对。
由此可见,本实施例在与核对规则对应的数据源中发生目标数据变更时,生成与目标数据变更对应的数据变更消息,并由预设的数据核对***对多个数据源的数据变更消息实现订阅,进一步将数据变更消息存储于目标存储空间中,将数据变更消息存储于目标存储空间中,从而避免现有技术中出现的数据核对存在较大的核对延迟的弊端;并且通过利用目标存储空间中的数据进行数据核对,进一步降低业务***的业务处理压力,提升业务***的业务处理效率;并且,本实施例根据与数据变更消息对应的唯一键将数据变更消息存储于目标存储空间中,从而避免目标存储空间出现较多的数据冗余;另外,通过核对规则来确定唯一键的确定方式,实现存储的数据与核对规则的强联系,进一步地提升了数据核对的准确性,避免数据核对噪音的发生。
图3示出了根据本发明一个实施例提供的一种数据核对装置的功能结构示意图。如图3所示,该装置包括:确定模块31、订阅模块32、存储模块33及核对模块34。
其中,确定模块31,适于确定与核对规则对应的多个数据源,针对于所述多个数据源中的每个数据源,当该数据源中发生目标数据变更时,生成与所述目标数据变更对应的数据变更消息;
订阅模块32,适于订阅所述多个数据源的数据变更消息;
存储模块33,适于将所述数据变更消息存储于目标存储空间中;
核对模块34,适于利用所述核对规则,对所述目标存储空间中的数据进行数据核对。
可选的,确定模块31进一步适于:
当该数据源中目标数据发生变更时,根据变更后的目标数据的快照信息,生成与所述目标数据变更对应的数据变更消息。
可选的,存储模块33进一步适于:确定与所述数据变更消息对应的唯一键;
判断所述目标存储空间中是否存在与所述唯一键对应的存储数据;
若是,则通过将所述数据变更消息覆盖所述唯一键对应的存储数据的方式,将所述数据变更消息存储于目标存储空间中;
若否,则将所述数据变更消息直接存储于所述目标存储空间中。
可选的,存储模块33进一步适于:确定与所述数据变更消息对应的核对规则;
根据所述与所述数据变更消息对应的核对规则,确定与所述数据变更消息对应的唯一键确定方式;
采用所述唯一键确定方式,确定与所述数据变更消息对应的唯一键。
可选的,存储模块33进一步适于:依据所述数据变更消息中的业务表标识、业务主键、和/或业务ID,确定所述数据变更消息对应的唯一键。
可选的,该装置还包括:维度确定模块(图中未示出),适于根据所述核对规则,确定目标数据所对应的数据维度。
可选的,所述目标数据所对应的数据维度包括以下数据维度中的至少一种:数据表维度、单条数据维度、和/或数据库维度。
其中,本实施例装置中各模块的具体实施过程可参照图1和/或图2所示方法实施例中相应部分的描述,本实施例在此不做限定。
由此可见,本实施例在与核对规则对应的数据源中发生目标数据变更时,生成与目标数据变更对应的数据变更消息,并由预设的数据核对***对多个数据源的数据变更消息实现订阅,进一步将数据变更消息存储于目标存储空间中,将数据变更消息存储于目标存储空间中。从而避免现有技术中出现的数据核对存在较大的核对延迟现象;并且通过利用目标存储空间中的数据进行数据核对,进一步降低业务***的业务处理压力,提升业务***的业务处理效率。
根据本发明一个实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的数据核对方法。
图4示出了根据本发明一个实施例提供的一种计算设备的结构示意图,本发明具体实施例并不对计算设备的具体实现做限定。
如图4所示,该计算设备可以包括:处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中:
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器402,用于执行程序410,具体可以执行上述数据核对方法实施例中的相关步骤。
具体地,程序410可以包括程序代码,该程序代码包括计算机操作指令。
处理器402可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器406,用于存放程序410。存储器406可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行以下操作:
确定与核对规则对应的多个数据源,针对于所述多个数据源中的每个数据源,当该数据源中发生目标数据变更时,生成与所述目标数据变更对应的数据变更消息;
订阅所述多个数据源的数据变更消息;
将所述数据变更消息存储于目标存储空间中;
利用所述核对规则,对所述目标存储空间中的数据进行数据核对。
在一种可选的实施方式中,程序410具体可以用于使得处理器402执行以下操作:
当该数据源中目标数据发生变更时,根据变更后的目标数据的快照信息,生成与所述目标数据变更对应的数据变更消息。
在一种可选的实施方式中,程序410具体可以用于使得处理器402执行以下操作:
确定与所述数据变更消息对应的唯一键;
判断所述目标存储空间中是否存在与所述唯一键对应的存储数据;
若是,则通过将所述数据变更消息覆盖所述唯一键对应的存储数据的方式,将所述数据变更消息存储于目标存储空间中;
若否,则将所述数据变更消息直接存储于所述目标存储空间中。
在一种可选的实施方式中,程序410具体可以用于使得处理器402执行以下操作:
确定与所述数据变更消息对应的核对规则;
根据所述与所述数据变更消息对应的核对规则,确定与所述数据变更消息对应的唯一键确定方式;
采用所述唯一键确定方式,确定与所述数据变更消息对应的唯一键。
在一种可选的实施方式中,程序410具体可以用于使得处理器402执行以下操作:
依据所述数据变更消息中的业务表标识、业务主键、和/或业务ID,确定所述数据变更消息对应的唯一键。
在一种可选的实施方式中,程序410具体可以用于使得处理器402执行以下操作:
根据所述核对规则,确定目标数据所对应的数据维度。
在一种可选的实施方式中,所述目标数据所对应的数据维度包括以下数据维度中的至少一种:数据表维度、单条数据维度、和/或数据库维度。
在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述,构造这类***所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的数据核对装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (10)
1.一种数据核对方法,包括:
确定与核对规则对应的多个数据源,针对于所述多个数据源中的每个数据源,当该数据源中发生目标数据变更时,生成与所述目标数据变更对应的数据变更消息;
订阅所述多个数据源的数据变更消息;
将所述数据变更消息存储于目标存储空间中;
利用所述核对规则,对所述目标存储空间中的数据进行数据核对。
2.根据权利要求1所述的方法,其中,所述当该数据源中发生目标数据变更时,生成与所述目标数据变更对应的数据变更消息进一步包括:
当该数据源中目标数据发生变更时,根据变更后的目标数据的快照信息,生成与所述目标数据变更对应的数据变更消息。
3.根据权利要求1或2所述的方法,其中,所述将所述数据变更消息存储于目标存储空间中进一步包括:
确定与所述数据变更消息对应的唯一键;
判断所述目标存储空间中是否存在与所述唯一键对应的存储数据;
若是,则通过将所述数据变更消息覆盖所述唯一键对应的存储数据的方式,将所述数据变更消息存储于目标存储空间中;
若否,则将所述数据变更消息直接存储于所述目标存储空间中。
4.根据权利要求3所述的方法,其中,所述确定与所述数据变更消息对应的唯一键进一步包括:
确定与所述数据变更消息对应的核对规则;
根据所述与所述数据变更消息对应的核对规则,确定与所述数据变更消息对应的唯一键确定方式;
采用所述唯一键确定方式,确定与所述数据变更消息对应的唯一键。
5.根据权利要求3或4所述的方法,其中,所述确定与所述数据变更消息对应的唯一键进一步包括:
依据所述数据变更消息中的业务表标识、业务主键、和/或业务ID,确定所述数据变更消息对应的唯一键。
6.根据权利要求1-5中任一项所述的方法,其中,所述方法还包括:
根据所述核对规则,确定目标数据所对应的数据维度。
7.根据权利要求6所述的方法,其中,所述目标数据所对应的数据维度包括以下数据维度中的至少一种:数据表维度、单条数据维度、和/或数据库维度。
8.一种数据核对装置,包括:
确定模块,适于确定与核对规则对应的多个数据源,针对于所述多个数据源中的每个数据源,当该数据源中发生目标数据变更时,生成与所述目标数据变更对应的数据变更消息;
订阅模块,适于订阅所述多个数据源的数据变更消息;
存储模块,适于将所述数据变更消息存储于目标存储空间中;
核对模块,适于利用所述核对规则,对所述目标存储空间中的数据进行数据核对。
9.一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的数据核对方法对应的操作。
10.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的数据核对方法对应的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910465753.2A CN110175182B (zh) | 2019-05-30 | 2019-05-30 | 数据核对方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910465753.2A CN110175182B (zh) | 2019-05-30 | 2019-05-30 | 数据核对方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110175182A true CN110175182A (zh) | 2019-08-27 |
CN110175182B CN110175182B (zh) | 2021-07-02 |
Family
ID=67696872
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910465753.2A Active CN110175182B (zh) | 2019-05-30 | 2019-05-30 | 数据核对方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110175182B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111309331A (zh) * | 2020-02-11 | 2020-06-19 | 支付宝(杭州)信息技术有限公司 | 业务处理方法及装置、电子设备、存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101216832A (zh) * | 2007-12-28 | 2008-07-09 | 腾讯科技(深圳)有限公司 | 数据同步方法及装置 |
CN101968793A (zh) * | 2010-08-25 | 2011-02-09 | 大唐软件技术股份有限公司 | 一种基于异构数据源数据核对的方法和*** |
CN105740465A (zh) * | 2016-03-04 | 2016-07-06 | 浪潮软件集团有限公司 | 一种灵活的自定义比对方法 |
CN106161138A (zh) * | 2016-06-17 | 2016-11-23 | 贵州电网有限责任公司贵阳供电局 | 一种智能自动计量方法及装置 |
CN106326219A (zh) * | 2015-06-16 | 2017-01-11 | 阿里巴巴集团控股有限公司 | 核对业务***数据的方法、装置及*** |
CN107015991A (zh) * | 2016-01-28 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 数据一致性的自检方法、装置、***和业务装置 |
CN108228618A (zh) * | 2016-12-14 | 2018-06-29 | 平安科技(深圳)有限公司 | 单证数据核对的方法和装置 |
CN109299222A (zh) * | 2018-09-29 | 2019-02-01 | 阿里巴巴集团控股有限公司 | 数据核对方法及装置 |
CN109597828A (zh) * | 2018-09-29 | 2019-04-09 | 阿里巴巴集团控股有限公司 | 一种离线数据核对方法、装置及服务器 |
-
2019
- 2019-05-30 CN CN201910465753.2A patent/CN110175182B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101216832A (zh) * | 2007-12-28 | 2008-07-09 | 腾讯科技(深圳)有限公司 | 数据同步方法及装置 |
CN101968793A (zh) * | 2010-08-25 | 2011-02-09 | 大唐软件技术股份有限公司 | 一种基于异构数据源数据核对的方法和*** |
CN106326219A (zh) * | 2015-06-16 | 2017-01-11 | 阿里巴巴集团控股有限公司 | 核对业务***数据的方法、装置及*** |
CN107015991A (zh) * | 2016-01-28 | 2017-08-04 | 阿里巴巴集团控股有限公司 | 数据一致性的自检方法、装置、***和业务装置 |
CN105740465A (zh) * | 2016-03-04 | 2016-07-06 | 浪潮软件集团有限公司 | 一种灵活的自定义比对方法 |
CN106161138A (zh) * | 2016-06-17 | 2016-11-23 | 贵州电网有限责任公司贵阳供电局 | 一种智能自动计量方法及装置 |
CN108228618A (zh) * | 2016-12-14 | 2018-06-29 | 平安科技(深圳)有限公司 | 单证数据核对的方法和装置 |
CN109299222A (zh) * | 2018-09-29 | 2019-02-01 | 阿里巴巴集团控股有限公司 | 数据核对方法及装置 |
CN109597828A (zh) * | 2018-09-29 | 2019-04-09 | 阿里巴巴集团控股有限公司 | 一种离线数据核对方法、装置及服务器 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111309331A (zh) * | 2020-02-11 | 2020-06-19 | 支付宝(杭州)信息技术有限公司 | 业务处理方法及装置、电子设备、存储介质 |
CN111309331B (zh) * | 2020-02-11 | 2022-11-18 | 支付宝(杭州)信息技术有限公司 | 业务处理方法及装置、电子设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110175182B (zh) | 2021-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110134516B (zh) | 金融数据处理方法、装置、设备及计算机可读存储介质 | |
US8380680B2 (en) | Piecemeal list prefetch | |
CN111639965B (zh) | 积分更新方法及装置 | |
US10069779B2 (en) | Method of hybrid message passing with shared memory | |
CN110377356B (zh) | 任务处理方法、装置、***及计算机可读存储介质 | |
CN111814045B (zh) | 数据查询方法、装置、电子设备及存储介质 | |
CN110704226B (zh) | 数据校验方法、装置及存储介质 | |
CN109741159A (zh) | 清算对账方法、装置及计算机设备 | |
CN110175182A (zh) | 数据核对方法及装置 | |
CN111046245A (zh) | 多源异构数据源融合计算方法、***、设备和存储介质 | |
CN110083775A (zh) | 一种推荐资源的配置方法及配置装置 | |
CN111027977A (zh) | 一种数据验证的方法、装置及电子设备 | |
CN109643307B (zh) | 流处理***和方法 | |
CN110209512A (zh) | 基于多数据源的数据核对方法及装置 | |
CN108062224A (zh) | 基于文件句柄的数据读写方法、装置及计算设备 | |
CN110555763A (zh) | 基于区块链的金融数据处理方法及装置 | |
CA3138141A1 (en) | Method and apparatus for allocating real-time storm tasks | |
CN106878369B (zh) | 一种业务处理方法和装置 | |
CN109214874B (zh) | Ip产品运营数据处理方法、装置、设备及可读存储介质 | |
CN114648410A (zh) | 股票盯盘方法、装置、***、设备和介质 | |
CN111950770A (zh) | 一种管理资源返还辅助策略的方法、装置和电子设备 | |
CN111444057A (zh) | 页面性能数据采集方法、装置及计算设备 | |
CN110619569A (zh) | 复杂规则定制方法、定制***、电子设备及计算机存储介质 | |
CN112131287A (zh) | 一种读取数据的方法和装置 | |
CN104408165B (zh) | 高并发下的数据存储方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |