CN113486035B - 数据记录批处理方法、装置、存储介质及电子设备 - Google Patents
数据记录批处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113486035B CN113486035B CN202110765426.6A CN202110765426A CN113486035B CN 113486035 B CN113486035 B CN 113486035B CN 202110765426 A CN202110765426 A CN 202110765426A CN 113486035 B CN113486035 B CN 113486035B
- Authority
- CN
- China
- Prior art keywords
- data record
- record list
- list
- data
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims description 18
- 238000012216 screening Methods 0.000 claims description 13
- 238000010923 batch production Methods 0.000 claims description 9
- 238000004801 process automation Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
- G06F16/2386—Bulk updating operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了数据记录批处理方法、装置、存储介质及电子设备。上述方法包括确定批处理对应的时间搜索条件;根据上述时间搜索条件,确定第一数据记录列表,上述第一数据记录列表由满足上述时间搜索条件的,用于记录第一账户与业务相关属性信息的第一数据记录构成;根据上述时间搜索条件,确定第二数据记录列表,上述第二数据记录列表由满足上述时间搜索条件的、用于记录业务模式信息的第二数据记录构成;获取业务模式配置管理表;根据上述第一数据记录列表和上述第二数据记录列表,更新上述业务模式配置管理表。本申请实施例通过批处理的方式进行数据记录的更新,从而节省人力成本,实现数据更新全程自动化,避免出现疏漏。
Description
技术领域
本申请实施例涉及计算机技术领域,尤其涉及数据记录批处理方法、装置、存储介质及电子设备。
背景技术
在业务场景中,与用户相关的数据可能会响应于用户的操作而产生频繁的变动,而可能会对相关的业务配置数据产生影响,而业务配置数据并不能够随着用户的操作而主动被更新,只能依赖于被动更新。为了确保业务配置数据的一致性,相关技术中往往需要投入大量精力对需要被动更新的业务配置数据进行一致性维护,这种一致性维护需要依赖于人工实施而无法自动实施,因此更新效率低,并且容易出现纰漏。
发明内容
为了解决上述至少一个技术问题,本申请实施例提供数据记录批处理方法、装置、存储介质及电子设备。
一方面,本申请实施例提供了一种数据记录批处理方法,所述方法包括:
确定批处理对应的时间搜索条件;
根据所述时间搜索条件,确定第一数据记录列表,所述第一数据记录列表由满足所述时间搜索条件的,用于记录第一账户与业务相关属性信息的第一数据记录构成;
根据所述时间搜索条件,确定第二数据记录列表,所述第二数据记录列表由满足所述时间搜索条件的、用于记录业务模式信息的第二数据记录构成;
获取业务模式配置管理表;
根据所述第一数据记录列表和所述第二数据记录列表,更新所述业务模式配置管理表。
在一个实施例中,所述确定批处理对应的时间搜索条件,包括:
确定所述批处理的启动时间间隔;
根据所述时间间隔确定所述时间搜索条件。
在一个实施例中,所述根据所述时间搜索条件,确定第一数据记录列表,包括:
获取第一记录表,所述第一记录表至少包括下述字段:第一账户标识、业务关联主体、业务关联账户、第二账户标识、创建时间和更新时间;
根据所述时间搜索条件查询所述第一记录表,得到第一数据记录列表,所述第一数据记录列表中每一记录的创建时间或更新时间符合所述时间搜索条件。
在一个实施例中,所述根据所述时间搜索条件,确定第二数据记录列表,包括:
获取第二记录表,所述第二记录表至少包括下述字段:业务关联主体、业务关联账户、第二账户标识、业务模式、时间区间;
根据所述时间搜索条件查询所述第二记录表,得到第二数据记录列表,所述第二数据记录列表中每一记录的时间区间符合所述时间搜索条件。
在一个实施例中,所述根据所述第一数据记录列表和所述第二数据记录列表,更新所述业务模式配置管理表,包括:
基于所述第一数据记录列表筛选所述第二数据记录列表,得到目标第二数据记录列表;
根据业务关联主体、业务关联账户和业务模式,确定字段抽取条件;
基于所述字段抽取条件对所述目标第二数据记录列表进行字段抽取,生成第三数据记录列表;
基于所述第三数据记录列表更新所述业务模式配置管理表。
在一个实施例中,所述业务模式配置管理表至少包括下述字段:业务关联主体、业务关联账户、业务模式和业务配置资源,所述基于所述第三数据记录列表更新所述业务模式配置管理表,包括:
基于所述业务模式配置管理表确定目标第三数据记录列表,所述目标第三数据记录列表中的记录并未被所述业务模式配置管理表命中,并且被所述第三数据记录列表命中;
针对所述目标第三数据记录列表中的每个记录,确定对应的业务配置资源;
根据所述业务配置资源生成对应的业务模式配置记录;
将所述业务模式配置记录添加至所述业务模式配置管理表。
在一个实施例中,所述基于所述第一数据记录列表筛选所述第二数据记录列表,得到目标第二数据记录列表,包括:
基于所述第一数据记录列表筛选所述第二数据记录列表,得到备选记录列表,所述备选记录列表中的第二账户标识被所述第一数据记录列表中的记录命中;
按照业务关联主体、业务关联账户和业务模式对所述备选记录列表中的记录分组,得到多个分组结果;
在每一分组结果中确定一个记录,形成所述目标第二数据记录列表。
另一方面,本申请实施例提供一种数据记录批处理装置,所述装置包括:
时间搜索条件确定模块,用于确定批处理对应的时间搜索条件;
第一数据记录搜索模块,用于根据所述时间搜索条件,确定第一数据记录列表,所述第一数据记录列表由满足所述时间搜索条件的,用于记录第一账户与业务相关属性信息的第一数据记录构成;
第二数据记录搜索模块,用于根据所述时间搜索条件,确定第二数据记录列表,所述第二数据记录列表由满足所述时间搜索条件的、用于记录业务模式信息的第二数据记录构成;
业务模式配置管理表获取模块,用于获取业务模式配置管理表;
业务模式配置管理表更新模块,用于根据所述第一数据记录列表和所述第二数据记录列表,更新所述业务模式配置管理表。
在一个实施例中,所述时间搜索条件确定模块,用于确定所述批处理的启动时间间隔;根据所述时间间隔确定所述时间搜索条件。
在一个实施例中,所述第一数据记录搜索模块,用于获取第一记录表,所述第一记录表至少包括下述字段:第一账户标识、业务关联主体、业务关联账户、第二账户标识、创建时间和更新时间;根据所述时间搜索条件查询所述第一记录表,得到第一数据记录列表,所述第一数据记录列表中每一记录的创建时间或更新时间符合所述时间搜索条件。
在一个实施例中,所述第二数据记录搜索模块,用于获取第二记录表,所述第二记录表至少包括下述字段:业务关联主体、业务关联账户、第二账户标识、业务模式、时间区间;根据所述时间搜索条件查询所述第二记录表,得到第二数据记录列表,所述第二数据记录列表中每一记录的时间区间符合所述时间搜索条件。
在一个实施例中,所述业务模式配置管理表更新模块用于执行下述操作:
基于所述第一数据记录列表筛选所述第二数据记录列表,得到目标第二数据记录列表;
根据业务关联主体、业务关联账户和业务模式,确定字段抽取条件;
基于所述字段抽取条件对所述目标第二数据记录列表进行字段抽取,生成第三数据记录列表;
基于所述第三数据记录列表更新所述业务模式配置管理表。
在一个实施例中,所述业务模式配置管理表至少包括下述字段:业务关联主体、业务关联账户、业务模式和业务配置资源,所述业务模式配置管理表更新模块还用于执行下述操作:
基于所述业务模式配置管理表确定目标第三数据记录列表,所述目标第三数据记录列表中的记录并未被所述业务模式配置管理表命中,并且被所述第三数据记录列表命中;
针对所述目标第三数据记录列表中的每个记录,确定对应的业务配置资源;
根据所述业务配置资源生成对应的业务模式配置记录;
将所述业务模式配置记录添加至所述业务模式配置管理表。
在一个实施例中,所述业务模式配置管理表更新模块还用于执行下述操作:
基于所述第一数据记录列表筛选所述第二数据记录列表,得到备选记录列表,所述备选记录列表中的第二账户标识被所述第一数据记录列表中的记录命中;
按照业务关联主体、业务关联账户和业务模式对所述备选记录列表中的记录分组,得到多个分组结果;
在每一分组结果中确定一个记录,形成所述目标第二数据记录列表。
另一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现上述的数据记录批处理方法。
另一方面,本申请实施例提供了一种电子设备,包括至少一个处理器,以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现上述的数据记录批处理方法。
本申请实施例提供了数据记录批处理方法、装置、存储介质及电子设备。本申请实施例提出通过批处理的方式进行数据记录的更新,从而节省人力成本,实现数据更新全程自动化,避免出现疏漏。并且进一步地,公开了具体地批处理更新方法,可以根据用户的主动更新自动对业务配置数据进行联动更新。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案和优点,下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种数据记录批处理方法的流程示意图;
图2是本申请实施例提供的业务模式配置管理表的更新方法的流程示意图;
图3是本申请实施例提供的得到目标第二数据记录列表的流程图;
图4是本申请实施例提供的更新上述业务模式配置管理表的流程图;
图5是本申请实施例提供的数据记录批处理装置的框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请实施例一部分实施例,而不是全部的实施例。基于本申请实施例中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请实施例保护的范围。
需要说明的是,本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请实施例的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了使本申请实施例公开的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请实施例进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请实施例,并不用于限定本申请实施例。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
以下介绍本申请实施例的一种数据记录批处理方法,该数据记录批处理方法可以应用于上述应用环境。图1示出了本申请实施例提供的一种数据记录批处理方法的流程示意图,本申请实施例提供了如实施例或流程图上述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的***或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境),上述方法可以包括:
S101.确定批处理对应的时间搜索条件。
本申请实施例中时间搜索条件根据批处理的启动频率确定。具体地,可以确定上述批处理的启动时间间隔;根据上述时间间隔确定上述时间搜索条件。示例性的,若批处理每天启动一次,则时间间隔为一天,则上述时间搜索条件可以确定为一天,也就是说,只关注一天内的相关的数据变化。
S102.根据上述时间搜索条件,确定第一数据记录列表,上述第一数据记录列表由满足上述时间搜索条件的,用于记录第一账户与业务相关属性信息的第一数据记录构成。
本申请实施例中第一数据记录列表是根据该时间搜索条件对第一记录表进行搜索得到的,本申请并不对第一记录表进行限定,其是用于记录第一账户与业务相关属性信息的表结构。本申请并不对第一账户进行限定,其可以对应于参与业务的某个角色,示例性的,其可以是具备参与业务的资格的会员用户。
本申请实施例中第一记录表至少包括下述字段:第一账户标识、业务关联主体、业务关联账户、第二账户标识、创建时间和更新时间。其中,业务关联主体和业务关联账户是与第一账户产生业务交互的相关主体,示例性的,以招聘场景为例,第一账户可以为应聘者,而业务关联主体可以是企业方,业务关联账户可以为劳务方。第二账户用于对与业务相关的订单进行管理,也就是说,第二账户标识可以被理解为一种订单标识。在一些场景中,可以根据第一账户的主动操作产生新的记录,该新的记录的产生时间体现在创建时间字段上,在另一些场景中,可以根据第一账户的主动操作更新已有的记录,这一更新体现在更新时间字段上。
进一步地,根据上述时间搜索条件查询上述第一记录表,得到第一数据记录列表,上述第一数据记录列表中每一记录的创建时间或更新时间符合上述时间搜索条件。示例性的,以时间搜索条件为“一天”为例,第一记录表中创建时间或更新时间在最近一天内的记录可以被筛选出来,形成第一数据记录表。
S103.根据上述时间搜索条件,确定第二数据记录列表,上述第二数据记录列表由满足上述时间搜索条件的、用于记录业务模式信息的第二数据记录构成。
本申请实施例中第二数据记录列表是根据该时间搜索条件对第二记录表进行搜索得到的,本申请并不对第二记录表进行限定,其是用于记录业务模式信息的表结构。
本申请实施例中第二记录表至少包括下述字段:业务关联主体、业务关联账户、第二账户标识、业务模式、时间区间。本申请实施例并不对业务模式进行限定,其可以为各种业务模式,比如业务结算模式、业务运营模式等。时间区间用于限定上述业务模式的有效时间,从而可以使得本申请提供的方法可以适用于对限时业务模式的相关配置的自动更新之中。
进一步地,根据上述时间搜索条件查询上述第二记录表,得到第二数据记录列表,上述第二数据记录列表中每一记录的时间区间符合上述时间搜索条件。
S104.获取业务模式配置管理表。
本申请实施例中业务模式配置管理可以被理解为被动更新的对象,上述业务模式配置管理表至少包括下述字段:业务关联主体、业务关联账户、业务模式和业务配置资源。也就是说,根据业务关联主体、业务关联账户、业务模式,应当确定其对应的业务配置资源,通过本申请实施例中的方法,可以自动确定目标三元组,即“业务关联主体、业务关联账户、业务模式”,对该目标三元组自动确定其对应的业务配置资源,并据此更新业务模式配置管理表,从而实现业务模式配置管理表的自动被动更新,既可以保持其与被主动更新的相关数据之间的一致性,又可以自动执行,不再需要依赖于人工,提升更新效率,降低出错概率。
S105.根据上述第一数据记录列表和上述第二数据记录列表,更新上述业务模式配置管理表。
请参考图2,其使出了业务模式配置管理表的更新方法示意图,上述根据上述第一数据记录列表和上述第二数据记录列表,更新上述业务模式配置管理表,包括:
S1051.基于上述第一数据记录列表筛选上述第二数据记录列表,得到目标第二数据记录列表。
在一个实施例中,请参考图3,上述基于上述第一数据记录列表筛选上述第二数据记录列表,得到目标第二数据记录列表,包括:
S10511.基于上述第一数据记录列表筛选上述第二数据记录列表,得到备选记录列表,上述备选记录列表中的第二账户标识被上述第一数据记录列表中的记录命中。
第一数据记录列表和第二数据记录列表中的每个记录都包含第二账户标识这一字段。对于第一数据记录列表中的第一记录,若上述记录的第二账户标识被记载在第一数据记录列表中的某个第一记录中,则本实施例认为该第二记录标识被该第一数据记录列表命中,该第二记录可以参与构成备选记录列表。若上述记录的第二账户标识未被记载在第一数据记录列表中的任一第一记录中,本实施例认为该第二记录标识未被该第一数据记录列表命中,不能参与构成备选记录列表。
S10512.按照业务关联主体、业务关联账户和业务模式对上述备选记录列表中的记录分组,得到多个分组结果。
S10513.在每一分组结果中确定一个记录,形成上述目标第二数据记录列表。
步骤S10512至S10513是通过分组去重来得到有效的数据,该数据即为目标第二数据记录列表。
S1052.根据业务关联主体、业务关联账户和业务模式,确定字段抽取条件。
S1053.基于上述字段抽取条件对上述目标第二数据记录列表进行字段抽取,生成第三数据记录列表。
对目标第二数据记录列表的每个记录,只抽取业务关联主体、业务关联账户和业务模式这三个字段,得到第三数据记录列表。可以认为,该第三数据记录列表中的每个记录都形成了一个上述的目标三元组。
S1054.基于上述第三数据记录列表更新上述业务模式配置管理表。
在一个实施例中,请参考图4,上述基于上述第三数据记录列表更新上述业务模式配置管理表,包括:
S10541.基于上述业务模式配置管理表确定目标第三数据记录列表,上述目标第三数据记录列表中的记录并未被上述业务模式配置管理表命中,并且被上述第三数据记录列表命中。
具体地,对于第三数据记录列表中的每个目标三元组,若业务模式配置管理表中的某个记录中包括该目标三元组,则本实施例认为该目标三元组被该业务模式配置管理表命中,这说明该目标三元组不需要更新对应的业务配置资源,若业务模式配置管理表中的任一记录均不包含该目标三元组,则本实施例认为该目标三元组未被该业务模式配置管理表命中,说明该目标三元组需要在业务配置模式配置表中配置其对应的业务配置资源,则该目标三元组被用于形成目标第三数据记录列表。
S10542.针对上述目标第三数据记录列表中的每个记录,确定对应的业务配置资源。
S10543.根据上述业务配置资源生成对应的业务模式配置记录。
S10544.将上述业务模式配置记录添加至上述业务模式配置管理表。
本申请并不限定业务配置资源的确定方法,具体地,其可以根据预设规则,以目标三元组为参数直接生成,也可以由人工确定。
本申请实施例提出通过批处理的方式进行数据记录的更新,从而节省人力成本,实现数据更新全程自动化,避免出现疏漏。并且进一步地,公开了具体地批处理更新方法,可以根据用户的主动更新自动对业务配置数据进行联动更新。
本申请实施例还公开了本申请实施例提供一种数据记录批处理装置,如图5所示,上述装置包括:
时间搜索条件确定模块101,用于确定批处理对应的时间搜索条件。
第一数据记录搜索模块102,用于根据上述时间搜索条件,确定第一数据记录列表,上述第一数据记录列表由满足上述时间搜索条件的,用于记录第一账户与业务相关属性信息的第一数据记录构成。
第二数据记录搜索模块103,用于根据上述时间搜索条件,确定第二数据记录列表,上述第二数据记录列表由满足上述时间搜索条件的、用于记录业务模式信息的第二数据记录构成。
业务模式配置管理表获取模块104,用于获取业务模式配置管理表。
业务模式配置管理表更新模块105,用于根据上述第一数据记录列表和上述第二数据记录列表,更新上述业务模式配置管理表。
在一个实施例中,上述时间搜索条件确定模块,用于确定上述批处理的启动时间间隔;根据上述时间间隔确定上述时间搜索条件。
在一个实施例中,上述第一数据记录搜索模块,用于获取第一记录表,上述第一记录表至少包括下述字段:第一账户标识、业务关联主体、业务关联账户、第二账户标识、创建时间和更新时间;根据上述时间搜索条件查询上述第一记录表,得到第一数据记录列表,上述第一数据记录列表中每一记录的创建时间或更新时间符合上述时间搜索条件。
在一个实施例中,上述第二数据记录搜索模块,用于获取第二记录表,上述第二记录表至少包括下述字段:业务关联主体、业务关联账户、第二账户标识、业务模式、时间区间;根据上述时间搜索条件查询上述第二记录表,得到第二数据记录列表,上述第二数据记录列表中每一记录的时间区间符合上述时间搜索条件。
在一个实施例中,上述业务模式配置管理表更新模块用于执行下述操作:
基于上述第一数据记录列表筛选上述第二数据记录列表,得到目标第二数据记录列表;
根据业务关联主体、业务关联账户和业务模式,确定字段抽取条件;
基于上述字段抽取条件对上述目标第二数据记录列表进行字段抽取,生成第三数据记录列表;
基于上述第三数据记录列表更新上述业务模式配置管理表。
在一个实施例中,上述业务模式配置管理表至少包括下述字段:业务关联主体、业务关联账户、业务模式和业务配置资源,上述业务模式配置管理表更新模块还用于执行下述操作:
基于上述业务模式配置管理表确定目标第三数据记录列表,上述目标第三数据记录列表中的记录并未被上述业务模式配置管理表命中,并且被上述第三数据记录列表命中;
针对上述目标第三数据记录列表中的每个记录,确定对应的业务配置资源;
根据上述业务配置资源生成对应的业务模式配置记录;
将上述业务模式配置记录添加至上述业务模式配置管理表。
在一个实施例中,上述业务模式配置管理表更新模块还用于执行下述操作:
基于上述第一数据记录列表筛选上述第二数据记录列表,得到备选记录列表,上述备选记录列表中的第二账户标识被上述第一数据记录列表中的记录命中;
按照业务关联主体、业务关联账户和业务模式对上述备选记录列表中的记录分组,得到多个分组结果;
在每一分组结果中确定一个记录,形成上述目标第二数据记录列表。
具体地,本申请实施例公开一种数据记录批处理装置与上述对应的方法实施例均基于相同发明构思。详情请参见方法实施例,在此不再赘述。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述数据记录批处理方法。
本申请实施例还提供了一种计算机可读存储介质,上述计算机可读存储介质可以存储有多条指令。上述指令可以适于由处理器加载并执行本申请实施例上述的数据记录批处理方法。
本申请实施例提供了一种电子设备,包括至少一个处理器,以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现上述的复数据记录批处理方法。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本申请实施例特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本申请实施例中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,上述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上上述仅为本申请实施例的较佳实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请实施例的保护范围之内。
Claims (7)
1.一种数据记录批处理方法,其特征在于,所述方法包括:
确定批处理对应的时间搜索条件;
根据所述时间搜索条件,确定第一数据记录列表,所述第一数据记录列表由满足所述时间搜索条件的、用于记录第一账户与业务相关属性信息的第一数据记录构成;所述确定第一数据记录列表包括:获取第一记录表,所述第一记录表至少包括下述字段:第一账户标识、业务关联主体、业务关联账户、第二账户标识、创建时间和更新时间;根据所述时间搜索条件查询所述第一记录表,得到第一数据记录列表,所述第一数据记录列表中每一记录的创建时间或更新时间符合所述时间搜索条件;
根据所述时间搜索条件,确定第二数据记录列表,所述第二数据记录列表由满足所述时间搜索条件的、用于记录业务模式信息的第二数据记录构成;所述确定第二数据记录列表包括:获取第二记录表,所述第二记录表至少包括下述字段:业务关联主体、业务关联账户、第二账户标识、业务模式、时间区间;根据所述时间搜索条件查询所述第二记录表,得到第二数据记录列表,所述第二数据记录列表中每一记录的时间区间符合所述时间搜索条件;
获取业务模式配置管理表;
根据所述第一数据记录列表和所述第二数据记录列表,更新所述业务模式配置管理表;所述更新所述业务模式配置管理表包括:基于所述第一数据记录列表筛选所述第二数据记录列表,得到目标第二数据记录列表;根据业务关联主体、业务关联账户和业务模式,确定字段抽取条件;基于所述字段抽取条件对所述目标第二数据记录列表进行字段抽取,生成第三数据记录列表;基于所述第三数据记录列表更新所述业务模式配置管理表。
2.根据权利要求1所述的方法,其特征在于,所述确定批处理对应的时间搜索条件,包括:
确定所述批处理的启动时间间隔;
根据所述时间间隔确定所述时间搜索条件。
3.根据权利要求1所述的方法,其特征在于,所述业务模式配置管理表至少包括下述字段:业务关联主体、业务关联账户、业务模式和业务配置资源,所述基于所述第三数据记录列表更新所述业务模式配置管理表,包括:
基于所述业务模式配置管理表确定目标第三数据记录列表,所述目标第三数据记录列表中的记录并未被所述业务模式配置管理表命中,并且被所述第三数据记录列表命中;
针对所述目标第三数据记录列表中的每个记录,确定对应的业务配置资源;
根据所述业务配置资源生成对应的业务模式配置记录;
将所述业务模式配置记录添加至所述业务模式配置管理表。
4.根据权利要求2或3所述的方法,其特征在于,所述基于所述第一数据记录列表筛选所述第二数据记录列表,得到目标第二数据记录列表,包括:
基于所述第一数据记录列表筛选所述第二数据记录列表,得到备选记录列表,所述备选记录列表中的第二账户标识被所述第一数据记录列表中的记录命中;
按照业务关联主体、业务关联账户和业务模式对所述备选记录列表中的记录分组,得到多个分组结果;
在每一分组结果中确定一个记录,形成所述目标第二数据记录列表。
5.一种数据记录批处理装置,其特征在于,所述装置包括:
时间搜索条件确定模块,用于确定批处理对应的时间搜索条件;
第一数据记录搜索模块,用于根据所述时间搜索条件,确定第一数据记录列表,所述第一数据记录列表由满足所述时间搜索条件的,用于记录第一账户与业务相关属性信息的第一数据记录构成;所述确定第一数据记录列表包括:获取第一记录表,所述第一记录表至少包括下述字段:第一账户标识、业务关联主体、业务关联账户、第二账户标识、创建时间和更新时间;根据所述时间搜索条件查询所述第一记录表,得到第一数据记录列表,所述第一数据记录列表中每一记录的创建时间或更新时间符合所述时间搜索条件;
第二数据记录搜索模块,用于根据所述时间搜索条件,确定第二数据记录列表,所述第二数据记录列表由满足所述时间搜索条件的、用于记录业务模式信息的第二数据记录构成;所述确定第二数据记录列表包括:获取第二记录表,所述第二记录表至少包括下述字段:业务关联主体、业务关联账户、第二账户标识、业务模式、时间区间;根据所述时间搜索条件查询所述第二记录表,得到第二数据记录列表,所述第二数据记录列表中每一记录的时间区间符合所述时间搜索条件;
业务模式配置管理表获取模块,用于获取业务模式配置管理表;
业务模式配置管理表更新模块,用于根据所述第一数据记录列表和所述第二数据记录列表,更新所述业务模式配置管理表;所述更新所述业务模式配置管理表包括:基于所述第一数据记录列表筛选所述第二数据记录列表,得到目标第二数据记录列表;根据业务关联主体、业务关联账户和业务模式,确定字段抽取条件;基于所述字段抽取条件对所述目标第二数据记录列表进行字段抽取,生成第三数据记录列表;基于所述第三数据记录列表更新所述业务模式配置管理表。
6.一种电子设备,其特征在于,包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至4中任意一项所述的数据记录批处理方法。
7.一种计算机可读存储介质,所述存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或所述至少一段程序由处理器加载并执行以实现权利要求1至4中任意一项所述的数据记录批处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110765426.6A CN113486035B (zh) | 2021-07-07 | 2021-07-07 | 数据记录批处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110765426.6A CN113486035B (zh) | 2021-07-07 | 2021-07-07 | 数据记录批处理方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113486035A CN113486035A (zh) | 2021-10-08 |
CN113486035B true CN113486035B (zh) | 2024-05-07 |
Family
ID=77941535
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110765426.6A Active CN113486035B (zh) | 2021-07-07 | 2021-07-07 | 数据记录批处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113486035B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111125176A (zh) * | 2019-12-20 | 2020-05-08 | 北京百度网讯科技有限公司 | 一种业务数据搜索方法、装置、电子设备和存储介质 |
CN112148711A (zh) * | 2020-09-21 | 2020-12-29 | 建信金融科技有限责任公司 | 一种批处理任务的处理方法和装置 |
CN112182093A (zh) * | 2020-10-23 | 2021-01-05 | 腾讯科技(深圳)有限公司 | 数据存储方法、装置、设备及计算机可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004005862A (ja) * | 2002-06-03 | 2004-01-08 | Pioneer Electronic Corp | 情報記録再生装置、情報記録再生装置におけるリスト作成方法および、リスト作成処理プログラム |
US20090187551A1 (en) * | 2008-01-17 | 2009-07-23 | Oracle International Corporation | Search results when searching for records of a business object |
JP4741689B2 (ja) * | 2009-03-11 | 2011-08-03 | 株式会社日立製作所 | データ処理方法、データ処理装置およびデータ処理プログラム |
US11074273B2 (en) * | 2014-03-07 | 2021-07-27 | International Business Machines Corporation | Framework for continuous processing of a set of documents by multiple software applications |
US20200125660A1 (en) * | 2018-10-19 | 2020-04-23 | Ca, Inc. | Quick identification and retrieval of changed data rows in a data table of a database |
-
2021
- 2021-07-07 CN CN202110765426.6A patent/CN113486035B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111125176A (zh) * | 2019-12-20 | 2020-05-08 | 北京百度网讯科技有限公司 | 一种业务数据搜索方法、装置、电子设备和存储介质 |
CN112148711A (zh) * | 2020-09-21 | 2020-12-29 | 建信金融科技有限责任公司 | 一种批处理任务的处理方法和装置 |
CN112182093A (zh) * | 2020-10-23 | 2021-01-05 | 腾讯科技(深圳)有限公司 | 数据存储方法、装置、设备及计算机可读存储介质 |
Non-Patent Citations (2)
Title |
---|
Oracle数据库全库自动搜索方法研究;徐国天;;信息网络安全(05);第12-14页 * |
云计算架构在银行批处理流程优化中的应用研究;赵曦;《软件导刊》;20131025;第1-4页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113486035A (zh) | 2021-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108427684B (zh) | 数据查询方法、装置及计算设备 | |
CN113760476B (zh) | 任务依赖处理方法及相关装置 | |
CN109165175B (zh) | 设备标识生成方法和装置 | |
CN117238433B (zh) | 基于LibreOffice进行文档数据自动隔离的方法 | |
CN114661736B (zh) | 电子地图更新方法、装置、电子设备、存储介质及产品 | |
CN112491609A (zh) | 基于业务服务的***应用架构发现方法及*** | |
CN113486035B (zh) | 数据记录批处理方法、装置、存储介质及电子设备 | |
US20140006348A1 (en) | Opportunistic clearing of sync states associated with a database | |
CN111737369B (zh) | 一种关系图谱的更新方法、装置及存储介质 | |
CN113761052A (zh) | 数据库同步方法和装置 | |
CN115914387A (zh) | 资源共享及数据查询的方法、装置和服务器 | |
CN107422991B (zh) | 一种存储策略管理*** | |
CN115687276A (zh) | 一种文件处理方法、装置、电子设备及存储介质 | |
CN113435948B (zh) | 一种电商平台数据监测方法及*** | |
CN114625515A (zh) | 一种任务管理方法、装置、设备及存储介质 | |
CN109032641A (zh) | 应用版本更新方法及装置 | |
CN113312412A (zh) | 一种统计数据的获取方法、装置、电子设备及存储介质 | |
US20180357119A1 (en) | File information collection system and method, and storage medium | |
CN110532453B (zh) | 一种调整爬虫更新频率的方法、存储介质及爬虫服务器 | |
EP4113313A1 (en) | Control method, information processing device, and control program | |
CN112417259B (zh) | 媒体资源的处理方法、装置、设备及存储介质 | |
CN114385621A (zh) | 一种加锁方法、装置、设备及介质 | |
CN112732669B (zh) | 一种数据处理方法和装置 | |
CN113505981A (zh) | 扁平式业务场景中业务资源确定方法、装置及存储介质 | |
CN112597191B (zh) | 数据处理方法、装置、电子设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |