CN112416957A - 基于数据模型层的数据增量更新方法、装置及计算机设备 - Google Patents

基于数据模型层的数据增量更新方法、装置及计算机设备 Download PDF

Info

Publication number
CN112416957A
CN112416957A CN202011314534.3A CN202011314534A CN112416957A CN 112416957 A CN112416957 A CN 112416957A CN 202011314534 A CN202011314534 A CN 202011314534A CN 112416957 A CN112416957 A CN 112416957A
Authority
CN
China
Prior art keywords
data
attribute
model layer
data model
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011314534.3A
Other languages
English (en)
Other versions
CN112416957B (zh
Inventor
黄帅
陈彧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hode Information Technology Co Ltd
Original Assignee
Shanghai Hode Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hode Information Technology Co Ltd filed Critical Shanghai Hode Information Technology Co Ltd
Priority to CN202011314534.3A priority Critical patent/CN112416957B/zh
Publication of CN112416957A publication Critical patent/CN112416957A/zh
Application granted granted Critical
Publication of CN112416957B publication Critical patent/CN112416957B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • G06F8/658Incremental updates; Differential updates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于数据模型层的数据增量更新方法、装置及计算机设备,该方法包括:根据预设的结构体格式识别出数据模型层中的每一个结构体以及对应的属性和属性初始值;当监测到所述数据模型层执行了数据操作时,查找出所述数据模型层中属性初始值发生变更的所有结构体作为变更结构体集合;根据所述变更结构体集合中的每一个结构体以及对应的属性和属性变更值作为所述数据操作对应的操作切片;根据所述操作切片对数据库执行数据增量更新。本申请还提供一种计算机可读存储介质。本申请能够通过数据模型层的数据操作进行监测并生成操作切片,并根据操作切片对数据库进行数据更新,从而实现对数据库执行数据增量更新。

Description

基于数据模型层的数据增量更新方法、装置及计算机设备
技术领域
本申请涉及互联网技术领域,尤其涉及一种基于数据模型层的数据增量更新方法、装置及计算机设备。
背景技术
随着计算机技术的发展,很多高效、实用的编程语言应运而被开发出来,比如,Python语言,Go语言(也称Golang语言)等。对于不同的编程语言,需要构建对应的数据模型层用于支持关系型数据库或非关系型数据库,比如MySQL数据库或Redis数据库的数据存储、数据操作以及数据约束。数据模型层,通常也叫Data Model,或者数据模型层,可以认为是用户端的应用数据与数据库的持久化数据之间的交换媒介。其中,用户端对数据库中的目标数据进行数据操作时,数据库先将目标数据备份到数据模型层;然后数据模型层根据用户的数据操作指令对备份的目标数据执行对应的数据操作,得到变更后的目标数据;最后,数据模型层将变更后的目标数据存储到数据库中替换原有的目标数据。
然而,现有的一些编程语言,比如Go语言,其对应的数据模型层的执行逻辑需要手动管理和更新,因此,并不支持对于数据更新的自动化处理。虽然也有第三方提供的ORM(Object Relational Mapping,对象关系映射)工具,能够将程序中的对象自动持久化到数据库中,但其执行效率并不高,而且不能提供数据增量更新的功能。
发明内容
本申请提出一种基于数据模型层的数据增量更新方法、装置及计算机设备,能够解决现有技术中部分编程语言对应的数据模型层写入数据库时不支持数据增量更新的问题。
首先,为实现上述目的,本申请提供一种基于数据模型层的数据增量更新方法,所述方法包括:
根据预设的结构体格式识别出数据模型层中的每一个结构体以及对应的属性和属性初始值;监测所述数据模型层是否执行了数据操作;当监测到所述数据模型层执行了数据操作时,查找出所述数据模型层中属性初始值发生变更的所有结构体作为变更结构体集合,所述变更结构体集合包括至少一个结构体;根据所述变更结构体集合中的每一个结构体以及对应的属性和属性变更值作为所述数据操作对应的操作切片;根据所述操作切片对数据库执行数据增量更新。
在一个例子中,所述结构体格式中包括结构体标签和属性名称,所述根据预设的结构体格式识别出数据模型层中的每一个结构体以及对应的属性和属性初始值包括:根据目标类型结构体格式中的结构体标签对应的字符串特征与所述数据模型层中数据进行比对,查找出包括所述字符串特征的结构体作为所述目标类型结构体格式对应的结构体,所述目标类型结构体格式为所有结构体格式中的任一类型结构体格式;根据每一类型的结构体的属性名称对应的字段特征分别查找出对应结构体类型的所有结构体的属性,并获取属性对应的属性初始值。
在一个例子中,所述结构体的类型包括记录型结构体,表型结构体和普通型结构体。
在一个例子中,所述监测所述数据模型层是否执行了数据操作包括:监测所述数据模型层是否触发调用了任一类型结构体的数据操作函数;当所述数据模型层是否触发调用了任一类型结构体的数据操作函数时,进一步监测所述数据操作函数是否执行成功;当所述数据操作函数执行成功时,则判断所述数据模型层执行了数据操作。
在一个例子中,所述查找出所述数据模型层中属性初始值发生变更的所有结构体作为变更结构体集合包括:当所述数据模型层执行了数据操作时,查找出所述数据操作相关的每一个目标结构体以及每一个所述目标结构体对应的属性的当前属性值;分别比较每一个所述目标结构体对应的属性的当前属性值和属性初始值是否相同;当所述目标结构体对应的属性的所述当前属性值与所述属性初始值不相同时,则将所述目标结构体记录为变更结构体,将所述目标结构体对应的属性的所述当前属性值记录为属性变更值。
在一个例子中,所述当所述数据模型层执行了数据操作时,查找出所述数据操作相关的每一个目标结构体以及每一个所述目标结构体对应的属性的当前属性值包括:在所述数据模型层中预先建立管理型结构体;当所述数据模型层执行了数据操作时,触发所述管理型结构体执行所述查找出所述数据操作相关的每一个目标结构体以及每一个所述目标结构体对应的属性的当前属性值的步骤。
在一个例子中,所述根据所述操作切片对数据库执行数据增量更新包括:从所述操作切片中获取第一结构体的第一结构体标签,其中,所述第一结构体为所述操作切片中的所有结构体中的任一结构体;从所述数据库中拉取包括所述第一结构体标签的第二结构体;将所述第一结构体中的所有属性的属性变更至替换写入到所述数据库中所述第二结构体的对应属性中。
在一个例子中,所述将所述第一结构体中的所有属性的属性变更至替换写入到所述数据库中所述第二结构体的对应属性中包括:查找出所述第一结构体标签对应的变更函数或数据库操作函数;通过所述变更函数或数据库操作函数将所述第一结构体中的目标属性的属性变更值写入到所述第二结构体的所述目标属性替换掉所述目标属性的属性值,其中,所述目标属性为所述第一结构体的任一属性。
在一个例子中,当所述第一结构体中的目标属性的属性变更值为非内置数据类型时,从预设的描述函数集中查找出所述第一结构体对应的目标描述函数,其中,所述描述函数集预先设置在所述数据模型层;通过所述目标描述函数对所述目标属性的属性变更值进行序列化,得到所述目标属性的属性变更表征值;通过所述变更函数或数据库操作函数将所述第一结构体中的目标属性的属性变更表征值写入到所述第二结构体的所述目标属性替换掉所述目标属性的属性表征值。
此外,为实现上述目的,本申请还提供一种基于数据模型层的数据增量更新装置,所述装置包括:
识别模块,用于根据预设的结构体格式识别出数据模型层中的每一个结构体以及对应的属性和属性初始值;监测模块,用于监测所述数据模型层是否执行了数据操作;查找模块,用于当监测到所述数据模型层执行了数据操作时,查找出所述数据模型层中属性初始值发生变更的所有结构体作为变更结构体集合,所述变更结构体集合包括至少一个结构体;生成模块,用于根据所述变更结构体集合中的每一个结构体以及对应的属性和属性变更值作为所述数据操作对应的操作切片;更新模块,用于根据所述操作切片对数据库执行数据增量更新。
进一步地,本申请还提出一种计算机设备,所述计算机设备包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上述的基于数据模型层的数据增量更新方法的步骤。
进一步地,为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序可被至少一个处理器执行,以使所述至少一个处理器执行如上述的基于数据模型层的数据增量更新方法的步骤。
相较于现有技术,本申请所提出的基于数据模型层的数据增量更新方法、装置、计算机设备及计算机可读存储介质,能够根据预设的结构体格式识别出数据模型层中的每一个结构体以及对应的属性和属性初始值;当监测到所述数据模型层执行了数据操作时,查找出所述数据模型层中属性初始值发生变更的所有结构体作为变更结构体集合,所述变更结构体集合包括至少一个结构体;根据所述变更结构体集合中的每一个结构体以及对应的属性和属性变更值作为所述数据操作对应的操作切片;根据所述操作切片对数据库执行数据增量更新。通过对数据模型层的各个结构体进行监测,然后在数据模型层执行数据操作后获取对应的变更结构体以及对应的属性和属性变更值生成操作切片以实现对数据库执行数据增量更新,从而实现了数据模型层对接数据库时支持数据增量更新的功能。
附图说明
图1是本申请一实施例的应用环境示意图;
图2是本申请基于数据模型层的数据增量更新方法一具体实施例的流程示意图;
图3是本申请一示例性例子的对于Go语言的数据模型层的环境预设置的流程效果图;
图4是本申请基于数据模型层的数据增量更新装置一实施例的程序模块示意图;
图5是本申请计算机设备一可选的硬件架构的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,在本申请中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本申请要求的保护范围之内。
图1是本申请一实施例的应用环境示意图。参阅图1所示,所述计算机设备1与用户端连接,并连接到数据库。在本实施例中,所述计算机设备1可作为手机、平板、便携设备、PC机或者服务器等;所述数据库则可以是具有数据存储功能的硬件设备,所述数据库提供数据输入/输出接口;所述计算机设备1上运行有对接所述数据库的数据模型层,也就是数据模型层;所述用户端则可以通过所述计算机设备1上的数据模型层与所述数据库执行数据交互,其中,所述用户端可作为手机、平板、便携设备或者PC机等。所述计算机设备1能够根据预设的结构体格式识别出数据模型层中的每一个结构体以及对应的属性和属性初始值;所述用户端对所述数据库中数据执行操作时,需要向所述数据模型层发送数据操作请求,然后所述数据模型层根据所述数据操作请求执行了对应的数据操作;当所述计算机设备1监测到所述数据模型层执行了数据操作时,查找出所述数据模型层中属性初始值发生变更的所有结构体作为变更结构体集合,所述变更结构体集合包括至少一个结构体;再根据所述变更结构体集合中的每一个结构体以及对应的属性和属性变更值作为所述数据操作对应的操作切片;最后,所述计算机设备1根据所述操作切片对所述数据库执行数据增量更新。
当然,在其他实施例中,所述计算机设备1与所述数据库合并为同一个电子设备,或者所述计算机设备1也可以作为独立的功能模块附加在所述数据库上以实现基于数据模型层的数据增量更新功能。
实施例一
图2是本申请基于数据模型层的数据增量更新方法一实施例的流程示意图。可以理解,本方法实施例中的流程图不用于对执行步骤的顺序进行限定。下面以计算机设备1为执行主体进行示例性描述。
如图2所示,所述基于数据模型层的数据增量更新方法可以包括步骤S200~S208。
步骤S200,根据预设的结构体格式识别出数据模型层中的每一个结构体以及对应的属性和属性初始值。
具体的,所述计算机设备1预先设置了一个配置信息表,比如XML配置表。所述XML配置表可以是由用户通过所述计算机1设置的,也可以是由用户通过其他设备端发送至所述计算机设备1。在大多编程语言,比如Go语言中,数据通常被定义为结构体,而对数据的访问及操作则是表现为对结构体执行操作的函数。所述配置信息表包括描述所述数据模型层中的数据的定义信息,包括每一类型的结构体的结构体格式。
因此,所述计算机设备1能够根据所述配置信息表中的结构体格式对所述数据模型层中的所有数据进行识别,识别出其中的每一个结构体以及对应的属性和属性初始值。在本实施例中,所述结构体格式中包括结构体标签和属性名称,所述计算机设备1先根据目标类型结构体格式中的结构体标签对应的字符串特征与所述数据模型层中数据进行比对,查找出包括所述字符串特征的结构体作为所述目标类型结构体格式对应的结构体,所述目标类型结构体格式为所有结构体格式中的任一类型结构体格式;然后根据每一类型的结构体的属性名称对应的字段特征分别查找出对应结构体类型的所有结构体的属性,并获取属性对应的属性初始值,其中,所述字段特征为所述属性在结构体中的位置和/或字符格式。而所述结构体的类型包括记录型结构体,表型结构体和普通型结构体。
在本实施例中,每个类型的结构体并不是独立的,普通型结构体可以嵌套在记录型结构体中,也可以嵌套在表型结构体中;而记录型结构体也可以嵌套在表型结构体中。每一个结构体,都有一个结构体标签,也就是结构体的名称;每一个结构体,包括至少一个属性;结构体的属性,包括属性名称,以及属性值。当然,对于结构体的属性值,也可以分为不同的类型的属性值,比如内置类型(int,bool,float32,float64,string等)、指针类型、切片类型、Map类型。
例如,在编写程序的过程中,通常会使用structs标签表示一个结构体;然后,structs标签下可以包含多个struct子标签,每个struct标签对应一个子结构体。在每一个struct标签下,还可以定义多个field子标签,而每个field子标签对应struct结构体的一个属性;field子标签下则是定义具体的value,或者test变量,这里的value或test,就是field属性对应的属性值。
在本实施例中,所述计算机设备1预先设置的结构体中,除了表型结构体和记录型结构体,其余结构体称为普通结构体。普通型结构体可以单独使用、独立存在,也可以以多种形式(指针,切片、map等)内嵌于记录型结构体或者表型结构体中;而表型结构体,往往也会嵌入至少一个记录型结构体结构体。例如,当用户代码直接持有记录型结构体时,代表一种一对一的数据关系,例如一个玩家只对应一个玩家信息。当用户代码持有表型结构体时,其间接持有记录型结构体,代表一种一对多的数据关系,例如一个玩家对应多个道具。
步骤S202,监测所述数据模型层是否执行了数据操作。
步骤S204,当监测到所述数据模型层执行了数据操作时,查找出所述数据模型层中属性初始值发生变更的所有结构体作为变更结构体集合,所述变更结构体集合包括至少一个结构体。
具体的,所述计算机设备1在识别出数据模型层中的每一个结构体以及对应的属性和属性初始值之后,则会进一步监测所述数据模型层是否执行了数据操作。在本实施例中,用户端需要对数据库中的数据执行数据操作时,则会向所述数据模型层发送数据操作请求,然后所述数据模型层根据所述数据操作请求对目标数据执行数据操作。因此,所述计算机设备1可以监测所述数据模型层是否执行了数据操作。在一具体实施例中,所述计算机设备1监测所述数据模型层是否执行了数据操作包括:监测所述数据模型层是否触发调用了任一类型结构体的数据操作函数;当所述数据模型层是否触发调用了任一类型结构体的数据操作函数时,进一步监测所述数据操作函数是否执行成功;当所述数据操作函数执行成功时,则判断所述数据模型层执行了数据操作。
其中,由于所述数据模型层在执行对结构体的属性进行变更等数据操作时,都需要调用对应的数据操作函数。因此,所述计算机设备1可以监控到所述数据模型层是否调用了预设的任一类型结构体的数据操作函数,并在检查到所述数据模型层调用了某结构体的数据操作函数,且所述数据操作函数执行成功后,则判断出所述数据模型层执行了数据操作。
当监测到所述数据模型层执行了数据操作时,所述计算机设备1进一步查找出所述数据模型层中属性初始值发生变更的所有结构体作为变更结构体集合,具体包括:查找出所述数据操作相关的每一个目标结构体以及每一个所述目标结构体对应的当前属性值;分别比较每一个所述目标结构体对应的当前属性值和属性初始值是否相同;当所述目标结构体的所述当前属性值与所述属性初始值不相同时,则将所述目标结构体记录为变更结构体,将所述目标结构体的所述当前属性值记录为属性变更值。
在一具体实施例中,所述计算机设备1通过在所述数据模型层中预先建立管理型结构体;当所述数据模型层执行了数据操作时,触发所述管理型结构体执行所述查找出所述数据操作相关的每一个目标结构体以及每一个所述目标结构体对应的当前属性值,从而实现收集项目代码中调用数据模型层数据修改函数时产生的变更操作的数据的作用。
步骤S206,根据所述变更结构体集合中的每一个结构体以及对应的属性和属性变更值作为所述数据操作对应的操作切片。
步骤S208,根据所述操作切片对数据库执行数据增量更新。
具体的,所述计算机设备1查找出执行数据操作后所述数据模型层中属性初始值发生变更的所有结构体作为变更结构体集合,然后再将所述变更结构体集合中的所有的结构体以及对应的属性和属性变更值作为所述数据操作对应的操作切片。
例如,在Go语言对应的数据模型层中,所述计算机设备1预先建立ModelManage的结构体,也就是管理型结构体,其主要的作用是收集项目代码中调用数据模型层数据修改函数时产生的变更结构体以及对应属性的属性变更值。当变更结构体为表型结构体时,ModelManage能够记录数据操作中更新的Redis Hash表名、MySQL表名,更新的数据库字段与最新值以及该条记录对应的主键,并添加到ModelManage中的操作切片,这里的操作切片,可以认为是ModelManage中用于保存变更结构体以及对应的属性和属性值的字段。添加过程中会检查操作切片的最新获得的主键是否和本次操作相同,如果相同则将本次操作修改的数据库字段和最新值合并到前一次操作中(相同的数据库字段会覆盖为最新值),以减少对数据库的数据操作。在完成一次处理逻辑后(一个完整逻辑可能会修改多个数据模型层的多个属性)的记录过程后,ModelManage则会调用另一个PopModelOps函数将本批次的所有操作弹出(返回操作切片)。
值得注意的时,对于每一个普通型结构体进行数据操作之后,需要将所述普通型结构体所属的函数或母结构体的信息标记在所述普通型结构体对应的操作切片中,例如,将所述普通型结构体所属的函数或母结构体的信息以指针形式添加在所述普通型结构体对应的操作切片,从而可以精确无误地将所述普通型结构体的操作切片更新到数据库中对应的位置。
接着,所述计算机设备1根据所述操作切片对数据库执行数据增量更新。在本实施例中,所述计算机设备1先从所述操作切片中获取第一结构体的第一结构体标签,其中,所述第一结构体为所述操作切片中的所有结构体中的任一结构体;再从所述数据库中拉取包括所述第一结构体标签的第二结构体,将所述第一结构体中的所有属性的属性变更至替换写入到所述数据库中所述第二结构体的对应属性中。其中,所述计算机设备1将所述第一结构体中的所有属性的属性变更至替换写入到所述数据库中所述第二结构体的对应属性中包括:查找出所述第一结构体标签对应的变更函数或数据库操作函数;通过所述变更函数或数据库操作函数将所述第一结构体中的目标属性的属性变更值写入到所述第二结构体的所述目标属性替换掉所述目标属性的属性值,其中,所述目标属性为所述第一结构体的任一属性。在本实施例中,由于,每一个类型的结构体的格式并不一样,对于任一种类型的结构体,所述计算机设备1都预先设置有对应的变更函数或数据库操作函数,以用于快速、高效地将操作切片对应的数据更新到数据库中。
在另一实施例中,由于每一中编程语言都包括对应的内置型数据格式,因此,当所述计算机设备1判断所述第一结构体中的目标属性的属性变更值为非内置数据类型时,则会从预设的描述函数集中查找出所述第一结构体对应的目标描述函数,其中,所述描述函数集预先设置在所述数据模型层;然后通过所述目标描述函数对所述目标属性的属性变更值进行序列化,得到所述目标属性的属性变更表征值;通过所述变更函数或数据库操作函数将所述第一结构体中的目标属性的属性变更表征值写入到所述第二结构体的所述目标属性替换掉所述目标属性的属性表征值。
例如,对于Go语言来说,对于记录型结构体来说,表型结构体中的很多属性的属性值并非如int,bool,float32,float64,string等内置类型,因此,所述计算机设备1预先设置一个Protocol Buffers函数用于将记录型结构体中非内置类型的属性变更值序列化成一个属性变更表征值,以便于更新到数据库中。
另外,在本实施例中,所述数据模型层接收用户端的数据操作请求以及执行对应的数据操作的过程、所述计算机设备1将所述数据模型层执行数据操作后记录该次数据操作的操作切片的过程以及所述计算机设备1将所述操作切片更新到数据库的过程都是相互独立的。例如,对于Go语言的数据模型层来说,所述计算机1在所述数据模型层中建立的ModelManage除了可以收集项目代码中调用数据模型层数据修改函数时产生的变更结构体以及对应属性的属性变更值,生成操作切片;还会调用另一个PopModelOps函数将本批次的所有的操作切片弹出,然后异步调用ExecModelOps函数遍历所述操作切片中的所有的变更结构体以及对应属性的属性变更值,更新到MySQL或Redis数据库。
也就是说,所述计算机设备1在所述数据模型层执行数据操作后记录该次数据操作的操作切片的同时,异步执行将操作切片更新到数据库,因此,可以在线实现数据库的数据增量更新的功能。
参阅图3所示,是本申请一示例性例子的对于Go语言的数据模型层的环境预设置的流程效果图。
如图3所示,所述计算机设备1预先建立一个配置信息表,也就是XML配置文件,发送给基于Go语言的数据模型层;然后解析XML配置文件,获取其中预设的结构体格式,并根据所述结构体格式识别所述数据模型层中的普通型结构体、表型结构体和记录型结构体;接着,对识别出来的所有结构体封装成只读函数,从而避免无关人员的恶意篡改;接着,在根据每一个结构体的具体格式生成对应的变更函数;对于普通型结构体来说,所述变更函数用于后续将该结构体中对应的属性的属性变更值更新到数据库;对于表型结构体和记录型,还需要将所述变更函数生成对应的数据库操作函数,从而实现后续将表型结构体或记录型结构体对应的属性的属性变更值更新到数据库;其中,对于记录型结构体,当记录型结构体的属性的属性值为非内置型格式时,需要通过预设的Protocol Buffers函数对非内置类型属性的属性变更值进行序列化,得到属性变更表征值,然后才能通过数据数据库操作函数实现后续将记录型结构体属性变更表征值更新到数据库;所有的变更函数、数据库操作函数以及Protocol Buffers函数,均写入Go源文件,与数据模型层的源文件一起,形成所述数据模型层对应的package。
综上所述,本实施例所提出的基于数据模型层的数据增量更新方法能够根据预设的结构体格式识别出数据模型层中的每一个结构体以及对应的属性和属性初始值;当监测到所述数据模型层执行了数据操作时,查找出所述数据模型层中属性初始值发生变更的所有结构体作为变更结构体集合,所述变更结构体集合包括至少一个结构体;根据所述变更结构体集合中的每一个结构体以及对应的属性和属性变更值作为所述数据操作对应的操作切片;根据所述操作切片对数据库执行数据增量更新。通过对数据模型层的各个结构体进行监测,然后在数据模型层执行数据操作后获取对应的变更结构体以及对应的属性和属性变更值生成操作切片以实现对数据库执行数据增量更新,从而实现了数据模型层对接数据库时支持数据增量更新的功能。
实施例二
图4示意性示出了根据本申请实施例二的基于数据模型层的数据增量更新装置的框图,该基于数据模型层的数据增量更新装置可以被分割成一个或多个程序模块,一个或者多个程序模块被存储于存储介质中,并由一个或多个处理器所执行,以完成本申请实施例。本申请实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,以下描述将具体介绍本实施例中各程序模块的功能。
如图4所示,该基于数据模型层的数据增量更新装置400可以包括识别模块410、监测模块420、查找模块430、生成模块440和更新模块450,其中:
识别模块410,用于根据预设的结构体格式识别出数据模型层中的每一个结构体以及对应的属性和属性初始值。
监测模块420,用于监测所述数据模型层是否执行了数据操作。
查找模块430,用于当监测到所述数据模型层执行了数据操作时,查找出所述数据模型层中属性初始值发生变更的所有结构体作为变更结构体集合,所述变更结构体集合包括至少一个结构体。
生成模块440,用于根据所述变更结构体集合中的每一个结构体以及对应的属性和属性变更值作为所述数据操作对应的操作切片。
更新模块450,用于根据所述操作切片对数据库执行数据增量更新。
在示例性的实施例中,所述结构体格式中包括结构体标签和属性名称,识别模块410,还用于:根据目标类型结构体格式中的结构体标签对应的字符串特征与所述数据模型层中数据进行比对,查找出包括所述字符串特征的结构体作为所述目标类型结构体格式对应的结构体,所述目标类型结构体格式为所有结构体格式中的任一类型结构体格式;根据每一类型的结构体的属性名称对应的字段特征分别查找出对应结构体类型的所有结构体的属性,并获取属性对应的属性初始值,其中,所述字段特征为所述属性在结构体中的位置和/或字符格式。其中,所述结构体的类型包括记录型结构体,表型结构体和普通型结构体。
在示例性的实施例中,监测模块420,还用于:监测所述数据模型层是否触发调用了任一类型结构体的数据操作函数;当所述数据模型层是否触发调用了任一类型结构体的数据操作函数时,进一步监测所述数据操作函数是否执行成功;当所述数据操作函数执行成功时,则判断所述数据模型层执行了数据操作。
在示例性的实施例中,查找模块430,还用于:当所述数据模型层执行了数据操作时,查找出所述数据操作相关的每一个目标结构体以及每一个所述目标结构体对应的属性的当前属性值;分别比较每一个所述目标结构体对应的属性的当前属性值和属性初始值是否相同;当所述目标结构体对应的属性的所述当前属性值与所述属性初始值不相同时,则将所述目标结构体记录为变更结构体,将所述目标结构体对应的属性的所述当前属性值记录为属性变更值。其中,包括:在所述数据模型层中预先建立管理型结构体;当所述数据模型层执行了数据操作时,触发所述管理型结构体执行所述查找出所述数据操作相关的每一个目标结构体以及每一个所述目标结构体对应的属性的当前属性值的步骤。
在示例性的实施例中,更新模块450,还用于:从所述操作切片中获取第一结构体的第一结构体标签,其中,所述第一结构体为所述操作切片中的所有结构体中的任一结构体;从所述数据库中拉取包括所述第一结构体标签的第二结构体;将所述第一结构体中的所有属性的属性变更至替换写入到所述数据库中所述第二结构体的对应属性中。其中,包括:查找出所述第一结构体标签对应的变更函数或数据库操作函数;通过所述变更函数或数据库操作函数将所述第一结构体中的目标属性的属性变更值写入到所述第二结构体的所述目标属性替换掉所述目标属性的属性值,其中,所述目标属性为所述第一结构体的任一属性。以及,当所述第一结构体中的目标属性的属性变更值为非内置数据类型时,从预设的描述函数集中查找出所述第一结构体对应的目标描述函数,其中,所述描述函数集预先设置在所述数据模型层;通过所述目标描述函数对所述目标属性的属性变更值进行序列化,得到所述目标属性的属性变更表征值;通过所述变更函数或数据库操作函数将所述第一结构体中的目标属性的属性变更表征值写入到所述第二结构体的所述目标属性替换掉所述目标属性的属性表征值。
实施例三
图5示意性示出了根据本申请实施例三的适于实现基于数据模型层的数据增量更新方法的计算机设备1的硬件架构示意图。本实施例中,计算机设备1是一种能够按照事先设定或者存储的指令,自动进行数值计算和/或信息处理的设备。例如,可以是具有网关功能的机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。如图5所示,计算机设备1至少包括但不限于:可通过***总线相互通信链接存储器510、处理器520、网络接口530。其中:
存储器510至少包括一种类型的计算机可读存储介质,可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器510可以是计算机设备1的内部存储模块,例如该计算机设备1的硬盘或内存。在另一些实施例中,存储器510也可以是计算机设备1的外部存储设备,例如该计算机设备1上配备的插接式硬盘,智能存储卡(SmartMedia Card,简称为SMC),安全数字(Secure Digital,简称为SD)卡,闪存卡(Flash Card)等。当然,存储器510还可以既包括计算机设备1的内部存储模块也包括其外部存储设备。本实施例中,存储器510通常用于存储安装于计算机设备1的操作***和各类应用软件,例如基于数据模型层的数据增量更新方法的程序代码等。此外,存储器510还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器520在一些实施例中可以是中央处理器(Central Processing Unit,简称为CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器520通常用于控制计算机设备1的总体操作,例如执行与计算机设备1进行数据交互或者通信相关的控制和处理等。本实施例中,处理器520用于运行存储器510中存储的程序代码或者处理数据。
网络接口530可包括无线网络接口或有线网络接口,该网络接口530通常用于在计算机设备1与其他计算机设备之间建立通信链接。例如,网络接口530用于通过网络将计算机设备1与外部终端相连,在计算机设备1与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯***(GlobalSystem of Mobile communication,简称为GSM)、宽带码分多址(Wideband Code DivisionMultiple Access,简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
需要指出的是,图5仅示出了具有部件510-530的计算机设备,但是应理解的是,并不要求实施所有示出的部件,可以替代的实施更多或者更少的部件。
在本实施例中,存储于存储器510中的基于数据模型层的数据增量更新方法的程序代码还可以被分割为一个或者多个程序模块,并由一个或多个处理器(本实施例为处理器520)所执行,以完成本申请实施例。
实施例四
本实施例还提供一种计算机可读存储介质,计算机可读存储介质其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
根据预设的结构体格式识别出数据模型层中的每一个结构体以及对应的属性和属性初始值;监测所述数据模型层是否执行了数据操作;当监测到所述数据模型层执行了数据操作时,查找出所述数据模型层中属性初始值发生变更的所有结构体作为变更结构体集合,所述变更结构体集合包括至少一个结构体;根据所述变更结构体集合中的每一个结构体以及对应的属性和属性变更值作为所述数据操作对应的操作切片;根据所述操作切片对数据库执行数据增量更新。
本实施例中,计算机可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,计算机可读存储介质可以是计算机设备的内部存储单元,例如该计算机设备的硬盘或内存。在另一些实施例中,计算机可读存储介质也可以是计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,简称为SMC),安全数字(Secure Digital,简称为SD)卡,闪存卡(Flash Card)等。当然,计算机可读存储介质还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中,计算机可读存储介质通常用于存储安装于计算机设备的操作***和各类应用软件,例如实施例中基于数据模型层的数据增量更新方法的程序代码等。此外,计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的各类数据。
显然,本领域的技术人员应该明白,上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本申请实施例不限制于任何特定的硬件和软件结合。
以上仅为本申请实施例的优选实施例,并非因此限制本申请实施例的专利范围,凡是利用本申请实施例说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请实施例的专利保护范围内。

Claims (12)

1.一种基于数据模型层的数据增量更新方法,其特征在于,所述方法包括:
根据预设的结构体格式识别出数据模型层中的每一个结构体以及对应的属性和属性初始值;
监测所述数据模型层是否执行了数据操作;
当监测到所述数据模型层执行了数据操作时,查找出所述数据模型层中属性初始值发生变更的所有结构体作为变更结构体集合,所述变更结构体集合包括至少一个结构体;
根据所述变更结构体集合中的每一个结构体以及对应的属性和属性变更值作为所述数据操作对应的操作切片;
根据所述操作切片对数据库执行数据增量更新。
2.如权利要求1所述的基于数据模型层的数据增量更新方法,其特征在于,所述结构体格式中包括结构体标签和属性名称,所述根据预设的结构体格式识别出数据模型层中的每一个结构体以及对应的属性和属性初始值包括:
根据目标类型结构体格式中的结构体标签对应的字符串特征与所述数据模型层中数据进行比对,查找出包括所述字符串特征的结构体作为所述目标类型结构体格式对应的结构体,所述目标类型结构体格式为所有结构体格式中的任一类型结构体格式;
根据每一类型的结构体的属性名称对应的字段特征分别查找出对应结构体类型的所有结构体的属性,并获取属性对应的属性初始值。
3.如权利要求2所述的基于数据模型层的数据增量更新方法,其特征在于,所述结构体的类型包括记录型结构体,表型结构体和普通型结构体。
4.如权利要求1所述的基于数据模型层的数据增量更新方法,其特征在于,所述监测所述数据模型层是否执行了数据操作包括:
监测所述数据模型层是否触发调用了任一类型结构体的数据操作函数;
当所述数据模型层是否触发调用了任一类型结构体的数据操作函数时,进一步监测所述数据操作函数是否执行成功;
当所述数据操作函数执行成功时,则判断所述数据模型层执行了数据操作。
5.如权利要求1或4中任一项所述的基于数据模型层的数据增量更新方法,其特征在于,所述查找出所述数据模型层中属性初始值发生变更的所有结构体作为变更结构体集合包括:
当所述数据模型层执行了数据操作时,查找出所述数据操作相关的每一个目标结构体以及每一个所述目标结构体对应的属性的当前属性值;
分别比较每一个所述目标结构体对应的属性的当前属性值和属性初始值是否相同;
当所述目标结构体对应的属性的所述当前属性值与所述属性初始值不相同时,则将所述目标结构体记录为变更结构体,将所述目标结构体对应的属性的所述当前属性值记录为属性变更值。
6.如权利要求5所述的基于数据模型层的数据增量更新方法,其特征在于,所述当所述数据模型层执行了数据操作时,查找出所述数据操作相关的每一个目标结构体以及每一个所述目标结构体对应的属性的当前属性值包括:
在所述数据模型层中预先建立管理型结构体;
当所述数据模型层执行了数据操作时,触发所述管理型结构体执行所述查找出所述数据操作相关的每一个目标结构体以及每一个所述目标结构体对应的属性的当前属性值的步骤。
7.如权利要求1所述的基于数据模型层的数据增量更新方法,其特征在于,所述根据所述操作切片对数据库执行数据增量更新包括:
从所述操作切片中获取第一结构体的第一结构体标签,其中,所述第一结构体为所述操作切片中的所有结构体中的任一结构体;
从所述数据库中拉取包括所述第一结构体标签的第二结构体;
将所述第一结构体中的所有属性的属性变更至替换写入到所述数据库中所述第二结构体的对应属性中。
8.如权利要求7所述的基于数据模型层的数据增量更新方法,其特征在于,所述将所述第一结构体中的所有属性的属性变更至替换写入到所述数据库中所述第二结构体的对应属性中包括:
查找出所述第一结构体标签对应的变更函数或数据库操作函数;
通过所述变更函数或数据库操作函数将所述第一结构体中的目标属性的属性变更值写入到所述第二结构体的所述目标属性替换掉所述目标属性的属性值,其中,所述目标属性为所述第一结构体的任一属性。
9.如权利要求8所述的基于数据模型层的数据增量更新方法,其特征在于,当所述第一结构体中的目标属性的属性变更值为非内置数据类型时,
从预设的描述函数集中查找出所述第一结构体对应的目标描述函数,其中,所述描述函数集预先设置在所述数据模型层;
通过所述目标描述函数对所述目标属性的属性变更值进行序列化,得到所述目标属性的属性变更表征值;
通过所述变更函数或数据库操作函数将所述第一结构体中的目标属性的属性变更表征值写入到所述第二结构体的所述目标属性替换掉所述目标属性的属性表征值。
10.一种基于数据模型层的数据增量更新装置,其特征在于,所述装置包括:
识别模块,用于根据预设的结构体格式识别出数据模型层中的每一个结构体以及对应的属性和属性初始值;
监测模块,用于监测所述数据模型层是否执行了数据操作;
查找模块,用于当监测到所述数据模型层执行了数据操作时,查找出所述数据模型层中属性初始值发生变更的所有结构体作为变更结构体集合,所述变更结构体集合包括至少一个结构体;
生成模块,用于根据所述变更结构体集合中的每一个结构体以及对应的属性和属性变更值作为所述数据操作对应的操作切片;
更新模块,用于根据所述操作切片对数据库执行数据增量更新。
11.一种计算机设备,其特征在于,所述计算机设备包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1-9中的任一项所述的基于数据模型层的数据增量更新方法的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序可被至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-9中的任一项所述的基于数据模型层的数据增量更新方法的步骤。
CN202011314534.3A 2020-11-20 2020-11-20 基于数据模型层的数据增量更新方法、装置及计算机设备 Active CN112416957B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011314534.3A CN112416957B (zh) 2020-11-20 2020-11-20 基于数据模型层的数据增量更新方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011314534.3A CN112416957B (zh) 2020-11-20 2020-11-20 基于数据模型层的数据增量更新方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN112416957A true CN112416957A (zh) 2021-02-26
CN112416957B CN112416957B (zh) 2023-12-29

Family

ID=74777200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011314534.3A Active CN112416957B (zh) 2020-11-20 2020-11-20 基于数据模型层的数据增量更新方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN112416957B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113985760A (zh) * 2021-09-30 2022-01-28 秦皇岛远舟工业气体有限公司 应用于监测报警***的基于arm的开关量处理方法
CN114115839A (zh) * 2022-01-28 2022-03-01 云账户技术(天津)有限公司 Orm代码处理方法、装置、电子设备以及可读存储介质
WO2023184285A1 (zh) * 2022-03-30 2023-10-05 华为技术有限公司 数据传输的方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001067252A (ja) * 1999-08-26 2001-03-16 Nec Corp リレーショナル型データベース更新方法と装置
CN1776676A (zh) * 2004-11-18 2006-05-24 国际商业机器公司 管理存储子***中元数据的方法、***和计算机程序产品
US20100235335A1 (en) * 2009-03-11 2010-09-16 Heman Sandor Abc Column-store database architecture utilizing positional delta tree update system and methods
US20130110881A1 (en) * 2011-10-31 2013-05-02 International Business Machines Corporation Single command data warehouse table update
CN103092909A (zh) * 2011-11-07 2013-05-08 伊莱比特汽车公司 一种用于结构化导航数据库的技术
US20170024272A1 (en) * 2015-07-22 2017-01-26 Optumsoft, Inc. Compact binary event log generation
CN109299332A (zh) * 2018-11-02 2019-02-01 芜湖智久机器人有限公司 一种将类和数据库映射的方法、装置及存储介质
US20190197173A1 (en) * 2017-12-22 2019-06-27 Dropbox, Inc. Techniques for a linearizable primary-secondary database system that replicates database data with eventual consistency
CN111309761A (zh) * 2020-02-16 2020-06-19 苏州浪潮智能科技有限公司 一种优化数据库中间件查询的方法、***、设备及介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001067252A (ja) * 1999-08-26 2001-03-16 Nec Corp リレーショナル型データベース更新方法と装置
CN1776676A (zh) * 2004-11-18 2006-05-24 国际商业机器公司 管理存储子***中元数据的方法、***和计算机程序产品
US20100235335A1 (en) * 2009-03-11 2010-09-16 Heman Sandor Abc Column-store database architecture utilizing positional delta tree update system and methods
US20130110881A1 (en) * 2011-10-31 2013-05-02 International Business Machines Corporation Single command data warehouse table update
CN103092909A (zh) * 2011-11-07 2013-05-08 伊莱比特汽车公司 一种用于结构化导航数据库的技术
US20170024272A1 (en) * 2015-07-22 2017-01-26 Optumsoft, Inc. Compact binary event log generation
US20190197173A1 (en) * 2017-12-22 2019-06-27 Dropbox, Inc. Techniques for a linearizable primary-secondary database system that replicates database data with eventual consistency
CN109299332A (zh) * 2018-11-02 2019-02-01 芜湖智久机器人有限公司 一种将类和数据库映射的方法、装置及存储介质
CN111309761A (zh) * 2020-02-16 2020-06-19 苏州浪潮智能科技有限公司 一种优化数据库中间件查询的方法、***、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RENZO ANGLES等: "Suvery of graph database models", 《ACM COMPUTING SURVEYS》, vol. 40, no. 1, pages 502 - 510 *
洋河等: "前端遇上GO:静态资源增量更新的新实践", 《HTTPS://WWW.CNBLOGS.COM/PAPERING/P/9277966.HTML》, pages 1 - 5 *
王绍东: "基于Redis Cluster的分布式内存数据库研究与应用", 《中国优秀硕士学位论文全文数据库 信息》, pages 138 - 724 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113985760A (zh) * 2021-09-30 2022-01-28 秦皇岛远舟工业气体有限公司 应用于监测报警***的基于arm的开关量处理方法
CN113985760B (zh) * 2021-09-30 2024-03-26 秦皇岛远舟工业气体有限公司 应用于监测报警***的基于arm的开关量处理方法
CN114115839A (zh) * 2022-01-28 2022-03-01 云账户技术(天津)有限公司 Orm代码处理方法、装置、电子设备以及可读存储介质
WO2023184285A1 (zh) * 2022-03-30 2023-10-05 华为技术有限公司 数据传输的方法及装置

Also Published As

Publication number Publication date
CN112416957B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
CN112416957B (zh) 基于数据模型层的数据增量更新方法、装置及计算机设备
CN108829746B (zh) 一种基于内存数据库的主数据管理***及装置
CN111737227B (zh) 数据修改方法及***
CN113448862B (zh) 软件版本测试方法、装置及计算机设备
CN110069925B (zh) 软件监测方法、***及计算机可读存储介质
CN111158715A (zh) 灰度发布控制方法及***
US11099837B2 (en) Providing build avoidance without requiring local source code
CN109871593B (zh) 基于bim平台的信息继承方法、装置以及存储装置
CN110716804A (zh) 无用资源的自动删除方法、装置、存储介质及电子设备
CN109240916A (zh) 信息输出控制方法、装置及计算机可读存储介质
US11900269B2 (en) Method and apparatus for managing knowledge base, device and medium
EP3999917B1 (en) Method and system for generating a digital representation of asset information in a cloud computing environment
CN110866007B (zh) 大数据应用和表的信息管理方法、***和计算机设备
CN114816470A (zh) 元数据库的管理方法、装置、电子设备和介质
CN109710698A (zh) 一种数据汇聚方法、装置、电子设备及介质
CN114186976A (zh) 工作流程流转方法、装置、计算机设备及存储介质
CN114356945A (zh) 数据处理方法、装置、计算机设备和存储介质
US11023361B1 (en) Intelligent automated way of baselining integration content using messages from historical tests to be used for regression testing
CN112579705B (zh) 元数据采集方法、装置、计算机设备和存储介质
CN114143308A (zh) 文件上传信息处理方法、装置、计算机设备及存储介质
CN108566293B (zh) 电子装置、zk节点信息通知方法及存储介质
CN113434938A (zh) Bim模型的检查方法、装置、计算机设备及存储介质
CN113868138A (zh) 测试数据的获取方法、***、设备及存储介质
CN113535206A (zh) 多版本代码升级方法及***
CN112600713A (zh) 数据监控方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant