CN111444195A - 一种块链式账本中索引的清除方法、装置及设备 - Google Patents
一种块链式账本中索引的清除方法、装置及设备 Download PDFInfo
- Publication number
- CN111444195A CN111444195A CN202010537116.4A CN202010537116A CN111444195A CN 111444195 A CN111444195 A CN 111444195A CN 202010537116 A CN202010537116 A CN 202010537116A CN 111444195 A CN111444195 A CN 111444195A
- Authority
- CN
- China
- Prior art keywords
- data
- index
- record
- block
- data block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Software Systems (AREA)
- Accounting & Taxation (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Finance (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
公开了一种块链式账本中索引的清除方法、装置及设备。通过在基于用户的指令对账本中的数据块进行清除之后,确定出被清除的数据块中和用户的业务属性相关的数据记录,进而在索引记录的值中将这些相关的数据记录的位置信息进行清除,以保持账本和索引中信息的一致性。
Description
技术领域
本说明书实施例涉及信息技术领域,尤其涉及一种块链式账本中索引的清除方法、装置及设备。
背景技术
在中心化的数据库服务方以块链式的账本对外提供服务时,账本中记录了相关用户所需要保存的相关数据记录。同时,基于用户的业务需求,还会根据用户的业务属性创建相应的索引,以便进行后续诸如查询、验证等操作。当用户的账本需要进行清除的时候,此时需要对账本的索引所包含的信息同时进行相应的清除,以保障账本中信息的一致性。
发明内容
本申请实施例的目的是提供一种块链式账本中对索引中的相关信息进行清除的方案。
为解决上述技术问题,本申请实施例是这样实现的:
一种块链式账本中索引的清除方法,应用于通过块链式账本存储数据的数据库服务端,包括:
接收用户的清除指令,所述清除指令中包含块高或者时间点;
根据所述块高或者时间点确定账本中需要清除的数据块,并清除;
获取所述用户所对应的业务属性,确定已被清除的数据块中包含所述业务属性的数据记录的位置信息;
在索引记录的值中清除所述位置信息;
其中,所述索引用于存储业务属性和位置信息的对应关系,在所述索引的索引记录中以业务属性为主键,以位置信息为值,所述位置信息包括数据记录所处的数据块的块高,以及,在所处的数据块中的偏移量。
对应的,本说明书实施例还提供一种块链式账本中索引的清除装置,应用于通过块链式账本存储数据的数据库端,包括:
接收模块,接收用户的清除指令,所述清除指令中包含块高或者时间点;
数据块清除模块,根据所述块高或者时间点确定账本中需要清除的数据块,并清除;
确定模块,获取所述用户所对应的业务属性,确定已被清除的数据块中包含所述业务属性的数据记录的位置信息;
位置信息清除模块,在索引记录的值中清除所述位置信息;
其中,所述索引用于存储业务属性和位置信息的对应关系,在所述索引的索引记录中以业务属性为主键,以位置信息为值,所述位置信息包括数据记录所处的数据块的块高,以及,在所处的数据块中的偏移量。
通过本说明书实施例中所提供的方案,在基于用户的指令对账本中的数据块进行清除之后,确定出被清除的数据块中和用户的业务属性相关的数据记录,进而在索引记录的值中将这些相关的数据记录的位置信息进行清除,以保持账本和索引中信息的一致性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书实施例。
此外,本说明书实施例中的任一实施例并不需要达到上述的全部效果。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本说明书实施例所涉及的***架构示意图;
图2为本说明书实施例所提供的一种生成块链式账本的流程示意图;
图3为本说明书实施例所提供的一种数据块的块头的示意图;
图4是本说明书实施例提供的一种数据记录的索引创建方法的流程示意图;
图5为本说明书实施例所提供的一种块链式账本中索引的清除方法的流程示意图;
图6是本说明书实施例提供的一种块链式账本中索引的清除装置的结构示意图;
图7是用于配置本说明书实施例方法的一种设备的结构示意图。
具体实施方式
为了使本领域技术人员更好地理解本说明书实施例中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行详细地描述,显然,所描述的实施例仅仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员所获得的所有其他实施例,都应当属于保护的范围。
首先对本说明书实施例中所涉及的块链式账本进行说明。数据库服务端面向的常常为各种机构,各机构则可以将它们与第三方用户(包括其它机构或者个人)之间所产生的数据记录在数据库服务方进行存储。如图1所示,图1为本说明书实施例所涉及的***架构示意图。在该示意图中,一个企业机构可以面向多名用户,而每个用户均可以通过其对应的企业机构向数据库服务提供方进行查询。
例如,数据库服务端对接的机构是某金融产品公司,数据记录可以是个人用户在该金融产品公司的理财记录;或者,对接的机构可以是政府部门,其中的数据记录是政府部门对于该部门所管理的公共项目的开销明细;或者,数据库服务方对接的机构是某个医院,其中的数据记录是病人的病历;或者,数据库服务方对接的机构是第三方支付机构,数据记录可以是个人用户通过该机构的支付记录,等等。
在中心化的数据库服务端,块链式的账本通过如下方式生成,如图2所示,图2为本说明书实施例所提供的一种生成块链式账本的流程示意图,包括:
S201,接收待存储的数据记录,确定各数据记录的哈希值,其中,数据记录中包含业务属性。
如前所述,此处的待存储的数据记录,可以是客户端个人用户的各种消费记录,也可以是应用服务器基于用户的指令,在执行业务逻辑时产生的业务结果、中间状态以及操作记录等等。具体的业务场景可以包括消费记录、审计日志、供应链条、政府监管记录、医疗记录等等。
在本说明书实施例中,数据记录中包含有业务属性,在每个与数据库服务方对接的机构中,所述业务属性在所述对接机构中,一般而言是唯一存在的,业务属性基于不同的业务场景,可以包括用户名、用户身份证号、驾照编号、手机号、项目唯一编号等等。
例如,对于第三方支付机构而言,数据记录是用户的消费记录,此时的业务属性即为用户标识(包括手机号、身份证号、用户名等等),或者对该用户标识进行哈希算法所得到的哈希值;或者,对于政府机构而言,数据记录为多个公共项目的开销流水,则此时的业务属性可以为每个项目的唯一编号。
业务属性可以存储于数据记录中的指定字段(例如,数据记录的头部或者尾部),从而可以方便数据库服务端以及用户从中获取该数据记录的业务属性。
需要说明的是,在同一账本中,可以包含有多条数据记录。这些数据记录的业务属性则很可能是不一样的。例如,在一个账本面向多个用户开放时,数据记录可能来源于不同的的用户,若业务属性为用户标识, 则容易理解不同的数据记录中常常包含了不同的用户标识。
S203,当达到预设的成块条件时,确定待写入数据块中的各数据记录,生成包含数据块的哈希值和数据记录的第N个数据块。
所述预设的成块条件包括:待存储的数据记录数量达到数量阈值,例如,每接收到一千条数据记录时,生成一个新数据块,将一千条数据记录写入块中;或者,距离上一次成块时刻的时间间隔达到时间阈值,例如,每隔5分钟,生成一个新数据块,将在这5分钟内接收到的数据记录写入块中。
此处的N指的是数据块的序号,换言之,在本说明书实施例中,数据块是以块链的形式,基于成块时间的顺序先后排列,具有很强的时序特征。其中,数据块的块高基于成块时间的先后顺序单调递增。块高可以是序号,此时第N个数据块的块高即为N;块高也可以其它方式生成。
当N=1时,即此时的数据块为为初始数据块。初始数据块的哈希值和块高基于预设方式给定。例如,初始数据块中不包含数据记录,哈希值则为任一给定的哈希值,块高blknum=0;又例如,初始数据块的生成触发条件与其它数据块的触发条件一致,但是初始数据块的哈希值由对初始数据块中的所有内容取哈希确定。
当N>1时,由于前一数据块的内容和哈希值已经确定,则此时,可以基于前一数据块(即第N-1个数据块)的哈希值生成当前数据块(第N个数据块)的哈希值,例如,一种可行的方式为,确定每一条将要写入第N个块中的数据记录的哈希值,按照在块中的排列顺序,生成一个默克尔树,将默克尔树的根哈希值和前一数据块的哈希值拼接在一起,再次采用哈希算法,生成当前块的哈希值。又例如,还可以按照块中数据记录的顺序进行拼接并取哈希得到整体数据记录的哈希值,拼接前一数据块的哈希值和整体数据记录的哈希值,并对拼接得到的字串进行哈希运算,生成数据块的哈希值。
用户在上传数据成功后,即可以得到对应的数据记录的哈希值以及所处的数据块的哈希值,并保存,并且可以基于该哈希值发起完整性验证。具体的验证方式包括重新计算数据记录自身的哈希值以及所处的数据块的哈希值,与本地所保存的进行对比。
上述方式生成的数据块,可以包括块头和块体两个部分。块体中可以用于存储拼接数据的明文,或者拼接数据的哈希值等等;块头中可以用于存储有关本数据块的元数据,例如,账本的版本号,前一数据块的哈希值,自身数据块中的拼接数据所组成的默克尔树的根哈希值,自身数据块的哈希值,用于记录拼接数据的***作状态的状态数组等等。如图3所示,图3为本说明书实施例所提供的一种数据块的块头的示意图。
通过前述的数据块的生成方式,每一个数据块通过哈希值确定,数据块的哈希值由数据块中的数据记录的内容、顺序以及前一数据块的哈希值决定。用户可以随时基于数据块的哈希值发起完整性验证,对于数据块中任何内容(包括对于数据块中数据记录内容或者顺序的修改)的修改都会造成在验证时计算得到的数据块的哈希值和数据块生成时的哈希值不一致,而导致验证失败,从而实现了中心化下的不可篡改。
完整性验证包括对于一个数据块的完整性验证,即,根据数据块中数据记录的哈希值重新组成默克尔树,计算默克尔树的根哈希值,并且根据默克尔树的根哈希值与前一数据块的哈希值重新计算该数据块的哈希值,与事先保存的数据块的哈希值进行一致性对比。
完整性验证还可以包括对于若干连续数据块的完整性验证,即根据数据块的块头中所保存的默克尔树的根哈希值与前一数据块的哈希值重新计算该数据块的哈希值,并与事先保存的数据块的哈希值进行对比。
完整性验证还可以包括对某条数据记录进行的完整性验证。在块链式账本中,对于数据记录的完整性进行验证时,一种方式可以是:确定数据记录所处的数据块,并且根据该数据块中的数据记录构建默克尔树,并计算当前的默克尔树的根哈希值,从而可以与块头中所存储的默克尔树的根哈希值进行一致性对比,若不一致,则说明该数据记录已经被篡改。
另一种方式则可以是,在用户或者对接机构将数据记录上传服务端时,自己本地保存有数据记录的备用副本或者备用副本的哈希值,从而可以计算该数据记录的当前哈希值,并且与备用副本的哈希值进行一致性对比,以实现完整性验证。
通过前述的数据块的生成方式,每一个数据块通过哈希值确定,数据块的哈希值由数据块中的数据记录的内容、顺序以及前一数据块的哈希值决定。用户可以随时基于数据块的哈希值发起验证,对于数据块中任何内容(包括对于数据块中数据记录内容或者顺序的修改)的修改都会造成在验证时计算得到的数据块的哈希值和数据块生成时的哈希值不一致,而导致验证失败,从而实现了中心化下的不可篡改。
如前所述,这些数据记录在写入账本时虽然已经有了较强的时序特征,但是对于用户而言,其数据记录通常是分散式的存储在多个数据块中的。例如,医院对于所有病人的病历记录按照时间产生的顺序,依次上传。而对于医院的某个用户而言,其病史可能有多条,时间间隔又比较大,如果医院或者该用户需要从账本中将该用户的数据记录挑选出来,则需要根据之前在存储时所确定的每条病历记录的哈希值从账本中进行查询,很不方便。
基于此,本说明书实施例提供一种数据记录的索引创建方法,创建出以业务属性为主键的倒排索引,方便对接机构的业务处理,提高用户体验。如图4所示,图4是本说明书实施例提供的一种数据记录的索引创建方法的流程示意图,该流程具体包括如下步骤:
S401,获取数据记录中的业务属性。
在每个与数据库服务方对接的机构中,所述业务属性在所述对接机构中,一般而言是唯一存在的,业务属性基于不同的业务场景,可以包括用户名、用户身份证号、驾照编号、手机号、项目唯一编号等等。
例如,对于第三方支付机构而言,数据记录是用户的消费记录,此时的业务属性即为用户标识(包括手机号、身份证号、用户名等等),或者对该用户标识进行哈希算法所得到的哈希值;或者,对于政府机构而言,数据记录为多个公共项目的开销流水,则此时的业务属性可以为每个项目的唯一编号。
业务属性的具***置以及获取方式可以是数据库服务方和对接机构事先协商。例如,对接机构所提供的数据记录为标准结构化的数据记录时,业务属性可以从数据记录中指定偏移量获取,或者由特定字符标识起始位置和结束位置;又或者,对接机构所提供的数据记录为非结构化的数据时,在对接机构上传时可以直接在每条数据记录的开头拼接上包含业务属性的头部,数据库服务方可以直接从头部获取每条数据记录的业务属性。
S403,确定所述数据记录在账本中的位置信息,所述位置信息包括数据记录所处的数据块的块高,以及,在所处的数据块中的偏移量。
如前所述,一个块链式的账本由多个数据块组成,同时,一个数据块中通常包含多个数据记录。因此,在本说明书实施例中,所述的位置信息具体指的是一条数据记录被保存时,处于账本中的哪个数据块上,以及,在该数据块中的什么位置。
在本说明书实施例所提供的数据块中,可以有多种方式用来标识不同的数据块,包括数据块的哈希值或者块高。
数据块的哈希值为根据前一区块哈希值和自身数据记录进行哈希计算而得到的哈希值,可以用于唯一、明确地标识一个数据块。在块链式的账本中,通常第一个数据块其块高为 0,以后每增加一个数据块,块高加1;或者,还可以将数据块的成块时间转换为一个大的单调递增整型数据(一般为12至15位)序列,作为数据块的块高。因此,一个数据块通常有一个明确的块高。
又例如,在一个已经确定的要写入数据库的数据块,其中数据记录的排序也已经固定,因此一个数据记录在该数据块中的序号也是明确的,在数据记录的长度为固定单位时,序号同样可以用于明确该数据记录在其所处的数据块中的位置信息。即,序号同样也可以用于指示偏移量。
同时,在一个数据块中,由于通常包含了多个数据记录,因此,还可以用各数据记录在该数据块中的地址偏移量来分别标识数据块中的数据记录。显而易见,在同一个数据块中,各数据记录的地址偏移量并不相同。
当然,由于在本说明书实施例所提供的方式中,数据块的具体格式是可以自定义的(例如,数据块的块头中所包含的元数据信息和备注信息,数据块的块高所采取的形式等等),在不同的格式下,位置信息的内容也会有所不同,这并不构成对本方案的限定。
S405,建立所述业务属性和位置信息的对应关系,写入以所述业务属性为主键,以位置信息为值的索引。
即,该索引是一个倒排索引。在该索引中,主键是数据记录中所包含的业务属性。具体的写入方式为,当索引中的主键不包含所述业务属性时,在索引表中创建以所述业务属性为主键的索引记录。
当所述索引中的主键包含所述业务属性时,将所述位置信息写入所述业务属性所处的索引记录。需要说明的是,此处的写入不是覆盖性的写入,而是将位置信息添加到该索引记录的值中,与其它位置信息并列存在与该索引记录的值中。
如表1所示,表1为本说明书实施例所提供的一种示例性索引表。其中Key(主键)即为业务属性的具体值,Value(值)部分的每个数组即为一条位置信息,每个数组中的前部分块高,后部分为数据记录在该数据块中的序号,通过块高和序号即可以唯一的确定一条数据记录。容易理解,在索引表中,一个Key所对应的值中可以包含多个位置信息。
通过本说明书实施例所提供的方案,对于写入账本的数据记录,确定出数据记录的业务属性,以及在账本中的存储位置,建立起二者的对应关系,创建以业务属性为主键的倒排索引,不必了解用户的业务详情,从索引中即可以基于业务属性对于数据记录进行相应统计,以及后续的查询和验证。
在索引表中,由于一个业务属性可以对应于多个位置信息(即对应于多个数据记录),在将位置信息写入索引中时,还可以将位置信息按照数据记录在账本中的先后顺序依次进行排列,有利于用户的查询以及验证。数据记录在账本中的先后顺序即可以数据记录被写入账本的时间戳(即数据块的成块时间戳)来体现,以及,对于同一数据块中的数据记录,则可以通过在数据块中的排序先后来体现。
前述部分对于块链式账本和索引进行了说明。在实际应用中,由于用户的数据不断的增加,导致存储空间占用的越来越多,或者一些较长时间的历史数据对于用户已经不再有价值此时,数据库服务方还可以基于用户的需求,对数据块进行相应的部分清除,例如,对于账本中的前100个数据块进行清除。
首先需要说明的是,清除并不完全相当于普通数据库中的删除。清除是从账本的初始数据块至指定的数据块视为一个整体,进行整体性的进行移除。这种移除也通常不是完全意义上的删除,而是将其移动到可被找回的次级存储单元中,只是在对账本进行相应的查询、验证以及统计时不再使用到这部分被清除的数据块。
基于此,每当对账本中进行了相应的清除,则需要对索引中的索引记录也要进行调整。如图5所示,图5为本说明书实施例所提供的一种块链式账本中索引的清除方法的流程示意图,包括:
S501,接收用户的清除指令,所述清除指令中包含块高或者时间点。
例如,用户指定账本ID以及块高,服务方基于块高确定块高之前的数据块均为需要清除的数据块,然后清除这些确定需要清除的数据块,具体的,可以由清除指令PURGE(lgid,blkbound) 实现。其中的“lgid”为账本ID,“blkbound”为块高。
又例如,用户指定账本ID以及时间点,服务方基于时间点确定在该时间点之前最后一个生成的数据块,将该数据块之前生成的数据块均确定为需要清除的数据块,然后清除这些确定需要清除的数据块,具体的,可以由清除指令PURGE(lgid, ‘timestmp’) 实现。其中的“timestmp”为时间点。
由于清除后的数据块链的第一个数据块的哈希值是基于前一数据块的哈希值生成的,此时,还需要生成一个伪初始数据块,伪初始数据块的哈希值等于被确定的需要清除的最后一个数据块的哈希值,这样,可以避免在以后进行验证时出现错误。最后一个数据块的哈希值可以从预先建立的索引中查询获取,也可以从初始数据块开始进行顺序计算得到该数据块的哈希值,或者从该数据块中查询获取。
S503,根据所述块高或者时间点确定账本中需要清除的数据块,并清除。
具体而言,可以将所述块高或者时间点之前的数据块确定为需要清除的数据块。在实际应用中,存在如下几种实施方式:
第一种,账本中以自增的自然数序列作为数据块的块高,此时,如果用户通过输入的指令中包含块高参数,则可以直接将块高不超过由用户所指定的块高参数之前的数据块确定为需要清除的数据块;
第二种,账本中以自增的自然数序列作为数据块的块高,同时在块头中包含了成块时间戳,则此时,如果用户通过输入的指令中包含时间点参数,则可以在块头中进行成块时间戳查询,将成块时间戳在时间点参数之前的数据块确定为需要清除的数据块;
第三种,账本中以成块时间戳转为得到的整型数据作为块高。例如,确定数据块的成块时间,而后采用对称加密算法将所述成块时间其转换为整型数据,将所述整型数据作为所述数据块的块高,成块时间越早,整型数据越小。
具体而言,这里的整型可以是一个大整型数据,例如,一个13位的大整数。由于大整型是基于时间对称加密得到的,从而在需要数据块的成块时间时,可以同样的对称解密获得成块时间。
例如,对于成块时间“20xx-01-19 03:14:07.938576”,在经过对称加密之后,可以转换为一个大整型“1547838847938”,由于整型数据随时间单调递增,因此,“1547838847938”即可以做为该数据块的块高,若接下来一个数据块的成块时间为“20xx-01-19 03:16:07.235125”,则可以采用预设的对称加密算法将其转换为另一更大的大整型“1547838848125”。
在这种实施方式下,则若用户的清除指令中包含有时间点,则可以将时间点参数基于同样的方式转换为整型数据,进而将块高不超过转换得到的整型数据之前的数据块都确定为需要清除的数据块。
S505,获取所述用户所对应的业务属性,确定已被清除的数据块中包含所述业务属性的数据记录的位置信息。
用户所对应的业务属性可以事先已经被写入了账本的配置文件。如前所述,一个账本可能同时有用多个可操作的用户,例如,机构A和B同意将双方的账目往来以数据记录的形式写入同一个账本,以便以后审计。在同一个账本中,机构A和B可能基于各自的业务需要,将会有不同的业务属性。
需要说明的是,业务属性的唯一性指的是同一个业务属性只会有一个对应的物理解释,而不是指同一个账本中业务属性唯一。例如,一个身份证号只能指代一个现实的人物身份,但是在医院的病历账本中,则可能有多个不同的身份证号。
同时,即使是在仅有一个用户有操作权限的账本中的数据块中,也并不是每条数据记录都会包含有业务属性。例如,账本中用于记录一个用户通过第三方支付客户端进行金融产品的买入/卖出等数据记录时,其中的业务属性可以是用户重点关注某一个或者某个几个金融产品的名称或者编号,而对于其它的数据记录则不包含业务属性。
因此,此时对于被清除的数据块,至少可以通过采用遍历数据块的方式,去确定这些已经被清除的数据块中有哪些数据记录是包含了用户的业务属性的。进而,可以确定出被清除的数据块中包含了业务属性的数据记录的位置信息。位置信息的具体内容在前文已经进行了描述,此处不再赘述。
在另一种实施方式中,则可以不必遍历数据块去获取位置信息,只需根据业务属性在索引中进行查询,获取得到以所述业务属性为主键的索引记录,并且从该索引记录的值中进行筛选即可。
具体而言,基于块高的单调性,可以根据清除指令中包含的块高或者时间点来确定需要清除的块高。由于索引记录的值中每个位置信息均包含有块高,因此,如果一个位置信息中所包含的块高不超过需要清除的块高,则可以知道该位置信息处于被清除的数据块中。
以表1为例,用户A输入清除指令PURGE(lgid,100),将账本中前100的数据块进行清除,查询得知用户A在该账本中的业务属性为“0X123456”。此时可以知道,处于被清除的数据块中的数据记录的位置信息即为“(2,08),(2,10)”。
S507,在索引记录的值中清除所述位置信息。
在已经得到了需要清除的位置信息之后,即可以确定由业务属性所对应的索引记录,进而在索引记录的值中清除需要清除的位置信息。
续前例而言,即可以直接在表1中以“0X123456”为主键的索引记录中清除掉位置信息“(2,08),(2,10)”。此时,值中所包含的位置信息并未完全清除,以“0X123456”为主键的索引记录仍然存在。
在一种实施方式中,由于索引记录中的值中所包含的位置信息可能均被清除,此时若清除所述位置信息后的索引记录的值为空,删除所述索引记录,避免索引中的无效记录占用空间,节省资源。
通过本说明书实施例中所提供的方案,在基于用户的指令对账本中的数据块进行清除之后,确定出被清除的数据块中和用户的业务属性相关的数据记录,进而在索引记录的值中将这些相关的数据记录的位置信息进行清除,以保持账本和索引中信息的一致性。
对应的,本说明书实施例还提供一种块链式账本中索引的清除装置,如图6所示,图6是本说明书实施例提供的一种块链式账本中索引的清除装置的结构示意图,包括:
接收模块601,接收用户的清除指令,所述清除指令中包含块高或者时间点;
数据块清除模块603,根据所述块高或者时间点确定账本中需要清除的数据块,并清除;
确定模块605,获取所述用户所对应的业务属性,确定已被清除的数据块中包含所述业务属性的数据记录的位置信息;
位置信息清除模块607,在索引记录的值中清除所述位置信息;
其中,所述索引用于存储业务属性和位置信息的对应关系,在所述索引的索引记录中以业务属性为主键,以位置信息为值,所述位置信息包括数据记录所处的数据块的块高,以及,在所处的数据块中的偏移量。
进一步地,在所述装置中,还包括索引创建模块609,获取数据记录中的业务属性;确定所述数据记录在账本中的位置信息;建立所述业务属性和位置信息的对应关系,写入以所述业务属性为主键,以位置信息为值的索引。
进一步地,所述索引创建模块609,当所述索引中的主键不包含所述业务属性时,在所述索引表中创建以所述业务属性为主键,以所述位置信息为值的索引记录;当所述索引中的主键包含所述业务属性时,将所述位置信息写入所述业务属性所处的索引记录的值中。
进一步地,所述索引创建模块609,确定数据记录的时间戳;在同一索引记录中按照时间戳的先后顺序,将数据记录的位置信息依序写入索引记录的值。
进一步地,所述确定模块605,将所述块高或者时间点之前的数据块确定为需要清除的数据块。
进一步地,所述位置信息清除模块607,确定需要清除的数据块的最大块高;确定已所述用户的业务属性为主键的索引记录;在所述索引记录的值中清除不超过所述最大块高的位置信息。
进一步地,所述位置信息清除模块607,若清除所述位置信息后的索引记录的值为空,删除所述索引记录。
进一步地,所述装置还包括数据块生成模块611,接收待存储的数据记录,确定各数据记录的哈希值,其中,数据记录中包含业务属性;当达到预设的成块条件时,确定待写入数据块中的各数据记录,生成包含数据块的哈希值和数据记录的第N个数据块,具体包括:
当N=1时,初始数据块的哈希值和块高基于预设方式给定;
当N>1时,根据待写入数据块中的各数据记录和第N-1个数据块的哈希值确定第N个数据块的哈希值,生成包含第N个数据块的哈希值和各数据记录的第N个数据块,其中,数据块的块高基于成块时间的先后顺序单调递增。
进一步地,在所述装置中,所述预设的成块条件包括:待存储的数据记录数量达到数量阈值;或者,距离上一次成块时刻的时间间隔达到时间阈值。
本说明书实施例还提供一种计算机设备,其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,处理器执行所述程序时实现图5所示的索引的清除方法。
图7示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图,该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作***和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
本说明书实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现图5所示的索引的清除方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的***、方法、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于方法实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的方法实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本说明书实施例原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本说明书实施例的保护范围。
Claims (19)
1.一种块链式账本中索引的清除方法,应用于通过块链式账本存储数据的数据库服务端,包括:
接收用户的清除指令,所述清除指令中包含块高或者时间点;
根据所述块高或者时间点确定账本中需要清除的数据块,并清除;
获取所述用户所对应的业务属性,确定已被清除的数据块中包含所述业务属性的数据记录的位置信息;
在索引记录的值中清除所述位置信息;
其中,所述索引用于存储业务属性和位置信息的对应关系,在所述索引的索引记录中以业务属性为主键,以位置信息为值,所述位置信息包括数据记录所处的数据块的块高,以及,在所处的数据块中的偏移量。
2.如权利要求1所述的方法,所述索引通过如下方式预先创建:
获取数据记录中的业务属性;
确定所述数据记录在账本中的位置信息;
建立所述业务属性和位置信息的对应关系,写入以所述业务属性为主键,以位置信息为值的索引。
3.如权利要求2所述的方法,写入以所述业务属性为主键,以位置信息为值的索引,包括:
当所述索引中的主键不包含所述业务属性时,在所述索引表中创建以所述业务属性为主键,以所述位置信息为值的索引记录;
当所述索引中的主键包含所述业务属性时,将所述位置信息写入所述业务属性所处的索引记录的值中。
4.如权利要求3所述的方法,将所述位置信息写入所述业务属性所处的索引记录的值中,包括:
确定数据记录的时间戳;
在同一索引记录中按照时间戳的先后顺序,将数据记录的位置信息依序写入索引记录的值中。
5.如权利要求1所述的方法,根据所述块高或者时间点确定账本中需要清除的数据块,包括:
将所述块高或者时间点之前的数据块确定为需要清除的数据块。
6.如权利要求1所述的方法,在索引记录的值中清除所述位置信息,包括:
确定需要清除的数据块的最大块高;
确定以所述用户的业务属性为主键的索引记录;
在所述索引记录的值中清除不超过所述最大块高的位置信息。
7.如权利要求1所述的方法,在索引记录的值中清除所述位置信息,包括:
若清除所述位置信息后的索引记录的值为空,删除所述索引记录。
8.如权利要求1所述的方法,在中心化的数据库服务端,数据块通过如下方式预先生成:
接收待存储的数据记录,确定各数据记录的哈希值,其中,数据记录中包含业务属性;
当达到预设的成块条件时,确定待写入数据块中的各数据记录,生成包含数据块的哈希值和数据记录的第N个数据块,具体包括:
当N=1时,初始数据块的哈希值和块高基于预设方式给定;
当N>1时,根据待写入数据块中的各数据记录和第N-1个数据块的哈希值确定第N个数据块的哈希值,生成包含第N个数据块的哈希值和各数据记录的第N个数据块,其中,数据块的块高基于成块时间的先后顺序单调递增。
9.如权利要求8所述的方法,所述预设的成块条件包括:
待存储的数据记录数量达到数量阈值;或者,
距离上一次成块时刻的时间间隔达到时间阈值。
10.一种块链式账本中索引的清除装置,应用于通过块链式账本存储数据的数据库端,包括:
接收模块,接收用户的清除指令,所述清除指令中包含块高或者时间点;
数据块清除模块,根据所述块高或者时间点确定账本中需要清除的数据块,并清除;
确定模块,获取所述用户所对应的业务属性,确定已被清除的数据块中包含所述业务属性的数据记录的位置信息;
位置信息清除模块,在索引记录的值中清除所述位置信息;
其中,所述索引用于存储业务属性和位置信息的对应关系,在所述索引的索引记录中以业务属性为主键,以位置信息为值,所述位置信息包括数据记录所处的数据块的块高,以及,在所处的数据块中的偏移量。
11.如权利要求10所述的装置,还包括索引创建模块,获取数据记录中的业务属性;确定所述数据记录在账本中的位置信息;建立所述业务属性和位置信息的对应关系,写入以所述业务属性为主键,以位置信息为值的索引。
12.如权利要求11所述的装置,所述索引创建模块,当所述索引中的主键不包含所述业务属性时,在所述索引表中创建以所述业务属性为主键,以所述位置信息为值的索引记录;当所述索引中的主键包含所述业务属性时,将所述位置信息写入所述业务属性所处的索引记录的值中。
13.如权利要求12所述的装置,所述索引创建模块,确定数据记录的时间戳;在同一索引记录中按照时间戳的先后顺序,将数据记录的位置信息依序写入索引记录的值中。
14.如权利要求10所述的装置,所述确定模块,将所述块高或者时间点之前的数据块确定为需要清除的数据块。
15.如权利要求10所述的装置,所述位置信息清除模块,确定需要清除的数据块的最大块高;确定以所述用户的业务属性为主键的索引记录;在所述索引记录的值中清除不超过所述最大块高的位置信息。
16.如权利要求10所述的装置,所述位置信息清除模块,若清除所述位置信息后的索引记录的值为空,删除所述索引记录。
17.如权利要求10所述的装置,还包括数据块生成模块,接收待存储的数据记录,确定各数据记录的哈希值,其中,数据记录中包含业务属性;当达到预设的成块条件时,确定待写入数据块中的各数据记录,生成包含数据块的哈希值和数据记录的第N个数据块,具体包括:
当N=1时,初始数据块的哈希值和块高基于预设方式给定;
当N>1时,根据待写入数据块中的各数据记录和第N-1个数据块的哈希值确定第N个数据块的哈希值,生成包含第N个数据块的哈希值和各数据记录的第N个数据块,其中,数据块的块高基于成块时间的先后顺序单调递增。
18.如权利要求17所述的装置,所述预设的成块条件包括:待存储的数据记录数量达到数量阈值;或者,距离上一次成块时刻的时间间隔达到时间阈值。
19.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述程序时实现如权利要求1至9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010537116.4A CN111444195B (zh) | 2020-06-12 | 2020-06-12 | 一种块链式账本中索引的清除方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010537116.4A CN111444195B (zh) | 2020-06-12 | 2020-06-12 | 一种块链式账本中索引的清除方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111444195A true CN111444195A (zh) | 2020-07-24 |
CN111444195B CN111444195B (zh) | 2020-10-30 |
Family
ID=71655545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010537116.4A Active CN111444195B (zh) | 2020-06-12 | 2020-06-12 | 一种块链式账本中索引的清除方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111444195B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140297651A1 (en) * | 2013-04-01 | 2014-10-02 | Ori Software Development Ltd. | Using hash table to retrieve leaf index blocks |
US20180025034A1 (en) * | 2016-07-20 | 2018-01-25 | International Business Machines Corporation | Archival of data in a relational database management system using block level copy |
CN110399373A (zh) * | 2019-06-26 | 2019-11-01 | 杭州慧牧科技有限公司 | 一种区块链账本存储***、存储查询方法及删除方法 |
CN110704428A (zh) * | 2019-09-06 | 2020-01-17 | 深圳壹账通智能科技有限公司 | 区块链的数据索引方法、装置、计算机设备和存储介质 |
-
2020
- 2020-06-12 CN CN202010537116.4A patent/CN111444195B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140297651A1 (en) * | 2013-04-01 | 2014-10-02 | Ori Software Development Ltd. | Using hash table to retrieve leaf index blocks |
US20180025034A1 (en) * | 2016-07-20 | 2018-01-25 | International Business Machines Corporation | Archival of data in a relational database management system using block level copy |
CN110399373A (zh) * | 2019-06-26 | 2019-11-01 | 杭州慧牧科技有限公司 | 一种区块链账本存储***、存储查询方法及删除方法 |
CN110704428A (zh) * | 2019-09-06 | 2020-01-17 | 深圳壹账通智能科技有限公司 | 区块链的数据索引方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111444195B (zh) | 2020-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110188096B (zh) | 一种数据记录的索引创建方法、装置及设备 | |
CN110162662B (zh) | 一种块链式账本中数据记录的验证方法、装置及设备 | |
CN109902086B (zh) | 一种索引创建方法、装置及设备 | |
CN109902071B (zh) | 业务日志存储方法、***、装置及设备 | |
CN110162526B (zh) | 一种块链式账本中数据记录的查询方法、装置及设备 | |
CN109951290B (zh) | 一种链式账本的授时认证方法、装置及设备 | |
CN110825737A (zh) | 索引创建和数据查询方法、装置及设备 | |
CN111352935B (zh) | 一种块链式账本中的索引创建方法、装置及设备 | |
CN110347679B (zh) | 一种基于收据的数据存储方法、装置及设备 | |
CN110349019B (zh) | 一种块链式账本中的验证方法、装置及设备 | |
CN110837502B (zh) | 一种块链式账本中的数据存储方法、装置及设备 | |
CN110061843B (zh) | 一种链式账本中的块高创建方法、装置及设备 | |
CN110008743B (zh) | 一种块链式账本中的数据属性标识方法、装置及设备 | |
CN110879687B (zh) | 一种基于磁盘存储的数据读取方法、装置及设备 | |
CN111444196B (zh) | 块链式账本中全局状态的哈希的生成方法、装置及设备 | |
CN110716965B (zh) | 一种块链式账本中的查询方法、装置及设备 | |
CN111046069B (zh) | 一种块链式账本中的聚合计算方法、装置及设备 | |
CN111046052B (zh) | 一种数据库中的操作记录存储方法、装置及设备 | |
CN110059088B (zh) | 一种块链式账本中的数据属性标识方法、装置及设备 | |
CN110750533A (zh) | 一种基于多条业务属性的数据存储方法、装置及设备 | |
CN110059087B (zh) | 一种块链式账本中的数据属性标识方法、装置及设备 | |
CN111444194B (zh) | 一种块链式账本中索引的清除方法、装置及设备 | |
CN110636042B (zh) | 一种服务端已验证块高的更新方法、装置及设备 | |
CN111444197B (zh) | 一种块链式账本中数据记录的验证方法、装置及设备 | |
CN110688664B (zh) | 一种块链式账本中的权限管理方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40034079 Country of ref document: HK |