CN114328526A - 数据处理方法、装置、电子设备及计算机可读存储介质 - Google Patents
数据处理方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114328526A CN114328526A CN202111621112.5A CN202111621112A CN114328526A CN 114328526 A CN114328526 A CN 114328526A CN 202111621112 A CN202111621112 A CN 202111621112A CN 114328526 A CN114328526 A CN 114328526A
- Authority
- CN
- China
- Prior art keywords
- index page
- index
- storage space
- database
- byte number
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 39
- 239000012634 fragment Substances 0.000 abstract description 75
- 238000005516 engineering process Methods 0.000 abstract description 5
- 239000002699 waste material Substances 0.000 abstract description 3
- 238000004140 cleaning Methods 0.000 description 28
- 238000013467 fragmentation Methods 0.000 description 9
- 238000006062 fragmentation reaction Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012423 maintenance Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理方法、装置、电子设备及计算机可读存储介质。其中,该方法包括:获取数据库中的索引页;在数据库中查询与索引页对应的初始字节数;以预定周期在数据库中查询与索引页对应的目标字节数;依据初始字节数以及目标字节数,确定索引页额外占用存储空间的比例;在比例大于预定阈值的情况下,基于索引页进行处理,以释放索引页额外占用的存储空间。本发明解决了相关技术中对数据库表中的碎片信息进行手动处理,费时费力,效率低的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种数据处理方法、装置、电子设备及计算机可读存储介质。
背景技术
在数据库中,频繁对数据库表执行数据库操作语句,例如,insert(***)/update(更新)/delete(删除)等数据库操作DML语句操作会造成索引页存在空隙、数据行拆分等,从而产生大量的碎片,即在内容相同的一页中,执行了上述数据库操作语句,例如,更新后,该页占用了更多的存储空间,导致索引扫描的时候会增加额外的页读取,降低索引查找的效率。传统索引碎片清理方式,需要数据库维护人员定期或者手动查询数据库表的碎片信息,根据碎片信息判断是否需要清理碎片,重复工作且效率较低,不能及时发现包含碎片的碎片率高的表,及时对表中的碎片进行清理,可能会造成用户查询慢、体验不佳。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据处理方法、装置、电子设备及计算机可读存储介质,以至少解决相关技术中对数据库表中的碎片信息进行手动处理,费时费力,效率低的技术问题。
根据本发明实施例的一个方面,提供了一种数据处理方法,包括:获取数据库中的索引页;在所述数据库中查询与所述索引页对应的初始字节数;以预定周期在所述数据库中查询与所述索引页对应的目标字节数;依据所述初始字节数以及所述目标字节数,确定所述索引页额外占用存储空间的比例;在所述比例大于预定阈值的情况下,基于所述索引页进行处理,以释放所述索引页额外占用的存储空间。
可选地,所述获取数据库中的索引页,包括:依据所述数据库,确定数据库表;确定建立在所述数据库表中的索引;依据所述数据库表,以及所述索引,获取所述数据库表对应的索引页。
可选地,所述依据所述初始字节数以及所述目标字节数,确定所述索引页额外占用存储空间的比例,包括:确定所述目标字节数与所述初始字节数的差值;确定所述差值与所述目标字节数的比例,为所述索引页额外占用存储空间的比例。
可选地,所述基于所述索引页进行处理,以释放所述索引页额外占用的存储空间,包括:向终端发送告警信息,其中,所述告警信息中携带有所述索引页额外占用存储空间的比例,用于提醒基于所述索引页进行处理;接收所述终端发送的处理请求;响应所述处理请求,基于所述索引页进行处理,以释放所述索引页额外占用的存储空间。
可选地,所述基于所述索引页进行处理,以释放所述索引页额外占用的存储空间,包括:在预定时刻基于所述索引页进行处理,以减少所述索引页额外占用的存储空间。
可选地,所述基于所述索引页进行处理,以释放所述索引页额外占用的存储空间,包括:删除所述索引页对应的索引;建立目标索引,以释放所述索引页额外占用的存储空间。
可选地,所述建立目标索引,以释放所述索引页额外占用的存储空间之后,还包括:依据所述目标索引,获取目标索引页,其中,所述目标索引页显示的内容与所述索引页显示的内容相同,所述目标索引页额外占用存储空间的比例与所述索引页额外占用存储空间的比例不同。
根据本发明实施例的一个方面,提供了一种数据处理装置,包括:获取模块,用于获取数据库中的索引页;第一查询模块,用于在所述数据库中查询与所述索引页对应的初始字节数;第二查询模块,用于以预定周期在所述数据库中查询与所述索引页对应的目标字节数;确定模块,用于依据所述初始字节数以及所述目标字节数,确定所述索引页额外占用存储空间的比例;处理模块,用于在所述比例大于预定阈值的情况下,基于所述索引页进行处理,以释放所述索引页额外占用的存储空间。
根据本发明实施例的一个方面,提供了一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现上述任一项所述的数据处理方法。
根据本发明实施例的一个方面,提供了一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一项所述的数据处理方法。
在本发明实施例中,通过确定在数据库中的索引页,查询索引页对应的初始字节数,即初始占用的存储空间,并以预定周期在数据库中查询与索引页对应的目标字节数,即预定周期时的占用的存储空间。依据初始字节数以及目标字节数,确定索引页额外占用存储空间的比例,因为是同一个索引页,在不改变内容的情况下,目标字节数应当与初始字节数相同,当目标字节数大于初始字节数时,可以认为当前索引页额外占用了存储空间。所以,确定索引页额外占用存储空间的比例。在比例大于预定阈值的情况下,认为额外占用的存储空间过大,会影响数据库的运行,因此,基于索引页进行处理,释放索引页额外占用的存储空间。因为是依据预定周期自动获取目标字节数的,而且在由目标字节数得到的比例大于预定阈值时,即会基于索引页进行处理,达到释放索引页额外占用的存储空间的目的,而且进行了自动化的,高效的处理。解决了相关技术中对数据库表中的碎片信息进行手动处理,费时费力,效率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的数据处理方法的流程图;
图2是相关技术中传统的索引碎片清理方式的流程图;
图3是本发明可选实施方式提供的自主清理索引碎片方法的流程图;
图4a是本发明可选实施方式提供的人工清理方法的流程图;
图4b是本发明可选实施方式提供的***自动清理方法的流程图;
图5是根据本发明实施例的数据处理装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
根据本发明实施例,提供了一种数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的数据处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取数据库中的索引页;
步骤S104,在数据库中查询与索引页对应的初始字节数;
步骤S106,以预定周期在数据库中查询与索引页对应的目标字节数;
步骤S108,依据初始字节数以及目标字节数,确定索引页额外占用存储空间的比例;
步骤S110,在比例大于预定阈值的情况下,基于索引页进行处理,以释放索引页额外占用的存储空间。
通过上述步骤,通过确定在数据库中的索引页,查询索引页对应的初始字节数,即初始占用的存储空间,并以预定周期在数据库中查询与索引页对应的目标字节数,即预定周期时的占用的存储空间。依据初始字节数以及目标字节数,确定索引页额外占用存储空间的比例,因为是同一个索引页,在不改变内容的情况下,目标字节数应当与初始字节数相同,当目标字节数大于初始字节数时,可以认为当前索引页额外占用了存储空间。所以,确定索引页额外占用存储空间的比例。在比例大于预定阈值的情况下,认为额外占用的存储空间过大,会影响数据库的运行,因此,基于索引页进行处理,释放索引页额外占用的存储空间。因为是依据预定周期自动获取目标字节数的,而且在由目标字节数得到的比例大于预定阈值时,即会基于索引页进行处理,不仅能够达到释放索引页额外占用的存储空间的目的,而且进行了自动化的,高效的处理。解决了相关技术中对数据库表中的碎片信息进行手动处理,费时费力,效率低的技术问题。
作为一种可选的实施例,获取数据库中的多个索引页时,可以先依据数据库,确定数据库表,并确定建立在数据库表中的索引。其中,索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构,它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的作用相当于图书的目录,可以根据目录中的页码快速找到所需的内容。因此,依据数据库表,以及索引,能够快速的找到对应的索引页,找到符合用户预期的内容。
需要说明的是,在数据库的知识中可知,索引需要占据一定的存储空间。在频繁对数据库表执行数据库操作语句,例如,insert(***)/update(更新)/delete(删除)等数据库操作DML语句操作会造成索引页存在空隙、数据行拆分等,从而产生大量的碎片,即索引页会额外占用的存储空间。简单地举个例子说,某个表格的索引数据有100个页,但是碎片率是25%,所以这100个换页面里面只有75个页面的数据是有效的。即该索引页应当只占用这75%的数据的存储空间,但是实际情况是,多占据了25%的存储空间,这25%即是上述所指的索引页额外占用的存储空间,也为上面说的碎片率,所以在索引的碎片率非常高的情况下,索引的效率就会非常低。因此,需要在索引碎片率达到一定值的情况下,对索引碎片进行处理。以释放额外占用的存储空间,加快索引的效率。
作为一种可选的实施例,在数据库中查询与索引页对应的初始字节数,即在数据库中查询该索引页实际占用的存储空间,即有用的数据占用的存储空间。并以预定周期在数据库中查询与索引页对应的目标字节数,因为在该预定周期里,可能会出现对数据库表执行数据库操作语句,例如,insert(***)/update(更新)/delete(删除),在执行上述操作语句后,索引页占用的存储空间会变大,会存在没用的数据占用存储空间,因此,获取目标字节数。依据初始字节数以及目标字节数,确定索引页额外占用存储空间的比例。在确定比例时,可以先确定目标字节数与初始字节数的差值,该差值即为没用的数据占用的存储空间,即索引碎片占据的存储空间。确定差值与目标字节数的比例,也可以称为碎片率,即确定出了没用的数据占总的数据的比例,为索引页额外占用存储空间的比例。在该比例小的时候,认为索引碎片较少,对数据库表的检索等操作造成的影响较小,且占用少量的存储空间,可以接受。但是在该比例大的时候,认为索引碎片较多,会对数据库表的检索造成影响,对用户造成不好的体验,并且额外占用了大量的存储空间,会造成资源的浪费。因此,在该比例大于预定阈值的情况下,要基于索引页进行处理,以释放索引页额外占用的存储空间。
作为一种可选的实施例,在对索引页进行处理时,包括多种处理方式。下面对两种处理方式进行说明,一种是人工处理的方式,另一种是***自动处理的方式。两者可以应用于同一组数据库,在不同的时段执行各自的操作,通过两者相互结合可以使得本可选实施例提供的方法能够达到更好的效果。
(一)适用于数据库的使用较为频繁的情况下,在比例大于预定阈值时,向终端发送告警信息,其中,告警信息中携带有索引页额外占用存储空间的比例,用于提醒基于索引页进行处理。其中,该终端可以是数据库管理人员所使用的终端,以便使数据库管理人员能够及时的获取到索引碎片过多的消息,从而进行处理。之后,***接收并响应终端发送的处理请求,基于索引页进行处理,以释放索引页额外占用的存储空间,及时清理索引碎片,提高索引的检索效率。
(二)适用于数据库的使用较为清闲的情况下,在比例大于预定阈值时,在预定时刻基于索引页进行处理,以减少索引页额外占用的存储空间。以释放索引页额外占用的存储空间,及时清理索引碎片,提高索引的检索效率。此时,因为是在预定时刻自动进行清理的,可以并提供完整的索引碎片的清理日志,包含数据库名、表名、索引名、碎片信息、清理时间等等。以供数据库管理人员进行及时的查阅。
作为一种可选的实施例,在基于索引页进行处理,以释放索引页额外占用的存储空间时,也可以多种方式,例如,可以删除索引页对应的索引,重新建立一个索引,在这里称为目标索引,以释放索引页额外占用的存储空间。并依据目标索引,获取目标索引页,其中,目标索引页显示的内容与索引页显示的内容相同,目标索引页额外占用存储空间的比例与索引页额外占用存储空间的比例不同。即目标索引页额外占用存储空间的比例低,索引页额外占用存储空间的比例高,达到了放索引页额外占用的存储空间的目的。
基于上述实施例及可选实施例,提供了一种可选实施方式,下面具体说明。
为了说明索引碎片如何产生的,下面进行举例说明:
创建测试表u_test,表结构为u_id、u_name、u_extra;u_id占用4Bytes,u_name占用999Bytes,u_extra占用400Bytes。其中u_id和u_name共占用1003Bytes,模拟8条包含u_id和u_name的数据整好可以填满一页即1003*8=8024Bytes。通过命令验证数据索引信息(sp_spaceused‘u_test’),得到index_size为8KB。
执行数据库操作语句,执行update操作,假设u_name的原始名字为’jerry’,将u_id为2的u_name从’jerry’修改为’jerry2’,修改完成后,此时再次查询索引信息,会发现index_size由8KB变成了16KB,需要2页存储空间,这样就产生了索引碎片。
图2是相关技术中传统的索引碎片清理方式的流程图,如图2所示,传统索引碎片清理方式,需要数据库维护人员定期或者手动查询数据库表的碎片信息,根据碎片信息判断是否需要清理碎片,重复工作且效率较低,不能及时发现包含碎片的碎片率高的表,及时对表中的碎片进行清理,可能会造成用户查询慢、体验不佳。
鉴于此,本发明可选实施方式中提供了一种基于结构化查询语言自主清理索引碎片的方法,其能够及时获取数据库表索引页中的碎片信息,分析索引页中碎片信息的碎片率,将碎片率高的索引页进行清理。当数据库忙碌时,***会告警通知数据库管理人员人为判断,进而根据判断清理索引碎片;当数据库空闲时,***会实现自主清理索引碎片。两种索引碎片清理机制均为了保证程序和数据库正常运行。图3是本发明可选实施方式提供的自主清理索引碎片方法的流程图,如图3所示,下面对本发明可选实施方式进行详细介绍:
S1,配置数据库:
保证数据库能正常访问,数据库权限正常。其中,数据库可以配置一个或者多个。
S2,获取数据库中的信息:
即获取数据库中所有的表以及表中所有的索引信息,将数据库名、表名以及索引名存入内存中,***每日凌晨更新数据库信息,保证可以覆盖完整的数据库表。
S3,利用碎片查询组件查询内存中存储的数据库信息的碎片:
***内置多种碎片查询组件,组件一,可以通过传入数据库名查询数据库里所有索引的碎片信息;组件二,可以通过传入数据库名、表名查询指定表的所有索引的碎片信息;组件三,可以通过传入数据库名、表名以及索引名查询指定索引的碎片信息。可以根据实际应用的场景与需求选择特定的组件进行查询。
S4,人工清理,自主告警通知:
图4a是本发明可选实施方式提供的人工清理方法的流程图,如图4a所示,***定期每周1/3/5的12点/20点会自主获取数据库表索引碎片信息,分析在表中索引碎片信息的碎片率,在碎片率大于预定阈值的情况下,认为存在大量的索引碎片,将存在大量索引碎片的索引信息入库索引碎片表,并告警通知数据库管理员,使得数据库管理员能够在第一时间得知存在大量碎片的索引,数据库管理员判断是否清理,在确认清理的情况下,清理索引碎片,提高索引的检索效率。
举例说明,以上述举例的索引碎片是如何产生的继续向下操作,通过查询碎片详细信息,可知逻辑碎片(碎片率)为50%,总页数为2页。通过查询的逻辑碎片(avg_fragmentation_in_percent),判断是否需要清理索引碎片。avg_fragmentation_in_percent的值应尽可能接近于零。但是,从0%到10%的值都是可以接受的。值越低索引效率越高。
因此,在碎片率大于预定阈值的情况下,例如,30%,50%大于30%,认为存在大量的索引碎片,将存在大量索引碎片的索引信息入库索引碎片表,并告警通知数据库管理员,使得数据库管理员能够在第一时间得知存在大量碎片的索引,清理索引碎片,此处也可以理解为此时需要重建索引,重建索引会移除索引中所有的碎片。执行重建索引命令,完成碎片清理。
S5,自主空闲清理:
图4b是本发明可选实施方式提供的***自动清理方法的流程图,如图4b所示,***定时每日的预定时刻,在确保数据库空闲的情况下,例如,清晨。统一获取数据库表索引碎片信息,分析在表中索引碎片信息的碎片率,在碎片率大于预定阈值的情况下,认为存在大量的索引碎片,清理索引碎片,并提供完整的索引碎片的清理日志,包含数据库名、表名、索引名、碎片信息、清理时间等等。
举例说明,同上述S4中的操作,以上述举例的索引碎片是如何产生的继续向下操作,通过查询碎片详细信息,可知逻辑碎片(碎片率)为50%,总页数为2页。设置预定阈值为30%,50%大于30%,清理索引碎片,并提供完整的索引碎片的清理日志,包含数据库名、表名、索引名、碎片信息、清理时间等等。
需要说明的是,S4步骤中的方法,和S5步骤中的方法,互不干扰,互相配合;S4是当数据库使用频率较高的情况下,***会进行告警通知数据库管理人员,由数据库管理人员人为判断是否需要清理索引碎片;S5是在数据库空闲的情况下,自主进行索引碎片的清理工作。两者相互配合相互协作,能够达到更好的清楚索引碎片的效果。
通过上述可选实施方式,可以达到至少以下几点有益效果:
(1)无需维护人员频繁的手动查询索引碎片并判断是否需要清理;
(2)***实现自主告警通知和自主空闲清理,大大提高维护人员的工作效率,并且可以及时清理碎片高的索引,提高索引的检索效率;
(3)***提供两种索引碎片清理机制,保证程序和数据库正常运行。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
实施例2
根据本发明实施例,还提供了一种用于实施上述数据处理方法的装置,图5是根据本发明实施例的数据处理装置的结构框图,如图5所示,该装置包括:获取模块502,第一查询模块504,第二查询模块506,确定模块508和处理模块510,下面对该装置进行详细说明。
获取模块502,用于获取数据库中的索引页;第一查询模块504,连接于上述获取模块502,用于在数据库中查询与索引页对应的初始字节数;第二查询模块506,连接于上述第一查询模块504,用于以预定周期在数据库中查询与索引页对应的目标字节数;确定模块508,连接于上述第二查询模块506,用于依据初始字节数以及目标字节数,确定索引页额外占用存储空间的比例;处理模块510,连接于上述确定模块508,用于在比例大于预定阈值的情况下,基于索引页进行处理,以释放索引页额外占用的存储空间。
此处需要说明的是,上述获取模块502,第一查询模块504,第二查询模块506,确定模块508和处理模块510对应于实施数据处理方法中的步骤S102至步骤S110,多个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。
实施例3
根据本发明实施例的另外一个方面,还提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器,其中,处理器被配置为执行指令,以实现上述任一项的数据处理方法。
实施例4
根据本发明实施例的另外一个方面,还提供了一种计算机可读存储介质,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一项的数据处理方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
获取数据库中的索引页;
在所述数据库中查询与所述索引页对应的初始字节数;
以预定周期在所述数据库中查询与所述索引页对应的目标字节数;
依据所述初始字节数以及所述目标字节数,确定所述索引页额外占用存储空间的比例;
在所述比例大于预定阈值的情况下,基于所述索引页进行处理,以释放所述索引页额外占用的存储空间。
2.根据权利要求1所述的方法,其特征在于,所述获取数据库中的索引页,包括:
依据所述数据库,确定数据库表;
确定建立在所述数据库表中的索引;
依据所述数据库表,以及所述索引,获取所述数据库表对应的索引页。
3.根据权利要求1所述的方法,其特征在于,所述依据所述初始字节数以及所述目标字节数,确定所述索引页额外占用存储空间的比例,包括:
确定所述目标字节数与所述初始字节数的差值;
确定所述差值与所述目标字节数的比例,为所述索引页额外占用存储空间的比例。
4.根据权利要求1所述的方法,其特征在于,所述基于所述索引页进行处理,以释放所述索引页额外占用的存储空间,包括:
向终端发送告警信息,其中,所述告警信息中携带有所述索引页额外占用存储空间的比例,用于提醒基于所述索引页进行处理;
接收所述终端发送的处理请求;
响应所述处理请求,基于所述索引页进行处理,以释放所述索引页额外占用的存储空间。
5.根据权利要求1所述的方法,其特征在于,所述基于所述索引页进行处理,以释放所述索引页额外占用的存储空间,包括:
在预定时刻基于所述索引页进行处理,以减少所述索引页额外占用的存储空间。
6.根据权利要求2所述的方法,其特征在于,所述基于所述索引页进行处理,以释放所述索引页额外占用的存储空间,包括:
删除所述索引页对应的索引;
建立目标索引,以释放所述索引页额外占用的存储空间。
7.根据权利要求6所述的方法,其特征在于,所述建立目标索引,以释放所述索引页额外占用的存储空间之后,还包括:
依据所述目标索引,获取目标索引页,其中,所述目标索引页显示的内容与所述索引页显示的内容相同,所述目标索引页额外占用存储空间的比例与所述索引页额外占用存储空间的比例不同。
8.一种数据处理装置,其特征在于,包括:
获取模块,用于获取数据库中的索引页;
第一查询模块,用于在所述数据库中查询与所述索引页对应的初始字节数;
第二查询模块,用于以预定周期在所述数据库中查询与所述索引页对应的目标字节数;
确定模块,用于依据所述初始字节数以及所述目标字节数,确定所述索引页额外占用存储空间的比例;
处理模块,用于在所述比例大于预定阈值的情况下,基于所述索引页进行处理,以释放所述索引页额外占用的存储空间。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至7中任一项所述的数据处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111621112.5A CN114328526A (zh) | 2021-12-27 | 2021-12-27 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111621112.5A CN114328526A (zh) | 2021-12-27 | 2021-12-27 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114328526A true CN114328526A (zh) | 2022-04-12 |
Family
ID=81015171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111621112.5A Pending CN114328526A (zh) | 2021-12-27 | 2021-12-27 | 数据处理方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114328526A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117056359A (zh) * | 2023-10-09 | 2023-11-14 | 宁波银行股份有限公司 | 一种表格重建方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109656885A (zh) * | 2018-12-18 | 2019-04-19 | Oppo广东移动通信有限公司 | 存储空间监控方法及装置、电子终端、存储介质 |
CN110879810A (zh) * | 2019-12-02 | 2020-03-13 | 北京明略软件***有限公司 | 数据处理方法及装置 |
US20200242097A1 (en) * | 2019-01-29 | 2020-07-30 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, device and storage medium for managing index |
-
2021
- 2021-12-27 CN CN202111621112.5A patent/CN114328526A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109656885A (zh) * | 2018-12-18 | 2019-04-19 | Oppo广东移动通信有限公司 | 存储空间监控方法及装置、电子终端、存储介质 |
US20200242097A1 (en) * | 2019-01-29 | 2020-07-30 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, device and storage medium for managing index |
CN110879810A (zh) * | 2019-12-02 | 2020-03-13 | 北京明略软件***有限公司 | 数据处理方法及装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117056359A (zh) * | 2023-10-09 | 2023-11-14 | 宁波银行股份有限公司 | 一种表格重建方法、装置、电子设备及存储介质 |
CN117056359B (zh) * | 2023-10-09 | 2024-01-09 | 宁波银行股份有限公司 | 一种表格重建方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111176976A (zh) | 测试数据的生成方法和装置、存储介质及电子装置 | |
CN103312544B (zh) | 一种控制终端上报日志文件的方法、设备和*** | |
CN109299157B (zh) | 一种分布式大单表的数据导出方法及装置 | |
CN102780726A (zh) | 一种基于web平台的日志分析方法及*** | |
CN105989076A (zh) | 一种数据统计方法以及装置 | |
CN110555012A (zh) | 数据迁移方法及装置 | |
CN110245149B (zh) | 元数据的版本管理方法及装置 | |
CN113051460A (zh) | 基于Elasticsearch的数据检索方法、***、电子设备及存储介质 | |
CN114328526A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN106844389B (zh) | 网络资源地址url的处理方法和装置 | |
CN110928681A (zh) | 数据的处理方法和装置、存储介质及电子装置 | |
CN105162622A (zh) | 一种存储方法和*** | |
CN105338107A (zh) | 一种据点运营同步管理***及方法 | |
CN108762979B (zh) | 一种基于匹配树的终端信息备份方法及备份设备 | |
CN113849499A (zh) | 数据的查询方法、装置、存储介质及电子装置 | |
CN105653556B (zh) | 一种数据老化方法及装置 | |
CN107277095B (zh) | 会话分割方法及装置 | |
CN112527824B (zh) | 分页查询方法、装置、电子设备和计算机可读存储介质 | |
CN107451154A (zh) | 一种数据表的处理方法、装置及*** | |
CN110968615A (zh) | 数据查询方法及装置 | |
CN107070987B (zh) | 用于分布式对象存储***的数据获取方法及*** | |
CN115525603A (zh) | 存储统计方法、装置、计算机可读存储介质与ai设备 | |
CN103870478A (zh) | 一种恢复同步数据的方法及装置 | |
CN114817396A (zh) | 一种数据同步方法、装置、设备及存储介质 | |
CN101159775B (zh) | 硬件模块测试***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220412 |
|
RJ01 | Rejection of invention patent application after publication |