CN108984719B

CN108984719B - 基于列存储的数据删除方法、装置、服务器及存储介质

Info

Publication number: CN108984719B
Application number: CN201810749906.1A
Authority: CN
Inventors: 郭琰; 王攀; 周智伟
Original assignee: Shanghai Dameng Database Co Ltd
Current assignee: Shanghai Dameng Database Co Ltd
Priority date: 2018-07-10
Filing date: 2018-07-10
Publication date: 2021-08-03
Anticipated expiration: 2038-07-10
Also published as: CN108984719A

Abstract

本发明公开了一种基于列存储的数据删除方法、装置、服务器及存储介质，涉及数据库领域，该方法包括：获取列存储表的待删除数据；确定所述待删除数据所在列存储表中的数据区；按照所述数据区，在所述列存储表对应的删除辅助表中记录所述待删除数据的行号；确定所述数据区删除所述待删除数据后的统计信息，并修改所述列存储表对应的列存储辅助表中与所述统计信息对应的记录。本发明采用上述技术方案，提高了基于列存储的数据的删除效率。

Description

基于列存储的数据删除方法、装置、服务器及存储介质

技术领域

本发明实施例涉及数据库技术领域，尤其涉及一种基于列存储的数据删除方法、装置、服务器及存储介质。

背景技术

随着大数据技术的不断发展，数据库中包含的数据量急剧增加，对传统的基于行存储模式的查询性能提出了挑战。

目前，为了提高数据库查询性能，人们开始考虑一种与传统行存储不同的存储方式——列存储。列存储技术是将数据表以列为单位进行存储，相同列的数据存储在一个数据文件中或者按照数据规模存储在多个文件中。

列存储方式固然可以提高数据查询性能，但是当删除数据时，由于删除一行数据需要对分开存储的每个列数据分别进行定位和删除，因此数据删除性能要低于行存储方式。

发明内容

有鉴于此，本发明实施例提供一种基于列存储的数据删除方法、装置、服务器及存储介质，以提高列存储表的数据删除效率。

第一方面，本发明实施例提供了一种基于列存储的数据删除方法，所述方法包括：

获取列存储表的待删除数据；

确定所述待删除数据所在列存储表中的数据区；

按照所述数据区，在所述列存储表对应的删除辅助表中记录所述待删除数据的行号；

确定所述数据区删除所述待删除数据后的统计信息，并修改所述列存储表对应的列存储辅助表中与所述统计信息对应的记录。

第二方面，本发明实施例还提供了一种基于列存储的数据删除装置，所述装置包括：

数据获取模块，用于获取列存储表的待删除数据；

数据区确定模块，用于确定所述待删除数据所在列存储表中的数据区；

行号记录模块，用于按照所述数据区，在所述列存储表对应的删除辅助表中记录所述待删除数据的行号；

记录修改模块，用于确定所述数据区删除所述待删除数据后的统计信息，并修改所述列存储表对应的列存储辅助表中与所述统计信息对应的记录。

第三方面，本发明实施例还提供了一种服务器，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的基于列存储的数据删除方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例所述的基于列存储的数据删除方法。

本发明通过利用删除辅助表来记录列存储表中的待删除数据，从而将对列存储表的删除转化为对删除辅助表的***，从而避免了对数据文件进行读写，解决了数据删除效率较低的问题，提高了基于列存储的数据的删除效率。

附图说明

图1是本发明实施例一提供的基于列存储的数据删除方法的流程图；

图2是本发明实施例二提供的基于列存储的数据删除方法的流程图；

图3是本发明实施例三提供的基于列存储的数据删除装置的结构示意图；

图4是本发明实施例四提供的一种服务器的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

实施例一

图1是本发明实施例一提供的一种基于列存储的数据删除方法的流程图，本实施例可适用于对基于列存储的数据进行删除的情况，该方法可以由基于列存储的数据删除装置来执行，该装置可以由软件和/或硬件来实现，一般可集成在服务器中，如图1所示，本实施例提供的技术方案具体如下：

步骤110，获取列存储表的待删除数据。

可选的，获取列存储表的待删除数据可以首先获取列存储表的删除语句，并根据所述删除语句，确定待删除数据。

示例性地，通过删除语句：delete from t where学号＝‘110628’可以获取表t中学号为‘110628’的学生记录，该学生记录为待删除数据。

列存储就是把数据以列为单位进行存储，其具体存储规则和管理实现方式会直接决定列存储表的操作效率，用户需要删除的数据即待删除数据存储在对应的列存储表中。

本申请实施例中的待删除数据可以是任意需要删除的数据对象，示例性地，可以是学生数据对象，其中，学生数据对象通常包含学生的姓名、性别、学号、年龄、年级等字段，或是老师数据对象，其中，老师数据对象通常包含姓名、年龄、教龄、薪资等字段。

步骤120，确定所述待删除数据所在列存储表中的数据区。

每一列数据按照一定的预先设定的行数进行分区存储，这样的区称为数据区，预先设定的行数称为区大小。同一个数据区中的数据存储在同一个数据文件中，一个数据文件可以存储一到多个数据区。

本实施例中，提供了一种分区存储数据的列存储规则，同一列数据直接存储在一个数据文件或按照数据规模存储在多个数据文件中，并辅以列存储辅助表。

其中，列存储辅助表用于记录每个列的每个区在数据文件中的偏移地址和数据长度等控制信息，以及每个区中存储的列值的最大值和最小值等统计信息。

可选的，列存储辅助表的结构如下：

表1：列存储辅助表结构

下面对上述列存储辅助表的结构进行解释说明：

1)列号：该列在创建表时表定义中对应的序号；

2)区号：不同的数据区会有不同的编号，数据区所对应的编号为区号；

3)文件号：数据文件所对应的文件编号；

4)文件中的偏移：当前数据区在数据文件中的偏移字节，例如，若三个数据区保存到同一个数据文件中，则第一个数据区的文件中的偏移为0，第二个数据区的文件中的偏移为第一个数据区占用的数据空间，第三个数据区的文件中的偏移为第一个和第二个数据区占用的数据空间。

5)区大小：数据区所能存储数据的总行数，是用户预先设定的；

6)区内有效数据行数：去除删除数据后数据区中数据的行数；

7)数据占用空间大小：数据存储所占用的字节数；

8)包括的空(NULL)值的行数：数据区中的数据中空值所占的行数；

9)所有数据互不相同的行数：列存储表中所存储的数据中互不相同的数据所占的行数；

10)区内最大值：数据区中的最大数据值；

11)区内最小值：数据区中的最小数据值；

12)区内所有值的和:数据区内所有数据值得总和。

其中，列存储辅助表中的列号、区号、文件号、数据占用空间大小、文件中的偏移为控制信息；区内最大值、区内最小值、区内所有值的和、区大小、区内有效数据行数、包括的空值的行数及所有数据互不相同的行数为统计信息。

由于数据是在列存储表中分区存储的，因此在获取到列存储表中的待删除数据后，根据待删除数据的行号及所述列存储辅助表中记录的列号、区号、文件号、区内有效数据行数，确定待删除数据所在的数据文件及位于列存储表中的哪些数据区。

步骤130，按照所述数据区，在所述列存储表对应的删除辅助表中记录所述待删除数据的行号。

在创建列存储表的同时会创建对应的删除辅助表。由于每一个数据区中所存储的数据对应不同的行号，因此，在确定待删除数据所在的数据区后，在列存储表中对应的删除辅助表中按照数据区记录待删除数据的行号。将待删除数据按照其所在数据区的不同，依次对各数据区进行处理。

本实施例中，删除辅助表用于按照数据区记录每个数据区中的删除的数据，具体的，删除辅助表可以记录要删除的数据所在的行号。

步骤140，确定所述数据区删除所述待删除数据后的统计信息，并修改所述列存储表对应的列存储辅助表中与所述统计信息对应的记录。

在删除待删除数据后，列存储表中待删除数据所在数据区的统计信息也会相应改变，例如所有数据互不相同的行数、区内所有值的和等统计信息。因此需要对列存储表对应的列存储辅助表中的相应的统计信息进行修改。在确定待删除数据所在的数据区后，获取该数据区的数据，并计算该数据区的数据删除所述待删除数据后的统计信息，并对应修改列存储辅助表中的对应记录，例如，在删除待删除数据后，所有数据互不相同的行数发生了改变，则对应修改列存储辅助表中的该条记录；在删除待删除数据后，区内所有值的和发生了改变，则对应修改列存储辅助表中的该条记录。

需要说明的是，在列存储表的数据经过较多的增、删、改操作后，存在各个辅助表数据膨胀的问题。因此，可选的，在***较为空闲或对该列存储表不进行操作时，对该列存储表进行数据重整，即把***辅助表、删除辅助表和更新辅助表中的数据都写入数据文件中，然后把***辅助表、删除辅助表和更新辅助表清空，保证删除辅助表的规模不会太大，从而提高数据的查询效率。

更新辅助表用于记录列存储表中的各个数据区中的更新数据，其中一条更新记录包括行号、列号和更新后的值。本实施例中更新辅助表的表结构如下：

表2：更新辅助表结构

列名	类型	说明
			COLID	SMALLINT	更新的列号
DTA_ROWID	BIGINT	更新的行号
			VALUE	VARBINARY(8188)	更新后的值

更新辅助表用于列存储表数据的更新。对列存储表执行更新操作时，把更新的数据的行号、列号以及更新后的值记录在更新辅助表中。

当数据区中确定出某些行号的数据为待删除数据时，则将更新辅助表中记录的该行号的记录值删除。由此可以减少数据所占空间。

本发明实施例提供的技术方案，在对数据进行删除时，通过设置删除辅助表，将对列存储表中的数据删除操作转化为对删除辅助表的***操作，而不必频繁删除数据文件中的数据，从而避免了对基于列存储的数据文件进行频繁读写的问题，提升了数据删除效率。

在上述技术方案的基础上，还可选包括：

在预设时间，将所述删除辅助表中的对应数据合并到所述列存储表对应的数据文件中。

其中，所述预设时间用户可以根据需要进行设置，如可以设置为***较为空闲的时间，如每天的凌晨3点，或者是每周日的凌晨3点。

通过在到达预设时间时，将删除辅助表中对应数据合并到所述列存储表对应的数据文件中，即将数据文件对应数据区中的数据删除掉，这样可以避免删除辅助表数据膨胀的问题，避免了在对数据进行查询时利用删除辅助表对查询结果频繁进行校正，提高数据的查询效率。

在上述技术方案的基础上，还可选包括：

若更新辅助表中有所述行号的更新记录，则删除该更新记录。

由于该行号的数据已经被删除，因此也就不会再对其进行更新操作，将该更新记录进行删除可以减少数据占用空间。

实施例二

图2给出了本发明实施例二提供的一种基于列存储的数据删除的方法的流程图。本实施例以上述实施例为基础，提供一种优选的实施例，未在本实施例中详尽描述的细节参见上述实施例一。如图2所示，本实施例提供的一种基于列存储的数据删除的方法，包括以下步骤：

步骤210：获取列存储表的待删除数据。

步骤220：确定所述待删除数据所在列存储表中的数据区。

步骤230：获取所述数据区对应的所述列存储辅助表的记录。

本实施例中，在确定待删除数据所在列存储表的数据区后，在列存储辅助表中找到该数据区的记录。示例性地，所述记录可以是区号、数据占用空间大小、区内有效数据行数、行号等。

步骤240：若所述待删除数据包括连续多行的数据，则按照数据区确定所述待删除数据的起始行号及对应的行数。

由于删除辅助表需要记录要删除的数据所在的行号，当需要删除的数据为连续多行的数据时，也可以只记录要删除的数据的起始行号及对应的删除行数。因此，当待删除数据为连续多行时，要确定数据区中所要删除数据的首行的行号及要删除数据的的总行数，从而使记录更加方便，也减少了数据占用空间。

可以预先定义删除辅助表的结构，即定义需要记录的内容，及该内容的具体类型，本实施例中删除辅助表的表结构如下：

表3：删除辅助表结构

列名	类型	说明
			START_ID	BIGINT	起始行号
COUNT	INT	删除的行数

步骤250：判断在一个数据区中待删除数据的行数与所述列存储辅助表中的区内有效数据行数是否相等，若果是则执行步骤260，如果否则执行步骤270。

在确定对应的数据区后，该数据区中的数据不一定都是有效数据，由于进行删除时并没有真正对数据文件中的数据区中的数据进行删除，而是将删除记录的行号记录到了删除辅助表中，并更新了列存储辅助表中的有效数据行数，因此列存储辅助表中的区内有效数据行数即为区内未被删除的数据的行数。

由于待删除数据在一个数据区中的行数与所述列存储辅助表中的区内有效数据行数的大小关系的不同对应不同的删除规则，因此需要在执行删除操作前进行判断。

步骤260：删除所述列存储辅助表、所述删除辅助表和更新辅助表中的对应记录，并释放对应的数据区的存储空间。

当判断得出在一个数据区中待删除数据的行数与所述列存储辅助表中的区内有效数据行数相等时，说明该数据区中的所有记录都要被删除，此时直接删除所述列存储辅助表、所述删除辅助表和更新辅助表中对应的所有记录。另外，由于列存储辅助表中不仅记录了数据的统计信息，还记录了数据的控制信息，将列存储辅助表、删除辅助表和更新辅助表中对应的所有记录删除后也就代表这个数据区已经被删除，删除对应的数据区中的所有数据，从而该数据区的存储空间被释放。可选的，该数据区的存储空间可以在后续***新的数据区时重复使用。

步骤270：将所述起始行号及对应的行数***到所述删除辅助表中，之后执行步骤280。

当判断得出在一个数据区中待删除数据行数与所述列存储辅助表中的区内有效数据行数不相等时，说明将待删除数据删除后该数据区还有其他数据，此时需要向删除辅助表中记录所要删除数据的起始行号及对应的行数。

步骤280：确定所述数据区删除所述待删除数据后的统计信息，并修改所述列存储表对应的列存储辅助表中与所述统计信息对应的记录。

本发明实施例提供的技术方案，在对数据进行删除时，当待删除数据为连续多行的数据时，则可以合并记录，从而可以减少对存储空间的占用，优选的，还可以通过判断所述待删除数据的行数与所述列存储辅助表中的数据区内有效数据行数的大小关系来确定数据的删除规则。若在一个数据区中所述待删除数据的行数与所述列存储辅助表中的区内有效数据行数不相等，则将所述起始行号及对应的行数***到所述删除辅助表中。否则删除所述列存储辅助表、所述删除辅助表和更新辅助表中的对应记录，并释放对应的数据区的存储空间。解决了对数据文件频繁读写的问题，减小了IO，提升了数据删除效率。

实施例三

图3是本发明实施例四提供的一种基于列存储的数据删除装置的流程图，所述装置用于执行基于列存储的数据删除方法。如图3所示，所述装置包括数据获取模块310、数据区确定模块320、行号记录模块330以及记录修改模块340。

其中，数据获取模块310，用于获取列存储表的待删除数据；

数据区确定模块320，用于确定所述待删除数据所在列存储表中的数据区；

行号记录模块330，用于按照所述数据区，在所述列存储表对应的删除辅助表中记录所述待删除数据的行号；

记录修改模块340，用于确定所述数据区删除所述待删除数据后的统计信息，并修改所述列存储表对应的列存储辅助表中与所述统计信息对应的记录。

进一步的，所述行号记录模块包括：

记录获取单元，用于获取所述数据区对应的所述列存储辅助表的记录；

确定单元，用于若所述待删除数据包括连续多行的数据，则按照数据区确定所述待删除数据的起始行号及对应的行数；

***单元，用于若在一个数据区中待删除数据的行数与所述列存储辅助表中的区内有效数据行数不相等，则将所述起始行号及对应的行数***到所述删除辅助表中。

可选的，所述装置还包括：

释放模块，用于若所述待删除数据的行数与所述列存储辅助表中的数据区内有效数据行数相等，则删除所述列存储辅助表、所述删除辅助表和更新辅助表中的对应记录，并释放对应的数据区的存储空间。

进一步的，所述数据获取模块具体用于：

获取列存储表的删除语句，并根据所述删除语句，确定待删除数据。

可选的，还包括：

更新记录删除模块，用于若更新辅助表中有所述行号的更新记录，则删除该更新记录。

进一步的，还包括：

数据重整模块，用于在预设时间，将所述删除辅助表中的对应数据合并到所述列存储表对应的数据文件中。

上述基于列存储的数据删除装置可执行本发明任意实施例所提供的基于列存储的数据删除方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的基于列存储的数据删除方法。

实施例四

本发明实施例四提供了一种服务器，集成了本发明任意实施例所提供基于列存储的数据删除装置。具体的，如图4所示，本发明实施例提供一种服务器，该服务器包括：

一个或者多个处理器410，图4中以一个处理器410为例；

存储器420；以及一个或者多个模块。

所述服务器还可以包括：输入装置430和输出装置440。所述服务器中的处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器420作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于列存储的数据删除方法对应的程序指令/模块(例如，附图3所示的数据获取模块310、数据区确定模块320、行号记录模块330以及记录修改模块340。处理器410通过运行存储在存储器420中的软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的基于列存储的数据删除方法。

存储器420可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器420可进一步包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置430可用于接收输入的数字或字符信息，以及产生与服务器的用户设置以及功能控制有关的键信号输入。输出装置440可包括显示屏等显示设备。

上述服务器可执行本发明任意实施例所提供的基于列存储的数据删除方法，具备执行方法相应的功能模块和有益效果。

实施例五

本发明实施例五还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请所有发明实施例提供的基于列存储的数据删除方法：

也即，该程序被处理器执行时实现：

获取列存储表的待删除数据；

确定所述待删除数据所在列存储表中的数据区；

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims

1.一种基于列存储的数据删除方法，其特征在于，所述方法包括：

获取列存储表的待删除数据；

确定所述待删除数据所在列存储表中的数据区；

所述按照所述数据区，在所述列存储表对应的删除辅助表中记录所述待删除数据的行号，包括：

获取所述数据区对应的所述列存储辅助表的记录；

若所述待删除数据包括连续多行的数据，则按照数据区确定所述待删除数据的起始行号及对应的行数；

若在一个数据区中待删除数据的行数与所述列存储辅助表中的区内有效数据行数不相等，则将所述起始行号及对应的行数***到所述删除辅助表中；

确定所述数据区删除所述待删除数据后的统计信息，并修改所述列存储表对应的列存储辅助表中与所述统计信息对应的记录，其中，列存储辅助表用于记录每个列的每个区在数据文件中的偏移地址和数据长度等控制信息，以及每个区中存储的列值的最大值和最小值等统计信息。

2.根据权利要求1所述的方法，其特征在于，按照所述数据区，在所述列存储表对应的删除辅助表中记录所述待删除数据的行号，还包括：

若所述待删除数据的行数与所述列存储辅助表中的数据区内有效数据行数相等，则删除所述列存储辅助表、所述删除辅助表和更新辅助表中的对应记录，并释放对应的数据区的存储空间。

3.根据权利要求1所述的方法，其特征在于，获取列存储表的待删除数据，包括：

4.根据权利要求1所述的方法，其特征在于，还包括：

5.根据权利要求1所述的方法，其特征在于，还包括：

6.一种基于列存储的数据删除的装置，其特征在于，所述装置包括：

数据获取模块，用于获取列存储表的待删除数据；

所述行号记录模块包括：

***单元，用于若在一个数据区中待删除数据的行数与所述列存储辅助表中的区内有效数据行数不相等，则将所述起始行号及对应的行数***到所述删除辅助表中；

记录修改模块，用于确定所述数据区删除所述待删除数据后的统计信息，并修改所述列存储表对应的列存储辅助表中与所述统计信息对应的记录，其中，列存储辅助表用于记录每个列的每个区在数据文件中的偏移地址和数据长度等控制信息，以及每个区中存储的列值的最大值和最小值等统计信息。

7.一种服务器，其特征在于，所述服务器包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的基于列存储的数据删除方法。

8.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的基于列存储的数据删除方法。