CN105653556A - 一种数据老化方法及装置 - Google Patents

Abstract

本发明提供一种数据老化方法及装置，涉及计算机技术领域，用以解决现有技术中内存数据库数据老化效率低、容易冲突且可能会产生数据孤点的问题。所述方法包括：各程序运行单位分别为自身使用的内存数据实时维护活跃度指示表，所述活跃度指示表用于将所述内存数据的索引按照所述内存数据的访问活跃度排列成一系列数据节点；各所述程序运行单位根据对应的所述活跃度指示表，释放访问活跃度低于预设访问阈值的内存数据。

Description

一种数据老化方法及装置

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据老化方法及装置。

背景技术

内存数据库(MemoryDatabaseSystem)是目前实时通信设备中常用的资源管理方式，当有某个进程或线程在访问内存数据库中的某个数据时，该数据处于使用状态，其他的进程和线程不能对该数据进行操作。但内存数据库本身并不提供将不常用的数据释放的数据老化功能。

现有技术中，数据(或资源)的老化一般由各个产品根据自身的业务逻辑创建一个独立的老化线程，通过调用数据库的查询接口，循环扫描数据库中的各个数据表，删除达到老化条件的数据，回收相应的内存空间。

然而，上述方法由于需要占用独立的CPU线程来实现资源老化，不但对CPU性能提出了更高的要求，还容易使老化守护线程与业务数据处理线程发生锁冲突，即，老化线程与业务数据处理线程，二者无论哪个，都会对其正在访问的内存数据加锁，从而阻止另一个对该内存数据的访问，影响另一个的正常运行。因此，锁冲突一方面降低了***性能，另一方面还会引起数据孤点，即，当老化线程要访问某个内存数据，但该内存数据却被业务数据处理线程频繁加锁而无法访问时，该内存数据就长期无法被释放，导致资源回收困难。另外，这种老化方法还必须扫描整个数据表，扫描周期长，老化效率低。

发明内容

本发明要解决的技术问题是提供一种数据老化方法及装置，用以解决现有技术中内存数据库数据老化效率低、容易冲突且可能会产生数据孤点的问题。

一方面，本发明提供一种数据老化方法，包括：各程序运行单位分别为自身使用的内存数据实时维护活跃度指示表，所述活跃度指示表用于将所述内存数据的索引按照所述内存数据的访问活跃度排列成一系列数据节点；各所述程序运行单位根据对应的所述活跃度指示表，释放访问活跃度低于预设访问阈值的内存数据。

可选的，所述程序运行单位包括线程和/或进程。

可选的，所述各程序运行单位分别为自身使用的内存数据实时维护活跃度指示表包括：所述各程序运行单位初次访问预设种类的内存数据时，为所述预设种类的内存数据创建对应的活跃度指示表，并将访问的所述内存数据的索引作为一个数据节点放置在所述活跃度指示表的末尾；所述各程序运行单位每次访问所述预设种类的内存数据时：在被访问的内存数据的索引已经存在于所述对应的活跃度指示表的情况下，将所述被访问的内存数据对应的数据节点更新到对应的活跃度指示表的末尾；在被访问的内存数据的索引不在所述对应的活跃度指示表的情况下，创建所述被访问的内存数据对应的数据节点，将创建的所述数据节点放置在所述对应的活跃度指示表的末尾。

可选的，所述活跃度指示表具体用于：将所述内存数据的索引按照所述内存数据的访问活跃度由低到高的顺序排列成一系列数据节点。

可选的，所述各所述程序运行单位根据对应的所述活跃度指示表，释放访问活跃度低于预设访问阈值的内存数据包括：各所述程序运行单位分别启动老化操作；各所述程序运行单位确定所述活跃度指示表的头节点对应的内存数据的访问活跃度是否低于所述预设访问阈值；在所述头节点对应的内存数据的访问活跃度低于所述预设访问阈值的情况下，释放所述头节点及其对应的内存数据，并继续确定所述活跃度指示表的下一个节点对应的内存数据的访问活跃度是否低于所述预设访问阈值，直至确定出所述活跃度指示表的一个节点对应的内存数据的访问活跃度高于或等于所述预设访问阈值，退出所述老化操作为止；在所述头节点对应的内存数据的访问活跃度高于或等于所述预设访问阈值的情况下，退出所述老化操作。

另一方面，本发明还提供一种数据老化装置，包括：维护单元，用于分别为各程序运行单位自身使用的内存数据实时维护活跃度指示表，所述活跃度指示表将所述内存数据的索引按照所述内存数据的访问活跃度排列成一系列数据节点；释放单元，用于分别根据对应的所述活跃度指示表，释放访问活跃度低于预设访问阈值的内存数据。

可选的，所述程序运行单位包括线程和/或进程。

可选的，所述维护单元具体用于：所述各程序运行单位初次访问预设种类的内存数据时，为所述预设种类的内存数据创建对应的活跃度指示表，并将访问的所述内存数据的索引作为一个数据节点放置在所述活跃度指示表的末尾；所述各程序运行单位每次访问所述预设种类的内存数据时：在被访问的内存数据的索引已经存在于所述对应的活跃度指示表的情况下，将所述被访问的内存数据对应的数据节点更新到对应的活跃度指示表的末尾；在被访问的内存数据的索引不在所述对应的活跃度指示表的情况下，创建所述被访问的内存数据对应的数据节点，将创建的所述数据节点放置在所述对应的活跃度指示表的末尾。

可选的，所述活跃度指示表，具体用于将所述内存数据的索引按照所述内存数据的访问活跃度由低到高的顺序排列成一系列数据节点。

可选的，所述释放单元具体用于：为各所述程序运行单位分别启动老化操作；为各所述程序运行单位确定所述活跃度指示表的头节点对应的内存数据的访问活跃度是否低于所述预设访问阈值；在所述头节点对应的内存数据的访问活跃度低于所述预设访问阈值的情况下，释放所述头节点及其对应的内存数据，并继续确定所述活跃度指示表的下一个节点对应的内存数据的访问活跃度是否低于所述预设访问阈值，直至确定出所述活跃度指示表的一个节点对应的内存数据的访问活跃度高于或等于所述预设访问阈值，退出所述老化操作为止；在所述头节点对应的内存数据的访问活跃度高于或等于所述预设访问阈值的情况下，退出所述老化操作。

本发明实施例提供的数据老化方法及装置，各程序运行单位分别为自身使用的内存数据实时维护活跃度指示表，然后根据对应的所述活跃度指示表释放访问活跃度低于预设访问阈值的内存数据，这样，一方面通过在每个程序运行单位内部执行老化程序，有效避免了运行单独的老化线程时引起的锁冲突和数据孤点；另一方面，由于活跃度指示表中的数据节点是按照其对应的内存数据的访问活跃度排列的，因此可以很容易地确定出第一个无需进行释放的数据节点并以该节点为分界，确定出所有不需释放的数据节点，从而直接退出老化程序，这样，无需对整个内存数据库进行扫描即可完成老化程序，大大提高了老化效率。

附图说明

图1是本发明实施例提供的数据老化方法的一种流程图；

图2是本发明优选实施例中活跃度指示表的资源组织方式的一种示意图；

图3是本发明优选实施例中活跃度指示表的创建流程图；

图4是本发明优选实施例中活跃度指示表的更新流程图；

图5是本发明优选实施例中利用活跃度指示表进行数据快速老化流程图；

图6是本发明实施例提供的数据老化装置的一种结构示意图。

具体实施方式

以下结合附图对本发明进行详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不限定本发明。

如图1所示，本发明的实施例提供一种数据老化方法，包括：

S11，各程序运行单位分别为自身使用的内存数据实时维护活跃度指示表，所述活跃度指示表用于将所述内存数据的索引按照所述内存数据的访问活跃度排列成一系列数据节点；

S12，各所述程序运行单位根据对应的所述活跃度指示表，释放访问活跃度低于预设访问阈值的内存数据。

本发明实施例提供的数据老化方法，各程序运行单位分别为自身使用的内存数据实时维护活跃度指示表，然后根据对应的所述活跃度指示表释放访问活跃度低于预设访问阈值的内存数据，这样，一方面通过在每个程序运行单位内部执行老化程序，有效避免了运行单独的老化线程时引起的锁冲突和数据孤点；另一方面，由于活跃度指示表中的数据节点是按照其对应的内存数据的访问活跃度排列的，因此可以很容易地确定出第一个无需进行释放的数据节点并以该节点为分界，确定出所有不需释放的数据节点，从而直接退出老化程序，这样，无需对整个内存数据库进行扫描即可完成老化程序，大大提高了老化效率。

需要说明的是，本发明的实施例中，程序运行单位是指可以相对独立的完成一定功能的单位，可以包括进程或线程。一个程序可以包括一个或多个程序运行单位，每个程序运行单位在运行过程中可能需要调用多种数据。例如用户需要查询话费详单，可能包括一个查询用户的用户线程和一个查询费用的费用线程，用户线程需要访问用户身份数据库，而费用线程需要访问短信计费数据库，电话计费数据库，网络流量计费数据库和其他增值业务数据库，这些数据库都可以驻留内存从而形成内存数据库。内存数据库既可以为内部组件的方式也可以为外部组件与内部组件组合的方式，本发明的实施例对此不做限定。其中，每一类内存数据中的每一个内存数据项被调用的频繁程度都可以用访问活跃度来表示，被调用频繁程度越高，说明该项内存数据越活跃。根据用户对不同时间范围内的频繁程度关注的不同，访问活跃度也具有多种表达方式，一项内存数据被访问后，其对应的访问活跃度至也会相应更新。

步骤S11中，各程序运行单位分别为自身使用的内存数据实时维护活跃度指示表，也就是用户线程为用户身份数据库维护一个活跃度指示表，查询线程为其对应的短信计费数据库、电话计费数据库、网络流量计费数据库和其他增值业务数据库各维护一个活跃度指示表。数据活跃度指示表的资源组织方式可如图2所示。

具体而言，各程序运行单位分别为自身使用的内存数据实时维护活跃度指示表具体可包括：

所述各程序运行单位初次访问预设种类的内存数据时，为所述预设种类的内存数据创建对应的活跃度指示表，并将访问的所述内存数据的索引作为一个数据节点放置在所述活跃度指示表的末尾；

所述各程序运行单位每次访问所述预设种类的内存数据时：

在被访问的内存数据的索引已经存在于所述对应的活跃度指示表的情况下，将所述被访问的内存数据对应的数据节点更新到对应的活跃度指示表的末尾；

在被访问的内存数据的索引不在所述对应的活跃度指示表的情况下，创建所述被访问的内存数据对应的数据节点，将创建的所述数据节点放置在所述对应的活跃度指示表的末尾。

仍以用户查询话费的程序为例进行说明，当用户线程初次访问用户身份数据库时，为该数据库创建一个对应的活跃度指示表，并且将访问到的用户身份数据的索引(如索引序号为22)作为一个数据节点放置在该活跃度指示表的末尾。随着程序的运行，该用户线程还可能会访问其他的用户身份数据，其对应的索引序号例如依次为8、14，那么，访问到索引序号8和14对应的数据时，也会将8和14对应的数据节点依次放置到活跃度指示表的末尾。当线程再次访问到序号为22的用户身份数据后，又会将该序号22对应的数据节点放置在活跃度指示表的末尾，如此往复，以使排列在活跃度指示表末尾的数据节点对应的内存数据总是最活跃的。也就是说，活跃度指示表将内存数据的索引按照所述内存数据的访问活跃度由低到高的顺序排列成一系列数据节点。同样道理，查询线程也以类似的方式维护着若干个这样的活跃度指示表。

当然，在本发明的其他实施例中，活跃度指示表也可以将内存数据的索引按照所述内存数据的访问活跃度由高到低的顺序排列成一系列数据节点，只要能够比较容易地确定出第一个无需进行释放的数据节点并以该节点为分界，确定出所有不需释放的数据节点即可，本发明的实施例对此不做限定。

可选的，在步骤S12中，各所述程序运行单位根据对应的所述活跃度指示表，释放访问活跃度低于预设访问阈值的内存数据可包括：

各所述程序运行单位分别启动老化操作；

各所述程序运行单位确定所述活跃度指示表的头节点对应的内存数据的访问活跃度是否低于所述预设访问阈值；

在所述头节点对应的内存数据的访问活跃度低于所述预设访问阈值的情况下，释放所述头节点及其对应的内存数据，并继续确定所述活跃度指示表的下一个节点对应的内存数据的访问活跃度是否低于所述预设访问阈值，直至确定出所述活跃度指示表的一个节点对应的内存数据的访问活跃度高于或等于所述预设访问阈值，退出所述老化操作为止；

在所述头节点对应的内存数据的访问活跃度高于或等于所述预设访问阈值的情况下，退出所述老化操作。

具体的，对于上述实施例中的话费查询程序，用户线程和查询线程在执行完相应的操作后，可以分别启动老化操作，确定各自对应的活跃度指示表的头节点访问活跃度是否低于所述预设访问阈值，从而确定是否需要释放相应的内存数据。例如，如果预设访问阈值为最近1分钟内访问过1次，头节点对应的内存数据的访问活跃度为最近1分钟内访问过0次，最近2分钟内访问过1次，头节点对应的内存数据的访问活跃度低于预设访问阈值，从而释放头节点及其对应的内存数据，并将所述头节点的下一个数据节点作为新的头节点，继续确定所述新的头节点对应的内存数据的访问活跃度是否低于所述预设访问阈值。若新的头节点对应的内存数据的访问活跃度为最近30秒内访问过一次，访问活跃度高于预设访问阈值，则可以确定该新的头节点以后的数据节点对应的内存数据的访问活跃度都高于预设访问阈值，因此无需再逐个考察剩余的各个数据节点及其对应的内存数据，直接退出老化程序即可。本实施例中，数据节点对应的内存数据的访问活跃度采用当前时刻与最近一次访问该内存数据的时间间隔的倒数来计量，但本发明不限于此，其他体现数据或资源的访问活跃度的指标如历史访问次数、平均访问间隔、平均访问频率等也可以经过不同的加权后纳入访问活跃度考察体系。本发明的实施例对此不做限定。

下面通过具体实施例来对本发明提供的数据老化方法进行详细说明。

如图3所示，活跃度指示表可以按照以下步骤创建数据节点。

步骤201，使用数据库接口创建一个数据节点。

步骤202，线程的活跃度指示表为空，那么将当前数据节点作为表的第一个节点。

步骤203，根据活跃度定义，新创建的数据节点的活跃度最高，将其移动到活跃度指示表尾部。

如图4所示，活跃度指示表可以按照以下步骤更新。

步骤301，使用数据库接口查询到一个数据节点。

步骤302，根据活跃度定义，新查询的数据节点活跃度最高，将其移动到活跃度指示表尾部。

本实施例中，数据节点查询后即调整其在活跃度指示表中的位置，相当于动态实现了数据节点的活跃度排序。访问频率低的节点则会慢慢集中于指示表的表头位置。

如图5所示，线程或进程可以按照如下步骤进行资源的快速老化。

步骤401，获取线程上活跃度指示表头节点，从头节点开始扫描。根据活跃度指示表定义，头节点是最不活跃的节点。

步骤402，当前节点不为空且达到老化条件,则调用数据库接口删除当前节点，否则跳转到步骤404。

步骤403，更新当前指示表的头节点为下一个节点，然后跳转到步骤401继续下一个节点的扫描。

步骤404，如果当前表头节点为空，说明当前指示表为空，退出当前老化流程即可。如果当前表头节点没有达到老化条件，根据活跃度指示表定义，表头节点为最不活跃节点，因此后续节点必然均不会达到老化条件，则可直接退出当前老化流程。

需要说明的是，上述实施例中的数据活跃度指示表，在每个线程中可以根据业务需要实例化多份，每一个数据表种类可以对应一个活跃度指示表。

相应的，如图6所示，本发明的实施例还提供一种数据老化装置，包括：

维护单元60，用于分别为各程序运行单位自身使用的内存数据实时维护活跃度指示表，所述活跃度指示表将所述内存数据的索引按照所述内存数据的访问活跃度排列成一系列数据节点；

释放单元62，用于分别根据维护单元60维护的对应的所述活跃度指示表，释放访问活跃度低于预设访问阈值的内存数据。

本发明实施例提供的数据老化装置，维护单元60能够分别为各程序运行单位自身使用的内存数据实时维护活跃度指示表，释放单元62能够根据对应的所述活跃度指示表释放访问活跃度低于预设访问阈值的内存数据，这样，一方面通过在每个程序运行单位内部执行老化程序，有效避免了运行单独的老化线程时引起的锁冲突和数据孤点；另一方面，由于活跃度指示表中的数据节点是按照其对应的内存数据的访问活跃度排列的，因此可以很容易地确定出第一个无需进行释放的数据节点并以该节点为分界，确定出所有不需释放的数据节点，从而直接退出老化程序，这样，无需对整个内存数据库进行扫描即可完成老化程序，大大提高了老化效率。

需要说明的是，本实施例中，程序运行单位是指可以相对独立的完成一定功能的单位，可以包括进程或线程。一个程序可以包括一个或多个程序运行单位，每个程序运行单位在运行过程中可能需要调用多种数据。

可选的，维护单元20可具体用于：

所述各程序运行单位初次访问预设种类的内存数据时，为所述预设种类的内存数据创建对应的活跃度指示表，并将访问的所述内存数据的索引作为一个数据节点放置在所述活跃度指示表的末尾；

所述各程序运行单位每次访问所述预设种类的内存数据时：

在被访问的内存数据的索引已经存在于所述对应的活跃度指示表的情况下，将所述被访问的内存数据对应的数据节点更新到对应的活跃度指示表的末尾；

在被访问的内存数据的索引不在所述对应的活跃度指示表的情况下，创建所述被访问的内存数据对应的数据节点，将创建的所述数据节点放置在所述对应的活跃度指示表的末尾。

可选的，所述活跃度指示表，具体用于将所述内存数据的索引按照所述内存数据的访问活跃度由低到高的顺序排列成一系列数据节点。

可选的，释放单元62可具体用于：

为各所述程序运行单位分别启动老化操作；

为各所述程序运行单位确定所述活跃度指示表的头节点访问活跃度是否低于所述预设访问阈值；

在所述头节点对应的内存数据的访问活跃度低于所述预设访问阈值的情况下，释放所述头节点及其对应的内存数据，并继续确定所述活跃度指示表的下一个节点对应的内存数据的访问活跃度是否低于所述预设访问阈值，直至确定出所述活跃度指示表的一个节点对应的内存数据的访问活跃度高于或等于所述预设访问阈值，退出所述老化操作为止；

在所述头节点访问活跃度高于或等于所述预设访问阈值的情况下，退出所述老化操作。

尽管为示例目的，已经公开了本发明的优选实施例，本领域的技术人员将意识到各种改进、增加和取代也是可能的，因此，本发明的范围应当不限于上述实施例。

Claims (10)

1.一种数据老化方法，其特征在于，包括：

各程序运行单位分别为自身使用的内存数据实时维护活跃度指示表，所述活跃度指示表用于将所述内存数据的索引按照所述内存数据的访问活跃度排列成一系列数据节点；

各所述程序运行单位根据对应的所述活跃度指示表，释放访问活跃度低于预设访问阈值的内存数据。

2.根据权利要求1所述的方法，其特征在于，所述程序运行单位包括线程和/或进程。

3.根据权利要求1或2所述的方法，其特征在于，所述各程序运行单位分别为自身使用的内存数据实时维护活跃度指示表包括：

所述各程序运行单位初次访问预设种类的内存数据时，为所述预设种类的内存数据创建对应的活跃度指示表，并将访问的所述内存数据的索引作为一个数据节点放置在所述活跃度指示表的末尾；

所述各程序运行单位每次访问所述预设种类的内存数据时：

在被访问的内存数据的索引已经存在于所述对应的活跃度指示表的情况下，将所述被访问的内存数据对应的数据节点更新到对应的活跃度指示表的末尾；

在被访问的内存数据的索引不在所述对应的活跃度指示表的情况下，创建所述被访问的内存数据对应的数据节点，将创建的所述数据节点放置在所述对应的活跃度指示表的末尾。

4.根据权利要求1或2所述的方法，其特征在于，所述活跃度指示表具体用于：

将所述内存数据的索引按照所述内存数据的访问活跃度由低到高的顺序排列成一系列数据节点。

5.根据权利要求4所述的方法，其特征在于，所述各所述程序运行单位根据对应的所述活跃度指示表，释放访问活跃度低于预设访问阈值的内存数据包括：

各所述程序运行单位分别启动老化操作；

各所述程序运行单位确定所述活跃度指示表的头节点对应的内存数据的访问活跃度是否低于所述预设访问阈值；

在所述头节点对应的内存数据的访问活跃度低于所述预设访问阈值的情况下，释放所述头节点及其对应的内存数据，并继续确定所述活跃度指示表的下一个节点对应的内存数据的访问活跃度是否低于所述预设访问阈值，直至确定出所述活跃度指示表的一个节点对应的内存数据的访问活跃度高于或等于所述预设访问阈值，退出所述老化操作为止；

在所述头节点对应的内存数据的访问活跃度高于或等于所述预设访问阈值的情况下，退出所述老化操作。

6.一种数据老化装置，其特征在于，包括：

维护单元，用于分别为各程序运行单位自身使用的内存数据实时维护活跃度指示表，所述活跃度指示表将所述内存数据的索引按照所述内存数据的访问活跃度排列成一系列数据节点；

释放单元，用于分别根据对应的所述活跃度指示表，释放访问活跃度低于预设访问阈值的内存数据。

7.根据权利要求6所述的装置，其特征在于，所述程序运行单位包括线程和/或进程。

8.根据权利要求6或7所述的装置，其特征在于，所述维护单元具体用于：

所述各程序运行单位初次访问预设种类的内存数据时，为所述预设种类的内存数据创建对应的活跃度指示表，并将访问的所述内存数据的索引作为一个数据节点放置在所述活跃度指示表的末尾；

所述各程序运行单位每次访问所述预设种类的内存数据时：

在被访问的内存数据的索引已经存在于所述对应的活跃度指示表的情况下，将所述被访问的内存数据对应的数据节点更新到对应的活跃度指示表的末尾；

在被访问的内存数据的索引不在所述对应的活跃度指示表的情况下，创建所述被访问的内存数据对应的数据节点，将创建的所述数据节点放置在所述对应的活跃度指示表的末尾。

9.根据权利要求6或7所述的装置，其特征在于，所述活跃度指示表，具体用于将所述内存数据的索引按照所述内存数据的访问活跃度由低到高的顺序排列成一系列数据节点。

10.根据权利要求9所述的装置，其特征在于，所述释放单元具体用于：

为各所述程序运行单位分别启动老化操作；

为各所述程序运行单位确定所述活跃度指示表的头节点对应的内存数据的访问活跃度是否低于所述预设访问阈值；

在所述头节点对应的内存数据的访问活跃度低于所述预设访问阈值的情况下，释放所述头节点及其对应的内存数据，并继续确定所述活跃度指示表的下一个节点对应的内存数据的访问活跃度是否低于所述预设访问阈值，直至确定出所述活跃度指示表的一个节点对应的内存数据的访问活跃度高于或等于所述预设访问阈值，退出所述老化操作为止；

在所述头节点对应的内存数据的访问活跃度高于或等于所述预设访问阈值的情况下，退出所述老化操作。