CN112711567B - Session文件使用空间的清理方法和*** - Google Patents

Abstract

本发明提供了一种Session文件使用空间的清理方法和***。该方法包括：根据当前的session文件占用空间及***总空间，计算当前的***空间占用率；判断当前的***空间占用率是否超出了清理触发阈值；如果当前的***空间占用率超出了清理触发阈值，执行空间清理操作。本发明提供的Session文件使用空间的清理方法和***使文件***保持充足的使用空间，保证Web***的正常运行。

Description

Session文件使用空间的清理方法和***

技术领域

本发明涉及Web***技术领域，特别是涉及一种Session文件使用空间的清理方法和***。

背景技术

Session被应用在网络应用，尤其是Web***中；使得用户切换于不同Web页面之间时，会话所需的配置通常是用户的特性信息被保存于session，整个会话一直存在；Session机制使得Web***能像CS应用客户端一样便利，而保存于服务端的Session也保证其安全性。

其存取方式通常是文件，默认情况也是文件，用户初始进入Web***，可能会立即要求用户验证账户信息进行登录，Web服务根据是否启用Session在请求结束后将Session写入到文件，文件会保存在预先设定好的路径；切换页面时浏览器会向Web服务站点发送Session的ID参数，Web服务根据ID参数读取相应文件并解析，加载上次写入的用户配置信息，Web***根据用户配置信息呈现交互。

使用Session付出的是浏览器增加ID参数，通常是32位随机十六进制字符，Web服务增加一次读文件和一次写文件；收获的是解决HTTP协议无状态的特性，使得Web***拥有记忆能力，解决URL请求没有上下文关系，服务端保存客户端的状态。

对于Web***来说，一次请求中的一次文件读操作和一次文件写操作对磁盘的压力是很小的，Session文件的大小通常会是一千字节以内。

但是对于大数据时代的今天，Web***的并发量以及用户量必须得从技术预研和架构时考虑；当并发和用户量过大，势必会造成Session文件泛滥，引发Session使用空间暴涨，造成Web***无法正常使用，进而服务器瘫痪。

对于上述问题，现有技术中的解决方式大致有以下几种：

GC机制：Web服务器的Session通常会自带有GC机制，也就是垃圾回收，根据预设定的参数概率性的执行垃圾回收动作，删除超过预设时间的Session文件，可以很好地缓解使用空间问题。

数据库解决：Session信息除了可以保存在文件中，也可以将其信息保存于数据库中，由数据库自行解决空间问题。

进程解决：Session信息也可以保存于Web服务的进程中，也就是内存中；只要Web服务重启，其使用的空间也能够得到释放。

人工监控：派遣专人实时监控Web***运行情况及使用空间情况，及时处理。

GC机制可以缓解使用空间问题，但其并未真正的对症下药，即使将概率设置到百分百触发，预设的最大存在时间并不容易把握，而且并不灵活，也许设置参数过小，会使得正在访问的用户掉线，甚至是当前用户直接掉线，无法登录的情况出现。

数据库确实是解决使用空间看似很完美的方案；数据库方式的需要将配置指定到数据库的连接关闭及读写，完成Session的各接口，其已经使得Session丧失了便利性；数据库的存取通常也是基于文件***，直接读写文件比数据库查询写入更快，数据库还需要连接和关闭，数据库的优势更多应体现在结构化数据和访问的安全控制，用于Session并不利于其特性发挥。

进程解决更多的是提升其性能，但是以内存换取硬盘空间无疑也是不可取的，内存空间是更加珍贵；而且重启会造成数据丢失，更加不安全。

人工方式无疑是以增加成本代价换取稳定，但是对于分秒必争的大用户量Web***人工方式无疑是杯水车薪，人力只能是作为最后保障。

Web服务置于网络中，承受恶意攻击是很正常的情况，恶意攻击通常会模拟登录动作，不需要成功登录，只需要不断的尝试登录，Web服务打开一个Session，不写入任何内容，即关闭，Web服务就产生大量大小为0的文件，当然恶意攻击的本意是为了破解密码而不是产生这些空文件，这些文件是短时间内产生的，并不会超过预设的最大存在时间不会被GC回收；

这些文件大小确实是0，因为未写入任何东西，但是文件肯定会占用一小部分空间，最起码文件名，文件宿主，文件最后修改时间等信息。

通过linux内核源码可知，新建一个空文件会占用一个Inode，关于Inode，linux4.19.154的fs/ext4/ext4.h中定义有

struct ext4_inode{

__le16 i_mode； #文件权限

__le16 i_uid； #文件所有者ID

__le32 i_size； #文件字节数大小

__le32 i_atime； #文件上次被访问的时间

__le32 i_ctime； #文件创建时间

__le32 i_mtime； #文件被修改的时间

__le32 i_dtime； #文件被删除的时间

__le16 i_gid； #文件所属组ID

__le16 i_links_count； #此文件的inode被连接的次数

__le32 i_blocks； #文件的block数量

......

__le32 i_block[EXT2_N_BLOCKS]；#指向存储文件数据的块的数组

......

Ext4和xfs都是默认256，文件的结构体并没有文件名，文件名被存放于文件夹中：

struct ext4_dir_entry_2{

__le32 inode； /*Inode number*/

__le16 rec_len； /*Directory entry length*/

__u8 name_len； /*Name length*/

__u8 file_type；

char name[EXT4_NAME_LEN]；/*File name*/

}；

可见，虽然是空文件，其占用的Inode和占用文件夹的文件名也是需要空间的；经过测试xfs文件***写入10万个空文件大概占用54.55MB，ext4写入10万个文件大概占用5M空间。

对于恶意攻击或空文件，session无任何措施可以解决。

发明内容

本发明要解决的技术问题是提供一种Session文件使用空间的清理方法和***，使文件***保持充足的使用空间，保证Web***的正常运行。

为解决上述技术问题，本发明提供了一种Session文件使用空间的清理方法，所述方法包括：根据当前的session文件占用空间及***总空间，计算当前的***空间占用率；判断当前的***空间占用率是否超出了清理触发阈值；如果当前的***空间占用率超出了清理触发阈值，执行空间清理操作。

在一些实施方式中，还包括：在根据当前的session文件占用空间及***总空间，计算当前的***空间占用率之前，实时生成随机数；将生成的随机数的数值与预设的随机数参考值进行比较；根据比较结果确定是否退出。

在一些实施方式中，还包括：在实时生成随机数之前，读取正在运行标识RP；如果已经存在RP，退出执行过程。

在一些实施方式中，执行空间清理操作，包括：判断文件是否为空文件，是空文件则删除。

在一些实施方式中，执行空间清理操作，还包括：判断文件的已存在时间是否大于最大存在时间MLT，如果是则删除文件。

在一些实施方式中，执行空间清理操作，还包括：记录文件名称及文件的最后修改时间到链表中；将链表中的session文件按最后修改时间时间从小到大进行排序；遍历链表；顺序删除链表中的文件。

在一些实施方式中，执行空间清理操作，还包括：在记录文件名称及文件的最后修改时间到链表中之后，将链表中的session文件按最后修改时间时间从小到大进行排序之前，判断当前可用空间是否大于总空间答百分比，如果是，退出当前进程。

此外，本发明还提供了一种Session文件使用空间的清理***，所述***包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据前文所述的Session文件使用空间的清理方法。

采用这样的设计后，本发明至少具有以下优点：

Session自动空间清理***或方案可以灵活地控制其使用空间的使用率，保证用户在正常登录Web***，以及访问Web***。

较于session其本身GC回收机制关注的超时回收，session自动空间清理更加关注使用空间问题，从根本上避免使用空间不足造成无法正常登录和访问Web***。

较于以数据库或内存方式，自动空间清理基于session原有的文件方式，属于其默认配置，更加简单易用；而且自动空间清理属于独立***，虽与session调用关系，但是逻辑清楚，不需要与Web服务器或者项目代码耦合在一起。

空间清理***属于Web服务的子***，伴随着Web服务的启动而启动，监控、触发及清理都是自动完成，不需要人为看护，节约人力成本。

空间清理***针对空文件有特殊处理，不论是被恶意攻击，还是因为编码规范造成的无用空文件，空间清理***能自动处理及清理。

附图说明

上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。

图1是空间清理***的逻辑结构图；

图2是空间清理***的***基本流程示意图；

图3是空间清理***的***详细流程示意图；

图4是循环清理流程的流程示意图；

图5是进程管理单元的处理流程示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本方案需要提前进行特性配置定义，以便于可以灵活控制包括：

触发阈值CU(cleanup used)：默认80，取值范围1-99，session指定路径的已使用空间U，指定路径的总空间T，当U>T*(CU/100)时，空间清理执行清理动作。

结果阈值CA(cleanup available)：默认80，取值范围1-99，session指定路径的最新可用空间A，总空间T，当A>T*(CA/100)时，空间清理结束执行。

空间清理因子CD(cleanup divisor)：默认值1，取值范围1-99，0表示永远不触发空间清理；取1-99的随机数R，R>＝CD时触发空间清理。

日志LOG：默认值0，取值范围0-15，1表示信息日志，2表示警告日志，4表示错误日志，8表示调试日志；如需要启用错误日志和调试日志，则配置LOG＝12，0表示不启用任何日志。

日志路径LD(logdirectory)：默认值空字符，日志存储的文件路径。

进程标识RP(running process)：无默认值，必须配置，清理***开始时存在，结束时自动删除，通常配置在临时目录下。

最大存在时间MLT(session gc_maxlifetime)：默认值1440，表示1440秒，24分钟，可重新定义，也可以沿用原有session配置。

完整的空间清理***如图1，包括以下部分：

随机数单元(101)，根据参数生成随机数

进程管理单元(102)，生成独立原进程的新进程，管理进程标识，写入进程号到进程标识，退出被调用清除进程标识；接收进程终止信号，退出进程；空间清理***进入和退出均需要通过进程管理单元。

空间单元(103)，获取指定路径的已使用空间，总空间，剩余空间等。

文件清理单元(104)，判断文件是否可以被清理，该单元属于循环单元，循环终止条件为指定路径的文件遍历完成或者进程单元接收到进程终止信号。

日志单元(105)，记录空间清理***运行时输出的日志。

技术方案特别说明：

Session目录的总空间来源于其所在文件***的挂载点的总空间。

在Session开启或初始化时，调用空间清理***，清理***创建子进程，不需要等待清理***执行完成，主进程继续往下执行，空间清理***不会进行任何返回，但是会开始也会退出；不论空间清理***被设计到项目代码中的全局部分执行，或是在Web服务编译前嵌入到源码中，又或是设计成独立的***被调用，空间清理***是完整独立的部分，尽可能不与其他部分耦合在一起；空间清理***的执行时间会因为实际情况变得不可预估，即使文件处理很快，文件量过大时还是会造成些许延迟。

空间清理***最终只会输出各级别日志到文件，日志将分为信息、警告、错误、调试四个等级，包含除本身语言的语法错误外的所有日志，详细方案介绍时不再特别说明。

详细技术方案：

如图2，空间清理***主要会经过开始调用，进程判断，随机数判断，使用空间判断，文件清理，直到退出，全程所有动作均会记录日志。

如图3，空间清理***详细流程如下，每一步流程左边连接将会调用的单元：

Step1：进入或调用空间清理***。

Step2：进入进程单元102，判断正在运行标识RP，如果已经存在RP，则直接退出进程退出，表示空间清理进程正在运行中；否则获取当前的进程号，写入进程号到运行标识RP中；进程初始化一个进程终止的全局变量，用于接收由用户发出的终止信号，空间清理单元104会实时检读取进程终止的全局变量，响应用户的终止信息，及时结束进程，如图5。

Step3：调用随机数单元101，生成1到99的随机数R，与空间清理因子CD对比，如果R<CD，则调用进程单元退出并清理进程标识，不清理直接退出，如果R>＝CD，继续往下执行。

Step4：调用空间单元103，判断触发阈值CU，获取session指定存储路径的总空间T及已使用空间U，当U>T*(CU/100)，既已使用空间大于总空间的百分之CU，进入文件处理单元；否则直接退出进程。

Step5：如图5，进入文件清理单元104，每次循环，判断是否接收到终止的信号，接收到终止信号后调用进程管理单元退出进程。

文件清理单元104，判断是否已经完成文件遍历，完成遍历调用进程管理退出进程。

文件清理单元104，判断是否为当前的session文件，如果是当前正在访问的session文件，跳过本次循环进入下一次循环。

Step6：文件清理单元104，判断文件是否为空文件，空文件则删除。

文件清理单元104，判断文件的已存在时间(当前时间减最后修改时间)大于最大session最大存在时间MLT，则删除文件。

文件清理单元104，记录文件名称以及文件最后修改时间到链表LIST中。

Step7：进入文件清理单元104，调用空间单元，判断当前可用空间A大于总空间的百分之CA，A>T*(CA/100)，则调用进程管理单元退出进程；否则继续执行。

Step8：将链表LIST按时间从小到大排序。

遍历链表LIST

判断是否接收到终止信号，接收到则调用进程管理单元退出进程，未接收到则继续执行。

顺序删除文件

重复Step7判断指定路径可用空间是否满足要求，满足要则调用进程管理单元退出进程，未接收到则继续执行。

Step9：预计Step8中最终会以满足可用空间要求退出进程；如果仍然执行到最后一步，依然会调用进程管理退出进程，但是属于不正常退出，会在日志中体现。

综上所述，空间清理程序检查到空间使用率到达预定阈值会将清理空间，直到可使用率达到预配置的阈值；触发清理逻辑后，会进行2次循环，第一次循环遍历文件，清理空文件和已存在时间超过最大生命时间的文件，并记录文件链表；第一次循环清理如果可使用空间达不到配置CA，才会进行第二轮循环，顺序清理文件，直到可使用空间达到CA；两轮循环中均会检测进程终止信号，停止清理。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，本领域技术人员利用上述揭示的技术内容做出些许简单修改、等同变化或修饰，均落在本发明的保护范围内。

Claims (5)

1.一种Session文件使用空间的清理方法，其特征在于，包括：

根据当前的session文件占用空间及***总空间，计算当前的***空间占用率；

判断当前的***空间占用率是否超出了清理触发阈值；

如果当前的***空间占用率超出了清理触发阈值，执行空间清理操作；

所述执行空间清理操作，包括：判断文件是否为空文件，是空文件则删除；以及判断文件是否为已存在时间超过最大生命时间的文件，是已存在时间超过最大生命时间的文件则删除；

判断当前可用空间是否大于总空间预设的百分比；其中，当所述可用空间不大于总空间预设的百分比时，执行顺序清理操作；所述顺序清理操作包括：记录文件名称及文件的最后修改时间到链表中；将链表中的session文件按最后修改时间从小到大进行排序；遍历链表；顺序删除链表中的文件；以及

当所述可用空间大于总空间预设的百分比时，退出当前进程。

2.根据权利要求1所述的Session文件使用空间的清理方法，其特征在于，还包括：

在根据当前的session文件占用空间及***总空间，计算当前的***空间占用率之前，实时生成随机数；

将生成的随机数的数值与预设的随机数参考值进行比较；

根据比较结果确定是否退出。

3.根据权利要求2所述的Session文件使用空间的清理方法，其特征在于，还包括：

在实时生成随机数之前，读取正在运行标识RP；

如果已经存在RP，退出执行过程。

4.根据权利要求1所述的Session文件使用空间的清理方法，其特征在于，执行空间清理操作，还包括：

判断文件的已存在时间是否大于最大存在时间MLT，如果是则删除文件。

5.一种Session文件使用空间的清理***，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1至4任意一项所述的Session文件使用空间的清理方法。

Images