CN107784121A - 一种基于非易失内存的日志文件***的小写优化方法 - Google Patents

Abstract

本发明涉及一种基于非易失内存的日志文件***的性能优化方法。该方法将NVM与DRAM连接到CPU内存总线上，对小数据更新使用原地写从而最小化内存占用，利用小数据日志对要更新的数据进行细粒度的备份，记录下文件最新的所要更改的数据信息；通过一个固定长度的循环缓冲区，存放全局哈希表，记录下每个更新的起始地址，用于下一次原地更新时对这个数据页的快速索引。记录下更新数据页的起始地址，用于下一次对此数据页的快速索引；数据写入完成后，通过更新元数据指向数据块的指针，更新日志tail对这次写进行提交，作为此次操作完成的标记。本发明可以平衡数据一致性开销和性能，减少空间分配成本，避免在小数据更新过程中的写入放大，同时提供强大的数据一致性保证。

Description

一种基于非易失内存的日志文件***的小写优化方法

技术领域

本发明涉及基于非易失内存的日志文件***的性能优化方法，特别是针对小数据更新场景下写性能的优化方法。

背景技术

目前正在研究和开发几种非易失性存储器技术(non-volatile memory，NVM)，包括相变存储器(PCM)、铁电存储器(FeRAM)、忆阻器(Memristors)、自旋矩传输存储器(STT-RAM)和3D XPoint等。这些NVM具有容量大、集成度高、漏电功耗低、访问速度快、非易失性、可字节寻址等优点。由于NVM既具有DRAM的可字节寻址的特性，又具有磁盘的持久性，数据可以在NVM中实现内存级别的持久化。持久性内存起初通过RAMDISK形式模拟成块设备，以兼容传统文件***，从而使其受益于内存级别的持久化。然而，传统文件***并不能完全适用于NVMM，主要有两个原因：首先，传统文件***由于磁盘的块寻址特性普遍按块来组织和管理数据，当应用于NVM时无法利用NVM的字节寻址来提高***读写性能。其次，传统文件***所做的大部分优化都是以磁盘的顺序读写为前提，然而NVM在随机和顺序读写上并没有很大的性能差异。因此，如果针对NVM使用传统文件***，其数据管理方式将会给***性能带来冗余和负担。因此，当前的文件***都越过页缓存直接将NVM通过内存总线接入处理器，由处理器以字节粒度访问NVM，从而构建持久化内存文件***。

对于持久化内存文件***来说，CPU绕过DRAM页高速缓存来直接访问NVM，存入NVM的数据必须保证一致性才是有效并且可访问的。而CPU及其缓存层次会对操作进行重排序以提升性能。为了达到这一点，文件***的操作必须是原子性的，以防止***在所有操作完成前崩溃产生数据结构处于不一致的状态。目前主流的文件***采用一些机制来克服崩溃一致性问题，例如journaling，copy-on-write(COW)和日志结构。然而，这几种方法都存在缺陷。Journaling会对每次写操作执行两次以防止数据丢失，COW在对数据进行更新时先复制原有的数据块再进行更改，这对于小的更新来说会产生写放大，日志结构是将更新先进行缓存后，统一写入到目标位置，这在缓存时需要大块的连续空间。

此外，通过关注不同场景下文件的存取模式变化，可以发现小文件的读写操作会对文件***的性能提升产生重要的影响。传统块设备由于块寻址和顺序读写对于小文件的读写和小的更新的性能提升上始终受限。随着NVM的出现，我们就可以应用其字节寻址等性能来重新构造数据布局，优化存取策略，从而实现针对NVM的高性能的文件***，特别是对于小数据集中更新的应用场景。

发明内容

为了解决上述的技术问题，本发明的目的是提供了一种基于非易失内存的日志文件***的小写优化方法。该方法将NVM与DRAM连接到CPU内存总线上，对小数据更新使用原地写从而最小化内存占用，利用小数据日志对要更新的数据进行细粒度的备份，记录下文件最新的所要更改的数据信息；通过一个固定长度的循环缓冲区，存放全局哈希表，记录下每个更新的起始地址，用于下一次原地更新时对这个数据页的快速索引。记录下更新数据页的起始地址，用于下一次对此数据页的快速索引；数据写入完成后，通过更新元数据指向数据块的指针，更新日志tail对这次写进行提交，作为此次操作完成的标记。

本发明解决其技术问题所采用的技术方案是：

一种基于非易失内存的日志文件***的小写优化方法，包括：

第一步，***将NVM与DRAM并列，直接连接到CPU内存总线上，CPU使用load和store来访问NVM，使得NVM存在于内存层次而不是块设备层次，从根本上实现了持久化内存的性能提升；

第二步，***将数据和日志分别以链表结构存放于NVM，每个inode使用单独的日志以支持并发访问。将数据索引以radix tree形式存放于DRAM支持快速查找。数据基于页分配，默认一个数据页的大小为4096字节(4KB)；

第三步，当数据有更新操作时，计算此次更新所涉及的数据页数量，当更新大于文件***的一个数据页大小时，直接跳到第七步；

第四步，当更新小于一个数据页大小时，先将元数据记录添加到日志。在DRAM中，我们存放了一个可循环写入的全局哈希表。当首次写单个数据页时，分配一个新的页，在哈希表中记录新数据页的块号和起始地址。当下一次再写此数据页时可通过哈希表快速索引到地址；

第五步，先对要更新的数据进行细粒度的备份，如果是首次写，即通过块号无法在哈希表中查到数据页地址，则先将原始数据复制到新页，再写入更新数据；若哈希表中可直接索引到数据页地址，则将文件最新的所要更改的数据信息记录到小数据日志备份。然后对数据页进行原地的写更新；

第六步，更新结束后，更新元数据指向数据块的指针，更新日志tail对这次写进行提交，表示此次更新完成，最后更新元数据索引的指针；

第七步，对于多个数据页的写更新，先在新分配的空间写入更改部分的数据，再把未更改的原数据复制到新的页面，数据写入结束后，我们更新元数据并将相应的日志entry指向新页面，更新日志tail进行提交，表示此次更新的完成，最后更新元数据索引的指针。

使用本发明能达到以下有益效果：首先，它充分利用了NVM与传统的存储设备不同的字节寻址特性，构建与DRAM和NVM的混合存储器。其次，本发明可以平衡数据一致性开销和性能，减少空间分配成本，避免在小数据更新过程中的写入放大，提升***写性能，同时在***崩溃后提供强大的数据一致性保证。

附图说明

图1是基于非易失内存的日志文件***的小写流程图；

图2是小数据更新结构示意图。

具体实施方式

参照图1，本发明提供了一种基于非易失内存的日志文件***的小写优化，包括:

第一步，***将NVM与DRAM并列，直接连接到CPU内存总线上，CPU使用load和store来访问NVM。使用copy_from_user_nocache()接口越过缓存，确保要写的数据在相关元数据修改前进行了持久化；

第二步，***将数据和元数据分别以链表结构存放于NVM，每个inode使用单独的日志以支持并发访问。将元数据索引以radix tree形式存放于DRAM支持快速查找。数据基于页分配，默认一个数据页的大小为4096字节(4KB)；

第三步，当数据有更新操作时，首先计算此次更新所涉及的数据页数量。当更新大于文件***的一个数据页大小时，直接跳到第七步；

第四步，当更新小于一个数据页大小时，先将元数据记录添加到日志，在DRAM中，有一个可循环写入的全局哈希表。当首次写单个数据页时，分配一个新的页，在哈希表中记录数据页的块号和起始地址。当下一次再写此数据页时可通过哈希表快速索引到地址；

第五步，先对要更新的数据进行细粒度的备份，如果是首次写，即通过块号无法在哈希表中查到数据页地址，则先将原始数据复制到新页，再写入更新数据；若哈希表中可直接索引到数据页地址，则将文件最新的所要更改的数据信息记录到小数据日志备份。然后对数据页进行原地的写更新；

第六步，更新结束后，更新元数据指向数据块的指针，更新日志tail对这次写进行提交，表示此次更新完成，最后更新元数据索引的指针。图2即为数据页0进行更新时的示意图，<0,1>代表从数据页0开始，更新的数据涉及页数为1；

第七步，对于多个数据页的写更新，先在新分配的空间写入更改部分的数据，再把未更改的原数据复制到新的页面。数据写入结束后，我们更新元数据并将相应的日志entry指向新页面，更新日志tail进行提交，表示此次更新的完成，最后更新元数据索引的指针。

进一步作为优选的实施方式，所述的步骤二，其具体为：

对于元数据来说，选用的日志结构的文件***使用日志来记录元数据的每一次操作，元数据的每次更新都会添加一个日志entry，在更新之后我们通过改变日志tail到最新的entry来提交更新，我们默认处理器支持64位的原子写，因此可以保证更新的原子性。数据页大小根据不同处理器可能有4KB,2MB和1GB，此处我们默认其为4KB；

进一步作为优选的实施方式，在所述的步骤四之前：

当判断更新在一个数据页之内时，先将元数据记录添加到日志，DRAM中可循环写入的全局哈希表，可利用有限空间存储最近更新的数据页地址。当此数据页为首次更新时，分配一个新的页，在哈希表中记录数据页的块号和起始地址。当下一次再写此页时可通过哈希表快速索引到其起始地址；

进一步作为优选的实施方式，所述的步骤五、六过程中：

在写数据之前，每一个inode都会有最新更新的数据记录，其中包括更改数据的页内偏移量和长度记录。对于哈希表中可找到的数据页，分配一个固定的小数据日志对每次的更新数据记录进行细粒度的备份，使用clflush和mfence来将数据从CPU缓存刷出进行持久化，然后再对数据页进行原地的写更新。相对于传统写时复制方法中多次的数据页分配和未修改数据的重复写，使用这种方法可提高小数据的写性能。在***崩溃或断电后，读取小数据日志中的数据进行redo，从而完成未提交的操作，防止数据处于不一致的状态。

进一步作为优选的实施方式，在所述的步骤七，其具体为：

当判断数据更新涉及多个页，在新分配的空间写入更改部分的数据，再把未更改的原数据复制到新的页面，更新元数据以及日志entry指向新页面的指针，更新日志tail进行此次更新的提交。这样可以保证***一旦在更新期间崩溃，只要元数据日志tail没有提交，我们仍然可以根据旧的元数据找到原先的数据页，从而保证数据处于一致性的状态。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。

Claims (5)

1.一种基于非易失内存的日志文件***的小写优化方法，其特征在于，将NVM与DRAM连接到CPU内存总线上，对小数据更新使用原地写从而最小化内存占用，利用小数据日志对要更新的数据进行细粒度的备份，记录下文件最新的所要更改的数据信息；通过一个循环缓冲区，存放全局哈希表，记录下每个更新的起始地址，用于下一次原地更新时对这个数据页的快速索引；记录下更新数据页的起始地址，用于下一次对此数据页的快速索引；数据写入完成后，通过更新元数据指向数据块的指针，更新日志tail对这次写进行提交，作为此次操作完成的标记；包括以下步骤：

第一步，***将NVM与DRAM并列，直接连接到CPU内存总线上，CPU使用load和store来访问NVM，使得NVM存在于内存层次而不是块设备层次，实现内存的性能提升；

第二步，***将数据和元数据分别以链表结构存放于NVM，每个inode使用单独的日志以支持并发访问，将元数据索引以radix tree形式存放于DRAM支持快速查找，数据基于页分配，默认一个数据页的大小为4096字节；

第三步，当数据有更新操作时，首先计算此次更新所涉及的数据页数量，当更新大于文件***的一个数据页大小时，直接跳到第七步；

第四步，当更新小于一个数据页大小时，先将元数据记录添加到log，在DRAM中，有一个可循环写入的全局哈希表，当首次写单个数据页时，分配一个新的页，在哈希表中记录数据页的块号和起始地址，当下一次再写此数据页时通过哈希表快速索引到地址；

第五步，先对要更新的数据进行细粒度的备份，如果是首次写，即通过块号无法在哈希表中查到数据页地址，则先将原始数据复制到新页，再写入更新数据；若哈希表中直接索引到数据页地址，则将文件最新的所要更改的数据信息记录到小数据日志备份，然后对数据页进行原地的写更新；

第六步，更新结束后，更新元数据指向数据块的指针，更新日志tail对这次写进行提交，表示此次更新完成，最后更新元数据索引的指针；

第七步，对于多个数据页的写更新，先在新分配的空间写入更改部分的数据，再把未更改的原数据复制到新的页面，数据写入结束后，我们更新元数据并将相应的日志entry指向新页面，更新日志tail进行提交，表示此次更新的完成，最后更新元数据索引的指针。

2.根据权利要求1所述的一种基于非易失内存的日志文件***的小写优化方法，其特征在于，在所述的第二步，其具体为：

对于元数据来说，选用的日志结构的文件***使用日志来记录元数据的每一次操作，元数据的每次更新都会添加一个日志entry，在更新之后我们通过改变日志tail到最新的entry来提交更新。

3.根据权利要求1所述的一种基于非易失内存的日志文件***的小写优化方法，其特征在于，所述的第四步：

当判断更新在一个数据页之内时，先将元数据记录添加到log，在DRAM中，有一个可循环写入的全局哈希表，利用有限空间存储最近更新的数据页地址，当此数据页为首次更新时，分配一个新的页，在哈希表中记录数据页的块号和起始地址，当下一次再写此页时通过哈希表快速索引到其起始地址。

4.根据权利要求1所述的一种基于非易失内存的日志文件***的小写优化方法，其特征在于，在所述的第五步、第六步过程中，还包括：

在写数据之前，每一个inode都会有最新更新的数据记录，其中包括更改数据的页内偏移量和长度记录，对于哈希表中找到的数据页，分配一个固定的小数据日志对每次的更新数据记录进行细粒度的备份，使用clflush和mfence来将数据从CPU缓存刷出进行持久化，然后再对数据页进行原地的写更新，使用这种方法提高小数据的写性能，在***崩溃或断电后，读取小数据日志中的数据进行redo，从而完成未提交的操作，防止数据处于不一致的状态。

5.根据权利要求1所述的一种基于非易失内存的日志文件***的小写优化方法，其特征在于，在所述的第七步，其具体为：

当判断数据更新涉及多个页，在新分配的空间写入更改部分的数据，再把未更改的原数据复制到新的页面，更新元数据以及日志entry指向新页面的指针，更新日志tail进行此次更新的提交，保证***一旦在更新期间崩溃，只要元数据日志tail没有提交，仍然可根据旧的元数据找到原先的数据页，从而保证数据处于一致性的状态。