CN107329909A

CN107329909A - 一种数据管理方法及装置

Info

Publication number: CN107329909A
Application number: CN201710511787.1A
Authority: CN
Inventors: 苗森
Original assignee: Zhengzhou Yunhai Information Technology Co Ltd
Current assignee: Zhengzhou Yunhai Information Technology Co Ltd
Priority date: 2017-06-27
Filing date: 2017-06-27
Publication date: 2017-11-07
Anticipated expiration: 2037-06-27
Also published as: CN107329909B

Abstract

本申请公开了一种数据管理方法，所述方法包括：为元数据建立第一映射，分配第一逻辑区块地址，并将所述第一逻辑区块地址作为第一元数据；为所述第一元数据建立第二映射，分配第二逻辑区块地址，并将所述第二逻辑区块地址保存于设定位置，将所述第二逻辑区块地址作为第二元数据；将所述第二元数据作为用户数据进行处理。通过上述方法，解决了***因区别对待用户数据和元数据而使用两套流程的复杂度问题。此外，由于引入了多级映射，可以提高数据的查找效率，减少***下电时写入存储的数据量。本申请还公开了一种数据管理装置，具有上述有益效果。

Description

一种数据管理方法及装置

技术领域

本申请涉及数据管理领域，特别涉及一种数据管理方法及装置。

背景技术

生活中，硬盘已经随处可见。它是电脑主要的存储媒介之一，由一个或者多个铝制或者玻璃制的碟片组成。其主要分为固态硬盘(Solid State Drive，简称SSD)、机械硬盘(Hard Disk Drive，简称HDD)、混合硬盘(Hybrid Hard Drive，简称HHD)。而固态硬盘又称为电子硬盘或者固态电子盘，是由控制单元和固态存储单元组成的硬盘，固态存储单元一般是DRAM(Dynamic Random Access Memory，中文名称：动态随机存取存储器)或者Flash(中文名称：闪存)芯片。

SSD在读取过程中的数据称为用户数据(host data)，而只有这些数据是不够的，需要用另一种数据对齐进行管理，这种数据称之为元数据(meta data)，常见的元数据有l2p表，trim bitmap(块位图)和super block info(超级块包信息)等。

目前对于用户数据和元数据的管理，业界一般是区分对待的，也就是用户数据使用一套专门的读、写和GC(Garbage Collection，中文名称：垃圾回收)方案，而元数据使用另一套完全不同的读、写和GC方案。这种做法由于采用了两套完全不同的方案，显得逻辑极其复杂，而且开发和测试的难度也相当大。

发明内容

有鉴于此，本申请提供了一种数据管理方法和装置，解决了***因区别对待用户数据和元数据而使用两套流程的复杂度问题，将用户数据和元数据当成同一种数据类型进行处理的方法，在读写和GC等流程上使用相同的流程。该方法如下：

本发明所提供的技术方案如下：

为元数据建立第一映射，分配第一逻辑区块地址，并将所述第一逻辑区块地址作为第一元数据；

为所述第一元数据建立第二映射，分配第二逻辑区块地址，并将所述第二逻辑区块地址保存于设定位置，将所述第二逻辑区块地址作为第二元数据；

将所述第二元数据作为用户数据进行处理。

其中，将所述第二元数据作为用户数据处理包括：

在上电时读出所述第二元数据，通过所述第二元数据恢复所述第一元数据。

其中，将讲述第二元数据作为用户数据进行处理包括：

刷写所述第二元数据到flash，将所述第二元数据保存到flash的相应位置。

其中，所述元数据包括l2p表或trim bitmap或super block info。

其中，将所述第二逻辑区块地址保存于设定位置包括：

将所述第二逻辑区块地址按顺序存储在所述第一元数据之后。

本申请还提供一种数据管理的装置，所述装置包括：

第一元数据模块，用于为元数据建立第一映射，分配第一逻辑区块地址，并将所述第一逻辑区块地址作为第一元数据；

第二元数据模块，为所述第一元数据建立第二映射，分配第二逻辑区块地址，将所述第二逻辑区块地址保存于设定位置，并将所述第二逻辑区块地址作为第二元数据；

数据管理模块，用于将所述第二元数据作为用户数据进行处理。

其中，所述数据管理模块包括：

数据恢复子模块，用于在上电时读出所述第二元数据，并通过所述第二元数据恢复所述第一元数据。

其中，所述数据管理模块包括：

数据刷写子模块，用于刷写所述第二元数据到flash，并将所述第二元数据保存到flash的相应位置。

其中，所述数据存储模块具体为将所述第二逻辑区块地址按顺序存放在第一元数据之后的模块。

本申请通过引入第一映射和第二映射组成的二级映射，使得***将meta data和host data当成同一种数据类型进行处理，解决了现有技术中***因区别处理host data和meta data而使用两套流程的复杂度问题，而且因为二级映射，提高了host data的查找效率。而且本申请在下电时只需要保存该多级映射，也就是一个索引表，不需要保存全部数据，减少了***下电时保存的数据量。本申请还提供了一种数据管理装置，具有上述有益效果，此处不再赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的数据管理方法流程图；

图2为本申请实施例所提供的第一种映射关系示意图；

图3为本申请实施例所提供的第二种映射关系示意图；

图4为本申请实施例所提供的数据管理装置结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，下面介绍本申请的第一实施例：

S101：为元数据建立第一映射，分配第一逻辑区块地址，并将所述第一逻辑区块地址作为第一元数据；

其中，元数据的形式种类有很多，例如l2p表、trim bitmap和super block info等，当然还有其它类型的元数据，在此不一一赘述。

其中，第一映射可以有多种形式，可以是表、图、文，也可以是其他形式，本申请不限定映射形式。第一映射可以存放在super block的16K空间中，由Control Mananger(控制管理器)模块在上电初始后立即读出。也可以存放在其他设定位置，本申请在此不做限定。所谓第一映射，指的是元数据的逻辑区块地址和物理区块地址的对应关系。

第一逻辑区块地址指的是元数据在***中的位置，读数据的时候需要查找这个逻辑区块地址对应的物理区块地址。

第一元数据通常指的就是该第一逻辑区块地址，也可以将第一逻辑区块地址与元数据合在一起统称为第一元数据。

S102：为所述第一元数据建立第二映射，分配第二逻辑区块地址，并将所述第二逻辑区块地址保存于设定位置，将所述第二逻辑区块地址作为第二元数据；

同样的，第二映射和第一映射类似，也可以有多种形式，此处不再赘述。

对S101中得到的第一元数据再建立一个映射，即第二映射，并为其分配第二逻辑区块地址。所谓第二映射，指的是第一元数据的逻辑区块地址和物理区块地址的对应关系。

逻辑区块地址可以保存于第二映射之后，也可以按顺序存储在第一元数据之后，本申请在此不做限定。

这里的第二元数据和第一元数据都是“元数据”，只是其内容上有所区别。这里的“元数据”意即指它不是用户数据，区别于用户数据而言。第一映射是元数据的物理区块地址和逻辑区块地址之间对应关系的映射，第二映射为第一元数据的物理区块地址和逻辑区块地址之间对应关系的映射。

S103：将所述第二元数据作为用户数据进行处理。

下电时将第二元数据执行和用户数据一样的写(host write)流程，上电恢复时将第二元数据执行和用户数据一样的读(host read)流程。其中，读流程是指在上电时读出所述第二元数据，通过所述第二元数据恢复所述第一元数据。GC(Gabage Collection)流程，GC流程是将几个Block(区块)中的有效数据集中搬到一个新的Block上，再把这几个Block擦除掉，产生新的可用的Block。

基于上述技术方案，本申请实施例提供的数据管理方法，对第一元数据建立二级映射，将元数据当做用户数据处理，解决了现有技术中区分用户数据和元数据而使用两套流程的复杂方法，大大降低了开发和测试的难度。

下面参见图2，图2为本发明实施例所提供的数据管理方法时的映射关系图。在上述实施例的基础上，将所述元数据具体为l2p表，映射的形式为映射表。用户数据在***中的存放位置对于***而言使用lba(Logical Block Address，英文简称LBA或lba，中文名称：逻辑区块地址)来标识的，对于SSD 而言是通过pba(Physics Block Address，英文简称:PBA或pba，中文简称：物理区块地址)去查找其在cache(中文名称：高速缓冲存储器)或flash中的位置，因此在SSD中需要有一张映射表来存储lba到pba的映射，这就是l2p表。

具体方法如下：

S201：***运行时建立一个Buffer(缓冲器)，用于保存delta数据。

这里的delta数据一般是元数据的delta数据，如l2p的delta数据，或者trimbitmap(块位图)或superblock info(超级块包)。

S202：当buffer满了之后，开始刷写flash，当flash同样饱和之后，刷一定数量的base，这些刷写过程中生成的数据也就是一级映射。

这些刷写过程中会产生delta数据，通过delta数据可以知道其对应的数据存放位置。例如刷写flash时产生的delta1数据，则通过该delta1数据可以找到对应的存储器为flash，这样产生的映射就是一级映射。

S203：***给一级映射分配一个新的lba,将新的lba保存到设定位置。

***给一级映射分配一个lba，该lba可以放在l2p表中，也可以放在l2p表之后顺序排放，当然也可以但不建议放在其他位置。如图2所示便是存放于相应的Delta数据之后。这样lba-l2P表的映射又构成了一个新的“l2p表”，一个新的元数据，它就是二级映射。

S204：在下电时将新的“l2p表”以和用户数据同样的写流程刷写到flash。在上电时，使用和用户数据同样的读流程恢复该新的元数据。

若将一、二级映射对应的数据分别称为一、二级数据，那么在上电时，读出二级数据数据后使用二级数据恢复一级映射表对应的一级数据，再利用一级数据恢复base data。

此外，因为建立了二级映射，***在下电时不需要保存全部的数据，只要保存一、二级映射即可，减少了保存的数据量。而且，二级映射表可以放在super block的16k空间中，由Control Mananger模块在上电初始后立即读出。

以8TB的磁盘容量为例计算，每个partition(分区)的容量是2TB，为计算方便暂时忽略OP(Over-provisioning，中文名称：预留空间)等。

图2中各段对应的逻辑空间为：

用户数据2TB

元数据2GB

Delta数据2GB*1/3＝2/3GB

一级映射(2GB+2/3GB)*4/4KB＝8/3MB

对应的LBA范围为：

用户LBA范围：[0,512M-1]

元数据LBA范围：[512M，512M+512K-1]

Delta数据LBA范围：[512M+512K，512M+4/3*512K-1]

一级映射LBA范围：[512M+4/3*512K,512M+4/3*512K+2/3K-1]

二级映射LBA范围：大于512M+4/3*512K+2/3K

参考图3，当第一映射，第二映射已经如上述实施例中方法建立并保存完毕时，根据数据量的大小可以建立更多级的映射，利用第二级的l2p表建立第三级映射，利用第三级的l2p表建立第四级映射……各级映射按顺序存放。当然，这里的l2p表只是元数据的一种，根据实际情况也可以利用其它元数据。每一级映射如图2所示按顺序存放。上电时，利用最后一级映射对应的数据恢复上一级数据，逐级恢复，多级索引。

由于本实施例的方法部分与上述实施例相互对应，因此本实施例的方法部分请参见上述实施例的描述，这里暂不赘述。

下面请参见图4，图4为本申请所提供的一种数据管理装置结构示意图；该装置可以包括：

第一元数据模块101，用于为元数据建立第一映射，分配第一逻辑区块地址，并将所述第一逻辑区块地址作为第一元数据；

第二元数据模块102，为所述第一元数据建立第二映射，分配第二逻辑区块地址，将所述第二逻辑区块地址保存于设定位置，并将所述第二逻辑区块地址作为第二元数据；

数据管理模块103，用于将所述第二元数据作为用户数据进行处理。

基于上述实施例，数据管理模块103还可以包括一个数据刷写子模块201 和一个数据恢复子模块202。

其中，数据刷写子模块201用于刷写所述第二元数据到flash，将所述第二元数据保存到flash的相应位置。

数据恢复子模块202用于通过所述第二元数据恢复所述第一元数据。

即对应的工作流程为：

S301：第一元数据模块对元数据建立第一映射，分配第一逻辑区块地址，将所述第一逻辑区块地址作为第一元数据。

通常，对于有板上DRAM(动态随机存取存储器)的SSD来说，只要查找DRAM中的第一映射，获取到物理区块地址后访问flash从到得到host data；对于Sandforce(一种控制芯片)的SSD来说，它需要先查看映射关系是否存放在RAM(随机存储存储器)中，所在，则直接根据映射关系读取host data, 若不在，则需要将映射关系从flash中读取出来在读取hostdata。元数据可以是l2p表、superblock info、trim bitmap等。

S302：第二元数据模块对第一元数据建立第二映射，分配第二逻辑区块地址，将第二逻辑区块地址保存于设定位置，将第二逻辑区块地址作为第二元数据。

过程同S301中类似，不过所述设定位置可以按顺序存放在第一元数据之后，也可以放在第一元数据中的某个位置，本申请在此不做限定。数据存储模块还负责保存第二映射，例如可以保存在super block的16k空间中，这样在上电初始后可以由Control Manager模块立即读出。当然也可以存放在其他位置。

S303：数据管理模块以和用户数据同样的流程对第二元数据进行处理。

上述过程包括下电时数据管理模块的数据刷写子模块201以和用户数据写操作同样的方式对第二元数据进行处理。刷写过程包括刷写所述第二元数据到flash，将所述第二元数据保存到flash的相应位置。上电时数据管理模块中的数据恢复子模块202通过第二元数据恢复第一元数据，通过第一元数据获得需要的用户数据位置并获取用户数据。还可以包括一个GC单元，用于数据的回收处理。若有按上述流程生成的第三元数据，则通过第三元数据恢复第二元数据、第二元数据恢复第一元数据这种逐级恢复的方式。

以上对本申请所提供的一种数据管理方法及装置进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的子模块及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

Claims

1.一种数据管理方法，其特征在于，所述方法包括：

为所述第一元数据建立第二映射，分配第二逻辑区块地址，将所述第二逻辑区块地址保存于设定位置，将所述第二逻辑区块地址作为第二元数据；

将所述第二元数据作为用户数据进行处理。

2.根据权利要求1的方法，其特征在于，将所述第二元数据作为用户数据处理包括：

3.根据权利要求2的方法，其特征在于，将讲述第二元数据作为用户数据进行处理包括：

4.根据权利要求3的方法，其特征在于，所述元数据包括l2p表或trim bitmap或superblock info。

5.根据权利要求4的方法，其特征在于，将所述第二逻辑区块地址保存于设定位置包括：

6.一种数据管理的装置，其特征在于，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述数据管理模块包括：

8.根据权利要求7所述的装置，其特征在于，所述数据管理模块包括：

数据刷写子模块，用于刷写所述第二元数据到flash，将所述第二元数据保存到flash的相应位置。

9.根据权利要求8所述的装置，其特征在于，所述数据存储模块具体为将所述第二逻辑区块地址按顺序存放在第一元数据之后的模块。