CN102063326B - 基于虚拟化的文件***容量的测试***和方法 - Google Patents
基于虚拟化的文件***容量的测试***和方法 Download PDFInfo
- Publication number
- CN102063326B CN102063326B CN 201010620506 CN201010620506A CN102063326B CN 102063326 B CN102063326 B CN 102063326B CN 201010620506 CN201010620506 CN 201010620506 CN 201010620506 A CN201010620506 A CN 201010620506A CN 102063326 B CN102063326 B CN 102063326B
- Authority
- CN
- China
- Prior art keywords
- module
- store module
- file system
- mapping
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于虚拟化的文件***容量的测试***和方法，在被测试的所述文件***之下创建出用于所述文件***容量测试的虚拟存储模块，容量测试管理模块管理所述文件***对所述虚拟存储模块进行包括创建、读写和删除的文件操作；用于虚拟存储所述容量测试管理模块写入的文件的虚拟存储模块；用于实际存储所述容量测试管理模块写入所述虚拟存储模块的文件的物理存储模块；映射管理模块，在操作***块设备驱动层中动态管理所述虚拟存储模块到所述物理存储模块的映射，将对所述虚拟存储模块的文件操作直接映射成对所述物理存储模块的存储单元的文件操作。进而保证虚拟出的虚拟存储模块可进行正常读写，实现对文件***容量的有效测试。
Description
技术领域
本发明涉及到一种测试***和方法，具体是一种基于虚拟化的文件***容量的测试***和方法。
背景技术
为了存储日益增长的海量信息数据，国内外的研究机构提出了多种单机的或者分布式的文件***，例如ext3(全称为Third extended file system)、Lustre(由Linux和Clusters演化而来，是为解决海量存储问题而设计的全新文件***)等。这些文件***所能支持的最大容量各不相同，例如ext3最大支持8TB(全称为TeraByte，太字节)，而Lustre理论上至少支持64PB(全称PetaByte)空间。虽然目前磁盘阵列的发展早就超过了TB级别的限制，但一般情况下要达到PB级别尚有技术以及成本等各种因素的制约。因此当测试文件***支持的容量时，需要有一种切实可行的测试方法，该方法的关键是要能够提供测试所需的大容量存储空间。
根据现代操作***架构，在操作***底层进行虚拟化，构建虚拟存储设备如硬盘等是可能的。目前已经有一些类似的存储设备虚拟化工具，如DiskSim和Device mapper等。DiskSim包含丰富的组件，能够仿真存储子***的各种行为。但是由DiskSim虚拟出来的存储设备不能实际的存储和读取数据，无法运用在文件***容量测试上。另外一个工具Device mapper理论上能够虚拟出任意容量的存储设备，但是虚拟存储模块只能够部分正常的读写。这是由于Device mapper在设计上只是简单地、一对一地将虚拟存储模块的部分block映射到了实际存储设备，导致虚拟存储模块中只有被映射了的block(物理块，等于512B)可以正常读写，因此实际的存储设备的容量和待测文件***的容量必须完全一致，而要提供如此大容量的存储设备，技术上和成本上都不太现实。。因此，上述工具和方法都无法满足文件***容量测试的要求。
发明内容
为此，本发明所要解决的是现有存储设备虚拟化工具无法虚拟出能进行正常读写的存储设备的技术问题，提供一种可进行正常读写数据的基于虚拟化的文件***容量的测试***和方法。
为解决上述技术问题，本发明采用的技术方案如下：
一种基于虚拟化的文件***容量的测试***，包括：
容量测试管理模块，在被测试的所述文件***之下创建出用于所述文件***容量测试的虚拟存储模块，并管理所述文件***在所述虚拟存储模块上进行包括创建、读写和删除的文件操作；
虚拟存储模块，具有所述文件***所能支持的最大容量，用于虚拟存储所述容量测试管理模块写入的文件；
物理存储模块，用于实际存储所述容量测试管理模块写入所述虚拟存储模块的文件；
映射管理模块，在操作***块设备驱动层中动态管理所述虚拟存储模块到所述物理存储模块的映射，将对所述虚拟存储模块的文件操作直接映射成对所述物理存储模块的存储单元的文件操作；限制所有写入所述虚拟存储模块的文件容量小于或者等于所述物理存储模块的容量。
所述映射管理模块通过一个映射表实现所述动态管理；所述映射表存储有所述虚拟存储模块的存储单元与所述物理存储模块的存储单元的映射关系，所述映射管理模块通过动态维护所述映射表实现映射目标空间的查询、分配和回收。
所述虚拟存储模块的存储单元被映射到所述物理存储模块的存储单元，映射块的大小由所述容量测试管理模块根据测试需要调整。
所述映射管理模块通过增加或者删除表项，动态分配或者动态回收所述物理存储单元。
同时，提供一种测试虚拟化的文件***容量的方法，包括如下步骤，
①创建虚拟存储模块，其具有所述文件***所能支持的最大容量，用于虚拟存储所述文件***创建的文件；
②设置物理存储模块，其具有预定容量，用于实际存储所述文件***创建的文件；
③容量测试管理模块管理所述文件***对所述虚拟存储模块进行包括创建、读写和删除的文件操作；
④通过动态映射，将对所述虚拟存储模块进行的文件操作直接映射为对所述物理存储模块的文件操作。
所述映射管理模块通过一个映射表实现所述动态管理；所述映射表存储有所述虚拟存储模块的存储单元与所述物理存储模块的存储单元的映射关系，所述映射管理模块通过动态维护所述映射表实现映射目标空间的查询、分配和回收。
所述虚拟存储模块的存储单元被映射到所述物理存储模块的存储单元，映射单元的大小由所述容量测试管理模块根据测试需要调整。
所述映射管理模块通过增加或者删除表项，动态分配或者动态回收所述物理存储单元。
在创建和读写文件中，所述容量测试管理模块指定多个所述文件至少要分别占用虚拟存储模块的存储空间的开始处、中间处以及结束处。
本发明的上述技术方案相比现有技术具有以下优点：
本发明的基于虚拟化的文件***容量的测试***，包括：容量测试管理模块，在被测试的所述文件***之下创建出用于所述文件***容量测试的虚拟存储模块，管理所述文件***对所述虚拟存储模块进行包括创建、读写和删除的文件操作；虚拟存储模块，具有所述文件***所能支持的最大容量，用于虚拟存储所述容量测试管理模块写入的文件；物理存储模块，用于实际存储所述容量测试管理模块写入所述虚拟存储模块的文件；映射管理模块，在操作***块设备驱动层中动态管理所述虚拟存储模块到所述物理存储模块的映射，将对所述虚拟存储模块的文件操作直接映射成对所述物理存储模块的存储单元的文件操作；限制所有写入所述虚拟存储模块的文件容量小于或者等于所述物理存储模块的容量；进而通过动态智能的按需映射方式实现虚拟存储模块到物理存储模块的映射，保证虚拟出的虚拟存储模块可进行正常读写，便于测试大容量的文件***的容量。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1为本发明一个实施例中虚拟存储模块到物理存储模块在操作***中的映射层次图；
图2为图1所示实施例中分布式文件***Lustre的容量测试环境配置图；
图3为图2中所示Lustre的容量测试过程中数据流向示意图；
图4为本发明中动态智能的按需映射关系示意图；
图5为图4中所示映射关系对应的映射表。
具体实施方式
作为本发明一个实施例中虚拟存储模块到物理存储模块在操作***中的映射层次结构如图1所示，文件***容量测试管理模块在用户空间运行，能够在指定设备上按照POSIX(Portable Operating System Interface of Unix的缩写，表示可移植操作***接口)文件***访问接口进行文件创建、读写以及删除等操作。内核空间中由虚拟文件***VFS(全称为Virtual FileSystem)提供POSIX标准文件访问接口函数。VFS之下是待测试文件***如日志式文件***ext3、分布式文件***Lustre等。在待测文件***之下，是块设备驱动层，虚拟存储模块工作在该层，并由该层提供虚拟存储模块到实际物理存储模块的动态智能映射。块设备驱动之下是物理存储模块驱动以及物理存储模块。
块设备驱动层中，从虚拟存储模块到实际物理存储模块的映射采取动态智能的按需映射(Intelligent on-demand dynamic mapping)方式。通过这种方式虚拟出来的所述虚拟存储模块在一定程度上能够正常的读写。动态智能的按需映射方式主要是指操作***动态维护一个映射表，该表中记录了虚拟存储模块的存储单元和物理存储模块的存储单元之间的具体映射关系。并且，只有当用户申请数据存储空间时才进行被映射的物理存储空间分配，当用户删除文件时，回收物理存储空间。通过查询，增加和删除映射表项，在测试管理模块通过文件***读写虚拟存储模块时，将读写命令和数据流等重定向到物理存储模块。采用上述技术实现的虚拟存储模块是可读可写的，保证了文件***容量测试的需求，并且采用该映射方法，理论上可以虚拟出任意容量的虚拟存储设备用于文件***容量测试。
文件***容量测试管理模块在虚拟存储模块上进行创建、读写以及删除等操作，由于映射表的作用，实际上数据存储在物理存储模块上。由于文件***在具体测试中只需要少量的存物理储空间进行读写测试，因此虚拟存储模块可以有足够大的存储空间，而实际存储数据的物理存储模块只需要满足文件***格式化，以及创建、写入等操作所需的少量空间。
因此，采用上述技术，在实际的文件***容量测试中，理论上可以虚拟出任意容量的存储空间，并且虚拟存储模块的容量以及映射块大小均为可调参数，极大地增强了测试的灵活性。虽然物理存储模块容量较小，但是由于采取动态智能的按需映射方式，测试程序每次向虚拟存储模块写入的数据总量只要不超过物理存储模块的可用容量，虚拟存储模块就像普通的物理存储模块一样正常可读可写。由于上述映射过程全部发生在操作***内核驱动中，在文件***看来，直接用于存储数据的是大容量的虚拟存储模块，并且是正常可读可写的，这样就达到了容量测试的目的。
Lustre分布式文件***是目前广泛应用的一种分布式开源文件***，理论上支持至少64PB的存储空间。图2为一个Lustre分布式文件***的典型测试环境，该测试环境由客户端(clientl-clientx)、元数据服务器(MDS)、对象存储服务器(OSD)以及连接上述设备的以太网(GE/10GE)或者光纤网络(FC)组成。client上运行文件***容量测试管理模块，相当于图1中在用户空间访问Lustre文件***以及管理虚拟存储设备。MDS提供元数据服务，OSD提供物理存储设备。在对象存储服务器OSD上，通过图1所示的虚拟化方法，虚拟出足够容量的虚拟存储设备，并且采用动态智能的按需映射，将文件***容量测试管理模块对虚拟存储模块的读写映射到实际的物理存储模块。
在创建、写入和格式化等需要分配存储空间的多个文件操作中，所述容量测试管理模块指定多个所述文件要分别占用包括虚拟存储模块的存储空间的开始处、中间处以及结束处等具有代表性的容量位置，至少要占用所述虚拟存储模块的存储空间的开始处和结束处。通过上述特定存储空间的选择，保证文件***容量测试时对容量空间的有效覆盖，进而保证测试结果的正确、可靠。如多个所述文件操作成功，则判定被测试的文件***能支持标称的最大容量。
图3表示在实际的文件***容量测试中数据的流向。文件***容量测试管理模块在用户空间进行POSIX文件操作(如create、read和write等)。上述命令以及数据的直接操作对象是虚拟存储模块，但是在底层经过单元映射表转换之后，实际的操作对象是物理存储模块。通过映射表将读写命令和数据流等重定向到物理存储模块，这样创建出的虚拟存储模块是可读可写的，保证了文件***容量测试的需求。
图4和图5表示从虚拟存储模块到物理存储模块的动态智能的按需映射方式示意图。动态智能的按需映射体现在如下几个方面：首先，映射的基本单元可以是存储模块的物理块，也可以是根据测试需求而定义的一个映射单元，比如容量为4k、1M、2M的映射单元等。其次，只有当用户申请数据存储空间时才进行被映射的物理存储空间分配，当用户删除文件时，回收物理存储空间。第三，被映射的虚拟存储模块的存储单元和作为映射目标的物理存储模块的存储单元记录在动态的映射表中，上述分配和回收映射空间的过程就简化为映射表表项的增加和删除过程。通过如图4所示的动态智能的按需映射方式，保证了有限的物理容量能够被充分利用，并且理论上能够虚拟出任意容量的虚拟存储模块。这种情况下，所述物理存储模块只需要具有测试所需的容量即可，一般所述物理存储模块的容量不超过文件***所能支持的最大容量的1％。
采用上述测试方法，可以虚拟出足够容量的虚拟存储设备用于Lustre文件***容量测试。由于在具体的文件***容量测试中，不可能也没必要做到所有空间全部覆盖的测试，而只需要少量的存储空间进行读写测试，因此测试程序向虚拟存储模块写入的数据总量只要不超过被映射物理存储模块的可用容量，虚拟存储模块就像物理存储模块一样正常可读可写。由于上述映射过程全部发生在操作***块设备驱动层中，在Lustre文件***看来，直接用于存储数据的是大容量的虚拟存储模块，并且是正常可读可写的，这样就达到了Lustre文件***容量测试的目的。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (9)
1.一种基于虚拟化的文件***容量的测试***，其特征在于，包括：
容量测试管理模块，在被测试的所述文件***之下创建出用于所述文件***容量测试的虚拟存储模块，并管理所述文件***在所述虚拟存储模块上进行的包括创建、读写和删除的文件操作；
虚拟存储模块，具有所述文件***所能支持的最大容量，用于虚拟存储所述容量测试管理模块写入的文件；
物理存储模块，用于实际存储所述容量测试管理模块写入所述虚拟存储模块的文件；
映射管理模块，在操作***块设备驱动层中动态管理所述虚拟存储模块到所述物理存储模块的映射，将对所述虚拟存储模块的文件操作直接映射成对所述物理存储模块的文件操作；限制所有写入所述虚拟存储模块的文件容量小于或者等于所述物理存储模块的容量。
2.根据权利要求1所述的测试***，其特征在于：所述映射管理模块通过一个映射表实现所述动态管理；所述映射表存储有所述虚拟存储模块的存储单元与所述物理存储模块的存储单元的映射关系，所述映射管理模块通过动态维护所述映射表实现被映射物理空间的查询、分配和回收。
3.根据权利要求2所述的测试***，其特征在于：所述虚拟存储模块的存储单元被映射到所述物理存储模块的存储单元，映射单元的大小由所述容量测试管理模块根据测试需要调整。
4.根据权利要求3所述的测试***，其特征在于：所述映射管理模块通过增加或者删除表项，动态分配或者动态回收所述物理存储单元。
5.一种基于虚拟化的文件***容量的测试方法，使用权利要求1-4任一所述的***，其特征在于：包括如下步骤，
①创建虚拟存储模块，其具有所述文件***所能支持的最大容量，用于虚拟存储所述文件***创建的文件；
②设置物理存储模块，其具有预定容量，用于实际存储所述文件***创建的文件；
③容量测试管理模块管理所述文件***在所述虚拟存储模块上进行的包括创建、读写和删除的文件操作，所述容量测试管理模块指定多个所述文件至少要分别占用虚拟存储模块的存储空间的开始处和结束处；
④通过动态映射，将对所述虚拟存储模块进行的文件操作直接映射为对所述物理存储模块的文件操作；
⑤文件操作成功，则判定测试的文件***能支持标称的所述最大容量。
6.根据权利要求5所述的测试方法，其特征在于：所述映射管理模块通过一个映射表实现所述动态管理；所述映射表存储有所述虚拟存储模块的存储单元与所述物理存储模块的存储单元的映射关系，所述映射管理模块通过动态维护所述映射表实现映射目标空间的查询、分配和回收。
7.根据权利要求6所述的测试方法，其特征在于：所述虚拟存储模块的存储单元被映射到所述物理存储模块存储单元，映射单元的大小由所述容量测试管理模块根据测试需要调整。
8.根据权利要求7所述的测试方法，其特征在于：所述映射管理模块通过增加或者删除表项，动态分配或者动态回收所述物理存储单元。
9.根据权利要求8所述的测试方法，其特征在于：在包括创建和写入多个文件的操作过程中，所述容量测试管理模块指定多个所述文件至少要分别占用虚拟存储模块的存储空间的开始处、中间处以及结束处。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010620506 CN102063326B (zh) | 2010-12-31 | 2010-12-31 | 基于虚拟化的文件***容量的测试***和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010620506 CN102063326B (zh) | 2010-12-31 | 2010-12-31 | 基于虚拟化的文件***容量的测试***和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102063326A CN102063326A (zh) | 2011-05-18 |
| CN102063326B true CN102063326B (zh) | 2013-01-02 |
Family
ID=43998612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201010620506 Expired - Fee Related CN102063326B (zh) | 2010-12-31 | 2010-12-31 | 基于虚拟化的文件***容量的测试***和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102063326B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102215129B (zh) * | 2011-06-15 | 2017-10-10 | 中兴通讯股份有限公司 | 业务模块外置方法、装置及*** |
| CN102291466B (zh) * | 2011-09-05 | 2014-02-26 | 浪潮电子信息产业股份有限公司 | 一种优化集群存储网络资源配置的方法 |
| CN105701409B (zh) * | 2015-12-29 | 2019-05-17 | 珠海豹趣科技有限公司 | 一种实现文件虚拟化的方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1963782A (zh) * | 2006-11-28 | 2007-05-16 | 北京中星微电子有限公司 | 嵌入式文件***的测试方法及*** |
| CN101201776A (zh) * | 2006-12-14 | 2008-06-18 | 英业达股份有限公司 | 多操作***平台整合测试方法 |
| CN101706787A (zh) * | 2009-11-20 | 2010-05-12 | 深圳市中兴移动通信有限公司 | 一种用于逻辑存储器的文件***管理方法 |
-
2010
- 2010-12-31 CN CN 201010620506 patent/CN102063326B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1963782A (zh) * | 2006-11-28 | 2007-05-16 | 北京中星微电子有限公司 | 嵌入式文件***的测试方法及*** |
| CN101201776A (zh) * | 2006-12-14 | 2008-06-18 | 英业达股份有限公司 | 多操作***平台整合测试方法 |
| CN101706787A (zh) * | 2009-11-20 | 2010-05-12 | 深圳市中兴移动通信有限公司 | 一种用于逻辑存储器的文件***管理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102063326A (zh) | 2011-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8504797B2 (en) | Method and apparatus for managing thin provisioning volume by using file storage system | |
| US10521131B2 (en) | Storage apparatus and storage control apparatus | |
| US8521949B2 (en) | Data deleting method and apparatus | |
| US8909887B1 (en) | Selective defragmentation based on IO hot spots | |
| US8793290B1 (en) | Metadata management for pools of storage disks | |
| CN102023809B (zh) | 存储***、从存储***读取数据的方法及写入数据的方法 | |
| US8095728B2 (en) | Method and system for power aware I/O scheduling | |
| US20140351515A1 (en) | Providing data attributes to a storage manager to use to select a storage tier to use for a data set management operation | |
| US20140351505A1 (en) | Providing data attributes to a storage manager to use to select a storage tier to use for a data set management operation | |
| CN103514249B (zh) | 一种数据自精简方法和***及存储装置 | |
| US20140173226A1 (en) | Logical object deletion | |
| US20060212495A1 (en) | Method and system for storing data into a database | |
| US8621134B2 (en) | Storage tiering with minimal use of DRAM memory for header overhead | |
| US20140019706A1 (en) | System and method of logical object management | |
| US20150193473A1 (en) | Database Storage System based on Optical Disk and Method Using the System | |
| CN109324758A (zh) | 数据迁移方法、装置及存储设备 | |
| CN108399050B (zh) | 一种数据处理方法及装置 | |
| US20140181455A1 (en) | Category based space allocation for multiple storage devices | |
| US11144224B2 (en) | Locality-aware, memory-efficient, time-efficient hot data identification using count-min-sketch for flash or streaming applications | |
| CN102063326B (zh) | 基于虚拟化的文件***容量的测试***和方法 | |
| CN107346209B (zh) | 一种多磁盘聚合式数据存储***及其实现方法与应用方法 | |
| CN103942301A (zh) | 一种面向多数据类型访问应用的分布式文件*** | |
| US7480684B2 (en) | Method and system for object allocation using fill counts | |
| US7424574B1 (en) | Method and apparatus for dynamic striping | |
| US10089125B2 (en) | Virtual machines accessing file data, object data, and block data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130102 Termination date: 20131231 |