CN104050014A - 基于虚拟化平台的高效存储管理方法 - Google Patents

基于虚拟化平台的高效存储管理方法 Download PDF

Info

Publication number
CN104050014A
CN104050014A CN201410221805.9A CN201410221805A CN104050014A CN 104050014 A CN104050014 A CN 104050014A CN 201410221805 A CN201410221805 A CN 201410221805A CN 104050014 A CN104050014 A CN 104050014A
Authority
CN
China
Prior art keywords
resource pool
virtual machine
virtual
storage management
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410221805.9A
Other languages
English (en)
Other versions
CN104050014B (zh
Inventor
曹少坤
赵德祥
卢波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eisoo Software Co Ltd
Original Assignee
Shanghai Eisoo Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eisoo Software Co Ltd filed Critical Shanghai Eisoo Software Co Ltd
Priority to CN201410221805.9A priority Critical patent/CN104050014B/zh
Publication of CN104050014A publication Critical patent/CN104050014A/zh
Application granted granted Critical
Publication of CN104050014B publication Critical patent/CN104050014B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于虚拟化平台的高效存储管理方法，包括以下步骤：1)在虚拟化平台中，存储管理虚拟机接管服务器上的直连磁盘；2)存储管理虚拟机把直连磁盘汇聚成存储资源池；3)建立存储资源池后，把固态硬盘添加进存储资源池中，启动存储管理虚拟机的二级缓存功能；4)把存储资源池提供给虚拟化平台，并在虚拟化平台上，建立各种虚拟化应用虚拟机；5)根据设定周期，对存储管理虚拟机进行备份管理。与现有技术相比，本发明具有提高了数据存储性能，简化存储设施管理和部署，可以对其进行备份，提高存储管理***的安全性等优点。

Description

基于虚拟化平台的高效存储管理方法
技术领域
本发明涉及一种计算机存储技术领域，尤其是涉及一种基于虚拟化平台的高效存储管理方法。
背景技术
在传统虚拟化环境下，直连服务器的物理磁盘以裸盘形式提供给虚拟化平台，作为虚拟化应用的基础资源，由于虚拟化平台自身的限制，不能把物理磁盘汇聚成存储资源池，如果要把多个磁盘汇聚成一个存储资源池，需要借助SAS/SATA HBA卡的硬件RAID功能，该功能需要在HBA卡厂商提供的第三方配置工具进配置，这样就不能简单、灵活、高效把磁盘汇聚成存储资源池；
在实际虚拟化应用场景中，虚拟化平台上会运行多个应用虚拟机，环境比较复杂，对性能要求比较高，虚拟化平台不能添加固态硬盘做为二级缓存，来提高虚拟化平台上虚拟应用的IO读写性能。
经检索，公开号为CN101604226的中国专利公开了一种基于虚拟RAID构建动态缓存池提高存储***性能的方法，该存储***构成包括：物理存储设备，存储阵列，存储阵列管理台，虚拟RAID，虚拟缓存池。构建步骤包括：设定虚拟缓存池策略；创建虚拟RAID，创建块设备映射表。创建虚拟缓存池，创建虚拟RAID映射表。提取热点数据到缓存池，创建虚拟缓存池映射表；定时更新热点数据，修改热点数据映射表；清空虚拟缓存池。修改虚拟RAID，修改块设备映射表。修改虚拟缓存池，修改虚拟RAID映射表。其目的为在不占用***有限设备槽位不增加硬件成本的前提下，有效解决缓存容量不足导致的***性能下降问题，其解决了硬件缓存容量不足问题；但是在虚拟化应用中，其也存在缓存资源不足、IO读写性能差、对硬件性能要求高等问题。
综上可知，在虚拟化平台上使用直连磁盘资源的传统方法，在实际使用上显然存在不便与缺陷，所以有必要加以改进。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于虚拟化平台的高效存储管理方法，提高了数据存储性能，简化存储设施管理和部署，由于存储管理***为虚拟机，可以对其进行备份，提高存储管理***的安全性。
本发明的目的可以通过以下技术方案来实现：
一种基于虚拟化平台的高效存储管理方法，其特征在于，包括以下步骤：
1)在虚拟化平台中，存储管理虚拟机接管服务器上的直连磁盘；
2)存储管理虚拟机把直连磁盘汇聚成存储资源池；
3)建立存储资源池后，把固态硬盘添加进存储资源池中，启动存储管理虚拟机的二级缓存功能；
4)把存储资源池提供给虚拟化平台，并在虚拟化平台上，建立各种虚拟化应用虚拟机；
5)根据设定周期，对存储管理虚拟机进行备份管理。
所述的存储管理虚拟机接管服务器上的直连磁盘具体为：
11)设置挂载物理磁盘的SAS/SATA HBA卡的模式为直通模式；
12)存储管理虚拟机直接探测到HBA卡上的所有物理磁盘。
所述的存储资源池为并行条带化资源池，体现冗余资源池，或条带化与冗余混合的资源池。
所述的存储管理虚拟机包括二级缓存模块和资源池管理模块。
所述的应用虚拟机读IO数据具体如下：
所述的应用虚拟机所需读取的IO数据经过存储管理虚拟机时，二级缓存模块使读IO数据先从固态硬盘读取，如果命中，返回数据，否则，再通过资源池管理模块从存储资源池中的物理磁盘读取数据返回，并且把数据写入固态硬盘。
所述的应用虚拟机写IO数据具体如下：
IO数据先写入固态硬盘后，返回结果，然后异步sync到存储资源池中的直连磁盘，数据被异步sync到直连磁盘后，再清除固态硬盘的此数据。
所述的存储管理虚拟机为运行有存储管理***的虚拟机，可对存储管理***进行备份，当存储管理***出现异常后，可快速恢复。
所述的虚拟化平台包括VMware、KVM、XEN或Hyper-V。
与现有技术相比，本发明具有以下优点：
(1)使直连磁盘让存储管理虚拟机接管，在存储管理虚拟机中，对磁盘进行汇聚与配置，这样可以简化、灵活的把磁盘汇聚成存储资源池，提供给虚拟化平台，做为虚拟化应用的基础资源；
(2)增加二级缓存后，可以极大的提升IO读写性能；
(3)存储管理***运行在虚拟机中，可以非常方便对存储管理***进行备份，当存储管理***出现异常后，可以快速恢复。
附图说明
图1为本发明基于虚拟化平台的高效存储管理示意图；
图2为本发明存储管理虚拟机示意图；
图3为本发明存储资源池访问示意图；
图4为本发明应用虚拟机读IO数据示意图；
图5为本发明应用虚拟机写IO数据示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，本实施例提供一种基于虚拟化平台的高效存储管理方法，应用在虚拟化平台中，该方法包括：
(1).在虚拟化平台中，设置挂载物理磁盘的SAS/SATA HBA卡，该HBA卡为PCI设备，使能该PCI设备的pass through模式；
(2).部署一个虚拟机在虚拟化平台上，存储管理***运行在此虚拟机中，此时，所述存储管理***可以直接探测到HBA卡上的所有物理磁盘，虚拟化平台已经使用不了HBA卡上的磁盘。
(3).在部署的虚拟机中，启动存储管理***的资源池管理功能，把所有HBA卡上的物理磁盘构建成一个存储资源池，如图2所示，根据不同的存储策略，存储资源池可以是体现性能的并行条带化资源池，也可以是体现数据安全的冗余资源池，还可以是条带化与冗余混合的资源池。
(4).建立存储资源池后，启动存储管理***的二级缓存功能，把固态硬盘添加进存储资源池中，实现二级缓存的功能。如图2所示。
(5).如图3所示，所有的物理磁盘已经被虚拟机中的存储管理***，汇聚成了存储资源池。通过基于虚拟化平台的虚拟网络构成的标准iscsi或nfs，把存储资源池提供给虚拟化平台，此时，可以在虚拟化平台上，建立各种虚拟化应用虚拟机，这些虚拟机都是存储在上述的资源池里。
(6).如图4所示，应用虚拟机***所需读取的IO数据经过存储管理虚拟机，在存储管理***中，二级缓存模块使读IO数据先从固态硬盘读取，如果命中，返回数据，未命中，再通过资源池管理模块从资源池中的物理磁盘读取数据返回，并且把数据写入固态硬盘；
(7).如图2所示，应用虚拟机***产生的写IO数据，数据先写入固态硬盘后，返回结果，然后异步sync到物理磁盘，数据被异步sync到物理磁盘后，再清除固态硬盘的此数据。
(8).存储管理***运行在虚拟机中，定期的备份存储管理虚拟机，当存储管理虚拟机出现异常后，可以及时恢复存储管理***。
综上所述，本发明通过高效的存储管理，使虚拟化平台下直连磁盘的管理更加灵活、简便，虚拟化应用性能也能得到了极大的提升，并且存储管理***可以方便的得到保护。
当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的变化，但这些相应的变化都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种基于虚拟化平台的高效存储管理方法，其特征在于，包括以下步骤：
1)在虚拟化平台中，存储管理虚拟机接管服务器上的直连磁盘；
2)存储管理虚拟机把直连磁盘汇聚成存储资源池；
3)建立存储资源池后，把固态硬盘添加进存储资源池中，启动存储管理虚拟机的二级缓存功能；
4)把存储资源池提供给虚拟化平台，并在虚拟化平台上，建立各种虚拟化应用虚拟机；
5)根据设定周期，对存储管理虚拟机进行备份管理。
2.根据权利要求1所述的一种基于虚拟化平台的高效存储管理方法，其特征在于，所述的存储管理虚拟机接管服务器上的直连磁盘具体为：
11)设置挂载物理磁盘的SAS/SATA HBA卡的模式为直通模式；
12)存储管理虚拟机直接探测到HBA卡上的所有物理磁盘。
3.根据权利要求1所述的一种基于虚拟化平台的高效存储管理方法，其特征在于，所述的存储资源池为并行条带化资源池，体现冗余资源池，或条带化与冗余混合的资源池。
4.根据权利要求1所述的一种基于虚拟化平台的高效存储管理方法，其特征在于，所述的存储管理虚拟机包括二级缓存模块和资源池管理模块。
5.根据权利要求4所述的一种基于虚拟化平台的高效存储管理方法，其特征在于，所述的应用虚拟机读IO数据具体如下：
所述的应用虚拟机所需读取的IO数据经过存储管理虚拟机时，二级缓存模块使读IO数据先从固态硬盘读取，如果命中，返回数据，否则，再通过资源池管理模块从存储资源池中的物理磁盘读取数据返回，并且把数据写入固态硬盘。
6.根据权利要求4所述的一种基于虚拟化平台的高效存储管理方法，其特征在于，所述的应用虚拟机写IO数据具体如下：
IO数据先写入固态硬盘后，返回结果，然后异步sync到存储资源池中的直连磁盘，数据被异步sync到直连磁盘后，再清除固态硬盘的此数据。
7.根据权利要求1所述的一种基于虚拟化平台的高效存储管理方法，其特征在于，所述的存储管理虚拟机为运行有存储管理***的虚拟机，可对存储管理***进行备份，当存储管理***出现异常后，可快速恢复。
8.根据权利要求1所述的一种基于虚拟化平台的高效存储管理方法，其特征在于，所述的虚拟化平台包括VMware、KVM、XEN或Hyper-V。
CN201410221805.9A 2014-05-23 2014-05-23 基于虚拟化平台的高效存储管理方法 Expired - Fee Related CN104050014B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410221805.9A CN104050014B (zh) 2014-05-23 2014-05-23 基于虚拟化平台的高效存储管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410221805.9A CN104050014B (zh) 2014-05-23 2014-05-23 基于虚拟化平台的高效存储管理方法

Publications (2)

Publication Number Publication Date
CN104050014A true CN104050014A (zh) 2014-09-17
CN104050014B CN104050014B (zh) 2017-12-29

Family

ID=51502916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410221805.9A Expired - Fee Related CN104050014B (zh) 2014-05-23 2014-05-23 基于虚拟化平台的高效存储管理方法

Country Status (1)

Country Link
CN (1) CN104050014B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462389A (zh) * 2014-12-10 2015-03-25 上海爱数软件有限公司 基于分级存储的分布式文件***实现方法
CN104503825A (zh) * 2014-12-29 2015-04-08 西安电子科技大学 一种基于kvm混合式设备虚拟化方法
CN104820614A (zh) * 2015-05-08 2015-08-05 浪潮电子信息产业股份有限公司 一种虚拟化环境下使用带库设备备份的方法
CN106775942A (zh) * 2016-12-09 2017-05-31 中国科学院软件研究所 一种云应用导向的固态盘缓存管理***及方法
CN107145310A (zh) * 2017-05-24 2017-09-08 珠海金山网络游戏科技有限公司 一种实现网络存储io瓶颈优化的方法、装置及***
CN108182128A (zh) * 2017-12-29 2018-06-19 广州鼎甲计算机科技有限公司 基于xen的无代理虚拟化备份恢复方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101788889A (zh) * 2010-03-03 2010-07-28 浪潮(北京)电子信息产业有限公司 一种存储虚拟化***及方法
CN102132251A (zh) * 2008-07-17 2011-07-20 Lsi公司 在虚拟服务器平台上启动可启动虚拟存储设备的***和方法
US20110202728A1 (en) * 2010-02-17 2011-08-18 Lsi Corporation Methods and apparatus for managing cache persistence in a storage system using multiple virtual machines
CN102521147A (zh) * 2011-11-17 2012-06-27 曙光信息产业(北京)有限公司 一种使用高速非易失介质做缓存的管理方法
CN102622189A (zh) * 2011-12-31 2012-08-01 成都市华为赛门铁克科技有限公司 存储虚拟化的装置、数据存储方法及***
CN102945207A (zh) * 2012-10-26 2013-02-27 浪潮(北京)电子信息产业有限公司 一种块级数据的缓存管理方法及***
CN103268252A (zh) * 2013-05-12 2013-08-28 南京载玄信息科技有限公司 基于分布式存储的虚拟化平台***及其实现方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102132251A (zh) * 2008-07-17 2011-07-20 Lsi公司 在虚拟服务器平台上启动可启动虚拟存储设备的***和方法
US20110202728A1 (en) * 2010-02-17 2011-08-18 Lsi Corporation Methods and apparatus for managing cache persistence in a storage system using multiple virtual machines
CN101788889A (zh) * 2010-03-03 2010-07-28 浪潮(北京)电子信息产业有限公司 一种存储虚拟化***及方法
CN102521147A (zh) * 2011-11-17 2012-06-27 曙光信息产业(北京)有限公司 一种使用高速非易失介质做缓存的管理方法
CN102622189A (zh) * 2011-12-31 2012-08-01 成都市华为赛门铁克科技有限公司 存储虚拟化的装置、数据存储方法及***
CN102945207A (zh) * 2012-10-26 2013-02-27 浪潮(北京)电子信息产业有限公司 一种块级数据的缓存管理方法及***
CN103268252A (zh) * 2013-05-12 2013-08-28 南京载玄信息科技有限公司 基于分布式存储的虚拟化平台***及其实现方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462389A (zh) * 2014-12-10 2015-03-25 上海爱数软件有限公司 基于分级存储的分布式文件***实现方法
CN104462389B (zh) * 2014-12-10 2018-01-30 上海爱数信息技术股份有限公司 基于分级存储的分布式文件***实现方法
CN104503825A (zh) * 2014-12-29 2015-04-08 西安电子科技大学 一种基于kvm混合式设备虚拟化方法
CN104503825B (zh) * 2014-12-29 2017-11-24 西安电子科技大学 一种基于kvm混合式设备虚拟化方法
CN104820614A (zh) * 2015-05-08 2015-08-05 浪潮电子信息产业股份有限公司 一种虚拟化环境下使用带库设备备份的方法
CN106775942A (zh) * 2016-12-09 2017-05-31 中国科学院软件研究所 一种云应用导向的固态盘缓存管理***及方法
CN106775942B (zh) * 2016-12-09 2020-06-16 中国科学院软件研究所 一种云应用导向的固态盘缓存管理***及方法
CN107145310A (zh) * 2017-05-24 2017-09-08 珠海金山网络游戏科技有限公司 一种实现网络存储io瓶颈优化的方法、装置及***
CN108182128A (zh) * 2017-12-29 2018-06-19 广州鼎甲计算机科技有限公司 基于xen的无代理虚拟化备份恢复方法

Also Published As

Publication number Publication date
CN104050014B (zh) 2017-12-29

Similar Documents

Publication Publication Date Title
US9823877B2 (en) Virtual machine backup from storage snapshot
CN107632939B (zh) 用于存储装置的映射表
CN104050014A (zh) 基于虚拟化平台的高效存储管理方法
US8135914B2 (en) Managing cache data and metadata
EP3617867B1 (en) Fragment management method and fragment management apparatus
US10467044B2 (en) Transaction processing method and apparatus, and computer system
CN107111535A (zh) 存储***中的加速数据恢复
US10261908B2 (en) Method and apparatus for expanding cache size for cache array
CN113220242B (zh) 存储管理方法、设备和计算机可读介质
CN106569742A (zh) 存储管理方法及存储设备
US9710283B2 (en) System and method for pre-storing small data files into a page-cache and performing reading and writing to the page cache during booting
US10365845B1 (en) Mapped raid restripe for improved drive utilization
EP2836900B1 (en) Creating encrypted storage volumes
CN105975878B (zh) 基于Nand Flash闪存的安全存储方法及***
CN106445832A (zh) 闪存存储***的地址映射方法及装置
CN103473266A (zh) 固态硬盘及其删除重复数据的方法
CN111666046B (zh) 一种数据存储方法、装置及设备
US8271717B2 (en) Computing machine with virtual machine monitor
CN109815059A (zh) 一种数据备份方法、***及板卡和存储介质
US20150347320A1 (en) ENCRYPTION FOR SOLID STATE DRIVES (SSDs)
CN102508743A (zh) Linux文件***的多点备份和实时保护方法
CN107451069A (zh) 基于预留空间的固态盘阵列的垃圾回收方法
US20230142948A1 (en) Techniques for managing context information for a storage device
CN106611109A (zh) 一种存储设备上的软件的运行方法
CN103064926B (zh) 数据处理方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201112 Shanghai, Minhang District, United Airlines route 1188, building second layer A-1 unit 8

Applicant after: SHANGHAI EISOO INFORMATION TECHNOLOGY CO., LTD.

Address before: 201112 Shanghai, Minhang District, United Airlines route 1188, building second layer A-1 unit 8

Applicant before: Shanghai Eisoo Software Co.,Ltd.

COR Change of bibliographic data
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171229

Termination date: 20190523

CF01 Termination of patent right due to non-payment of annual fee