CN109144411A - 数据中心混合磁盘阵列及其数据动态迁移策略 - Google Patents

数据中心混合磁盘阵列及其数据动态迁移策略 Download PDF

Info

Publication number
CN109144411A
CN109144411A CN201810820342.6A CN201810820342A CN109144411A CN 109144411 A CN109144411 A CN 109144411A CN 201810820342 A CN201810820342 A CN 201810820342A CN 109144411 A CN109144411 A CN 109144411A
Authority
CN
China
Prior art keywords
hard disk
block
data block
data
solid state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810820342.6A
Other languages
English (en)
Inventor
陈金忠
耿锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 38 Research Institute
Original Assignee
CETC 38 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 38 Research Institute filed Critical CETC 38 Research Institute
Priority to CN201810820342.6A priority Critical patent/CN109144411A/zh
Publication of CN109144411A publication Critical patent/CN109144411A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种数据中心混合磁盘阵列，包括：机械硬盘，用于存储顺序访问以写为主的数据块；固态硬盘，用于存储随机访问以读为主的数据块；阵列控制器，维护逻辑块和物理块之间的映射，将逻辑块映射到固态硬盘或机械硬盘的物理块；通过维护已访问数据块的哈希链表，记录数据块所在的设备号、逻辑块地址、访问频率、读写比例和平均请求大小，由此计算出转移状态值。本发明还公开了一种数据中心混合磁盘阵列的数据动态迁移策略。本发明的混合磁盘阵列利用容量较大的机械硬盘存储大部分数据，利用容量较小的固态硬盘存储热点随机访问的数据，满足了数据中心存储***的大容量、高性能和低成本的需求。

Description

数据中心混合磁盘阵列及其数据动态迁移策略
技术领域
本发明涉及计算机存储技术领域，尤其是一种数据中心混合磁盘阵列及其数据动态迁移策略。
背景技术
随着电子信息技术的发展，基于NAND闪存技术的固态硬盘逐渐的应用于存储***。固态硬盘消除了机械硬盘的旋转特性，这使得固态硬盘的存取性能高出机械硬盘几十倍甚至几百倍。固态硬盘的另一个重要特性是读写不对称性，读的性能要高于写的性能。另外，频繁的写操作会触发昂贵的垃圾回收操作，从而影响固态硬盘的使用寿命。
由于固态硬盘在价格和容量上无法和传统机械硬盘竞争，使得固态硬盘还不能够完全取代传统的机械硬盘。因此，由固态硬盘和机械硬盘组成的混合存储***是比较理想的选择。固态硬盘和机械硬盘针对不同的应用程序特性，其性能是不相同的。例如，机械硬盘对于顺序读写的性能比随机读写的性能高。固态硬盘对于随机读的性能要比随机写的性能高。当前数据中心的存储***不仅需要提供高性能、高可靠的服务，还需要考虑大容量和低成本方面的需求。
目前数据中心的混合磁盘阵列(如RAID5、RAID6)并没有根据负载的访问特性存储数据，一方面，可能会造成大量的随机请求集中在机械硬盘，另一方面，也会造成大量的写请求集中在固态硬盘。这不仅会降低数据中心磁盘阵列的整体性能，而且还会缩短固态硬盘的使用寿命，从而降低数据中心存储***的可靠性。
发明内容
本发明的首要目的在于提供一种由机械硬盘和固态硬盘组成，满足了数据中心存储***所要求的大容量、高性能和低成本的需求的数据中心混合磁盘阵列。
为实现上述目的，本发明采用了以下技术方案：一种数据中心混合磁盘阵列，包括：
机械硬盘，用于存储顺序访问以写为主的数据块；
固态硬盘，用于存储随机访问以读为主的数据块；
阵列控制器，维护逻辑块和物理块之间的映射，将逻辑块映射到固态硬盘或机械硬盘的物理块；对每个数据块维护一个转移状态值，根据状态值，将存储块迁移到固态硬盘且该存储块是随机访问以读为主的，将存储块迁移到机械硬盘且该存储块是顺序访问以写为主的；通过维护已访问数据块的哈希链表，记录数据块所在的设备号、逻辑块地址、访问频率、读写比例和平均请求大小，由此计算出转移状态值。
数据中心的分布式文件***将固态硬盘和机械硬盘统一映射为逻辑设备，通过相同的接口进行访问。
每个所述逻辑设备由多个存储块组成，每个存储块又由多个存储页面构成，存储页面的大小为2KB或4KB。
本发明的另一目的在于提供一种数据中心混合磁盘阵列的数据动态迁移策略，该策略包括下列顺序的步骤：
(1)当分布式文件***空闲时，首先计算每个数据块的转移状态值，然后挑选出前N个转移状态值较大的数据块，挑选数据块的数量N根据分布式文件***空闲时间长短设定；
(2)判断固态硬盘是否还有剩余空间，若判断结果为否，替换出固态硬盘中N个转移状态值较小的数据块，否则，直接将挑选出的数据块转移到固态硬盘；
(3)在数据块发生转移之后，更新重定向映射表，重新映射数据块的位置；
(4)迁移结束；
当分布式文件***接收到I/O请求时，根据重定向映射表重新定位数据块的位置。
所述数据块的转移状态值由数据块的访问频率、平均访问大小和读写比例计算得到，数据块的转移状态值反映了负载的访问模式。
在分布式文件***接收到I/O请求时执行下列顺序的步骤：
1)当I/O请求到达时，计算数据块的地址；
2)查询重定向映射表，如果数据块的逻辑地址存在，将旧的逻辑地址替换为新的逻辑地址，然后向磁盘发送I/O请求，否则，直接向磁盘发送I/O请求。
由上述技术方案可知，本发明的优点在于：第一，混合磁盘阵列利用容量较大的机械硬盘存储大部分数据，利用容量较小的固态硬盘存储热点随机访问的数据，满足了数据中心存储***的大容量、高性能和低成本的需求；第二，通过将随机访问并且以读为主的存储块迁移到固态硬盘，减少了存储***的平均响应时间和延长了固态硬盘的使用寿命；针对不同的应用程序特性设计不同的存储方法，充分发挥了机械硬盘和固态硬盘各自的优势，同时适应了负载的动态变化。
附图说明
图1为本发明的架构图；
图2为数据块的信息记录结构图；
图3为本发明的方法流程图；
图4为重定向映射表结构图；
图5为I/O请求的处理流程图。
具体实施方式
如图1所示，一种数据中心混合磁盘阵列，包括：
大量机械硬盘，用于存储顺序访问以写为主的数据块；
少量固态硬盘，用于存储随机访问以读为主的数据块；
阵列控制器，维护逻辑块和物理块之间的映射，将逻辑块映射到固态硬盘或机械硬盘的物理块；对每个数据块维护一个转移状态值，根据状态值，将存储块迁移到固态硬盘且该存储块是随机访问以读为主的，将存储块迁移到机械硬盘且该存储块是顺序访问以写为主的；通过维护已访问数据块的哈希链表，记录数据块所在的设备号、逻辑块地址、访问频率、读写比例和平均请求大小，由此计算出转移状态值。
数据中心的分布式文件***将固态硬盘和机械硬盘统一映射为逻辑设备，通过相同的接口进行访问。
每个所述逻辑设备由多个存储块组成，每个存储块又由多个存储页面构成，存储页面的大小为2KB或4KB。
如图3所示，本策略包括下列顺序的步骤：
(1)当分布式文件***空闲时，首先计算每个数据块的转移状态值，然后挑选出前N个转移状态值较大的数据块，挑选数据块的数量N根据分布式文件***空闲时间长短设定；
(2)判断固态硬盘是否还有剩余空间，若判断结果为否，替换出固态硬盘中N个转移状态值较小的数据块，否则，直接将挑选出的数据块转移到固态硬盘；
(3)在数据块发生转移之后，更新重定向映射表，重新映射数据块的位置；对于已经转移的数据块，解除原先的逻辑块和物理块的映射关系，使用重定向映射表，重新映射逻辑块和物理块的位置；
(4)迁移结束；
当分布式文件***接收到I/O请求时，根据重定向映射表重新定位数据块的位置。
所述数据块的转移状态值由数据块的访问频率、平均访问大小和读写比例计算得到，数据块的转移状态值反映了负载的访问模式，代表了将数据块存储在固态硬盘相比于机械硬盘所带来的性能提升。
如图4所示，重定向映射表包括三个部分，分别是设备号、旧的逻辑地址和新的逻辑地址。设备号标识此数据块是在哪个逻辑设备上，旧的逻辑地址表示转移之前的数据块地址，新的逻辑地址表示转移后的数据块地址。为了进行快速的检索，重定向映射表结构设计为哈希链表。
如图5所述，在分布式文件***接收到I/O请求时执行下列顺序的步骤：
1)当I/O请求到达时，计算数据块的地址；
2)查询重定向映射表，如果数据块的逻辑地址存在，将旧的逻辑地址替换为新的逻辑地址，然后向磁盘发送I/O请求，否则，直接向磁盘发送I/O请求。
如图2所示，此结构被组织为哈希链表，其优点是方便进行快速的***、删除和定位操作。记录的信息包括数据块所在的设备号、地址、访问频率、读写比例和平均请求大小。阵列控制器根据这些信息计算数据块的转移状态值，决定数据块存储的位置。数据块的转移状态值是由数据块的访问频率、读写比例和平均请求大小计算得到的，具体的计算公式为：转移状态值＝访问频率*读写比例/平均请求大小，其中，访问频率反映了负载访问的时间特性，平均请求大小反映了负载的随机访问特性，读写比例表示此数据块是以读为主还是以写为主，转移状态值是数据块综合评价值，表明此数据块最佳的存储位置。

Claims (6)

1.一种数据中心混合磁盘阵列，其特征在于：包括：
机械硬盘，用于存储顺序访问以写为主的数据块；
固态硬盘，用于存储随机访问以读为主的数据块；
阵列控制器，维护逻辑块和物理块之间的映射，将逻辑块映射到固态硬盘或机械硬盘的物理块；对每个数据块维护一个转移状态值，根据状态值，将存储块迁移到固态硬盘且该存储块是随机访问以读为主的，将存储块迁移到机械硬盘且该存储块是顺序访问以写为主的；通过维护已访问数据块的哈希链表，记录数据块所在的设备号、逻辑块地址、访问频率、读写比例和平均请求大小，由此计算出转移状态值。
2.根据权利要求1所述的数据中心混合磁盘阵列，其特征在于：数据中心的分布式文件***将固态硬盘和机械硬盘统一映射为逻辑设备，通过相同的接口进行访问。
3.根据权利要求2所述的数据中心混合磁盘阵列，其特征在于：每个所述的逻辑设备由多个存储块组成，每个存储块又由多个存储页面构成，存储页面的大小为2KB或4KB。
4.根据权利要求1至3中任一项所述的数据中心混合磁盘阵列的数据动态迁移策略，其特征在于：该策略包括下列顺序的步骤：
(1)当分布式文件***空闲时，首先计算每个数据块的转移状态值，然后挑选出前N个转移状态值较大的数据块，挑选数据块的数量N根据分布式文件***空闲时间长短设定；
(2)判断固态硬盘是否还有剩余空间，若判断结果为否，替换出固态硬盘中N个转移状态值较小的数据块，否则，直接将挑选出的数据块转移到固态硬盘；
(3)在数据块发生转移之后，更新重定向映射表，重新映射数据块的位置；
(4)迁移结束；
当分布式文件***接收到I/O请求时，根据重定向映射表重新定位数据块的位置。
5.根据权利要求4所述的数据动态迁移策略，其特征在于：所述数据块的转移状态值由数据块的访问频率、平均访问大小和读写比例计算得到，数据块的转移状态值反映了负载的访问模式。
6.根据权利要求4所述的数据动态迁移策略，其特征在于：在分布式文件***接收到I/O请求时执行下列顺序的步骤：
1)当I/O请求到达时，计算数据块的地址；
2)查询重定向映射表，如果数据块的逻辑地址存在，将旧的逻辑地址替换为新的逻辑地址，然后向磁盘发送I/O请求，否则，直接向磁盘发送I/O请求。
CN201810820342.6A 2018-07-24 2018-07-24 数据中心混合磁盘阵列及其数据动态迁移策略 Pending CN109144411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810820342.6A CN109144411A (zh) 2018-07-24 2018-07-24 数据中心混合磁盘阵列及其数据动态迁移策略

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810820342.6A CN109144411A (zh) 2018-07-24 2018-07-24 数据中心混合磁盘阵列及其数据动态迁移策略

Publications (1)

Publication Number Publication Date
CN109144411A true CN109144411A (zh) 2019-01-04

Family

ID=64797627

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810820342.6A Pending CN109144411A (zh) 2018-07-24 2018-07-24 数据中心混合磁盘阵列及其数据动态迁移策略

Country Status (1)

Country Link
CN (1) CN109144411A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110209350A (zh) * 2019-05-10 2019-09-06 华中科技大学 一种混合存储架构hpc***中应用i/o请求的动态调度方法
CN110262758A (zh) * 2019-06-28 2019-09-20 深信服科技股份有限公司 一种数据存储管理方法、***及相关设备
CN110399099A (zh) * 2019-06-28 2019-11-01 苏州浪潮智能科技有限公司 数据迁移***及方法
CN110968271A (zh) * 2019-11-25 2020-04-07 北京劲群科技有限公司 一种高性能数据存储方法、***与装置
CN111208952A (zh) * 2020-02-13 2020-05-29 河南文正电子数据处理有限公司 一种存储***扩容方法、可读存储介质及计算设备
CN111813740A (zh) * 2019-04-11 2020-10-23 ***通信集团四川有限公司 一种文件分层存储方法及服务器
CN111913661A (zh) * 2020-07-29 2020-11-10 北京天融信网络安全技术有限公司 一种缓存设备替换方法及电子设备
CN112000296A (zh) * 2020-08-28 2020-11-27 北京计算机技术及应用研究所 一种全闪存阵列中的性能优化***
CN112905345A (zh) * 2021-02-23 2021-06-04 深圳市网心科技有限公司 任务调配方法、分布式存储***、服务器
CN116027990A (zh) * 2023-03-29 2023-04-28 苏州浪潮智能科技有限公司 一种raid卡及其数据访问方法、***及存储介质
CN118051190A (zh) * 2024-04-16 2024-05-17 深圳市领德创科技有限公司 一种固态硬盘的数据保护方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101907978A (zh) * 2010-07-27 2010-12-08 浙江大学 基于固态硬盘和磁性硬盘的混合存储***及存储方法
CN106933516A (zh) * 2017-03-16 2017-07-07 郑州云海信息技术有限公司 一种混合介质的存储***的存储控制方法及装置
CN107273040A (zh) * 2016-04-08 2017-10-20 北京优朋普乐科技有限公司 数据缓存方法和装置
CN207337378U (zh) * 2017-10-10 2018-05-08 深圳市比一比网络科技有限公司 数据混合存储装置及计算机***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101907978A (zh) * 2010-07-27 2010-12-08 浙江大学 基于固态硬盘和磁性硬盘的混合存储***及存储方法
CN107273040A (zh) * 2016-04-08 2017-10-20 北京优朋普乐科技有限公司 数据缓存方法和装置
CN106933516A (zh) * 2017-03-16 2017-07-07 郑州云海信息技术有限公司 一种混合介质的存储***的存储控制方法及装置
CN207337378U (zh) * 2017-10-10 2018-05-08 深圳市比一比网络科技有限公司 数据混合存储装置及计算机***

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813740A (zh) * 2019-04-11 2020-10-23 ***通信集团四川有限公司 一种文件分层存储方法及服务器
CN110209350A (zh) * 2019-05-10 2019-09-06 华中科技大学 一种混合存储架构hpc***中应用i/o请求的动态调度方法
CN110399099B (zh) * 2019-06-28 2023-01-10 苏州浪潮智能科技有限公司 数据迁移***及方法
CN110262758A (zh) * 2019-06-28 2019-09-20 深信服科技股份有限公司 一种数据存储管理方法、***及相关设备
CN110399099A (zh) * 2019-06-28 2019-11-01 苏州浪潮智能科技有限公司 数据迁移***及方法
CN110262758B (zh) * 2019-06-28 2023-07-14 深信服科技股份有限公司 一种数据存储管理方法、***及相关设备
CN110968271A (zh) * 2019-11-25 2020-04-07 北京劲群科技有限公司 一种高性能数据存储方法、***与装置
CN110968271B (zh) * 2019-11-25 2024-02-20 北京劲群科技有限公司 一种高性能数据存储方法、***与装置
CN111208952A (zh) * 2020-02-13 2020-05-29 河南文正电子数据处理有限公司 一种存储***扩容方法、可读存储介质及计算设备
CN111208952B (zh) * 2020-02-13 2022-07-12 河南文正电子数据处理有限公司 一种存储***扩容方法、可读存储介质及计算设备
CN111913661B (zh) * 2020-07-29 2023-07-04 北京天融信网络安全技术有限公司 一种缓存设备替换方法及电子设备
CN111913661A (zh) * 2020-07-29 2020-11-10 北京天融信网络安全技术有限公司 一种缓存设备替换方法及电子设备
CN112000296A (zh) * 2020-08-28 2020-11-27 北京计算机技术及应用研究所 一种全闪存阵列中的性能优化***
CN112000296B (zh) * 2020-08-28 2024-04-09 北京计算机技术及应用研究所 一种全闪存阵列中的性能优化***
CN112905345A (zh) * 2021-02-23 2021-06-04 深圳市网心科技有限公司 任务调配方法、分布式存储***、服务器
CN112905345B (zh) * 2021-02-23 2024-04-05 深圳市网心科技有限公司 任务调配方法、分布式存储***、服务器
CN116027990A (zh) * 2023-03-29 2023-04-28 苏州浪潮智能科技有限公司 一种raid卡及其数据访问方法、***及存储介质
CN118051190A (zh) * 2024-04-16 2024-05-17 深圳市领德创科技有限公司 一种固态硬盘的数据保护方法及***

Similar Documents

Publication Publication Date Title
CN109144411A (zh) 数据中心混合磁盘阵列及其数据动态迁移策略
CN103019958B (zh) 使用数据属性来管理固态存储器里的数据的方法
CN109923530A (zh) 混合式存储器中的数据重新定位
CN102646069B (zh) 一种延长固态盘使用寿命的方法
CN108121503B (zh) 一种NandFlash地址映射及块管理方法
KR101303524B1 (ko) 불휘발성 메모리에 대한 메타데이터 리던던시 스킴
CN102063943B (zh) Nand闪存参数自动检测***
WO2021242318A1 (en) Rate limit on the transitions of zones to open
CN106463161B (zh) 读取高速缓冲存储器
US9436615B2 (en) Optimistic data read
US20070288686A1 (en) Optimized placement policy for solid state storage devices
US20120131265A1 (en) Write cache structure in a storage system
US20090327591A1 (en) Slc-mlc combination flash storage device
CN103838853B (zh) 一种基于不同存储介质的混合文件***
US20170364447A1 (en) Read cache management
CN110032333A (zh) 存储器***及其操作方法
US11537305B1 (en) Dissimilar write prioritization in ZNS devices
CN113419675B (zh) 用于存储器的写操作方法及读操作方法
CN102520885B (zh) 一种混合硬盘的数据管理***
CN107402890A (zh) 一种基于固态盘阵列和缓存的数据处理方法及***
CN117015766A (zh) 在分区命名空间ssd中的快速垃圾收集
CN110537172B (zh) 混合存储器模块
KR101146082B1 (ko) 비휘발성 메모리 저장 장치 및 비휘발성 메모리 저장 장치의 성능 향상 방법
CN109324980A (zh) 一种l2p表管理方法、数据读取方法、装置及设备
CN102362263A (zh) Ssd控制器与ssd控制器的操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190104