CN103116475A - 一种自动精简配置扩容的方法 - Google Patents
一种自动精简配置扩容的方法 Download PDFInfo
- Publication number
- CN103116475A CN103116475A CN 201310047066 CN201310047066A CN103116475A CN 103116475 A CN103116475 A CN 103116475A CN 201310047066 CN201310047066 CN 201310047066 CN 201310047066 A CN201310047066 A CN 201310047066A CN 103116475 A CN103116475 A CN 103116475A
- Authority
- CN
- China
- Prior art keywords
- rbtree
- storage pool
- equipment
- space
- idle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 9
- 238000011084 recovery Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种自动精简配置扩容的方法,通过扩展自动精简存储池模块功能,来扩展存储池的容量,负责自动精简配置存储池中空间的分配与回收,存储池的空间扩容,当存储池中实际可用空间不足时,为满足业务需求,需要对整个存储池进行扩容,通过在自动精简存储池模块中增加设备层,通过本发明中的算法控制存储池中的设备使用,实现存储池中容量的扩展。增加存储池对设备的直接控制,这样可以实现动态的存储池中容量的增加,也为后续存储池性能优化以及功能的扩展提供途径。当存储池空间回收后,存储池中可分配空间存储设备可能存在多个,在接收到写请求后,可能将请求分解映射到一个特定的设备或者多个设备上,潜在提升了后续读请求的性能。
Description
技术领域
本发明涉及计算机领域,具体地说是一种自动精简配置扩容的方法。
本发明是一种存储***下自动精简配置存储池扩容的方法;通常用于存储***中,旨在实现扩展自动精简配置的存储池空间;自动精简存储池模块中增加设备层,采用该技术对存储池空间进行扩容;本发明增加了自动精简存储池对存储设备的直接控制能力,对自动精简存储性能提升提供途径。
背景技术
目前很多存储***都支持自动精简配置技术,自动精简配置中最为关键的部分是存储池空间分配以及回收,之所以这部分重要是因为这些被释放的存储空间就象内存一样可以被重新利用,增加了存储空间的使用效率,减少资源的浪费。当存储池中可用存储空间不足时,需要对存储池进行扩容,才能满足存储业务对于空间的需求。
由于在自动精简配置***中,存储池空间的分配是动态的,因此文件***在向自动精简存储池模块发送写数据请求时,自动精简存储池模块才会真正的分配空间;当删除文件后,文件***通知自动精简存储池模块进行存储池空间的回收。
对自动精简配置存储池空间扩容目前业界主要如下方式:借助LVM第三方工具进行存储池的扩容,这种方式的扩容屏蔽了存储池对物理设备的直接控制能力,在一定程度上限制了存储池性能优化以及功能的扩展。
本发明中通过在存储池中增加设备层,增加存储池对设备的直接控制,这样可以实现动态的存储池中容量的增加,也为后续存储池性能优化以及功能的扩展提供途径。当存储池空间回收后,存储池中可分配空间存储设备可能存在多个,在接收到写请求后,可能将请求分解映射到一个特定的设备或者多个设备上,潜在提升了后续读请求的性能。
发明内容
本发明的目的是提供一种自动精简配置扩容的方法。
本发明的目的是按以下方式实现的,***通过扩展自动精简存储池模块,实现存储池的扩容量,具体步骤如下:
1)在扩展自动精简存储池模块中增加设备层,当执行thin-pool extend device-name命令时,会将设备添加到设备层中的空闲RbTree数据结构中,RbTree中包含设备的特征信息,当正在使用RbTree中设备空间不能满足写请求时,首先会从空闲RbTree中提取一个设备,用来存储业务数据信息;同时会将设备信息从空闲RbTree中转移到正在使用中的RbTree中,当整个自动精简存储池中空闲RbTree中没有可用的设备时,需要用户向存储池中添加设备;
2)扩展自动精简存储池模块负责自动精简配置存储池中空间的分配、回收和存储池的空间扩容:
(1)当存储池接收到写请求之后,会查看当前正在使用RbTree中设备空闲空间是否能够满足本次写请求;如果能够满足写请求所占用的空间,则减少正在使用RbTree中设备的空闲空间数量,当设备空闲空间数量为0时,需要将设备从正在使用RbTree中转移到已经使用RbTree中;如果不能够满足写请求所占用的空间,则从空闲RbTree中提取设备,存储业务数据信息,同时将设备信息从空闲RbTree中转移到正在使用RbTree中;
(2)当存储池收到DISCARD请求之后,查看正在使用RbTree中是否包含DISCARD请求涉及的设备,如果找到设备则增加找到设备的空闲空间数量;如果未找到设备,则从已经使用的RbTree中查找DISCARD请求涉及的设备,增加找到设备的空闲空间数量,并将设备转移到正在使用RbTree中;此时正在使用的RbTree中可用空闲空间数量增加,并且可用设备数目也会增加;当正在使用RbTree中设备空间不再被使用,则将设备转移到空闲RbTree中。
本发明的有益效果是:实现了自动精简配置存储池的扩容,增加了自动精简存储池对存储设备的直接控制能力,对自动精简存储性能提升提供途径;自动精简存储池中始终保留至少一个未被使用的物理存储设备,这在一定程度上增加大量写IO请求环境下存储***的稳定性,不会导致存储***轻易崩溃。
附图说明
图1是自动精简存储池功能模块关系图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
***通过扩展自动精简存储池模块,实现存储池的扩容量,具体步骤如下:
1)在扩展自动精简存储池模块中增加设备层,当执行thin-pool extend device-name命令时,会将设备添加到设备层中的空闲RbTree数据结构中,RbTree中包含设备的特征信息,当正在使用RbTree中设备空间不能满足写请求时,首先会从空闲RbTree中提取一个设备,用来存储业务数据信息;同时会将设备信息从空闲RbTree中转移到正在使用中的RbTree中,当整个自动精简存储池中空闲RbTree中没有可用的设备时,需要用户向存储池中添加设备;
2)扩展自动精简存储池模块负责自动精简配置存储池中空间的分配、回收和存储池的空间扩容:
(1)当存储池接收到写请求之后,会查看当前正在使用RbTree中设备空闲空间是否能够满足本次写请求;如果能够满足写请求所占用的空间,则减少正在使用RbTree中设备的空闲空间数量,当设备空闲空间数量为0时,需要将设备从正在使用RbTree中转移到已经使用RbTree中;如果不能够满足写请求所占用的空间,则从空闲RbTree中提取设备,存储业务数据信息,同时将设备信息从空闲RbTree中转移到正在使用RbTree中;
(2)当存储池收到DISCARD请求之后,查看正在使用RbTree中是否包含DISCARD请求涉及的设备,如果找到设备则增加找到设备的空闲空间数量;如果未找到设备,则从已经使用的RbTree中查找DISCARD请求涉及的设备,增加找到设备的空闲空间数量,并将设备转移到正在使用RbTree中;此时正在使用的RbTree中可用空闲空间数量增加,并且可用设备数目也会增加;当正在使用RbTree中设备空间不再被使用,则将设备转移到空闲RbTree中。
本发明的有益效果是:实现了自动精简配置存储池的扩容,增加了自动精简存储池对存储设备的直接控制能力,对自动精简存储性能提升提供途径;自动精简存储池中始终保留至少一个未被使用的物理存储设备,这在一定程度上增加大量写IO请求环境下存储***的稳定性,不会导致存储***轻易崩溃。
除说明书所述的技术特征外,均为本专业技术人员的已知技术。
Claims (1)
1.一种自动精简配置扩容的方法, 其特征在于***通过扩展自动精简存储池模块,实现存储池的扩容量,具体步骤如下:
1)在扩展自动精简存储池模块中增加设备层,当执行thin-pool extend device-name命令时,会将设备添加到设备层中的空闲RbTree数据结构中,RbTree中包含设备的特征信息,当正在使用RbTree中设备空间不能满足写请求时,首先会从空闲RbTree中提取一个设备,用来存储业务数据信息;同时会将设备信息从空闲RbTree中转移到正在使用中的RbTree中,当整个自动精简存储池中空闲RbTree中没有可用的设备时,需要用户向存储池中添加设备;
2)扩展自动精简存储池模块的存储池空间分配&回收与扩容的交互:
(1)当存储池接收到写请求之后,会查看当前正在使用RbTree中设备空闲空间是否能够满足本次写请求;如果能够满足写请求所占用的空间,则减少正在使用RbTree中设备的空闲空间数量,当设备空闲空间数量为0时,需要将设备从正在使用RbTree中转移到已经使用RbTree中;如果不能够满足写请求所占用的空间,则从空闲RbTree中提取设备,存储业务数据信息,同时将设备信息从空闲RbTree中转移到正在使用RbTree中;
(2)当存储池收到DISCARD请求之后,查看正在使用RbTree中是否包含DISCARD请求涉及的设备,如果找到设备则增加找到设备的空闲空间数量;如果未找到设备,则从已经使用的RbTree中查找DISCARD请求涉及的设备,增加找到设备的空闲空间数量,并将设备转移到正在使用RbTree中;此时正在使用的RbTree中可用空闲空间数量增加,并且可用设备数目也会增加;当正在使用RbTree中设备空间不再被使用,则将设备转移到空闲RbTree中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310047066.1A CN103116475B (zh) | 2013-02-06 | 2013-02-06 | 一种自动精简配置扩容的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310047066.1A CN103116475B (zh) | 2013-02-06 | 2013-02-06 | 一种自动精简配置扩容的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103116475A true CN103116475A (zh) | 2013-05-22 |
CN103116475B CN103116475B (zh) | 2017-02-15 |
Family
ID=48414867
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310047066.1A Active CN103116475B (zh) | 2013-02-06 | 2013-02-06 | 一种自动精简配置扩容的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103116475B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103838524A (zh) * | 2014-03-13 | 2014-06-04 | 深圳市迪菲特科技股份有限公司 | 一种自适应精简配置的实现方法与存储*** |
CN104820575A (zh) * | 2015-04-27 | 2015-08-05 | 西北工业大学 | 实现存储***自动精简的方法 |
CN106227472A (zh) * | 2016-08-19 | 2016-12-14 | 浪潮(北京)电子信息产业有限公司 | 一种自精简卷扩容方法及*** |
CN107515731A (zh) * | 2017-07-31 | 2017-12-26 | 华中科技大学 | 一种基于固态盘的进化存储***及其工作方法 |
CN107766262A (zh) * | 2016-08-18 | 2018-03-06 | 北京忆恒创源科技有限公司 | 调节并发写命令数量的方法与装置 |
CN112799596A (zh) * | 2021-02-03 | 2021-05-14 | 联想(北京)有限公司 | 一种存储资源的扩容控制方法、装置及电子设备 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101976223B (zh) * | 2010-10-09 | 2012-12-12 | 成都市华为赛门铁克科技有限公司 | 自动精简配置方法和装置 |
CN102591789B (zh) * | 2011-12-26 | 2014-11-05 | 华为数字技术(成都)有限公司 | 存储空间回收方法及装置 |
-
2013
- 2013-02-06 CN CN201310047066.1A patent/CN103116475B/zh active Active
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103838524A (zh) * | 2014-03-13 | 2014-06-04 | 深圳市迪菲特科技股份有限公司 | 一种自适应精简配置的实现方法与存储*** |
CN103838524B (zh) * | 2014-03-13 | 2017-01-18 | 深圳市迪菲特科技股份有限公司 | 一种自适应精简配置的实现方法与存储*** |
CN104820575A (zh) * | 2015-04-27 | 2015-08-05 | 西北工业大学 | 实现存储***自动精简的方法 |
CN104820575B (zh) * | 2015-04-27 | 2017-08-15 | 西北工业大学 | 实现存储***自动精简的方法 |
CN107766262A (zh) * | 2016-08-18 | 2018-03-06 | 北京忆恒创源科技有限公司 | 调节并发写命令数量的方法与装置 |
CN107766262B (zh) * | 2016-08-18 | 2021-09-14 | 北京忆恒创源科技股份有限公司 | 调节并发写命令数量的方法与装置 |
CN106227472A (zh) * | 2016-08-19 | 2016-12-14 | 浪潮(北京)电子信息产业有限公司 | 一种自精简卷扩容方法及*** |
CN107515731A (zh) * | 2017-07-31 | 2017-12-26 | 华中科技大学 | 一种基于固态盘的进化存储***及其工作方法 |
CN112799596A (zh) * | 2021-02-03 | 2021-05-14 | 联想(北京)有限公司 | 一种存储资源的扩容控制方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN103116475B (zh) | 2017-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9792227B2 (en) | Heterogeneous unified memory | |
CN103116475A (zh) | 一种自动精简配置扩容的方法 | |
KR102077149B1 (ko) | 메모리 관리 방법 및 장치 | |
CN104317742A (zh) | 一种优化空间管理的自动精简配置方法 | |
CN101344861B (zh) | 一种智能卡内存管理方法 | |
CN109753231A (zh) | 键值存储设备及操作其的方法 | |
CN107220348B (zh) | 一种基于Flume与Alluxio的数据收集方法 | |
CN102520887A (zh) | 一种应用于云计算的存储空间配置与管理方法 | |
US9569381B2 (en) | Scheduler for memory | |
CN104731799A (zh) | 内存数据库管理装置 | |
CN104407935A (zh) | 快照回滚方法和存储设备 | |
CN102982182A (zh) | 一种数据存储规划方法及装置 | |
CN103412822A (zh) | 操作非易失性内存和数据操作的方法和相关装置 | |
CN110750372B (zh) | 基于共享内存的日志***及日志管理方法 | |
CN103218305A (zh) | 存储空间的分配方法 | |
CN109271110A (zh) | 存储***中存储数据的写入方法、写入***及相关装置 | |
CN104410666A (zh) | 云计算下实现异构存储资源管理的方法及*** | |
CN104011689A (zh) | 非易失性存储器损耗管理 | |
CN103778120A (zh) | 全局文件标识生成方法、生成装置及相应的分布式文件*** | |
CN106960011A (zh) | 分布式文件***元数据管理***及方法 | |
CN108664577B (zh) | 一种基于flash空闲区的文件管理方法及*** | |
CN104104705A (zh) | 分布式存储***的接入方法和设备 | |
CN108647278B (zh) | 一种文件管理方法及*** | |
CN104035522A (zh) | 大数据库一体机 | |
CN101783814A (zh) | 海量存储***的元数据存储方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20170117 Address after: 450000 Henan province Zheng Dong New District of Zhengzhou City Xinyi Road No. 278 16 floor room 1601 Applicant after: Zhengzhou Yunhai Information Technology Co. Ltd. Address before: 250014 Shandong Province, Ji'nan City hi tech Development Zone, Nga Road No. 1036 Applicant before: Langchao Electronic Information Industry Co., Ltd. |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |