CN104360961A - 一种基于对象存储的自适应分级处理方法及*** - Google Patents
一种基于对象存储的自适应分级处理方法及*** Download PDFInfo
- Publication number
- CN104360961A CN104360961A CN201410757697.7A CN201410757697A CN104360961A CN 104360961 A CN104360961 A CN 104360961A CN 201410757697 A CN201410757697 A CN 201410757697A CN 104360961 A CN104360961 A CN 104360961A
- Authority
- CN
- China
- Prior art keywords
- water level
- system capacity
- power system
- upper limit
- capacity water
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 159
- 238000000034 method Methods 0.000 claims abstract description 88
- 230000008569 process Effects 0.000 claims abstract description 74
- 230000005012 migration Effects 0.000 claims abstract description 33
- 238000013508 migration Methods 0.000 claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 32
- 230000003044 adaptive effect Effects 0.000 claims description 13
- 238000012546 transfer Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
Landscapes
- Processing Of Solid Wastes (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于对象存储的自适应分级处理方法和***，包括：在对象存储操作到来时，主进程首先计算对象热度，根据***当前的数据计算***容量水位，在完成计算后，主进程继续进行正常的主进程存储操作，并在***容量水位达到水位上限时，将***容量水位达到水位上限的消息放入水位监控队列中。分级进程读取水位监控队列中的***容量水位达到水位上限的消息，根据计算的对象热度，执行由高性能存储池向低性能存储池的对象数据单向迁移操作。通过本发明的方案，能够提高***的访问效率。
Description
技术领域
本发明涉及云存储领域，具体涉及一种基于对象存储的自适应分级处理方法和***。
背景技术
分级存储是根据数据的重要性、访问频率、保留时间、容量、性能等指标，将数据采取不同的存储方式分别存储在不同性能的存储设备上，通过分级存储管理实现数据客体在存储设备之间的自动迁移。数据分级存储的工作原理是基于数据访问的局部性，通过将不经常访问的数据自动移到存储层次中较低的层次，释放出较高成本的存储空间给更频繁访问的数据，可以获得更好的性价比。这样可大大减少非重要性数据在一级本地磁盘所占用的空间，还可加快整个***的存储性能。
对象存储***是以对象为访问接口的网络存储***，对象存储文件***提供一套类似于文件操作的访问接口，并将文件操作转化为对象访问，使得用户的多种应用程序不需要进行任何修改就可以运行在对象存储***上。采用对象接口可以使对象存储***在跨平台数据共享、安全性、性能以及智能性方面具有优势。在对象存储***中，数据以对象为单位存放，对象可以提供数据的完整性。对象存储***中以对象为粒度设计分级功能，以对象为粒度的分级架构由于迁移的对象不再是文件而是文件中的热点对象，这样做就减少了迁移的数据量，同时由于对象较小，大大简化了迁移过程中对数据的处理，加速了迁移过程。
目前通用的分级设计将磁盘根据性能聚合为两个性能不同存储池，在用户指定的业务空闲期根据数据的热度进行数据在存储池间的迁移。通常情况下高性能存储池虽然访问效率高，但是通常成本很高，因此仅配置少量的高性能存储空间用于存放热点数据。当热点数据过多或者用户策略设置不太合理的情况下，很容易造成高性能存储池空间不足，这时通常的处理方法是拒绝用户的访问请求，或者通过提前预警的方式提醒用户进行高性能存储池的扩容或者手动进行部分数据的迁移，这样会严重影响用户的使用体验。
发明内容
为了解决上述问题，本发明提出了一种基于对象存储的自适应分级处理方法及***，能够提高***的访问效率。
为了达到上述目的，本发明提出了一种基于对象存储的自适应分级处理方法，该方法包括：
在对象存储操作到来时，主进程首先计算对象热度，根据***当前的数据计算***容量水位，在完成计算后，主进程继续进行正常的主进程存储操作，并在***容量水位达到水位上限时，将***容量水位达到水位上限的消息放入水位监控队列中。
分级进程读取水位监控队列中的***容量水位达到水位上限的消息，根据计算的对象热度，执行由高性能存储池向低性能存储池的对象数据单向迁移操作。
优选地，***容量水位是指：存储空间中已被占用空间与存储空间的总容量之间的比值。
优选地，分级进程根据计算的对象热度，执行数据单向迁移操作是指，分级进程遍历对象存储***中的对象，根据对象的对象热度优先将对象热度最低的对象数据由高性能存储池迁移到低性能存储池。
优选地，该方法还包括：在分级进程将具有最低对象热度的对象迁移完成之后，主进程再次计算***容量水位，如果***容量水位仍然大于或等于所述水位上限，则主进程再次将***容量水位达到水位上限的消息放入水位监控队列中；分级进程读取监控队列中的消息，并基于对象热度继续进行迁移操作，如果***容量水位小于水位上限，则主进程继续进行正常的主进程存储操作，并在预定时间内进行下一次***容量水位的计算，分级进程定时扫描监控队列，等待下一个***容量水位达到水位上限的消息。
本发明还提出一种基于对象存储的自适应分级处理***，该***包括：主进程模块、分级进程模块。
主进程模块，用于在对象存储操作到来时，首先计算对象热度，根据***当前的数据计算***容量水位，在完成计算后，继续进行正常的主进程存储操作，并在***容量水位达到水位上限时，将***容量水位达到水位上限的消息放入水位监控队列中。
分级进程模块，用于读取水位监控队列中的***容量水位达到水位上限的消息，根据计算的对象热度，执行由高性能存储池向低性能存储池的对象数据单向迁移操作。
优选地，分级进程模块还用于，遍历对象存储***中的对象，根据对象的对象热度优先将对象热度最低的对象数据由高性能存储池迁移到低性能存储池。
优选地，
主进程模块还用于：在分级进程模块将具有最低对象热度的对象迁移完成之后，再次计算***容量水位，如果***容量水位仍然大于或等于水位上限，则再次将***容量水位达到水位上限的消息放入水位监控队列中；如果***容量水位小于水位上限，则继续进行正常的主进程存储操作，并在预定时间内进行下一次***容量水位的计算。
分级进程模块还用于：如果***容量水位仍然大于或等于水位上限，则读取监控队列中的消息，并基于对象热度继续进行迁移操作；如果***容量水位小于水位上限，则定时扫描监控队列，等待下一个***容量水位达到水位上限的消息。
与现有技术相比，本发明包括：在对象存储操作到来时，主进程首先计算对象热度，根据***当前的数据计算***容量水位，在完成计算后，主进程继续进行正常的主进程存储操作，并在***容量水位达到水位上限时，将***容量水位达到水位上限的消息放入水位监控队列中。分级进程读取水位监控队列中的***容量水位达到水位上限的消息，根据计算的对象热度，执行由高性能存储池向低性能存储池的对象数据单向迁移操作。通过本发明的方案，能够提高***的访问效率。
附图说明
下面对本发明实施例中的附图进行说明，实施例中的附图是用于对本发明的进一步理解，与说明书一起用于解释本发明，并不构成对本发明保护范围的限制。
图1为本发明的基于对象存储的自适应分级处理方法流程图；
图2为本发明的基于对象存储的自适应分级处理***框图；
图3为本发明的基于对象存储的自适应分级处理方法示意图。
具体实施方式
为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述，并不能用来限制本发明的保护范围。
基于现有技术中存在的各种问题，本方法提出一种自适应的分级处理方法，在高性能存储池达到容量上限时，自动触发数据的迁移，将热度最低的数据迁移到低性能存储池，从而保证***的访问效率。
本发明方法基于对象存储***的分级功能，加入了容量水位的判断机制，在每一次操作时或者数据迁移后都要计算当前***的容量水位，在容量接近水位上限时触发由高性能存储池向低性能存储池的数据单向迁移操作，从而保证***高性能存储池的数据始终维持在一定的水位以下，保证高性能存储池的可操作性。
本发明方法基于对象存储***的分级功能，在数据迁移过程中利用了分级功能的热度统计，在迁移时优先迁移热度最低的数据，从而保证了高性能存储池热点数据的访问性能。
本方法的实现主要是在主进程和分级处理进程之外，增加一个根据水位和热度进行数据迁移的线程，并在主进程中嵌入水位计算处理，这里的主进程是指高性能存储池的操纵进程，数据迁移的线程也位于高性能存储池的进程中。
具体地，本发明提出了一种基于对象存储的自适应分级处理方法，如图1、3所示，该方法包括：
S101、在对象存储操作到来时，主进程首先计算对象热度，根据***当前的数据计算***容量水位，在完成计算后，主进程继续进行正常的主进程存储操作，并在***容量水位达到水位上限时，将***容量水位达到水位上限的消息放入水位监控队列中。
优选地，***容量水位是指：存储空间中已被占用空间与存储空间的总容量之间的比值。
S102、分级进程读取水位监控队列中的***容量水位达到水位上限的消息，根据计算的对象热度，执行由高性能存储池向低性能存储池的对象数据单向迁移操作。
优选地，分级进程根据计算的对象热度，执行数据单向迁移操作是指，分级进程遍历对象存储***中的对象，根据对象的对象热度优先将对象热度最低的对象数据由高性能存储池迁移到低性能存储池。
优选地，该方法还包括：在分级进程将具有最低对象热度的对象迁移完成之后，主进程再次计算***容量水位，如果***容量水位仍然大于或等于所述水位上限，则主进程再次将***容量水位达到水位上限的消息放入水位监控队列中；分级进程读取监控队列中的消息，并基于对象热度继续进行迁移操作，如果***容量水位小于水位上限，则主进程继续进行正常的主进程存储操作，并在预定时间内进行下一次***容量水位的计算，分级进程定时扫描监控队列，等待下一个***容量水位达到水位上限的消息。
本发明还提出一种基于对象存储的自适应分级处理***01，如图2所示，该***包括：主进程模块02、分级进程模块03。
主进程模块02，用于在对象存储操作到来时，首先计算对象热度，根据***当前的数据计算***容量水位，在完成计算后，继续进行正常的主进程存储操作，并在***容量水位达到水位上限时，将***容量水位达到水位上限的消息放入水位监控队列中。
分级进程模块03，用于读取水位监控队列中的***容量水位达到水位上限的消息，根据计算的对象热度，执行由高性能存储池向低性能存储池的对象数据单向迁移操作。
优选地，分级进程模块03还用于，遍历对象存储***中的对象，根据对象的对象热度优先将对象热度最低的对象数据由高性能存储池迁移到低性能存储池。
优选地，
主进程模块02还用于：在分级进程模块03将具有最低对象热度的对象迁移完成之后，再次计算***容量水位，如果***容量水位仍然大于或等于水位上限，则再次将***容量水位达到水位上限的消息放入水位监控队列中；如果***容量水位小于水位上限，则继续进行正常的主进程存储操作，并在预定时间内进行下一次***容量水位的计算。
分级进程模块03还用于：如果***容量水位仍然大于或等于水位上限，则读取监控队列中的消息，并基于对象热度继续进行迁移操作；如果***容量水位小于水位上限，则定时扫描监控队列，等待下一个***容量水位达到水位上限的消息。
这样的处理尽可能的减少了对主进程性能的影响，从而保证了***的访问性能。
需要说明的是，以上所述的实施例仅是为了便于本领域的技术人员理解而已，并不用于限制本发明的保护范围，在不脱离本发明的发明构思的前提下，本领域技术人员对本发明所做出的任何显而易见的替换和改进等均在本发明的保护范围之内。
Claims (7)
1.一种基于对象存储的自适应分级处理方法，其特征在于，所述方法包括：
在对象存储操作到来时，主进程首先计算所述对象热度，根据***当前的数据计算***容量水位，在完成所述计算后，所述主进程继续进行正常的主进程存储操作，并在所述***容量水位达到水位上限时，将所述***容量水位达到水位上限的消息放入水位监控队列中；
分级进程读取所述水位监控队列中的所述***容量水位达到水位上限的消息，根据计算的所述对象热度，执行由高性能存储池向低性能存储池的对象数据单向迁移操作。
2.如权利要求1所述的方法，其特征在于，所述***容量水位是指：存储空间中已被占用空间与所述存储空间的总容量之间的比值。
3.如权利要求1所述的方法，其特征在于，所述分级进程根据计算的所述对象热度，执行所述数据单向迁移操作是指，所述分级进程遍历所述对象存储***中的对象，根据所述对象的对象热度优先将所述对象热度最低的对象数据由所述高性能存储池迁移到所述低性能存储池。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：在所述分级进程将具有最低对象热度的对象迁移完成之后，所述主进程再次计算所述***容量水位，如果所述***容量水位仍然大于或等于所述水位上限，则所述主进程再次将所述***容量水位达到水位上限的消息放入所述水位监控队列中；所述分级进程读取所述监控队列中的消息，并基于所述对象热度继续进行所述迁移操作，如果所述***容量水位小于所述水位上限，则所述主进程继续进行正常的主进程存储操作，并在预定时间内进行下一次所述***容量水位的计算，所述分级进程定时扫描所述监控队列，等待下一个所述***容量水位达到水位上限的消息。
5.一种基于对象存储的自适应分级处理***，其特征在于，所述***包括：主进程模块、分级进程模块；
所述主进程模块，用于在对象存储操作到来时，首先计算所述对象热度，根据***当前的数据计算***容量水位，在完成所述计算后，继续进行正常的主进程存储操作，并在所述***容量水位达到水位上限时，将所述***容量水位达到水位上限的消息放入水位监控队列中；
所述分级进程模块，用于读取所述水位监控队列中的所述***容量水位达到水位上限的消息，根据计算的所述对象热度，执行由高性能存储池向低性能存储池的对象数据单向迁移操作。
6.如权利要求4所述的***，其特征在于，所述分级进程模块还用于，遍历所述对象存储***中的对象，根据所述对象的对象热度优先将所述对象热度最低的对象数据由所述高性能存储池迁移到所述低性能存储池。
7.如权利要求4所述的***，其特征在于，
所述主进程模块还用于：在所述分级进程模块将具有最低对象热度的对象迁移完成之后，再次计算所述***容量水位，如果所述***容量水位仍然大于或等于所述水位上限，则再次将所述***容量水位达到水位上限的消息放入所述水位监控队列中；如果所述***容量水位小于所述水位上限，则继续进行正常的主进程存储操作，并在预定时间内进行下一次所述***容量水位的计算；
所述分级进程模块还用于：如果所述***容量水位仍然大于或等于所述水位上限，则读取所述监控队列中的消息，并基于所述对象热度继续进行所述迁移操作；如果所述***容量水位小于所述水位上限，则定时扫描所述监控队列，等待下一个所述***容量水位达到水位上限的消息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410757697.7A CN104360961A (zh) | 2014-12-10 | 2014-12-10 | 一种基于对象存储的自适应分级处理方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410757697.7A CN104360961A (zh) | 2014-12-10 | 2014-12-10 | 一种基于对象存储的自适应分级处理方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104360961A true CN104360961A (zh) | 2015-02-18 |
Family
ID=52528225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410757697.7A Pending CN104360961A (zh) | 2014-12-10 | 2014-12-10 | 一种基于对象存储的自适应分级处理方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104360961A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106502576A (zh) * | 2015-09-06 | 2017-03-15 | 中兴通讯股份有限公司 | 迁移策略调整方法、容量变更建议方法及装置 |
| CN107103203A (zh) * | 2017-05-22 | 2017-08-29 | 郑州云海信息技术有限公司 | 一种应用于pacs的存储自动分层***及方法 |
| CN108170789A (zh) * | 2017-12-27 | 2018-06-15 | 郑州云海信息技术有限公司 | 一种基于分布式文件***的分级存储方法以及相关装置 |
| CN111984549A (zh) * | 2020-07-25 | 2020-11-24 | 苏州浪潮智能科技有限公司 | 一种数据按照对象拆分的分级存储方法及*** |
-
2014
- 2014-12-10 CN CN201410757697.7A patent/CN104360961A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106502576A (zh) * | 2015-09-06 | 2017-03-15 | 中兴通讯股份有限公司 | 迁移策略调整方法、容量变更建议方法及装置 |
| CN106502576B (zh) * | 2015-09-06 | 2020-06-23 | 中兴通讯股份有限公司 | 迁移策略调整方法及装置 |
| CN107103203A (zh) * | 2017-05-22 | 2017-08-29 | 郑州云海信息技术有限公司 | 一种应用于pacs的存储自动分层***及方法 |
| CN108170789A (zh) * | 2017-12-27 | 2018-06-15 | 郑州云海信息技术有限公司 | 一种基于分布式文件***的分级存储方法以及相关装置 |
| CN111984549A (zh) * | 2020-07-25 | 2020-11-24 | 苏州浪潮智能科技有限公司 | 一种数据按照对象拆分的分级存储方法及*** |
| CN111984549B (zh) * | 2020-07-25 | 2022-07-19 | 苏州浪潮智能科技有限公司 | 一种数据按照对象拆分的分级存储方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105407055B (zh) | 一种内容中心网络的能耗控制方法 | |
| CN103885812B (zh) | 虚拟机规格调整方法及装置 | |
| CN104360961A (zh) | 一种基于对象存储的自适应分级处理方法及*** | |
| CN104573119A (zh) | 云计算中面向节能的Hadoop分布式文件***存储策略 | |
| CN104536701A (zh) | 一种nvme协议多命令队列的实现方法及*** | |
| CN104571954B (zh) | 一种数据存储方法及装置 | |
| CN109710175A (zh) | 用于数据存储管理的设备和方法 | |
| WO2013095833A1 (en) | Method and apparatus for energy efficient distributed and elastic load balancing | |
| CN104202253B (zh) | 基于动态路由表的片上网络拥塞控制方法 | |
| US20190004968A1 (en) | Cache management method, storage system and computer program product | |
| CN102724314B (zh) | 一种基于元数据管理的分布式缓存客户端 | |
| CN102982122A (zh) | 一种适用于海量存储***的重复数据删除方法 | |
| CN103631894A (zh) | 一种基于hdfs的动态副本管理方法 | |
| CN103345451A (zh) | 一种在多核处理器中缓冲数据的方法 | |
| CN104572498B (zh) | 报文的缓存管理方法和装置 | |
| CN107347039A (zh) | 一种共享缓存空间的管理方法及装置 | |
| CN105302830A (zh) | 一种地图瓦片缓存方法及装置 | |
| CN107491272A (zh) | 一种数据迁移的方法、装置、设备及存储介质 | |
| CN105095495A (zh) | 一种分布式文件***缓存管理方法和*** | |
| CN106547477A (zh) | 用于在线地减少缓存设备的方法和装置 | |
| CN104503924B (zh) | 一种分层存储***中的区域分配方法及装置 | |
| CN108388529A (zh) | 一种外设主动实现与cpu间数据交换的方法 | |
| CN105808150A (zh) | 用于混合式储存设备的固态硬盘快取*** | |
| CN106201921A (zh) | 一种缓存分区容量的调整方法及装置 | |
| CN104468379B (zh) | 基于最短逻辑距离的虚拟Hadoop集群节点选择方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150218 |
|
| WD01 | Invention patent application deemed withdrawn after publication |