CN114936003B - 资源池的数据分层迁移方法、装置、设备及可读存储介质 - Google Patents
资源池的数据分层迁移方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN114936003B CN114936003B CN202210483991.8A CN202210483991A CN114936003B CN 114936003 B CN114936003 B CN 114936003B CN 202210483991 A CN202210483991 A CN 202210483991A CN 114936003 B CN114936003 B CN 114936003B
- Authority
- CN
- China
- Prior art keywords
- resource pool
- information
- data
- hot spot
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及计算机技术领域,具体而言,涉及一种资源池的数据分层迁移方法、装置、设备及可读存储介质,所述方法包括获取用户输入的数据信息,资源池的结构信息,资源池的容量信息;将所述资源池的结构信息分为热点资源池和至少一个非热点资源池;根据所述用户输入的数据信息计算得到热点资源池的数据迁移阈值;并基于资源池的容量信息判断热点资源池的使用率是否大于所述热点资源池的数据迁移阈值,得到判断结果,并基于所述判断结果发送热点资源池数据迁移的命令。本发明根据设置的规则将资源池的数据迁移到其它类型资源池,使得原来的资源池有更多的空间继续写入数据,腾出的空间可以继续接收用户数据,保证良好的读写性能。
Description
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种资源池的数据分层迁移方法、装置、设备及可读存储介质。
背景技术
在CEPH对象网关中,目前数据空间扩容方法还不成熟,创建对象网关时,默认只创建一个存储数据的资源池,在这种情况下,数据读写都集中在这一个数据资源池,就会出现性能和可用容量的冲突,如果希望有好的性能,就要采用固态硬盘资源池,这就导致可用资源池容量不足,如果希望有大容量,就要采用传统硬盘资源池,因此就需要在性能上做出妥协,而现如今需要一种既具备良好的性能和大容量的硬盘资源池扩容方法。
发明内容
本发明的目的在于提供一种资源池的数据分层迁移方法、装置、设备及可读存储介质,以改善上述问题。为了实现上述目的,本发明采取的技术方案如下:
一方面,本申请提供了一种资源池的数据分层迁移方法,所述方法包括:获取第一信息、第二信息和第三信息,所述第一信息包括用户输入的数据信息,所述第二信息为资源池的结构信息,所述第三信息为资源池的容量信息,所述数据信息包括用户输入的文件信息、文件大小、读写方式和线程数;将所述第二信息发送至分层模块,得到热点资源池和至少一个非热点资源池,所述分层模块为将所述资源池结构进行分层的模块;将所述第一信息发送至计算模块,得到所述热点资源池的数据迁移阈值,所述计算模块为计算热点资源池的数据迁移阈值的模块;基于所述第一信息和所述第三信判断热点资源池的使用率是否大于所述热点资源池的数据迁移阈值,得到判断结果,并基于所述判断结果发送热点资源池数据迁移的命令。
第二方面,本申请实施例提供了一种资源池的数据分层迁移装置,所述装置包括:第一获取单元,用于获取第一信息、第二信息和第三信息,所述第一信息包括用户输入的数据信息,所述第二信息为资源池的结构信息,所述第三信息为资源池的容量信息,所述数据信息包括用户输入的文件信息、文件大小、读写方式和线程数;第一发送单元,用于将所述第二信息发送至分层模块,得到热点资源池和至少一个非热点资源池,所述分层模块为将所述资源池结构进行分层的模块;第一计算单元,用于将所述第一信息发送至计算模块,得到所述热点资源池的数据迁移阈值,所述计算模块为计算热点资源池的数据迁移阈值的模块;第一判断单元,用于基于所述第一信息和所述第三信判断热点资源池的使用率是否大于所述热点资源池的数据迁移阈值,得到判断结果,并基于所述判断结果发送热点资源池数据迁移的命令。
第三方面,本申请实施例提供了一种资源池的数据分层迁移设备,所述设备包括存储器和处理器。存储器用于存储计算机程序;处理器用于执行所述计算机程序时实现上述资源池的数据分层迁移方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述资源池的数据分层迁移方法的步骤。
本发明的有益效果为:
本发明通过本方案通过修改对象网关数据资源池属性,使在对象网关中可以增加自定义资源池类型,并且创建该类型的资源池,然后在写入数据时可以选择写入的资源池类型,根据设置的规则将资源池的数据迁移到其它类型资源池,使得原来的资源池有更多的空间继续写入数据。
本发明还通过创建热点资源池和非热点资源池,非热点资源池空间够大,可以容纳更多的数据,同时热点资源池数据迁移走后,腾出的空间可以继续接收用户数据,保证良好的读写性能。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的一种资源池的数据分层迁移方法流程示意图;
图2为本发明实施例中所述的一种资源池的数据分层迁移装置结构示意图;
图3是本发明实施例中所述的一种资源池的数据分层迁移设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例1
如图1所示,本实施例提供了一种资源池的数据分层迁移方法,其所述方法包括步骤S1、步骤S2、步骤S3和步骤S4。
步骤S1、获取第一信息、第二信息和第三信息,所述第一信息包括用户输入的数据信息,所述第二信息为资源池的结构信息,所述第三信息为资源池的容量信息,所述数据信息包括用户输入的文件信息、文件大小、读写方式和线程数;
步骤S2、将所述第二信息发送至分层模块,得到热点资源池和至少一个非热点资源池,所述分层模块为将所述资源池结构进行分层的模块;
步骤S3、将所述第一信息发送至计算模块,得到所述热点资源池的数据迁移阈值,所述计算模块为计算热点资源池的数据迁移阈值的模块;
步骤S4、基于所述第一信息和所述第三信判断热点资源池的使用率是否大于所述热点资源池的数据迁移阈值,得到判断结果,并基于所述判断结果发送热点资源池数据迁移的命令。
可以理解的是本发明通过本方案通过修改对象网关数据资源池属性,使在对象网关中可以增加自定义资源池类型,并且创建该类型的资源池,然后在写入数据时可以选择写入的资源池类型,根据设置的规则将资源池的数据迁移到其它类型资源池,使得原来的资源池有更多的空间继续写入数据。
本发明还通过创建热点资源池和非热点资源池,非热点资源池空间够大,可以容纳更多的数据,同时热点资源池数据迁移走后,腾出的空间可以继续接收用户数据,保证良好的读写性能。
在本公开的一种具体实施方式中,所述步骤S2包括步骤S21、步骤S22和步骤S234。
步骤S21、调用预设的硬盘设备信息;
步骤S22、基于所述预设的硬盘设备信息映射所述资源池的结构信息,其中将固态硬盘信息映射所述资源池内的第一子资源池,将传统硬盘信息映射所述资源池内的第二子资源池,所述第一子资源池为接收热点数据的资源池,所述第二子资源池为接收第一子资源池迁移数据的资源池;
步骤S23、基于预设的资源池类型的修改所述第一子资源池和第二子资源池的结构,其中确定所述第一子资源池的属性类型和确定至少一个所述第二子资源池的属性类型,并基于确定后的属性类型修改对应的第一子资源池和至少一个对应的第二子资源池结构,得到热点资源池和至少一个非热点资源池。
可以理解的是本发明通过建立第一子资源池和第二子资源池,并修改每个资源池的属性,根据不同的资源池属性将资源池进行分类,其中将常用的资源池作为热点资源池,并且必须是固态硬盘建立的资源池才能作为热点资源池,将传统硬盘建立的资源池作为非热点资源池,热点资源池用于保存常用数据,非热点资源池用于保存一般的数据,进而将资源池进行分层,得到多层级的资源池。
在本公开的一种具体实施方式中,所述步骤S3包括步骤S31、步骤S32和步骤S33。
步骤S31、调用第一信息内的用户输入的数据信息;
步骤S32、基于所述用户输入的数据信息创建多个执行线程,其中按照所述用户输入的数据信息内的线程数对应创建执行线程,将所述读写方式进行读写操作,在读写过程中记录每次读写的文件大小信息和每次读写操作的完成时间,并按照预设的读写性能表确定热点资源池使用率情况下存储设备的读写性能值;
步骤S33、将热点资源池使用率情况下存储设备的读写性能值进行基于距离类聚类算法进行聚类处理,得到至少一个读写性能值聚类簇,其中基于欧式距离计算公式计算得到每个聚类簇的点到聚类中心点的距离,并计算所述距离的平均值,将所述平均值作为热点资源池的数据迁移阈值。
可以理解的是本发明通过建立多个线程来进行运行,进而判断每个线程的读写性能,进而通过读写性能来作为热点资源池的数据迁移阈值,并确定分层后的资源池是否处于超负荷运行状态,若分层后的资源池处于超负荷运行状态,则立即将热点资源池内的数据迁移到非热点资源池内,保障***正常运行的同时对热点资源池内的空间进行扩容。
在本公开的一种具体实施方式中,所述步骤S4包括步骤S41、步骤S42、步骤S43和步骤S44。
步骤S41、调用热点资源池的数据迁移阈值;
步骤S42、基于资源池的容量使用率公式计算所述第一信息和第三信息的比值,得到所述热点资源池的使用率;
步骤S43、将所述热点资源池的使用率与所述资源池的数据迁移阈值进行对比,判断所述热点资源池的使用率是否大于或等于所述热点资源池的数据迁移阈值,得到判断结果信息。
可以理解的是本发明基于热点资源池的容量使用率来和所述资源池的数据迁移阈值进行对比,进而将所述热点资源池的容量使用率最大化利用,减少资源浪费的同时,防止热点资源池内数据过多导致性能下降。
在本公开的一种具体实施方式中,所述步骤S4包括步骤S44和步骤S45。
步骤S44、若所述热点资源池的使用率大于或等于所述热点资源池的数据迁移阈值,则发送第一子命令,所述第一子命令为将热点资源池内的数据迁移至预设的硬盘设备内进行存储;
步骤S45、若所述热点资源池的使用率小于所述资源池的数据迁移阈值,则发送第二子命令,所述第二子命令为间隔30S将所述热点热点资源池的使用率与所述热点资源池的数据迁移阈值进行对比,直至所述热点资源池的使用率大于或等于所述热点资源池的数据迁移阈值,并将热点资源池内的数据迁移至预设的硬盘设备内进行存储。
可以理解的是本发明通过发送命令来控制资源池内的数据进行迁移,并且通过每隔30S查看一次热点资源池内的数据是否达到鱼子,进而将数据迁移,其中30S时间可以随时调整,进而保障随时随地资源池的性能状态位于最佳状态,保障***稳定运行,并且通过数据迁移至非资源池,可以将非热点数据进行保存,防止数据丢失,导致损失。
在本公开的一种具体实施方式中,所述步骤S4之后还包括步骤S5、步骤S6、步骤S7和步骤S8。
步骤S5、调用历史读写操作的记录信息;
步骤S6、对历史读写操作的记录信息内的异常记录进行标记,得到标记后的记录信息;
步骤S7、基于CART算法和所述根据所述标记后的记录信息,得到CART决策树,对所述CART决策树进行随机剪枝处理并确定所述CART决策树的常量,并基于所述CART决策树的常量和基尼指数计算方法对所述决策树进行优化,得到最优的决策树,将存储设备的读写操作发送至所述最优的决策树判断是否异常,得到存储设备读写操作的异常数据;
步骤S8、将所述存储设备读写操作的异常数据存储至非热点资源池的异常资源池。
可以理解的是本发明通过对历史的异常信息进行标记,进而通过CART算法进行训练,得到训练好的数据是否异常的判断模型,并基于所述判断模型对存储设备内的数据进行判断,进而将异常数据直接放入非热点资源池,防止造成热点资源池内的数据丢失或损坏,并且还可以通过发送警报信息至管理人员的通讯设备,对所述异常数据进行查看与清除。
实施例2
如图2所示,本实施例提供了一种资源池的数据分层迁移装置,所述装置包括第一获取单元701、第一发送单元702、第一计算单元703和第一判断单元704。
第一获取单元701,用于获取第一信息、第二信息和第三信息,所述第一信息包括用户输入的数据信息,所述第二信息为资源池的结构信息,所述第三信息为资源池的容量信息,所述数据信息包括用户输入的文件信息、文件大小、读写方式和线程数;
第一发送单元702,用于将所述第二信息发送至分层模块,得到热点资源池和至少一个非热点资源池,所述分层模块为将所述资源池结构进行分层的模块;
第一计算单元703,用于将所述第一信息发送至计算模块,得到所述热点资源池的数据迁移阈值,所述计算模块为计算热点资源池的数据迁移阈值的模块;
第一判断单元704,用于基于所述第一信息和所述第三信判断热点资源池的使用率是否大于所述热点资源池的数据迁移阈值,得到判断结果,并基于所述判断结果发送热点资源池数据迁移的命令。
在本公开的一种具体实施方式中,所述第一发送单元702包括第一调用子单元7021、第一处理子单元7022和第二处理子单元7023。
第一调用子单元7021,用于调用预设的硬盘设备信息;
第一处理子单元7022,用于基于所述预设的硬盘设备信息映射所述资源池的结构信息,其中将固态硬盘信息映射所述资源池内的第一子资源池,将传统硬盘信息映射所述资源池内的第二子资源池,所述第一子资源池为接收热点数据的资源池,所述第二子资源池为接收第一子资源池迁移数据的资源池;
第二处理子单元7023,用于基于预设的资源池类型的修改所述第一子资源池和第二子资源池的结构,其中确定所述第一子资源池的属性类型和确定至少一个所述第二子资源池的属性类型,并基于确定后的属性类型修改对应的第一子资源池和至少一个对应的第二子资源池结构,得到热点资源池和至少一个非热点资源池。
在本公开的一种具体实施方式中,所述第一计算单元703包括第二调用子单元7031、第三处理子单元7032和第四处理子单元7033。
第二调用子单元7031,用于调用第一信息内的用户输入的数据信息;
第三处理子单元7032,用于基于所述用户输入的数据信息创建多个执行线程,其中按照所述用户输入的数据信息内的线程数对应创建执行线程,将所述读写方式进行读写操作,在读写过程中记录每次读写的文件大小信息和每次读写操作的完成时间,并按照预设的读写性能表确定热点资源池使用率情况下存储设备的读写性能值;
第四处理子单元7033,用于将热点资源池使用率情况下存储设备的读写性能值进行基于距离类聚类算法进行聚类处理,得到至少一个读写性能值聚类簇,其中基于欧式距离计算公式计算得到每个聚类簇的点到聚类中心点的距离,并计算所述距离的平均值,将所述平均值作为热点资源池的数据迁移阈值。
在本公开的一种具体实施方式中,所述第一判断单元704包括第三调用子单元7041、第五处理子单元7042和第六处理子单元7043。
第三调用子单元7041,用于调用热点资源池的数据迁移阈值;
第五处理子单元7042,用于基于资源池的容量使用率公式计算所述第一信息和第三信息的比值,得到所述热点资源池的使用率;
第六处理子单元7043,用于将所述热点资源池的使用率与所述资源池的数据迁移阈值进行对比,判断所述热点资源池的使用率是否大于或等于所述热点资源池的数据迁移阈值,得到判断结果信息。
在本公开的一种具体实施方式中,所述第一判断单元704还包括第一判断子单元7044和第二判断子单元7045。
第一判断子单元7044,用于若所述热点资源池的使用率大于或等于所述热点资源池的数据迁移阈值,则发送第一子命令,所述第一子命令为将热点资源池内的数据迁移至预设的硬盘设备内进行存储;
第二判断子单元7045,用于若所述热点资源池的使用率小于所述资源池的数据迁移阈值,则发送第二子命令,所述第二子命令为间隔30S将所述热点热点资源池的使用率与所述热点资源池的数据迁移阈值进行对比,直至所述热点资源池的使用率大于或等于所述热点资源池的数据迁移阈值,并将热点资源池内的数据迁移至预设的硬盘设备内进行存储。
在本公开的一种具体实施方式中,所述第一判断单元704包括第一调用单元705、第一处理单元706、第二处理单元707和第三处理单元708。
第一调用单元705,用于调用历史读写操作的记录信息;
第一处理单元706,用于对历史读写操作的记录信息内的异常记录进行标记,得到标记后的记录信息;
第二处理单元707,用于基于CART算法和所述根据所述标记后的记录信息,得到CART决策树,对所述CART决策树进行随机剪枝处理并确定所述CART决策树的常量,并基于所述CART决策树的常量和基尼指数计算方法对所述决策树进行优化,得到最优的决策树,将存储设备的读写操作发送至所述最优的决策树判断是否异常,得到存储设备读写操作的异常数据;
第三处理单元708,用于将所述存储设备读写操作的异常数据存储至非热点资源池的异常资源池。
需要说明的是,关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
实施例3
相应于上面的方法实施例,本公开实施例还提供了一种资源池的数据分层迁移设备,下文描述的一种资源池的数据分层迁移设备与上文描述的一种资源池的数据分层迁移方法可相互对应参照。
图3是根据一示例性实施例示出的一种资源池的数据分层迁移设备800的框图。如图3所示,该资源池的数据分层迁移设备800可以包括:处理器801,存储器802。该资源池的数据分层迁移设备800还可以包括多媒体组件803,输入/输出(I/O)接口804,以及通信组件805中的一者或多者。
其中,处理器801用于控制该资源池的数据分层迁移设备800的整体操作,以完成上述的资源池的数据分层迁移方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该资源池的数据分层迁移设备800的操作,这些数据例如可以包括用于在该资源池的数据分层迁移设备800上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(StaticRandom Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该资源池的数据分层迁移设备800与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件805可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,资源池的数据分层迁移设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的一种资源池的数据分层迁移方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的资源池的数据分层迁移方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器802,上述程序指令可由资源池的数据分层迁移设备800的处理器801执行以完成上述的资源池的数据分层迁移方法。
实施例4
相应于上面的方法实施例,本公开实施例还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种资源池的数据分层迁移方法可相互对应参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的资源池的数据分层迁移方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (8)
1.一种资源池的数据分层迁移方法,其特征在于,包括:
获取第一信息、第二信息和第三信息,所述第一信息包括用户输入的数据信息,所述第二信息为资源池的结构信息,所述第三信息为资源池的容量信息,所述数据信息包括用户输入的文件信息、文件大小、读写方式和线程数;
将所述第二信息发送至分层模块,得到热点资源池和至少一个非热点资源池,所述分层模块为将所述资源池结构进行分层的模块;
将所述第一信息发送至计算模块,得到所述热点资源池的数据迁移阈值,所述计算模块为计算热点资源池的数据迁移阈值的模块;
基于所述第一信息和所述第三信息判断热点资源池的使用率是否大于所述热点资源池的数据迁移阈值,得到判断结果,并基于所述判断结果发送热点资源池数据迁移的命令;
其中,将所述第一信息发送至计算模块,得到所述热点资源池的数据迁移阈值,包括:
调用第一信息内的用户输入的数据信息;
基于所述用户输入的数据信息创建多个执行线程,其中按照所述用户输入的数据信息内的线程数对应创建执行线程,将所述读写方式进行读写操作,在读写过程中记录每次读写的文件大小信息和每次读写操作的完成时间,并按照预设的读写性能表确定热点资源池使用率情况下存储设备的读写性能值;
将热点资源池使用率情况下存储设备的读写性能值进行基于距离类聚类算法进行聚类处理,得到至少一个读写性能值聚类簇,其中基于欧式距离计算公式计算得到每个聚类簇的点到聚类中心点的距离,并计算所述距离的平均值,将所述平均值作为热点资源池的数据迁移阈值。
2.根据权利要求1所述的资源池的数据分层迁移方法,其特征在于,将所述第二信息发送至分层模块,得到热点资源池和至少一个非热点资源池,包括:
调用预设的硬盘设备信息;
基于所述预设的硬盘设备信息映射所述资源池的结构信息,其中将固态硬盘信息映射所述资源池内的第一子资源池,将传统硬盘信息映射所述资源池内的第二子资源池,所述第一子资源池为接收热点数据的资源池,所述第二子资源池为接收第一子资源池迁移数据的资源池;
基于预设的资源池类型的修改所述第一子资源池和第二子资源池的结构,其中确定所述第一子资源池的属性类型和确定至少一个所述第二子资源池的属性类型,并基于确定后的属性类型修改对应的第一子资源池和至少一个对应的第二子资源池结构,得到热点资源池和至少一个非热点资源池。
3.根据权利要求1所述的资源池的数据分层迁移方法,其特征在于,基于所述第一信息和所述第三信息判断热点资源池的使用率是否大于所述热点资源池的数据迁移阈值,包括:
调用热点资源池的数据迁移阈值;
基于资源池的容量使用率公式计算所述第一信息和第三信息的比值,得到所述热点资源池的使用率;
将所述热点资源池的使用率与所述资源池的数据迁移阈值进行对比,判断所述热点资源池的使用率是否大于或等于所述热点资源池的数据迁移阈值,得到判断结果信息。
4.一种资源池的数据分层迁移装置,其特征在于,包括:
第一获取单元,用于获取第一信息、第二信息和第三信息,所述第一信息包括用户输入的数据信息,所述第二信息为资源池的结构信息,所述第三信息为资源池的容量信息,所述数据信息包括用户输入的文件信息、文件大小、读写方式和线程数;
第一发送单元,用于将所述第二信息发送至分层模块,得到热点资源池和至少一个非热点资源池,所述分层模块为将所述资源池结构进行分层的模块;
第一计算单元,用于将所述第一信息发送至计算模块,得到所述热点资源池的数据迁移阈值,所述计算模块为计算热点资源池的数据迁移阈值的模块;
第一判断单元,用于基于所述第一信息和所述第三信息判断热点资源池的使用率是否大于所述热点资源池的数据迁移阈值,得到判断结果,并基于所述判断结果发送热点资源池数据迁移的命令;
其中,所述第一计算单元包括:
第二调用子单元,用于调用第一信息内的用户输入的数据信息;
第三处理子单元,用于基于所述用户输入的数据信息创建多个执行线程,其中按照所述用户输入的数据信息内的线程数对应创建执行线程,将所述读写方式进行读写操作,在读写过程中记录每次读写的文件大小信息和每次读写操作的完成时间,并按照预设的读写性能表确定热点资源池使用率情况下存储设备的读写性能值;
第四处理子单元,用于将热点资源池使用率情况下存储设备的读写性能值进行基于距离类聚类算法进行聚类处理,得到至少一个读写性能值聚类簇,其中基于欧式距离计算公式计算得到每个聚类簇的点到聚类中心点的距离,并计算所述距离的平均值,将所述平均值作为热点资源池的数据迁移阈值。
5.根据权利要求4所述的资源池的数据分层迁移装置,其特征在于,所述装置包括:
第一调用子单元,用于调用预设的硬盘设备信息;
第一处理子单元,用于基于所述预设的硬盘设备信息映射所述资源池的结构信息,其中将固态硬盘信息映射所述资源池内的第一子资源池,将传统硬盘信息映射所述资源池内的第二子资源池,所述第一子资源池为接收热点数据的资源池,所述第二子资源池为接收第一子资源池迁移数据的资源池;
第二处理子单元,用于基于预设的资源池类型的修改所述第一子资源池和第二子资源池的结构,其中确定所述第一子资源池的属性类型和确定至少一个所述第二子资源池的属性类型,并基于确定后的属性类型修改对应的第一子资源池和至少一个对应的第二子资源池结构,得到热点资源池和至少一个非热点资源池。
6.根据权利要求4所述的资源池的数据分层迁移装置,其特征在于,基于所述第一信息和所述第三信息判断热点资源池的使用率是否大于所述热点资源池的数据迁移阈值,包括:
第三调用子单元,用于调用热点资源池的数据迁移阈值;
第五处理子单元,用于基于资源池的容量使用率公式计算所述第一信息和第三信息的比值,得到所述热点资源池的使用率;
第六处理子单元,用于将所述热点资源池的使用率与所述资源池的数据迁移阈值进行对比,判断所述热点资源池的使用率是否大于或等于所述热点资源池的数据迁移阈值,得到判断结果信息。
7.一种资源池的数据分层迁移设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至3任一项所述资源池的数据分层迁移方法的步骤。
8.一种可读存储介质,其特征在于:所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述资源池的数据分层迁移方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210483991.8A CN114936003B (zh) | 2022-05-06 | 2022-05-06 | 资源池的数据分层迁移方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210483991.8A CN114936003B (zh) | 2022-05-06 | 2022-05-06 | 资源池的数据分层迁移方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114936003A CN114936003A (zh) | 2022-08-23 |
CN114936003B true CN114936003B (zh) | 2023-03-21 |
Family
ID=82865243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210483991.8A Active CN114936003B (zh) | 2022-05-06 | 2022-05-06 | 资源池的数据分层迁移方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114936003B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110688067A (zh) * | 2019-09-06 | 2020-01-14 | 苏州浪潮智能科技有限公司 | 一种存储***的分层方法、装置、设备及介质 |
CN113836116A (zh) * | 2021-09-29 | 2021-12-24 | 济南浪潮数据技术有限公司 | 数据迁移方法、装置、电子设备及可读存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106294440B (zh) * | 2015-05-27 | 2019-06-07 | 阿里巴巴集团控股有限公司 | 数据实时迁移的方法和装置 |
CN106502576B (zh) * | 2015-09-06 | 2020-06-23 | 中兴通讯股份有限公司 | 迁移策略调整方法及装置 |
CN106502578B (zh) * | 2015-09-06 | 2019-06-11 | 中兴通讯股份有限公司 | 容量变更建议方法及装置 |
-
2022
- 2022-05-06 CN CN202210483991.8A patent/CN114936003B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110688067A (zh) * | 2019-09-06 | 2020-01-14 | 苏州浪潮智能科技有限公司 | 一种存储***的分层方法、装置、设备及介质 |
CN113836116A (zh) * | 2021-09-29 | 2021-12-24 | 济南浪潮数据技术有限公司 | 数据迁移方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114936003A (zh) | 2022-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105740078B (zh) | 一种内存管理方法、装置及终端 | |
US20180329769A1 (en) | Method, computer readable storage medium and electronic device for detecting anomalies in time series | |
US11140182B2 (en) | Predictive anomaly handling in a service provider system | |
WO2022142551A1 (zh) | 表单处理方法、装置、介质及计算机设备 | |
CN109614045B (zh) | 一种元数据落盘方法、装置及相关设备 | |
CN106802772A (zh) | 数据回收的方法、装置及固态硬盘 | |
CN114328281A (zh) | 固态硬盘异常掉电处理方法、装置、电子设备及介质 | |
US9785374B2 (en) | Storage device management in computing systems | |
CN115408546A (zh) | 一种时序数据管理方法、装置、设备及存储介质 | |
CN114936003B (zh) | 资源池的数据分层迁移方法、装置、设备及可读存储介质 | |
CN110442636B (zh) | 一种数据的读写方法、装置及数据读写设备 | |
CN110347546B (zh) | 监控任务动态调整方法、装置、介质及电子设备 | |
CN108399118B (zh) | 文件***测试数据处理方法、装置、存储介质及终端 | |
CN115185458A (zh) | 一种数据写入方法、装置、存储介质和计算机设备 | |
CN107623784A (zh) | 信息显示方法及装置、终端装置及计算机可读存储介质 | |
CN114186976A (zh) | 工作流程流转方法、装置、计算机设备及存储介质 | |
CN108958829B (zh) | 预加载的资源控制方法、装置、存储介质及终端 | |
WO2020210975A1 (zh) | 选取子轨迹的方法、电子设备、计算机可读存储介质 | |
CN114489519B (zh) | 一种io请求的处理方法、装置、设备及可读存储介质 | |
CN114879916B (zh) | 一种管理存储单元的方法和装置 | |
CN118138448A (zh) | 提供云手机配置的方法、相关装置及计算机程序产品 | |
US20230065549A1 (en) | Dynamically adaptable virtual keyboard | |
CN114168522B (zh) | 一种数据传输方法、装置及传输部件 | |
CN112764828B (zh) | 业务逻辑管理方法及装置、计算机设备和介质 | |
CN117390462A (zh) | 用户行为分析方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |