CN102541460A - 一种多磁盘场景下的磁盘管理方法和设备 - Google Patents
一种多磁盘场景下的磁盘管理方法和设备 Download PDFInfo
- Publication number
- CN102541460A CN102541460A CN2010106139594A CN201010613959A CN102541460A CN 102541460 A CN102541460 A CN 102541460A CN 2010106139594 A CN2010106139594 A CN 2010106139594A CN 201010613959 A CN201010613959 A CN 201010613959A CN 102541460 A CN102541460 A CN 102541460A
- Authority
- CN
- China
- Prior art keywords
- disk
- task
- information
- indication message
- scheduling indication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种多磁盘场景下的磁盘管理方法和设备,通过应用本发明实施例所提出的技术方案,在进行磁盘选择时,针对每个任务,不仅考虑各磁盘的剩余空间,还进一步考虑各磁盘的性能信息,为各磁盘确定综合的优先级参数,并根据该优先级参数为该任务进行磁盘选择,从而,可以更加高效合理的进行磁盘管理,实现发挥磁盘的性能。
Description
技术领域
本发明涉及通信技术领域,特别是涉及一种多磁盘场景下的磁盘管理方法和设备。
背景技术
并行计算(Parallel Computing)是指同时使用多种计算资源解决计算问题的过程。并行计算或称平行计算是相对于串行计算来说的。所谓并行计算可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术,而空间上的并行则是指用多个处理器并发的执行计算。
并行计算***,如MapReduce、Pregel、MPI、OpenMP等为高性能计算和海量数据处理提供了一种并行和分布式的处理方法。该类***一般是由大量处理节点和中控节点组成,中控节点用于进行任务的分解、调度和状态监控等工作,处理节点进行任务的执行。
一个并行计算程序首先要提交到中控节点,由中控节点进行任务的分解,并调度至处理节点;处理节点进行子任务的计算,并将结果反馈。在高性能计算和海量数据处理***中,处理节点会产生大量的临时中间结果。不同并行应用的临时中间结果的数据大小不同,中间结果的访问情况(顺序写顺序读,或者顺序写随机读,或者随机写随机读等)不同,中间结果的存储时间也不相同。
为了保存中间数据结果,可以在每个处理节点上挂载一个或多个本地磁盘,或者将结果保存在共享存储***中。但是,由于共享存储昂贵的价格和可能会成为瓶颈的网络带宽,特别是在海量数据处理的场景下,并行计算***一般采用在处理节点挂载多个本地磁盘来存储中间数据结果的方法。
下面,以MapReduce并行计算***为例来介绍并行计算***的架构、数据处理流程和数据存储方式。
MapReduce是一种用于处理海量数据集的并行编程模型和***,可以自动将MapReduce作业并行化为多个子任务,并调度到一个由普通PC(PersonalComputer,个人电脑)构建的集群上并发执行;同时,***自动解决对节点失效、任务失效及节点间数据交换等问题,使得MapReduce应用可以不必关心此问题,而通过定义相应的Map和Reduce函数即可实现分布式数据处理的功能。
MapReduce***主要由三个模块组成,其***架构如图1所示。客户端(Client)用于将用户撰写的并行处理作业提交至主节点(Master);主节点自动将用户作业分解为Map任务和Reduce任务,并将任务调度到工作节点(Worker);工作节点用于向主节点请求执行任务。
在MapReduce作业执行过程中,会产生大量临时数据,这些临时数据保存在每个工作节点的本地磁盘上,当MapReduce作业执行完毕后,这些临时数据会被清除。因此,在MapReduce执行过程中,会有大量的本地磁盘I/O(Input/Output,输入/输出)。为了提升本地数据的读写性能,一般都会在每个工作节点服务器上配置多个磁盘。
当配置多个磁盘时,MapReduce对本地多个磁盘的管理采用的处理方案的流程图如图2所示,包括以下步骤:
步骤S201、当本地磁盘管理***接收到磁盘写请求时,首先判断是否指定了要写入的数据的大小。
如果指定了写入数据的大小,则执行步骤S202;
如果未指定写入数据的大小,则执行步骤S203。
步骤S202、轮询每个磁盘,直到找到一个剩余存储空间可以满足要求的磁盘。
步骤S203、采用带有概率的轮询方法(Roulette selection),以较大的概率选择剩余存储空间较多的磁盘。
在实现本发明的过程中,发明人发现现有技术至少存在如下问题:
在现有并行计算***中,本地磁盘管理策略仅仅考虑了磁盘的容量和剩余存储空间是否可以满足要求或者以较高优先级将剩余存储空间较多的磁盘分配出去。但是,当处理节点上配置异构的磁盘时,由于已购磁盘存在性能以及操作策略的差异,目前的磁盘管理策略将不能更合理的调度各个磁盘。
发明内容
本发明的目的在于提供一种多磁盘场景下的磁盘管理方法和设备,同时考虑各磁盘的剩余空间和性能信息,根据综合得到的优先级参数进行磁盘选择,从而,更加高效合理的进行磁盘管理,发挥磁盘的性能,为此,本发明采用如下技术方案:
一方面,本发明实施例提出了一种多磁盘场景下的磁盘管理方法,包括:
接收任务调度指示消息,并根据各磁盘当前的剩余空间信息和性能信息为各磁盘确定针对所述任务调度指示消息所对应的任务的优先级参数;
根据所述各磁盘的优先级参数,为所述任务调度指示消息所对应的任务选择磁盘,执行相应的任务处理。
另一方面,本发明实施例还提供了一种处理节点,包含多个磁盘,所述处理节点包括:
接收模块,用于接收任务调度指示消息;
获取模块,用于获取各磁盘当前的剩余空间信息和性能信息;
确定模块,用于根据所述获取模块所获取的各磁盘当前的剩余空间信息和性能信息,为各磁盘确定针对所述接收模块所接收的任务调度指示消息所对应的任务的优先级参数;
选择模块,用于根据所述确定模块所确定的各磁盘的优先级参数,为所述任务调度指示消息所对应的任务选择磁盘,执行相应的任务处理。
与现有技术相比,本发明实施例所提出的技术方案具有以下优点:
通过应用本发明实施例所提出的技术方案,在进行磁盘选择时,针对每个任务,不仅考虑各磁盘的剩余空间,还进一步考虑各磁盘的性能信息,为各磁盘确定综合的优先级参数,并根据该优先级参数为该任务进行磁盘选择,从而,可以更加高效合理的进行磁盘管理,实现发挥磁盘的性能。
附图说明
图1为现有技术中的MapReduce***的架构示意图;
图2为现有技术中MapReduce对本地多个磁盘的管理采用的处理方案的流程示意图;
图3为本发明实施例所提出的一种多磁盘场景下的磁盘管理方法的流程示意图;
图4为本发明实施例所提出的一种具体应用场景中的磁盘管理方法的流程示意图;
图5为本发明实施例所提出的一种处理节点的结构示意图。
具体实施方式
下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如背景技术所述,在现有的磁盘管理策略中,只是根据磁盘的剩余空间大小进行磁盘选择,所以,在存在性能差异较大的异构磁盘,或磁盘大小本身差异较大的情况下,不能够实现磁盘的合理管理,具体的,基于如图2所示的处理流程,现有磁盘管理策略的缺陷主要表现为以下三个方面:
一、处理节点上可能会配置不同容量的磁盘。
依照现有技术中的磁盘管理策略,当处理节点上配置一个较大容量的磁盘时,则其将有较高的概率被调度,大容量磁盘的I/O负载将高于小容量磁盘,导致了磁盘间I/O负载的不平衡。在极端的情况下,大容量磁盘I/O负载较高,但是小容量磁盘I/O负载则是空闲的。
二、处理节点上可能会配置不同性能的磁盘。
当处理节点上配置高性能的磁盘,如SSD(Solid State Disk,固态硬盘)或SAS(Serial Attached SCSI,串行连接SCSI接口)盘,其读写性能是SATA(Serial Advanced Technology Attachment,串行高级技术附件,一种基于行业标准的串行硬件驱动器接口)盘的数倍。但是,由于SSD硬盘价格昂贵且存储容量较小,一般会将其与慢速磁盘共同使用。现有技术中的磁盘管理策略并未考虑不同磁盘本身性能的差异,从而SSD等高速磁盘的高读写性能不能完全发挥出来。
三、并行应用对数据的操作不同。
现有技术中的磁盘管理策略仅仅考虑如果将数据写入本地磁盘,并未考虑如何读取写入的数据以及如何删除这些数据。数据读写关系可能包括顺序/随机写、顺序/随机读,读写频率和数据存储时间长度也各有不同。现有技术中的磁盘管理策略也未考虑应用的读写情况,很有可能将I/O性能低容量大的磁盘分配给需要频繁I/O的应用,造成应用性能下降或磁盘性能未能完全发挥。
根据以上分析,现有技术中的磁盘管理策略或者不能更好的感知异构的磁盘,或者不能更好的感知应用的需求,从而造成应用性能下降,或不能发挥高性能磁盘的性能。
基于此,本发明实施例中提出了一种多磁盘场景下的磁盘管理方法和设备,通过综合考虑各磁盘的剩余空间和性能信息为各磁盘确定优先级信息,并按照优先级信息进行磁盘的管理和调度。
如图3所示,为本发明实施例所提出的一种多磁盘场景下的磁盘管理方法的流程示意图,具体包括以下步骤:
步骤S301、接收任务调度指示消息。
步骤S302、根据各磁盘当前的剩余空间信息和性能信息为各磁盘确定针对任务调度指示消息所对应的任务的优先级参数。
在具体的应用场景中,本步骤的处理具体包括以下两种情况:
情况一、根据各磁盘当前的剩余空间信息和性能信息,以及当前的剩余空间信息和性能信息相应的权值确定各磁盘针对任务调度指示消息所对应的任务的优先级参数。
情况二、确定各磁盘当前的剩余空间信息和性能信息在全部磁盘相应的信息之和中所占有的比例,按照各比例的值以及各比例相应的权值确定各磁盘针对任务调度指示消息所对应的任务的优先级参数。
需要说明的是,上述的两种情况可以根据实际的场景需要进行选择,可以按照情况一的方式,直接以各磁盘相关参数的值结合相应的权值进行优先级参数的确定,也可以按照情况二的方式,通过对相应的参数在各磁盘中总的情况进行归一处理,确定不同的磁盘的参数在总的情况中所占的比例,并进一步根据相应的权值进行优先级参数的确定,具体应用上述的哪种方式并不影响本发明的保护范围。
考虑到前述的现有技术的磁盘管理策略中所存在的第三方面的缺陷,对于不同特性的任务调度,如果按照相同的标准进行优先级划分显然不能满足最优化合理的磁盘管理效果,因此,本发明实施例所提出的技术方案中,还可以进一步根据所调度的任务的特性进行相应的优先级确定规则的调整,具体的任务特性的获取方式是通过接收到的任务调度指示消息中所携带的数据请求特征信息来实现的。
具体的,当接收到的任务调度指示消息中包含所调度任务相应的数据请求特征信息时,本发明实施例所提出的技术方案的后续处理包括对权值的调整过程,对应前述的两种优先级参数的确定方式,相应的调整过程同样包括两种方式:
根据数据请求特征信息的内容,调整当前的剩余空间信息和性能信息相应的权值的大小;或,
根据数据请求特征信息的内容,调整各比例相应的权值的大小。
步骤S303、根据各磁盘的优先级参数,为任务调度指示消息所对应的任务选择磁盘,执行相应的任务处理。
在实际的应用场景中,本步骤的处理包括以下两种情况:
情况一、为任务调度指示消息所对应的任务选择优先级参数值最大的磁盘,执行相应的任务处理。
情况二、根据相应的选择策略,按照相应的优先级参数值,为任务调度指示消息所对应的任务选择磁盘,执行相应的任务处理,其中,选择策略中配置不同的优先级参数大小区间所对应的选择概率,包含高优先级参数值的优先级参数区间所对应的选择概率大于包含低优先级参数值的优先级参数区间所对应的选择概率。
具体应用上述的哪种方式,并不会影响本发明的保护范围。
进一步需要指出的是,在上述的处理过程中,对于具体的应用场景,前述的各磁盘的性能信息,至少包括:
各磁盘的I/O性能信息,和/或各磁盘当前的I/O负载信息。
其中,各磁盘的I/O性能信息具体通过以下方式获取:
预先配置各磁盘的I/O性能信息;或,
通过对各磁盘进行测试,获取各磁盘相应的I/O性能信息。
另一方面,各磁盘当前的I/O负载信息具体通过以下方式获取:
实时监控各磁盘的I/O操作,当接收到任务调度指示消息时,根据各磁盘在之前预设的时间区间范围内的I/O操作情况,确定各磁盘当前的I/O负载信息;或,
周期性监控各磁盘的I/O操作,在每个周期结束时,根据各磁盘在当前周期范围内的I/O操作情况,确定各磁盘在当前周期的I/O负载信息,并在接收到任务调度指示消息时,以各磁盘最近周期的I/O负载信息作为各磁盘当前的I/O负载信息。
与现有技术相比,本发明实施例所提出的技术方案具有以下优点:
通过应用本发明实施例所提出的技术方案,在进行磁盘选择时,针对每个任务,不仅考虑各磁盘的剩余空间,还进一步考虑各磁盘的性能信息,为各磁盘确定综合的优先级参数,并根据该优先级参数为该任务进行磁盘选择,从而,可以更加高效合理的进行磁盘管理,实现发挥磁盘的性能。
下面,结合具体的应用场景,对本发明是势力所提出的技术方案进行进一步的详细说明。
针对前述的现有技术中的磁盘管理策略所存在的问题,本发明实施例提出一种并行计算***中的基于优先级的磁盘管理方案。
该方案充分考虑磁盘的异构性能、实时负载和数据操作请求特征等信息,针对每个请求为每个磁盘设置一个优先级,并根据磁盘的优先级为应用分配磁盘。
结合具体的应用场景,在本发明实施例所提出的技术方案中,对磁盘优先级考虑的因素及各因素对磁盘选择策略的影响说明如下:
(1)磁盘剩余容量(free_capacity)
较大剩余容量的磁盘将具有较高的概率存储数据。
(2)磁盘I/O性能(disk_io)
I/O性能较高的磁盘将具有较高的概率存储数据。
(3)磁盘实时负载(disk_util)
磁盘实时负载较低的磁盘将具有较高的概率存储数据。
(4)应用的数据请求特征(app_feature)
这个因素的影响主要体现在对之前几个因素所占权值的调整,对具体的调整规则举例说明如下:
对于频繁读写数据的请求,则调整磁盘优先级计算时对disk_io参数的权值;对于保存数据量较大但读写不频繁的请求,则调整磁盘优先级计算时free_capacity参数的权值;对于紧急的数据请求,则调整磁盘优先级计算时disk_util参数的权值。
在具体的应用过程中,上述的调整规则可以应用其中的一部分或全部应用,也可以根据实际需要进行进一步的规则设定,以满足具体的应用场景的需要。
下面,基于上述的各因素,对本发明实施例所提出的技术方案中的各磁盘的优先级参数的计算过程说明如下:
首先,说明在优先级参数计算中所应用的各参数信息的获取方式:
(1)磁盘剩余容量(free_capacity):该信息可以周期性的探测各个磁盘的剩余空间。
(2)磁盘I/O性能(disk_io):该信息表示该磁盘的I/O性能,该性能参数可以在***启动时进行实时测试,在***启动后需要实时计算或者通过***配置文件/配置项的方式进行。
(3)磁盘实时负载(disk_util):表示磁盘当前一段时间的读写请求情况。该参数可以周期间对磁盘I/O监控得到。较大的disk_util表示当前磁盘比较繁忙,较低的disk_util表示当前磁盘比较空闲。
基于上述说明,在实际的应用场景中,***中某个磁盘n的优先级参数(Priority_Disk_n)的计算公式具体为:
Priority_Disk_n=A*free_capacity+B*disk_io+C*(1/disk_util)
其中,
(1)A、B和C为以上各个参数所占的权值,A+B+C=100%。在每次写请求时,可以根据请求的特征app_feature调整以上各个参数的值,以适应具体的应用特征。
(2)对各个参数进行归一化,例如:对free_capacity的归一化方法是,计算每个磁盘的free_capacity之和,每个磁盘的归一化后的结果即是该磁盘的free_capacity占所有磁盘free_capacity之和的比例。其他参数依此类推,在此不再重复说明。
下面,以只考虑上述的四种因素的应用场景为例,说明本发明实施例所提出的技术方案的应用流程,其流程示意图如图4所示,包括以下步骤:
步骤S401、在处理节点配置或测试每个磁盘的I/O性能disk_io。
如果采用的是配置方式,那么处理节点可以直接根据配置的信息确定各磁盘相应的信息。
而如果采用的是测试方式,则处理节点需要启动测试程序,对每个磁盘逐个进行I/O性能的测试。
步骤S402、处理节点实时或周期性的统计每个磁盘的剩余容量free_capacity。
步骤S403、处理节点实时统计每个磁盘的负载disk_util;
步骤S404、中控节点将待处理任务调度给处理节点。
其中待处理任务中带有其数据请求特征app_feature,即该任务对数据的存储量、存储时间、读写频率等信息。
步骤S405、处理节点在接收到任务的数据写请求时,根据该任务的app_feature和获取的disk_io/free_capacity/disk_util等信息,计算每个磁盘针对该任务的优先级参数。
步骤S406、处理节点根据各磁盘的优先级参数,选择一个磁盘给该请求。
在本步骤的处理过程在,可以采用完全依赖优先级的磁盘选择,即总是优先使用优先级最高的磁盘,也可以采用以较高的概率使用优先级高的磁盘的策略进行磁盘选择,从而避免大容量磁盘始终被频繁调度的情况出现。
与现有技术相比,本发明实施例所提出的技术方案具有以下优点:
通过应用本发明实施例所提出的技术方案,在进行磁盘选择时,针对每个任务,不仅考虑各磁盘的剩余空间,还进一步考虑各磁盘的性能信息,为各磁盘确定综合的优先级参数,并根据该优先级参数为该任务进行磁盘选择,从而,可以更加高效合理的进行磁盘管理,实现发挥磁盘的性能。
为了实现本发明实施例的技术方案,本发明实施例还提供了一种处理节点,包含多个磁盘,其结构示意图如图5所示,具体包括:
接收模块51,用于接收任务调度指示消息;
获取模块52,用于获取各磁盘当前的剩余空间信息和性能信息;
确定模块53,用于根据获取模块52所获取的各磁盘当前的剩余空间信息和性能信息,为各磁盘确定针对接收模块51所接收的任务调度指示消息所对应的任务的优先级参数;
选择模块54,用于根据确定模块53所确定的各磁盘的优先级参数,为任务调度指示消息所对应的任务选择磁盘,执行相应的任务处理。
在实际的应用场景中,确定模块53,具体用于:
根据各磁盘当前的剩余空间信息和性能信息,以及当前的剩余空间信息和性能信息相应的权值确定各磁盘针对任务调度指示消息所对应的任务的优先级参数;或,
确定各磁盘当前的剩余空间信息和性能信息在全部磁盘相应的信息之和中所占有的比例,按照各比例的值以及各比例相应的权值确定各磁盘针对任务调度指示消息所对应的任务的优先级参数。
进一步的,当接收模块51所接收到的任务调度指示消息中包含所调度任务相应的数据请求特征信息时,该处理节点还包括:
调整模块55,用于根据数据请求特征信息的内容,调整当前的剩余空间信息和性能信息相应的权值的大小,或根据数据请求特征信息的内容,调整各比例相应的权值的大小;
确定模块53,还用于根据调整模块55调整后的权值的大小,确定各磁盘针对任务调度指示消息所对应的任务的优先级参数。
另一方面,获取模块52所获取的各磁盘的性能信息,至少包括各磁盘的I/O性能信息,和/或各磁盘当前的I/O负载信息,其中,
获取模块52获取各磁盘的I/O性能信息的方式具体为:
预先配置各磁盘的I/O性能信息;或,
通过对各磁盘进行测试,获取各磁盘相应的I/O性能信息;
获取模块52获取各磁盘当前的I/O负载信息的方式具体为:
实时监控各磁盘的I/O操作,当接收到任务调度指示消息时,根据各磁盘在之前预设的时间区间范围内的I/O操作情况,确定各磁盘当前的I/O负载信息;或,
周期性监控各磁盘的I/O操作,在每个周期结束时,根据各磁盘在当前周期范围内的I/O操作情况,确定各磁盘在当前周期的I/O负载信息,并在接收到任务调度指示消息时,以各磁盘最近周期的I/O负载信息作为各磁盘当前的I/O负载信息。
需要进一步指出的是,选择模块54,具体用于:
为任务调度指示消息所对应的任务选择优先级参数值最大的磁盘,执行相应的任务处理;或,
根据相应的选择策略,按照相应的优先级参数值,为任务调度指示消息所对应的任务选择磁盘,执行相应的任务处理,其中,选择策略中配置不同的优先级参数大小区间所对应的选择概率,包含高优先级参数值的优先级参数区间所对应的选择概率大于包含低优先级参数值的优先级参数区间所对应的选择概率。
与现有技术相比,本发明实施例所提出的技术方案具有以下优点:
通过应用本发明实施例所提出的技术方案,在进行磁盘选择时,针对每个任务,不仅考虑各磁盘的剩余空间,还进一步考虑各磁盘的性能信息,为各磁盘确定综合的优先级参数,并根据该优先级参数为该任务进行磁盘选择,从而,可以更加高效合理的进行磁盘管理,实现发挥磁盘的性能。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本发明实施例可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本发明实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或网络设备等)执行本发明实施例各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本发明实施例所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本发明实施例序号仅仅为了描述,不代表实施场景的优劣。
以上公开的仅为本发明实施例的几个具体实施场景,但是,本发明实施例并非局限于此,任何本领域的技术人员能思之的变化都应落入本发明实施例的业务限制范围。
Claims (12)
1.一种多磁盘场景下的磁盘管理方法,其特征在于,包括以下步骤:
接收任务调度指示消息,并根据各磁盘当前的剩余空间信息和性能信息为各磁盘确定针对所述任务调度指示消息所对应的任务的优先级参数;
根据所述各磁盘的优先级参数,为所述任务调度指示消息所对应的任务选择磁盘,执行相应的任务处理。
2.如权利要求1所述的方法,其特征在于,所述根据各磁盘当前的剩余空间信息和性能信息为各磁盘确定针对所述任务调度指示消息所对应的任务的优先级参数,具体为:
根据各磁盘当前的剩余空间信息和性能信息,以及当前的剩余空间信息和性能信息相应的权值确定各磁盘针对所述任务调度指示消息所对应的任务的优先级参数;或,
确定各磁盘当前的剩余空间信息和性能信息在全部磁盘相应的信息之和中所占有的比例,按照各比例的值以及各比例相应的权值确定各磁盘针对所述任务调度指示消息所对应的任务的优先级参数。
3.如权利要求2所述的方法,其特征在于,当接收到的所述任务调度指示消息中包含所调度任务相应的数据请求特征信息时,还包括:
根据所述数据请求特征信息的内容,调整当前的剩余空间信息和性能信息相应的权值的大小;或,
根据所述数据请求特征信息的内容,调整各比例相应的权值的大小。
4.如权利要求1所述的方法,其特征在于,所述各磁盘的性能信息,至少包括:
各磁盘的I/O性能信息;和/或,
各磁盘当前的I/O负载信息。
5.如权利要求4所述的方法,其特征在于,所述各磁盘的I/O性能信息,具体通过以下方式获取:
预先配置各磁盘的I/O性能信息;或,
通过对各磁盘进行测试,获取各磁盘相应的I/O性能信息。
6.如权利要求4所述的方法,其特征在于,所述各磁盘当前的I/O负载信息,具体通过以下方式获取:
实时监控各磁盘的I/O操作,当接收到所述任务调度指示消息时,根据各磁盘在之前预设的时间区间范围内的I/O操作情况,确定各磁盘当前的I/O负载信息;或,
周期性监控各磁盘的I/O操作,在每个周期结束时,根据各磁盘在当前周期范围内的I/O操作情况,确定各磁盘在当前周期的I/O负载信息,并在接收到所述任务调度指示消息时,以各磁盘最近周期的I/O负载信息作为各磁盘当前的I/O负载信息。
7.如权利要求1所述的方法,其特征在于,所述根据所述各磁盘的优先级参数,为所述任务调度指示消息所对应的任务选择磁盘,执行相应的任务处理,具体包括:
为所述任务调度指示消息所对应的任务选择优先级参数值最大的磁盘,执行相应的任务处理;或,
根据相应的选择策略,按照相应的优先级参数值,为所述任务调度指示消息所对应的任务选择磁盘,执行相应的任务处理,其中,所述选择策略中配置不同的优先级参数大小区间所对应的选择概率,包含高优先级参数值的优先级参数区间所对应的选择概率大于包含低优先级参数值的优先级参数区间所对应的选择概率。
8.一种处理节点,包含多个磁盘,其特征在于,所述处理节点包括:
接收模块,用于接收任务调度指示消息;
获取模块,用于获取各磁盘当前的剩余空间信息和性能信息;
确定模块,用于根据所述获取模块所获取的各磁盘当前的剩余空间信息和性能信息,为各磁盘确定针对所述接收模块所接收的任务调度指示消息所对应的任务的优先级参数;
选择模块,用于根据所述确定模块所确定的各磁盘的优先级参数,为所述任务调度指示消息所对应的任务选择磁盘,执行相应的任务处理。
9.如权利要求8所述的处理节点,其特征在于,所述确定模块,具体用于:
根据各磁盘当前的剩余空间信息和性能信息,以及当前的剩余空间信息和性能信息相应的权值确定各磁盘针对所述任务调度指示消息所对应的任务的优先级参数;或,
确定各磁盘当前的剩余空间信息和性能信息在全部磁盘相应的信息之和中所占有的比例,按照各比例的值以及各比例相应的权值确定各磁盘针对所述任务调度指示消息所对应的任务的优先级参数。
10.如权利要求9所述的处理节点,其特征在于,当所述接收模块所接收到的所述任务调度指示消息中包含所调度任务相应的数据请求特征信息时,所述处理节点,还包括:
调整模块,用于根据所述数据请求特征信息的内容,调整当前的剩余空间信息和性能信息相应的权值的大小,或根据所述数据请求特征信息的内容,调整各比例相应的权值的大小;
所述确定模块,还用于根据所述调整模块调整后的权值的大小,确定各磁盘针对所述任务调度指示消息所对应的任务的优先级参数。
11.如权利要求8所述的处理节点,其特征在于,所述获取模块所获取的各磁盘的性能信息,至少包括各磁盘的I/O性能信息,和/或各磁盘当前的I/O负载信息,其中,
所述获取模块获取各磁盘的I/O性能信息的方式具体为:
预先配置各磁盘的I/O性能信息;或,
通过对各磁盘进行测试,获取各磁盘相应的I/O性能信息;
所述获取模块获取各磁盘当前的I/O负载信息的方式具体为:
实时监控各磁盘的I/O操作,当接收到所述任务调度指示消息时,根据各磁盘在之前预设的时间区间范围内的I/O操作情况,确定各磁盘当前的I/O负载信息;或,
周期性监控各磁盘的I/O操作,在每个周期结束时,根据各磁盘在当前周期范围内的I/O操作情况,确定各磁盘在当前周期的I/O负载信息,并在接收到所述任务调度指示消息时,以各磁盘最近周期的I/O负载信息作为各磁盘当前的I/O负载信息。
12.如权利要求8所述的处理节点,其特征在于,所述选择模块,具体用于:
为所述任务调度指示消息所对应的任务选择优先级参数值最大的磁盘,执行相应的任务处理;或,
根据相应的选择策略,按照相应的优先级参数值,为所述任务调度指示消息所对应的任务选择磁盘,执行相应的任务处理,其中,所述选择策略中配置不同的优先级参数大小区间所对应的选择概率,包含高优先级参数值的优先级参数区间所对应的选择概率大于包含低优先级参数值的优先级参数区间所对应的选择概率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010613959.4A CN102541460B (zh) | 2010-12-20 | 2010-12-20 | 一种多磁盘场景下的磁盘管理方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010613959.4A CN102541460B (zh) | 2010-12-20 | 2010-12-20 | 一种多磁盘场景下的磁盘管理方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102541460A true CN102541460A (zh) | 2012-07-04 |
CN102541460B CN102541460B (zh) | 2014-10-08 |
Family
ID=46348447
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010613959.4A Active CN102541460B (zh) | 2010-12-20 | 2010-12-20 | 一种多磁盘场景下的磁盘管理方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102541460B (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103558999A (zh) * | 2013-11-13 | 2014-02-05 | 华为技术有限公司 | 硬盘扫描方法及装置 |
CN103605481A (zh) * | 2013-10-31 | 2014-02-26 | 华为技术有限公司 | 磁盘控制方法、装置及设备 |
CN103713860A (zh) * | 2014-01-03 | 2014-04-09 | 浪潮(北京)电子信息产业有限公司 | 一种基于备份架构的虚拟磁盘库构建方法及*** |
CN104468701A (zh) * | 2014-10-17 | 2015-03-25 | 中国人民解放军国防科学技术大学 | 一种用于异构存储集群***的i/o服务质量维护方法 |
WO2017005116A1 (zh) * | 2015-07-08 | 2017-01-12 | 阿里巴巴集团控股有限公司 | 中间文件处理方法、客户端、服务器和*** |
CN106406771A (zh) * | 2016-10-20 | 2017-02-15 | 福建天泉教育科技有限公司 | 日志记录方法及日志记录器 |
CN106649401A (zh) * | 2015-11-03 | 2017-05-10 | 阿里巴巴集团控股有限公司 | 分布式文件***中的数据写入方法和装置 |
CN106814971A (zh) * | 2016-12-20 | 2017-06-09 | ***股份有限公司 | 一种异构存储方法及异构存储平台 |
CN107122126A (zh) * | 2016-12-22 | 2017-09-01 | 华为技术有限公司 | 数据的迁移方法、装置和*** |
CN107590003A (zh) * | 2017-09-28 | 2018-01-16 | 深圳大学 | 一种Spark任务分配方法和*** |
WO2018058363A1 (en) * | 2016-09-28 | 2018-04-05 | Intel Corporation | Measuring per-node bandwidth within non-uniform memory access (numa) systems |
CN108228803A (zh) * | 2017-12-29 | 2018-06-29 | 北京奇虎科技有限公司 | 一种文件的存储方法和装置 |
WO2018121242A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京奇虎科技有限公司 | 基于多个缓存的数据淘汰方法及装置 |
CN110673795A (zh) * | 2019-09-19 | 2020-01-10 | 深圳市网心科技有限公司 | 数据写入方法及装置、计算机装置及存储介质 |
CN111338580A (zh) * | 2020-02-29 | 2020-06-26 | 苏州浪潮智能科技有限公司 | 一种磁盘性能优化的方法和设备 |
CN115469803A (zh) * | 2022-08-31 | 2022-12-13 | 江苏安超云软件有限公司 | 队列消息存储调度的方法及应用 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5721823A (en) * | 1995-09-29 | 1998-02-24 | Hewlett-Packard Co. | Digital layout method suitable for near video on demand system |
US6151641A (en) * | 1997-09-30 | 2000-11-21 | Lsi Logic Corporation | DMA controller of a RAID storage controller with integrated XOR parity computation capability adapted to compute parity in parallel with the transfer of data segments |
CN101118477A (zh) * | 2007-08-24 | 2008-02-06 | 成都索贝数码科技股份有限公司 | 一种提高磁盘数据访问效率的方法 |
CN100476742C (zh) * | 2007-02-09 | 2009-04-08 | 华中科技大学 | 基于对象存储设备的负载平衡方法 |
CN101526882A (zh) * | 2008-03-03 | 2009-09-09 | 中兴通讯股份有限公司 | 独立磁盘冗余阵列子***中逻辑单元重建的方法及装置 |
CN100571281C (zh) * | 2007-06-29 | 2009-12-16 | 清华大学 | 海量数据分级存储方法 |
-
2010
- 2010-12-20 CN CN201010613959.4A patent/CN102541460B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5721823A (en) * | 1995-09-29 | 1998-02-24 | Hewlett-Packard Co. | Digital layout method suitable for near video on demand system |
US6151641A (en) * | 1997-09-30 | 2000-11-21 | Lsi Logic Corporation | DMA controller of a RAID storage controller with integrated XOR parity computation capability adapted to compute parity in parallel with the transfer of data segments |
CN100476742C (zh) * | 2007-02-09 | 2009-04-08 | 华中科技大学 | 基于对象存储设备的负载平衡方法 |
CN100571281C (zh) * | 2007-06-29 | 2009-12-16 | 清华大学 | 海量数据分级存储方法 |
CN101118477A (zh) * | 2007-08-24 | 2008-02-06 | 成都索贝数码科技股份有限公司 | 一种提高磁盘数据访问效率的方法 |
CN101526882A (zh) * | 2008-03-03 | 2009-09-09 | 中兴通讯股份有限公司 | 独立磁盘冗余阵列子***中逻辑单元重建的方法及装置 |
CN101526882B (zh) * | 2008-03-03 | 2011-06-22 | 中兴通讯股份有限公司 | 独立磁盘冗余阵列子***中逻辑单元重建的方法及装置 |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103605481A (zh) * | 2013-10-31 | 2014-02-26 | 华为技术有限公司 | 磁盘控制方法、装置及设备 |
CN103558999B (zh) * | 2013-11-13 | 2016-09-14 | 华为技术有限公司 | 硬盘扫描方法及装置 |
CN103558999A (zh) * | 2013-11-13 | 2014-02-05 | 华为技术有限公司 | 硬盘扫描方法及装置 |
CN103713860A (zh) * | 2014-01-03 | 2014-04-09 | 浪潮(北京)电子信息产业有限公司 | 一种基于备份架构的虚拟磁盘库构建方法及*** |
CN104468701A (zh) * | 2014-10-17 | 2015-03-25 | 中国人民解放军国防科学技术大学 | 一种用于异构存储集群***的i/o服务质量维护方法 |
CN104468701B (zh) * | 2014-10-17 | 2017-10-13 | 中国人民解放军国防科学技术大学 | 一种用于异构存储集群***的i/o服务质量维护方法 |
WO2017005116A1 (zh) * | 2015-07-08 | 2017-01-12 | 阿里巴巴集团控股有限公司 | 中间文件处理方法、客户端、服务器和*** |
US11500812B2 (en) | 2015-07-08 | 2022-11-15 | Alibaba Group Holding Limited | Intermediate file processing method, client, server, and system |
CN106649401A (zh) * | 2015-11-03 | 2017-05-10 | 阿里巴巴集团控股有限公司 | 分布式文件***中的数据写入方法和装置 |
US11055360B2 (en) | 2015-11-03 | 2021-07-06 | Alibaba Group Holding Limited | Data write-in method and apparatus in a distributed file system |
WO2018058363A1 (en) * | 2016-09-28 | 2018-04-05 | Intel Corporation | Measuring per-node bandwidth within non-uniform memory access (numa) systems |
US11093414B2 (en) | 2016-09-28 | 2021-08-17 | Intel Corporation | Measuring per-node bandwidth within non-uniform memory access (NUMA) systems |
CN106406771A (zh) * | 2016-10-20 | 2017-02-15 | 福建天泉教育科技有限公司 | 日志记录方法及日志记录器 |
CN106406771B (zh) * | 2016-10-20 | 2019-10-11 | 福建天泉教育科技有限公司 | 日志记录方法及日志记录器 |
CN106814971B (zh) * | 2016-12-20 | 2020-09-29 | ***股份有限公司 | 一种异构存储方法及异构存储平台 |
CN106814971A (zh) * | 2016-12-20 | 2017-06-09 | ***股份有限公司 | 一种异构存储方法及异构存储平台 |
CN107122126B (zh) * | 2016-12-22 | 2020-09-08 | 华为技术有限公司 | 数据的迁移方法、装置和*** |
CN107122126A (zh) * | 2016-12-22 | 2017-09-01 | 华为技术有限公司 | 数据的迁移方法、装置和*** |
WO2018121242A1 (zh) * | 2016-12-29 | 2018-07-05 | 北京奇虎科技有限公司 | 基于多个缓存的数据淘汰方法及装置 |
CN107590003B (zh) * | 2017-09-28 | 2020-10-23 | 深圳大学 | 一种Spark任务分配方法和*** |
CN107590003A (zh) * | 2017-09-28 | 2018-01-16 | 深圳大学 | 一种Spark任务分配方法和*** |
CN108228803A (zh) * | 2017-12-29 | 2018-06-29 | 北京奇虎科技有限公司 | 一种文件的存储方法和装置 |
CN110673795A (zh) * | 2019-09-19 | 2020-01-10 | 深圳市网心科技有限公司 | 数据写入方法及装置、计算机装置及存储介质 |
CN111338580A (zh) * | 2020-02-29 | 2020-06-26 | 苏州浪潮智能科技有限公司 | 一种磁盘性能优化的方法和设备 |
CN115469803A (zh) * | 2022-08-31 | 2022-12-13 | 江苏安超云软件有限公司 | 队列消息存储调度的方法及应用 |
Also Published As
Publication number | Publication date |
---|---|
CN102541460B (zh) | 2014-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102541460A (zh) | 一种多磁盘场景下的磁盘管理方法和设备 | |
US11016956B2 (en) | Database management system with database hibernation and bursting | |
CN105988872B (zh) | 一种cpu资源分配的方法、装置及电子设备 | |
US20200358710A1 (en) | Container-based mobile code offloading support system in cloud environment and offloading method thereof | |
CN100533387C (zh) | 执行作业步的***和方法 | |
US9916183B2 (en) | Scheduling mapreduce jobs in a cluster of dynamically available servers | |
JP5244236B2 (ja) | 計算機システム、方法、およびプログラム | |
US9092266B2 (en) | Scalable scheduling for distributed data processing | |
US20130198449A1 (en) | Multi-tier storage system configuration adviser | |
US20140040474A1 (en) | Maximizing server utilization within a datacenter | |
US10482084B2 (en) | Optimized merge-sorting of data retrieved from parallel storage units | |
CN103995735A (zh) | 用于调度工作流作业的设备和方法 | |
US20130290979A1 (en) | Data transfer control method of parallel distributed processing system, parallel distributed processing system, and recording medium | |
CN102339233A (zh) | 云计算集中管理平台 | |
US12028269B2 (en) | Method for optimal resource selection based on available GPU resource analysis in large-scale container platform | |
JP2013127685A (ja) | 情報処理システムおよび運用管理方法 | |
US9772877B2 (en) | Managing I/O operations in a shared file system | |
US9710311B2 (en) | Information processing system, method of controlling information processing system, and recording medium | |
Yazdanpanah et al. | A comprehensive view of MapReduce aware scheduling algorithms in cloud environments | |
EP2115636A2 (en) | Methods and systems for identifying application system storage resources | |
Gu et al. | Push-Based Network-efficient Hadoop YARN Scheduling Mechanism for In-Memory Computing | |
KR100805182B1 (ko) | 작업 단계 실행 프로그램을 기록한 컴퓨터 판독가능기록매체 및 작업 단계 실행 방법 | |
WO2015151290A1 (ja) | 管理計算機と計算機制御方法及び計算機システム | |
Luo et al. | Supporting cost-efficient multi-tenant database services with service level objectives (SLOs) | |
JPH113321A (ja) | 並列計算機システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |