CN111930299A - 分配存储单元的方法及相关设备 - Google Patents

分配存储单元的方法及相关设备 Download PDF

Info

Publication number
CN111930299A
CN111930299A CN202010573182.7A CN202010573182A CN111930299A CN 111930299 A CN111930299 A CN 111930299A CN 202010573182 A CN202010573182 A CN 202010573182A CN 111930299 A CN111930299 A CN 111930299A
Authority
CN
China
Prior art keywords
storage
resource pool
target
storage unit
requirement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010573182.7A
Other languages
English (en)
Other versions
CN111930299B (zh
Inventor
裘雪敬
范鹏
陈东平
王洪
余冬玲
王建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202010573182.7A priority Critical patent/CN111930299B/zh
Publication of CN111930299A publication Critical patent/CN111930299A/zh
Application granted granted Critical
Publication of CN111930299B publication Critical patent/CN111930299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种分配存储单元的方法及相关设备，涉及存储资源分配领域。所述方法包括：获取用户的存储需求信息，所述存储需求信息包括：用户主机的主机信息、容量需求、带宽需求、IOPS需求；根据所述存储需求信息确定目标存储资源池；根据所述容量需求、带宽需求、IOPS需求以及所述目标资源池中存储单元的存储参数从所述目标资源池的可用存储单元中筛选出第一存储单元集合，其中，所述存储单元的存储参数包括：容量、带宽、IOPS；根据所述第一存储单元集合中存储单元的存储参数与所述存储需求的均方根误差确定目标存储单元；将所述目标存储单元分配给所述用户。本发明可为用户分配满足用户需求的最优目标存储单元，提高存储资源的使用率，降低存储成本。

Description

分配存储单元的方法及相关设备
技术领域
本发明涉及存储资源分配领域，特别涉及一种分配存储单元的方法及相关设备。
背景技术
随着数据的***式增长，如何为海量数据分配合理的存储成为数据存储领域的研究热点。
现有技术中，由于没有完善存储分配机制，目前分配存储单元的方法是，在获取用户的存储需求后，依次顺序判断存储资源池中存储单元的剩余容量是否满足存储需求，将第一个满足存储需求的存储单元作为目标存储单元分配给用户。
这种分配目标存储单元的方法为串行执行逻辑，会造成存储资源的闲置，存储资源的使用率低，企业的存储成本高。
发明内容
本发明提供了一种分配存储单元的方法及相关设备，以解决现有分配存储单元时存储资源的使用率低、运维成本高的问题。
第一方面，本发明实施例提供一种分配存储单元的方法，所述方法包括：
获取用户的存储需求信息，所述存储需求信息包括：用户主机的主机信息、容量需求、带宽需求、IOPS(Input/Output Operations Per Second，每秒中进行读写操作的次数)需求；
根据所述存储需求信息确定目标存储资源池；
根据所述容量需求、带宽需求、IOPS需求以及所述目标资源池中存储单元的存储参数从所述目标资源池的可用存储单元中筛选出第一存储单元集合，其中，所述存储单元的存储参数包括：容量、带宽、IOPS；
根据所述第一存储单元集合中存储单元的存储参数与所述存储需求的均方根误差确定目标存储单元；
将所述目标存储单元分配给所述用户。
在本实施例的一种实现方式中，所述根据所述存储需求信息确定目标存储资源池包括：
根据所述容量需求、带宽需求、IOPS需求确定所需的存储资源池级别；
根据所述主机信息从与所述用户主机位于同一存储网络的存储资源池中确定出与所述存储资源池级别对应的目标存储资源池。
在本实施例的一种实现方式中，
所述存储需求信息还包括：所需的存储***；
所述根据所述存储需求信息确定目标存储资源池还包括：
根据所需的存储***和存储资源池级别从与所述用户主机位于同一存储网络的存储资源池中确定出目标存储资源池。
在本实施例的一种实现方式中，所述根据所述容量需求、带宽需求、IOPS需求以及所述目标资源池中存储单元的存储参数从所述目标资源池的可用存储单元中筛选出第一存储单元集合包括：
从存储资源池数据库中获取所述目标存储资源池中存储单元的存储参数；
根据所述容量需求、带宽需求、IOPS需求以及所述目标资源池中存储单元的存储参数从所述目标存储资源池的可用存储单元中筛选出满足三阶判决模型的存储单元；
其中，所述三阶判决模型为：
Figure BDA0002550397040000021
其中，Xuser表示容量需求，Yuser表示带宽需求，Zuser表示IOPS需求，Xdec表示容量判决因子，Ydec表示带宽判决因子，Zdec表示IOPS判决因子，Xm表示目标存储资源池中第m个可用存储单元的容量，Ym表示目标存储资源池中第m个可用存储单元的带宽，Zm表示目标存储资源池中第m个可用存储单元的IOPS，Km表示目标存储资源池中第m个可用存储单元的可用端口组中的端口个数；
将满足所述三阶判决模型的存储单元标记为第一存储单元。
在本实施例的一种实现方式中，所述根据所述第一存储单元集合中存储单元的存储参数与所述存储需求的均方根误差确定目标存储单元包括：
通过下述公式分别计算所述第一存储单元集合中各存储单元的存储参数与所述存储需求的均方根误差：
Figure BDA0002550397040000031
其中，Xuser表示容量需求，Yuser表示带宽需求，Zuser表示IOPS需求，Xj,sec表示第一存储单元集合中第j个存储单元的容量，Yj,sec表示第一存储单元集合中第j个存储单元的带宽，Zj,sec表示第一存储单元集合中第j个存储单元的IOPS，Kj,sec表示第一存储单元集合中第j个存储单元的可用端口组中的端口个数；
根据各存储单元的均方根误差从所述第一存储单元集合中确定出均方根误差最小的存储单元作为目标存储单元。
另一方面，本发明实施例提供一种分配存储单元的装置，所述装置包括：
存储需求获取模块，用于获取用户的存储需求信息，所述存储需求信息包括：用户主机的主机信息、容量需求、带宽需求、IOPS需求；
目标资源池确定模块，用于根据所述存储需求信息确定目标存储资源池；
第一存储单元筛选模块，用于根据所述容量需求、带宽需求、IOPS需求以及所述目标资源池中存储单元的存储参数从所述目标资源池的可用存储单元中筛选出第一存储单元集合，其中，所述存储单元的存储参数包括：所述存储单元的容量、带宽、IOPS；
目标存储单元确定模块，根据所述第一存储单元集合中存储单元的存储参数与所述存储需求的均方根误差确定目标存储单元；
分配模块，用于将所述目标存储单元分配给所述用户。
在本实施例的一种实现方式中，所述目标资源池确定模块包括：
存储资源池级别确定单元，用于根据所述容量需求、带宽需求、IOPS需求确定所需的存储资源池级别；
目标存储资源池确定单元，用于根据所述主机信息从与所述用户主机位于同一存储网络的存储资源池中确定出与所述存储资源池级别对应的目标存储资源池。
在本实施例的一种实现方式中，
所述存储需求信息还包括：所需的存储***；
所述目标存储资源池确定单元，还用于根据所需的存储***和存储资源池级别从与所述用户主机位于同一存储网络的存储资源池中确定出目标存储资源池。
在本实施例的一种实现方式中，所述第一存储单元筛选模块包括：
存储参数获取单元，用于从存储资源池数据库中获取所述目标存储资源池中存储单元的存储参数；
筛选单元，用于根据所述容量需求、带宽需求、IOPS需求以及所述目标资源池中存储单元的存储参数从所述目标存储资源池的可用存储单元中筛选出满足三阶判决模型的存储单元，
其中，所述三阶判决模型为：
Figure BDA0002550397040000041
其中，Xuser表示容量需求，Yuser表示带宽需求，Zuser表示IOPS需求，Xdec表示容量判决因子，Ydec表示带宽判决因子，Zdec表示IOPS判决因子，Xm表示目标存储资源池中第m个可用存储单元的容量，Ym表示目标存储资源池中第m个可用存储单元的带宽，Zm表示目标存储资源池中第m个可用存储单元的IOPS，Km表示目标存储资源池中第m个可用存储单元的可用端口组中的端口个数；
标记单元，用于将满足所述三阶判决模型的存储单元标记为第一存储单元。
在本实施例的一种实现方式中，所述目标存储单元确定模块包括：
均方根误差计算单元，用于通过下述公式分别计算所述第一存储单元中各存储单元的存储参数与所述存储需求的均方根误差：
Figure BDA0002550397040000042
其中，Xuser表示容量需求，Yuser表示带宽需求，Zuser表示IOPS需求，Xj,sec表示第一存储单元集合中第j个存储单元的容量，Yj,sec表示第一存储单元集合中第j个存储单元的带宽，Zj,sec表示第一存储单元集合中第j个存储单元的IOPS，Kj,sec表示第一存储单元集合中第j个存储单元的可用端口组中的端口个数；
目标存储单元确定单元，用于根据各存储单元的均方根误差从所述第一存储单元集合中确定出均方根误差最小的存储单元作为目标存储单元。
再一方面，本发明实施例提供一种计算机存储介质，其上存储有计算机指令，该计算机指令能够被处理器执行以实现上述任意一个实施例所述的分配存储单元的方法。
又一方面，本发明实施例提供一种计算机设备，所述计算机包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述计算机程序以实现上述任意一个实施例所述的分配存储单元的方法。
与现有技术相比，本发明实施例提供的分配存储单元的方法及相关设备具有如下有益技术效果：
本实施例所述的分配存储单元的方法及相关设备采用非串行执行逻辑，根据存储资源池级别、存储容量、存储带宽、存储IOPS等参数综合确定满足用户需求的最优目标存储单元，将最优存储单元分配给用户，能够有效提高存储资源的使用率、降低存储成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简要的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例的附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本发明一个实施例的分配存储单元的方法流程图；
图2示出了根据本发明另一个实施例的分配存储单元的装置模块示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例作进一步的详细描述。应当理解，下述的各种实施例只用于举例说明，而非用于限制本发明的保护范围。
图1示出了根据本发明一个实施例的分配存储单元的方法。该方法用于为用户分配满足用户需求的最优存储单元，提高存储资源的使用率。如图1所示，本实施例所述的分配存储单元的方法包括处理S101～S104，下面分别对各处理进行说明。
S101：获取用户的存储需求信息，所述存储需求信息包括：用户主机的主机信息、容量需求、带宽需求、IOPS需求。
其中，用户主机可以为需要使用存储空间的应用服务器。可以从用户提交的存储需求中提取用户主机的主机信息、容量需求、带宽需求以及IOPS(Input/OutputOperations Per Second，每秒中进行读写操作的次数)需求等存储需求信息。
例如，可以从用户提交的存储需求中提取用户主机的IP地址、主机号，并提取用户需要多少G(存储容量单位)容量、需要多少Mbps(带宽单位)带宽、需要多少次/秒(IOPS单位)IOPS等存储需求信息。
S102：根据所述存储需求信息确定目标存储资源池。
其中，存储资源池是存放存储空间资源的容器，所有应用服务器使用的存储空间都来自于存储资源池。根据存储介质的不同，存储资源池又可以划分为3个级别，分别为白金级存储资源池(第一级存储资源池)、金级存储资源池(第二级存储资源池)、银级存储资源池(第三级存储资源池)。
在获取存储需求信息后，可以根据用户的容量需求、带宽需求以及IOPS需求确定用户所需的存储资源池级别，然后根据用户的主机信息从与用户主机位于同一存储网络中的存储资源池中确定出与所述存储资源池级别对应的目标存储资源池。
例如，根据用户容量需求、带宽需求以及IOPS需求确定用户所需的存储资源池级别为金级存储资源池，可以与用户主机位于同一存储网络中的存储资源池选择金级存储资源池作为目标存储资源池。
在本实施例的一种实现方式中，用户主机可与多个存储***相连。例如，用户主机与SAN(Storage Area Network)存储***、NAS(Network AttachedStorage)存储***等多个存储***相连。在这种情况下，除了从用户的存储需求中获取用户主机的主机信息、容量需求、带宽需求、IOPS需求之外，还可以从用户存储需求中获取所需的存储***信息，然后从用户所需的存储***中获取与用户主机位于同一存储网络、并与用户所需的存储资源池级别对应的存储资源池。
例如，若用户所需的存储***是SAN存储***，并且所述的存储资源池级别为白金级存储资源池，则可以从SAN存储***中获取与用户主机位于同一存储网络中的SAN白金级存储资源池作为目标资源池。若用户所需的存储***是NAS存储***，并且所需的存储资源池级别为银级存储资源池，则可以从NAS存储***中获取与用户主机位于同一存储网络中的NAS银级存储资源池作为目标资源池。
S103：根据所述容量需求、带宽需求、IOPS需求以及所述目标资源池中存储单元的存储参数从所述目标资源池的可用存储单元中筛选出第一存储单元集合，其中，所述存储单元的存储参数包括：所述存储单元的容量、带宽、IOPS。
其中，存储单元可以为在存储上创建的逻辑磁盘，其可由LUN(Logic UnitNumber)号标识，一个存储单元只能与一个主机绑定。存储资源池中没有与主机绑定的存储单元为可用存储单元。
本实施例的一种实现方式中，可以从存储资源池数据库中获取目标存储资源池中所有可用存储单元的容量、带宽、IOPS等存储参数信息，然后将可用存储单元的存储参数以及用户的存储需求输入到三阶判决模型中，判断可用存储单元的存储参数是否满足三阶判决模型，若满足，则将该可用存储单元标记为第一存储单元，若不满足，则不进行标记。由此，可以从目标资源池中初步筛选出第一存储单元集合，以缩小目标存储单元的筛选范围。
其中，三阶判决模型为：
Figure BDA0002550397040000071
其中，Xuser表示容量需求，Yuser表示带宽需求，Zuser表示IOPS需求。
Xdec表示容量判决因子，Ydec表示带宽判决因子，Zdec表示IOPS判决因子，Xdec，Ydec，Zdec这三个判决因子为经验值，可通过多次迭代测试得到。
Xm表示目标存储资源池中第m个可用存储单元的容量，Ym表示目标存储资源池中第m个可用存储单元的带宽，Zm表示目标存储资源池中第m个可用存储单元的IOPS。
Km表示目标存储资源池中第m个可用存储单元的可用端口组中的端口个数。其中，存储单元的可用端口组中的端口用于供用户主机与存储单元之间进行通信。
S104：根据所述第一存储单元集合中存储单元的存储参数与所述存储需求的均方根误差确定目标存储单元。
在本实施例的一种实现方式中，可以分别计算第一存储单元集合中各存储单元的存储参数与存储需求的均方根误差，然后将存储参数与存储需求的均方根误差最小的存储单元作为目标存储单元。
其中，可以首先通过下述公式计算各存储单元的存储参数与存储需求的均方根误差：
Figure BDA0002550397040000081
其中，Xuser表示容量需求，Yuser表示带宽需求，Zuser表示IOPS需求，Xj,sec表示第一存储单元集合中第j个存储单元的容量，Yj,sec表示第一存储单元集合中第j个存储单元的带宽，Zj,sec表示第一存储单元集合中第j个存储单元的IOPS，Kj,sec表示第一存储单元集合中第j个存储单元的可用端口组中的端口个数。
在计算出各存储单元的存储参数与存储需求的均方根误差的基础上，可以将均方根误差最小值对应的存储单元作为目标存储单元，也就是说，确定出的目标存储单元为存储参数与用户需求的均方根误差最小的最优存储单元，其均方根误差：
RMSEtarget＝min{RMSE1,sec,RMSE2,sec,RMSE3,sec,...,RMSEn,sec}。
S105：将所述目标存储单元分配给所述用户。
在本实施例的一种实施方式中，可以将目标存储单元与用户主机绑定，使目标存储单元为用户主机提供存储资源服务，从而将目标存储单元分配给所述用户。
本实施例所述的分配存储单元的方法采用非串行执行逻辑，可以快速匹配用户需求。并且，其通过三阶判决模型缩小目标存储单元的选取范围，根据存储资源池级别、存储容量、存储带宽、存储IOPS等参数综合确定目标存储单元，能够有效提高存储资源的使用率、降低存储成本。
图2示出了根据本发明另一个实施例的分配存储单元的装置模块示意图。如图2所示，本实施例的分配存储单元的装置10包括：存储需求获取模块11、目标资源池确定模块12、第一存储单元筛选模块13、目标存储单元确定模块14以及分配模块15。
其中，存储需求获取模块11，用于获取用户的存储需求信息，所述存储需求信息包括：用户主机的主机信息、容量需求、带宽需求、IOPS需求；
目标资源池确定模块12，用于根据所述存储需求信息确定目标存储资源池；
第一存储单元筛选模块13，用于根据所述容量需求、带宽需求、IOPS需求以及所述目标资源池中存储单元的存储参数从所述目标资源池的可用存储单元中筛选出第一存储单元集合，其中，所述存储单元的存储参数包括：所述存储单元的容量、带宽、IOPS；
目标存储单元确定模块14，根据所述第一存储单元集合中存储单元的存储参数与所述存储需求的均方根误差确定目标存储单元；
分配模块15，用于将所述目标存储单元分配给所述用户。
在本实施例的一种实现方式中，目标资源池确定模块12还包括：
存储资源池级别确定单元，用于根据所述容量需求、带宽需求、IOPS需求确定所需的存储资源池级别；
目标存储资源池确定单元，用于根据所述主机信息从与所述用户主机位于同一存储网络的存储资源池中确定出与所述存储资源池级别对应的目标存储资源池。
在本实施例的一种实现方式中，所述存储需求信息还包括：所需的存储***；
所述目标存储资源池确定单元，还用于根据所需的存储***和存储资源池级别从与所述用户主机位于同一存储网络的存储资源池中确定出目标存储资源池。
在本实施例的一种实现方式中，第一存储单元筛选模块13包括：
存储参数获取单元，用于从存储资源池数据库中获取所述目标存储资源池中存储单元的存储参数；
筛选单元，用于根据所述容量需求、带宽需求、IOPS需求以及所述目标资源池中存储单元的存储参数从所述目标存储资源池的可用存储单元中筛选出满足三阶判决模型的存储单元，
其中，所述三阶判决模型为：
Figure BDA0002550397040000101
其中，Xuser表示容量需求，Yuser表示带宽需求，Zuser表示IOPS需求，Xdec表示容量判决因子，Ydec表示带宽判决因子，Zdec表示IOPS判决因子，Xm表示目标存储资源池中第m个可用存储单元的容量，Ym表示目标存储资源池中第m个可用存储单元的带宽，Zm表示目标存储资源池中第m个可用存储单元的IOPS，Km表示目标存储资源池中第m个可用存储单元的可用端口组中的端口个数；
标记单元，用于将满足所述三阶判决模型的存储单元标记为第一存储单元。
在本实施例的一种实现方式中，目标存储单元确定模块14包括：
均方根误差计算单元，用于通过下述公式分别计算所述第一存储单元中各存储单元的存储参数与所述存储需求的均方根误差：
Figure BDA0002550397040000102
其中，Xuser表示容量需求，Yuser表示带宽需求，Zuser表示IOPS需求，Xj,sec表示第一存储单元集合中第j个存储单元的容量，Yj,sec表示第一存储单元集合中第j个存储单元的带宽，Zj,sec表示第一存储单元集合中第j个存储单元的IOPS，Kj,sec表示第一存储单元集合中第j个存储单元的可用端口组中的端口个数；
目标存储单元确定单元，用于根据各存储单元的均方根误差从所述第一存储单元集合中确定出均方根误差最小的存储单元作为目标存储单元。
本实施例所述的装置可用于执行上述方法实施例中的对应过程，其工作原理和执行方法可参见上述方法实施例的对应过程，在此不再赘述。
通过以上的实施例的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施方式的某些部分所述的方法。
本发明的再一个实施例提供一种计算机存储介质，如硬盘、光盘、闪存、软盘、磁带等，其上存储有计算机可读指令，该计算机可读指令能够被处理器执行以实现上述实施例所述的分配存储单元的方法。
本发明的又一个实施例提供一种计算机设备，包括：
存储器，其上存储有计算机程序，
处理器，其可以执行所述计算机程序以实现上述实施例所述的分配存储单元的方法。
本说明书中使用的术语和措辞仅仅为了举例说明，并不意味构成限定。本领域技术人员应当理解，在不脱离所公开的实施方式的基本原理的前提下，对上述实施方式中的各细节可进行各种变化。因此，本发明的保护范围只由权利要求确定，在权利要求中，除非另有说明，所有的术语应按最宽泛合理的意思进行理解。

Claims (12)

1.一种分配存储单元的方法，其特征在于，所述方法包括：
获取用户的存储需求信息，所述存储需求信息包括：用户主机的主机信息、容量需求、带宽需求、IOPS需求；
根据所述存储需求信息确定目标存储资源池；
根据所述容量需求、带宽需求、IOPS需求以及所述目标资源池中存储单元的存储参数从所述目标资源池的可用存储单元中筛选出第一存储单元集合，其中，所述存储单元的存储参数包括：容量、带宽、IOPS；
根据所述第一存储单元集合中存储单元的存储参数与所述存储需求的均方根误差确定目标存储单元；
将所述目标存储单元分配给所述用户。
2.根据权利要求1所述的分配存储单元的方法，其特征在于，所述根据所述存储需求信息确定目标存储资源池包括：
根据所述容量需求、带宽需求、IOPS需求确定所需的存储资源池级别；
根据所述主机信息从与所述用户主机位于同一存储网络的存储资源池中确定出与所述存储资源池级别对应的目标存储资源池。
3.根据权利要求2所述的分配存储单元的方法，其特征在于，
所述存储需求信息还包括：所需的存储***；
所述根据所述存储需求信息确定目标存储资源池还包括：
根据所需的存储***和存储资源池级别从与所述用户主机位于同一存储网络的存储资源池中确定出目标存储资源池。
4.根据权利要求1所述的分配存储单元的方法，其特征在于，所述根据所述容量需求、带宽需求、IOPS需求以及所述目标资源池中存储单元的存储参数从所述目标资源池的可用存储单元中筛选出第一存储单元集合包括：
从存储资源池数据库中获取所述目标存储资源池中存储单元的存储参数；
根据所述容量需求、带宽需求、IOPS需求以及所述目标资源池中存储单元的存储参数从所述目标存储资源池的可用存储单元中筛选出满足三阶判决模型的存储单元；
其中，所述三阶判决模型为：
Figure FDA0002550397030000021
其中，Xuser表示容量需求，Yuser表示带宽需求，Zuser表示IOPS需求，Xdec表示容量判决因子，Ydec表示带宽判决因子，Zdec表示IOPS判决因子，Xm表示目标存储资源池中第m个可用存储单元的容量，Ym表示目标存储资源池中第m个可用存储单元的带宽，Zm表示目标存储资源池中第m个可用存储单元的IOPS，Km表示目标存储资源池中第m个可用存储单元的可用端口组中的端口个数；
将满足所述三阶判决模型的存储单元标记为第一存储单元。
5.根据权利要求1所述的分配存储单元的方法，其特征在于，所述根据所述第一存储单元集合中存储单元的存储参数与所述存储需求的均方根误差确定目标存储单元包括：
通过下述公式分别计算所述第一存储单元集合中各存储单元的存储参数与所述存储需求的均方根误差：
Figure FDA0002550397030000022
其中，Xuser表示容量需求，Yuser表示带宽需求，Zuser表示IOPS需求，Xj,sec表示第一存储单元集合中第j个存储单元的容量，Yj,sec表示第一存储单元集合中第j个存储单元的带宽，Zj,sec表示第一存储单元集合中第j个存储单元的IOPS，Kj,sec表示第一存储单元集合中第j个存储单元的可用端口组中的端口个数；
根据各存储单元的均方根误差从所述第一存储单元集合中确定出均方根误差最小的存储单元作为目标存储单元。
6.一种分配存储单元的装置，其特征在于，所述装置包括：
存储需求获取模块，用于获取用户的存储需求信息，所述存储需求信息包括：用户主机的主机信息、容量需求、带宽需求、IOPS需求；
目标资源池确定模块，用于根据所述存储需求信息确定目标存储资源池；
第一存储单元筛选模块，用于根据所述容量需求、带宽需求、IOPS需求以及所述目标资源池中存储单元的存储参数从所述目标资源池的可用存储单元中筛选出第一存储单元集合，其中，所述存储单元的存储参数包括：所述存储单元的容量、带宽、IOPS；
目标存储单元确定模块，根据所述第一存储单元集合中存储单元的存储参数与所述存储需求的均方根误差确定目标存储单元；
分配模块，用于将所述目标存储单元分配给所述用户。
7.根据权利要求6所述的分配存储单元的装置，其特征在于，所述目标资源池确定模块包括：
存储资源池级别确定单元，用于根据所述容量需求、带宽需求、IOPS需求确定所需的存储资源池级别；
目标存储资源池确定单元，用于根据所述主机信息从与所述用户主机位于同一存储网络的存储资源池中确定出与所述存储资源池级别对应的目标存储资源池。
8.根据权利要求7所述的分配存储单元的装置，其特征在于，
所述存储需求信息还包括：所需的存储***；
所述目标存储资源池确定单元，还用于根据所需的存储***和存储资源池级别从与所述用户主机位于同一存储网络的存储资源池中确定出目标存储资源池。
9.根据权利要求6所述的分配存储单元的装置，其特征在于，所述第一存储单元筛选模块包括：
存储参数获取单元，用于从存储资源池数据库中获取所述目标存储资源池中存储单元的存储参数；
筛选单元，用于根据所述容量需求、带宽需求、IOPS需求以及所述目标资源池中存储单元的存储参数从所述目标存储资源池的可用存储单元中筛选出满足三阶判决模型的存储单元，
其中，所述三阶判决模型为：
Figure FDA0002550397030000041
其中，Xuser表示容量需求，Yuser表示带宽需求，Zuser表示IOPS需求，Xdec表示容量判决因子，Ydec表示带宽判决因子，Zdec表示IOPS判决因子，Xm表示目标存储资源池中第m个可用存储单元的容量，Ym表示目标存储资源池中第m个可用存储单元的带宽，Zm表示目标存储资源池中第m个可用存储单元的IOPS，Km表示目标存储资源池中第m个可用存储单元的可用端口组中的端口个数；
标记单元，用于将满足所述三阶判决模型的存储单元标记为第一存储单元。
10.根据权利要求6所述的分配存储单元的装置，其特征在于，所述目标存储单元确定模块包括：
均方根误差计算单元，用于通过下述公式分别计算所述第一存储单元中各存储单元的存储参数与所述存储需求的均方根误差：
Figure FDA0002550397030000042
其中，Xuser表示容量需求，Yuser表示带宽需求，Zuser表示IOPS需求，Xj,sec表示第一存储单元集合中第j个存储单元的容量，Yj,sec表示第一存储单元集合中第j个存储单元的带宽，Zj,sec表示第一存储单元集合中第j个存储单元的IOPS，Kj,sec表示第一存储单元集合中第j个存储单元的可用端口组中的端口个数；
目标存储单元确定单元，用于根据各存储单元的均方根误差从所述第一存储单元集合中确定出均方根误差最小的存储单元作为目标存储单元。
11.一种计算机存储介质，其上存储有计算机指令，其特征在于，该计算机指令能够被处理器执行以实现权利要求1-5中任意一项权利要求所述的分配存储单元的方法。
12.一种计算机设备，其特征在于，所述计算机包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述计算机程序以实现权利要求1-5中任意一项权利要求所述的分配存储单元的方法。
CN202010573182.7A 2020-06-22 2020-06-22 分配存储单元的方法及相关设备 Active CN111930299B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010573182.7A CN111930299B (zh) 2020-06-22 2020-06-22 分配存储单元的方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010573182.7A CN111930299B (zh) 2020-06-22 2020-06-22 分配存储单元的方法及相关设备

Publications (2)

Publication Number Publication Date
CN111930299A true CN111930299A (zh) 2020-11-13
CN111930299B CN111930299B (zh) 2024-01-26

Family

ID=73316895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010573182.7A Active CN111930299B (zh) 2020-06-22 2020-06-22 分配存储单元的方法及相关设备

Country Status (1)

Country Link
CN (1) CN111930299B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721855A (zh) * 2021-09-01 2021-11-30 中国建设银行股份有限公司 存储资源的存储方法、装置、电子设备及计算机存储介质

Citations (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030236961A1 (en) * 2000-11-07 2003-12-25 Qiu Chaoxin C. Systems and methods for management of memory in information delivery environments
US20090216910A1 (en) * 2007-04-23 2009-08-27 Duchesneau David D Computing infrastructure
CN103036688A (zh) * 2013-01-05 2013-04-10 浪潮电子信息产业股份有限公司 一种用户使用云存储服务的计费管理方法
WO2013076736A2 (en) * 2011-10-12 2013-05-30 Tata Consultancy Services Limited A method and system for consolidating a plurality of heterogeneous storage systems in a data center
US20140025909A1 (en) * 2012-07-10 2014-01-23 Storone Ltd. Large scale storage system
TW201416881A (zh) * 2013-12-09 2014-05-01 Annethen Technology Co Ltd 分散式記憶體磁碟群集儲存系統運作方法
CN103873559A (zh) * 2014-02-13 2014-06-18 南京斯坦德通信股份有限公司 一种高速存储的数据库一体机
US20150113223A1 (en) * 2013-10-18 2015-04-23 Fusion-Io, Inc. Systems and methods for adaptive reserve storage
CN104965677A (zh) * 2015-06-26 2015-10-07 北京百度网讯科技有限公司 存储***
US9286261B1 (en) * 2011-11-14 2016-03-15 Emc Corporation Architecture and method for a burst buffer using flash technology
US20160359683A1 (en) * 2014-02-27 2016-12-08 Intel Corporation Workload optimization, scheduling, and placement for rack-scale architecture computing systems
US9524111B1 (en) * 2016-03-07 2016-12-20 FittedCloud, Inc. Devices, systems, apparatus, and methods for transparent and automated optimization of storage resource allocation in a cloud services system
CN106502576A (zh) * 2015-09-06 2017-03-15 中兴通讯股份有限公司 迁移策略调整方法、容量变更建议方法及装置
US20170149688A1 (en) * 2015-11-25 2017-05-25 International Business Machines Corporation Configuring resources to exploit elastic network capability
WO2017088717A1 (zh) * 2015-11-23 2017-06-01 华为技术有限公司 一种存储资源分配方法及存储资源分配***
CN107506314A (zh) * 2016-06-14 2017-12-22 伊姆西公司 用于管理存储***的方法和装置
CN107590069A (zh) * 2017-08-16 2018-01-16 国家电网公司 一种软件定义存储性能评测方法
CN107728936A (zh) * 2017-09-05 2018-02-23 华为技术有限公司 用于传输数据处理请求的方法和装置
US9983795B1 (en) * 2015-03-31 2018-05-29 EMC IP Holding Company LLC Techniques for determining a storage configuration
CN207833486U (zh) * 2018-02-26 2018-09-07 湖南国科微电子股份有限公司 一种基于fpga的固态存储***
CN109062768A (zh) * 2018-08-09 2018-12-21 网宿科技股份有限公司 缓存服务器的io性能评估方法和装置
CN109154883A (zh) * 2017-03-22 2019-01-04 波利伍德有限责任公司 驱动级内部服务质量
US20190102107A1 (en) * 2017-09-29 2019-04-04 Intel Corporation Techniques for batch operations to storage devices
US20190227845A1 (en) * 2018-01-25 2019-07-25 Vmware Inc. Methods and apparatus to improve resource allocation for virtualized server systems
CN110300134A (zh) * 2018-03-22 2019-10-01 杭州海康威视***技术有限公司 云存储资源池的存储空间调整方法、装置及云存储***

Patent Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030236961A1 (en) * 2000-11-07 2003-12-25 Qiu Chaoxin C. Systems and methods for management of memory in information delivery environments
US20090216910A1 (en) * 2007-04-23 2009-08-27 Duchesneau David D Computing infrastructure
WO2013076736A2 (en) * 2011-10-12 2013-05-30 Tata Consultancy Services Limited A method and system for consolidating a plurality of heterogeneous storage systems in a data center
US9286261B1 (en) * 2011-11-14 2016-03-15 Emc Corporation Architecture and method for a burst buffer using flash technology
US20140025909A1 (en) * 2012-07-10 2014-01-23 Storone Ltd. Large scale storage system
CN103036688A (zh) * 2013-01-05 2013-04-10 浪潮电子信息产业股份有限公司 一种用户使用云存储服务的计费管理方法
US20150113223A1 (en) * 2013-10-18 2015-04-23 Fusion-Io, Inc. Systems and methods for adaptive reserve storage
TW201416881A (zh) * 2013-12-09 2014-05-01 Annethen Technology Co Ltd 分散式記憶體磁碟群集儲存系統運作方法
US20150160872A1 (en) * 2013-12-09 2015-06-11 Hsun-Yuan Chen Operation method of distributed memory disk cluster storage system
CN103873559A (zh) * 2014-02-13 2014-06-18 南京斯坦德通信股份有限公司 一种高速存储的数据库一体机
US20160359683A1 (en) * 2014-02-27 2016-12-08 Intel Corporation Workload optimization, scheduling, and placement for rack-scale architecture computing systems
US9983795B1 (en) * 2015-03-31 2018-05-29 EMC IP Holding Company LLC Techniques for determining a storage configuration
CN104965677A (zh) * 2015-06-26 2015-10-07 北京百度网讯科技有限公司 存储***
CN106502576A (zh) * 2015-09-06 2017-03-15 中兴通讯股份有限公司 迁移策略调整方法、容量变更建议方法及装置
WO2017088717A1 (zh) * 2015-11-23 2017-06-01 华为技术有限公司 一种存储资源分配方法及存储资源分配***
US20170149688A1 (en) * 2015-11-25 2017-05-25 International Business Machines Corporation Configuring resources to exploit elastic network capability
US9524111B1 (en) * 2016-03-07 2016-12-20 FittedCloud, Inc. Devices, systems, apparatus, and methods for transparent and automated optimization of storage resource allocation in a cloud services system
CN107506314A (zh) * 2016-06-14 2017-12-22 伊姆西公司 用于管理存储***的方法和装置
CN109154883A (zh) * 2017-03-22 2019-01-04 波利伍德有限责任公司 驱动级内部服务质量
CN107590069A (zh) * 2017-08-16 2018-01-16 国家电网公司 一种软件定义存储性能评测方法
CN107728936A (zh) * 2017-09-05 2018-02-23 华为技术有限公司 用于传输数据处理请求的方法和装置
US20190102107A1 (en) * 2017-09-29 2019-04-04 Intel Corporation Techniques for batch operations to storage devices
US20190227845A1 (en) * 2018-01-25 2019-07-25 Vmware Inc. Methods and apparatus to improve resource allocation for virtualized server systems
CN207833486U (zh) * 2018-02-26 2018-09-07 湖南国科微电子股份有限公司 一种基于fpga的固态存储***
CN110300134A (zh) * 2018-03-22 2019-10-01 杭州海康威视***技术有限公司 云存储资源池的存储空间调整方法、装置及云存储***
CN109062768A (zh) * 2018-08-09 2018-12-21 网宿科技股份有限公司 缓存服务器的io性能评估方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张晶华;张昕源;蒋同军;闫洪吉: "《基于闪存阵列的日志结构文件***在桌面云中的应用研究》", 《国网技术学院学报》 *
陈游旻;李飞;舒继武: "《大数据环境下的存储***构建:挑战、方法和趋势》", 《大数据》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113721855A (zh) * 2021-09-01 2021-11-30 中国建设银行股份有限公司 存储资源的存储方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
CN111930299B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN108776934B (zh) 分布式数据计算方法、装置、计算机设备及可读存储介质
US8478845B2 (en) End-to-end provisioning of storage clouds
US9330199B2 (en) Striping of directed graphs and nodes with improved functionality
US20170052831A1 (en) Dynamic data collection pattern for target device
EP2745248A1 (en) System and method for determining and visualizing efficiencies and risks in computing environments
CN104516773A (zh) 用于物理机的数据分配方法和数据分配装置
US20120323821A1 (en) Methods for billing for data storage in a tiered data storage system
CN108491255B (zh) 自助式MapReduce数据优化分配方法及***
US10496282B1 (en) Adaptive port management to meet service level objectives using reinforcement learning
CN106339802A (zh) 任务分配的方法和装置、电子设备
WO2016008338A1 (zh) 一种i/o请求处理方法及存储***
CN109669915A (zh) 一种计算机任务管理方法、装置及相关设备
CN109558232B (zh) 并行度的确定方法、装置、设备及介质
CN111625367A (zh) 一种动态调整文件***读写资源的方法
CN111930299B (zh) 分配存储单元的方法及相关设备
CN108614738A (zh) 一种面向交互式Spark应用的数据动态放置方法
CN108664322A (zh) 数据处理方法及***
CN111158595A (zh) 企业级异构存储资源调度方法及***
CN109445863A (zh) 一种基于fpga的数据处理方法、装置、设备及介质
US20230082903A1 (en) Autonomic application service framework
CN106126123B (zh) 一种宿主机卷分配的方法、装置及***
CN111143177B (zh) Ibm主机的rmf iii数据的收集方法、***、装置及存储介质
CN103746870A (zh) Cdn分发网络的分析方法、文件分发控制中心及***
CN114489463A (zh) 动态调整存储卷qos的方法、装置及计算设备
CN110188069A (zh) 一种csv文件存储方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant