CN114138181B - 一种绑定池放置组选主的方法、装置、设备及可读介质 - Google Patents
一种绑定池放置组选主的方法、装置、设备及可读介质 Download PDFInfo
- Publication number
- CN114138181B CN114138181B CN202111237021.1A CN202111237021A CN114138181B CN 114138181 B CN114138181 B CN 114138181B CN 202111237021 A CN202111237021 A CN 202111237021A CN 114138181 B CN114138181 B CN 114138181B
- Authority
- CN
- China
- Prior art keywords
- members
- master
- pool
- data structure
- values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000004044 response Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种分布式存储中绑定池放置组选主的方法、装置、设备及可读介质，方法包括：获取基准池中的PG，并根据PG的对应关系获取绑定池中对应的PG，将获取到的PG放入变量结构中；遍历基准池中PG的成员，获取成员所在节点的IP，将获取到的IP作为关键字，将成员和PG的ID作为一组值保存在数据结构中；遍历绑定池中对应的PG的成员，判断成员所在节点IP是否能够在数据结构中查询到；响应于成员所在节点IP能够在数据结构中查询到，将成员和PG的ID作为一组值追加到IP关键字的值的数据结构中；获取每个IP中的值的个数，选取IP中值的个数最多的结构中的成员作为各自PG的主。通过使用本发明的方案，能够提高存储集群的性能，提高产品竞争力。
Description
技术领域
本发明涉及计算机领域，并且更具体地涉及一种分布式存储中绑定池放置组选主的方法、装置、设备及可读介质。
背景技术
在分布式存储***中，存储的内容按照固定大小切割，这一块固定大小的数据称为一个对象，PG就是多个对象的聚合，是一个逻辑上的概念，PG和对象之间通过一致性哈希算法对应起来，一个PG对应于多个对象。而每个PG与OSD的对应是通过数据分布算法对应起来的，一个PG对应于多个OSD，OSD可以简单理解为物理上的磁盘，一个OSD上可以有多个PG，这样想要存储的内容就放置在了磁盘上。存储池就是PG的聚合。
在分布式存储场景下目前存在一种这样的方案，在高速介质如SSD上划分分区部署OSD，用这些OSD创建一个高速缓存存储池，在低速介质HDD上部署OSD，用这些OSD创建一个低速大容量存储池，将这两个存储池进行绑定，所有从客户端来的数据请求都要经过这个高速缓存池，然后由它决定后续逻辑是下发到本池子中处理，还是转发到低速池中处理。而这个转发的过程是由每个PG成员中的主进行决定的，同样只有主能承担读写的业务请求。PG成员中的主指的是在PG的成员OSD中选择一个作为主OSD承担业务读写，其他OSD为从OSD。这两个绑定的存储池之间存在一个PG的对应的关系，也就是高速池的某个PG转发请求时只能转发给它对应的低速池的PG，且只有PG的主有这种转发处理的功能。所以当存储集群压力达到一定程度时，这种对应PG的主转发慢的问题就被暴露了出来，转发慢的一个主要原因就是转发请求需要通过网络，当两个对应PG的主不在同一个节点上时需要通过网络才能传递过去，当网络达到瓶颈时就会限制转发的速度造成存储集群的性能达不到预期。
发明内容
有鉴于此，本发明实施例的目的在于提出一种分布式存储中绑定池放置组选主的方法、装置、设备及可读介质，通过使用本发明的技术方案，能够使得两个绑定的存储池的对应的PG的主尽量在同一个物理节点上，减小了网络的压力，提高存储集群的性能，提高产品竞争力。
基于上述目的，本发明的实施例的一个方面提供了一种分布式存储中绑定池放置组选主的方法，包括以下步骤：
获取基准池中的PG，并根据PG的对应关系获取绑定池中对应的PG，将获取到的基准池中的PG和绑定池中对应的PG放入变量结构中；
遍历基准池中PG的成员，获取成员所在节点的IP，将获取到的IP作为关键字，将成员和PG的ID作为一组值保存在数据结构中；
遍历绑定池中对应的PG的成员，判断成员所在节点IP是否能够在数据结构中查询到；
响应于成员所在节点IP能够在数据结构中查询到，将成员和PG的ID作为一组值追加到IP关键字的值的数据结构中；
获取每个IP中的值的个数，选取IP中值的个数最多的结构中的成员作为各自PG的主。
根据本发明的一个实施例，还包括：
响应于获取到每个IP中的值的个数相同，将每个IP的数据结构中成员当选为主的次数相加；
选取相加次数最少的成员最为各自PG的主。
根据本发明的一个实施例，还包括：
响应于将每个IP的数据结构中成员当选为主的次数相加后的值相同，计算每个成员所在节点上每个OSD做主的次数的和；
选取做主的次数的和最少的成员作为各自PG的主。
根据本发明的一个实施例，还包括：
响应于将选取的成员设置为各自PG的主，将PG从变量结构中删除；
判断变量结构是否为空；
响应于变量结构不为空，遍历变量结构中剩余的PG的成员并将成员当选为主的次数相加；
选取相加次数最少的成员最为各自PG的主。
本发明的实施例的另一个方面，还提供了一种分布式存储中绑定池放置组选主的装置，装置包括：
获取模块，获取模块配置为获取基准池中的PG，并根据PG的对应关系获取绑定池中对应的PG，将获取到的基准池中的PG和绑定池中对应的PG放入变量结构中；
存储模块，存储模块配置为遍历基准池中PG的成员，获取成员所在节点的IP，将获取到的IP作为关键字，将成员和PG的ID作为一组值保存在数据结构中；
判断模块，判断模块配置为遍历绑定池中对应的PG的成员，判断成员所在节点IP是否能够在数据结构中查询到；
添加模块，添加模块配置为响应于成员所在节点IP能够在数据结构中查询到，将成员和PG的ID作为一组值追加到IP关键字的值的数据结构中；
选择模块，选择模块配置为获取每个IP中的值的个数，选取IP中值的个数最多的结构中的成员作为各自PG的主。
根据本发明的一个实施例，选择模块还配置为：
响应于获取到每个IP中的值的个数相同，将每个IP的数据结构中成员当选为主的次数相加；
选取相加次数最少的成员最为各自PG的主。
根据本发明的一个实施例，选择模块还配置为：
响应于将每个IP的数据结构中成员当选为主的次数相加后的值相同，计算每个成员所在节点上每个OSD做主的次数的和；
选取做主的次数的和最少的成员作为各自PG的主。
根据本发明的一个实施例，还包括删除模块，删除模块配置为：
响应于将选取的成员设置为各自PG的主，将PG从变量结构中删除；
判断变量结构是否为空；
响应于变量结构不为空，遍历变量结构中剩余的PG的成员并将成员当选为主的次数相加；
选取相加次数最少的成员最为各自PG的主。
本发明的实施例的另一个方面，还提供了一种计算机设备，该计算机设备包括：
至少一个处理器；以及
存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现上述任意一项方法的步骤。
本发明的实施例的另一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任意一项方法的步骤。
本发明具有以下有益技术效果：本发明实施例提供的分布式存储中绑定池放置组选主的方法，通过获取基准池中的PG，并根据PG的对应关系获取绑定池中对应的PG，将获取到的基准池中的PG和绑定池中对应的PG放入变量结构中；遍历基准池中PG的成员，获取成员所在节点的IP，将获取到的IP作为关键字，将成员和PG的ID作为一组值保存在数据结构中；遍历绑定池中对应的PG的成员，判断成员所在节点IP是否能够在数据结构中查询到；响应于成员所在节点IP能够在数据结构中查询到，将成员和PG的ID作为一组值追加到IP关键字的值的数据结构中；获取每个IP中的值的个数，选取IP中值的个数最多的结构中的成员作为各自PG的主的技术方案，能够使得两个绑定的存储池的对应的PG的主尽量在同一个物理节点上，减小了网络的压力，提高存储集群的性能，提高产品竞争力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为根据本发明一个实施例的分布式存储中绑定池放置组选主的方法的示意性流程图；
图2为根据本发明一个实施例的分布式存储中绑定池放置组选主的装置的示意图；
图3为根据本发明一个实施例的计算机设备的示意图；
图4为根据本发明一个实施例的计算机可读存储介质的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
基于上述目的，本发明的实施例的第一个方面，提出了一种分布式存储中绑定池放置组选主的方法的一个实施例。图1示出的是该方法的示意性流程图。
如图1中所示，该方法可以包括以下步骤：
S1获取基准池中的PG，并根据PG的对应关系获取绑定池中对应的PG，将获取到的基准池中的PG和绑定池中对应的PG放入变量结构中。
以PG数较少的存储池作为基准池，另一存储池称为该基准池的绑定池，由于存储池PG个数总为2的整数次幂，所以即便两个存储池PG数目不同，也是成2的整数倍的关系。由此可知下列PG对应关系总是成立：以PG个数较少的存储池pool1作为基准，PG个数较多的存储池内的PG可按照pool1的PG数进行切分，切分的每一份中的PG数与pool1的PG数相等，将每一份都与pool1的PG进行一一对应，即可得到PG的对应关系。获取到基准池中的第一个PG和绑定池中对应的PG，将这些PG防盗变量结构中，如图2所示，对应PG(group_pgs)：1.0,2.0,2.1024表示，基准池1中的0号PG对应绑定池2中的0号PG和绑定池2中的1024号PG。
S2遍历基准池中PG的成员，获取成员所在节点的IP，将获取到的IP作为关键字，将成员和PG的ID作为一组值保存在数据结构中。
每个PG都有多个OSD成员，每个成员都有其所在的节点IP，将这些成员中的节点IP和对应的OSD成员进行统计，然后以节点IP为关键字，将OSD成员和PG的ID作为一组值保存在数据结构中，如图3所示，IP127.0.0.1中的值表示基准池1中的0号PG对应的0号OSD，IP127.0.0.2中的值表示基准池1中的0号PG对应的6号OSD，依次类推。
S3遍历绑定池中对应的PG的成员，判断成员所在节点IP是否能够在数据结构中查询到。
S4响应于成员所在节点IP能够在数据结构中查询到，将成员和PG的ID作为一组值追加到IP关键字的值的数据结构中。
然后遍历基准池1中0号PG对应的绑定池的PG的成员，查看成员所在节点IP是否能够在数据结构中查询到，如图4所示，IP127.0.0.1中增加的值为绑定池2中的0号PG对应的1号OSD，和绑定池2中的1024号PG对应的2号OSD，依次类推。
S5获取每个IP中的值的个数，选取IP中值的个数最多的结构中的成员作为各自PG的主。
如图4所示，IP127.0.0.1中有3个值，个数最多，则将这3个值对应的OSD选为各自PG的主。完成上述步骤后，再从基准池中第二个PG重新开始上述步骤，直到所有的PG的主全部设置完成。
通过本发明的技术方案，能够使得两个绑定的存储池的对应的PG的主尽量在同一个物理节点上，减小了网络的压力，提高存储集群的性能，提高产品竞争力。
在本发明的一个优选实施例中，还包括：
响应于获取到每个IP中的值的个数相同，将每个IP的数据结构中成员当选为主的次数相加；
选取相加次数最少的成员最为各自PG的主。如果数据结构中每个IP中的数据的个数相同，则统计每个成员做主的次数，选取次数最少的成员做PG的主。
在本发明的一个优选实施例中，还包括：
响应于将每个IP的数据结构中成员当选为主的次数相加后的值相同，计算每个成员所在节点上每个OSD做主的次数的和；
选取做主的次数的和最少的成员作为各自PG的主。如果成员做主的次数也相同，则统计节点上的成员做主的次数的和，选取节点上成员做主的次数的和最小的成员做PG的主。
在本发明的一个优选实施例中，还包括：
响应于将选取的成员设置为各自PG的主，将PG从变量结构中删除；
判断变量结构是否为空；
响应于变量结构不为空，遍历变量结构中剩余的PG的成员并将成员当选为主的次数相加；
选取相加次数最少的成员最为各自PG的主。变量结构为group_pgs，将选取的主修改完成后，更新OSD主计数和节点主计数，并将这些PG从group_pgs中删除，如果group_pgs不为空，说明存在有PG的成员未当选，遍历这样的PG的成员，选取OSD主计数最少的成员为主，相同则比较OSD所在节点的主计数，少的当选，并更新OSD主计数和节点主计数。
需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，上述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中存储介质可为磁碟、光盘、只读存储器(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，RAM)等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。
此外，根据本发明实施例公开的方法还可以被实现为由CPU执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被CPU执行时，执行本发明实施例公开的方法中限定的上述功能。
基于上述目的，本发明的实施例的第二个方面，提出了一种分布式存储中绑定池放置组选主的装置，如图2所示，装置200包括：
获取模块，获取模块配置为获取基准池中的PG，并根据PG的对应关系获取绑定池中对应的PG，将获取到的基准池中的PG和绑定池中对应的PG放入变量结构中；
存储模块，存储模块配置为遍历基准池中PG的成员，获取成员所在节点的IP，将获取到的IP作为关键字，将成员和PG的ID作为一组值保存在数据结构中；
判断模块，判断模块配置为遍历绑定池中对应的PG的成员，判断成员所在节点IP是否能够在数据结构中查询到；
添加模块，添加模块配置为响应于成员所在节点IP能够在数据结构中查询到，将成员和PG的ID作为一组值追加到IP关键字的值的数据结构中；
选择模块，选择模块配置为获取每个IP中的值的个数，选取IP中值的个数最多的结构中的成员作为各自PG的主。
在本发明的一个优选实施例中，选择模块还配置为：
响应于获取到每个IP中的值的个数相同，将每个IP的数据结构中成员当选为主的次数相加；
选取相加次数最少的成员最为各自PG的主。
在本发明的一个优选实施例中，选择模块还配置为：
响应于将每个IP的数据结构中成员当选为主的次数相加后的值相同，计算每个成员所在节点上每个OSD做主的次数的和；
选取做主的次数的和最少的成员作为各自PG的主。
在本发明的一个优选实施例中，还包括删除模块，删除模块配置为：
响应于将选取的成员设置为各自PG的主，将PG从变量结构中删除；
判断变量结构是否为空；
响应于变量结构不为空，遍历变量结构中剩余的PG的成员并将成员当选为主的次数相加；
选取相加次数最少的成员最为各自PG的主。
基于上述目的，本发明实施例的第三个方面，提出了一种计算机设备。图3示出的是本发明提供的计算机设备的实施例的示意图。如图3所示，本发明实施例包括如下装置：至少一个处理器21；以及存储器22，存储器22存储有可在处理器上运行的计算机指令23，指令由处理器执行时实现以下方法：
获取基准池中的PG，并根据PG的对应关系获取绑定池中对应的PG，将获取到的基准池中的PG和绑定池中对应的PG放入变量结构中；
遍历基准池中PG的成员，获取成员所在节点的IP，将获取到的IP作为关键字，将成员和PG的ID作为一组值保存在数据结构中；
遍历绑定池中对应的PG的成员，判断成员所在节点IP是否能够在数据结构中查询到；
响应于成员所在节点IP能够在数据结构中查询到，将成员和PG的ID作为一组值追加到IP关键字的值的数据结构中；
获取每个IP中的值的个数，选取IP中值的个数最多的结构中的成员作为各自PG的主。
在本发明的一个优选实施例中，还包括：
响应于获取到每个IP中的值的个数相同，将每个IP的数据结构中成员当选为主的次数相加；
选取相加次数最少的成员最为各自PG的主。
在本发明的一个优选实施例中，还包括：
响应于将每个IP的数据结构中成员当选为主的次数相加后的值相同，计算每个成员所在节点上每个OSD做主的次数的和；
选取做主的次数的和最少的成员作为各自PG的主。
在本发明的一个优选实施例中，还包括：
响应于将选取的成员设置为各自PG的主，将PG从变量结构中删除；
判断变量结构是否为空；
响应于变量结构不为空，遍历变量结构中剩余的PG的成员并将成员当选为主的次数相加；
选取相加次数最少的成员最为各自PG的主。
基于上述目的，本发明实施例的第四个方面，提出了一种计算机可读存储介质。图4示出的是本发明提供的计算机可读存储介质的实施例的示意图。如图4所示，计算机可读存储介质S31存储有被处理器执行时执行如下方法的计算机程序S32：
获取基准池中的PG，并根据PG的对应关系获取绑定池中对应的PG，将获取到的基准池中的PG和绑定池中对应的PG放入变量结构中；
遍历基准池中PG的成员，获取成员所在节点的IP，将获取到的IP作为关键字，将成员和PG的ID作为一组值保存在数据结构中；
遍历绑定池中对应的PG的成员，判断成员所在节点IP是否能够在数据结构中查询到；
响应于成员所在节点IP能够在数据结构中查询到，将成员和PG的ID作为一组值追加到IP关键字的值的数据结构中；
获取每个IP中的值的个数，选取IP中值的个数最多的结构中的成员作为各自PG的主。
在本发明的一个优选实施例中，还包括：
响应于获取到每个IP中的值的个数相同，将每个IP的数据结构中成员当选为主的次数相加；
选取相加次数最少的成员最为各自PG的主。
在本发明的一个优选实施例中，还包括：
响应于将每个IP的数据结构中成员当选为主的次数相加后的值相同，计算每个成员所在节点上每个OSD做主的次数的和；
选取做主的次数的和最少的成员作为各自PG的主。
在本发明的一个优选实施例中，还包括：
响应于将选取的成员设置为各自PG的主，将PG从变量结构中删除；
判断变量结构是否为空；
响应于变量结构不为空，遍历变量结构中剩余的PG的成员并将成员当选为主的次数相加；
选取相加次数最少的成员最为各自PG的主。
此外，根据本发明实施例公开的方法还可以被实现为由处理器执行的计算机程序，该计算机程序可以存储在计算机可读存储介质中。在该计算机程序被处理器执行时，执行本发明实施例公开的方法中限定的上述功能。
此外，上述方法步骤以及***单元也可以利用控制器以及用于存储使得控制器实现上述步骤或单元功能的计算机程序的计算机可读存储介质实现。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个***的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
在一个或多个示例性设计中，功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则可以将功能作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质来传送。计算机可读介质包括计算机存储介质和通信介质，该通信介质包括有助于将计算机程序从一个位置传送到另一个位置的任何介质。存储介质可以是能够被通用或专用计算机访问的任何可用介质。作为例子而非限制性的，该计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储设备、磁盘存储设备或其它磁性存储设备，或者是可以用于携带或存储形式为指令或数据结构的所需程序代码并且能够被通用或专用计算机或者通用或专用处理器访问的任何其它介质。此外，任何连接都可以适当地称为计算机可读介质。例如，如果使用同轴线缆、光纤线缆、双绞线、数字用户线路(DSL)或诸如红外线、无线电和微波的无线技术来从网站、服务器或其它远程源发送软件，则上述同轴线缆、光纤线缆、双绞线、DSL或诸如红外线、无线电和微波的无线技术均包括在介质的定义。如这里所使用的，磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘、蓝光盘，其中磁盘通常磁性地再现数据，而光盘利用激光光学地再现数据。上述内容的组合也应当包括在计算机可读介质的范围内。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。
Claims (10)
1.一种分布式存储中绑定池放置组选主的方法，其特征在于，包括以下步骤：
获取基准池中的PG，并根据PG的对应关系获取绑定池中对应的PG，将获取到的基准池中的PG和绑定池中对应的PG放入变量结构中；
遍历基准池中所述PG的成员，获取成员所在节点的IP，将获取到的IP作为关键字，将成员和PG的ID作为一组值保存在数据结构中；
遍历绑定池中对应的PG的成员，判断绑定池中对应的PG的成员所在节点IP是否能够在所述数据结构中查询到；
响应于绑定池中对应的PG的成员所在节点IP能够在所述数据结构中查询到，将绑定池中对应的PG的成员和PG的ID作为一组值追加到IP关键字的值的数据结构中；
获取每个IP中的值的个数，选取IP中值的个数最多的结构中的成员作为各自PG的主。
2.根据权利要求1所述的方法，其特征在于，还包括：
响应于获取到每个IP中的值的个数相同，将每个IP的数据结构中成员当选为主的次数相加；
选取相加次数最少的成员作为各自PG的主。
3.根据权利要求2所述的方法，其特征在于，还包括：
响应于将每个IP的数据结构中成员当选为主的次数相加后的值相同，计算每个成员所在节点上每个OSD做主的次数的和；
选取做主的次数的和最少的成员作为各自PG的主。
4.根据权利要求1所述的方法，其特征在于，还包括：
响应于将选取的成员设置为各自PG的主，将PG从所述变量结构中删除；
判断所述变量结构是否为空；
响应于所述变量结构不为空，遍历所述变量结构中剩余的PG的成员并将成员当选为主的次数相加；
选取相加次数最少的成员作为各自PG的主。
5.一种分布式存储中绑定池放置组选主的装置，其特征在于，所述装置包括：
获取模块，所述获取模块配置为获取基准池中的PG，并根据PG的对应关系获取绑定池中对应的PG，将获取到的基准池中的PG和绑定池中对应的PG放入变量结构中；
存储模块，所述存储模块配置为遍历基准池中所述PG的成员，获取成员所在节点的IP，将获取到的IP作为关键字，将成员和PG的ID作为一组值保存在数据结构中；
判断模块，所述判断模块配置为遍历绑定池中对应的PG的成员，判断绑定池中对应的PG的成员所在节点IP是否能够在所述数据结构中查询到；
添加模块，所述添加模块配置为响应于绑定池中对应的PG的成员所在节点IP能够在所述数据结构中查询到，将绑定池中对应的PG的成员和PG的ID作为一组值追加到IP关键字的值的数据结构中；
选择模块，所述选择模块配置为获取每个IP中的值的个数，选取IP中值的个数最多的结构中的成员作为各自PG的主。
6.根据权利要求5所述的装置，其特征在于，选择模块还配置为：
响应于获取到每个IP中的值的个数相同，将每个IP的数据结构中成员当选为主的次数相加；
选取相加次数最少的成员作为各自PG的主。
7.根据权利要求6所述的装置，其特征在于，选择模块还配置为：
响应于将每个IP的数据结构中成员当选为主的次数相加后的值相同，计算每个成员所在节点上每个OSD做主的次数的和；
选取做主的次数的和最少的成员作为各自PG的主。
8.根据权利要求5所述的装置，其特征在于，还包括删除模块，所述删除模块配置为：
响应于将选取的成员设置为各自PG的主，将PG从所述变量结构中删除；
判断所述变量结构是否为空；
响应于所述变量结构不为空，遍历所述变量结构中剩余的PG的成员并将成员当选为主的次数相加；
选取相加次数最少的成员作为各自PG的主。
9.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-4任意一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111237021.1A CN114138181B (zh) | 2021-10-24 | 2021-10-24 | 一种绑定池放置组选主的方法、装置、设备及可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111237021.1A CN114138181B (zh) | 2021-10-24 | 2021-10-24 | 一种绑定池放置组选主的方法、装置、设备及可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114138181A CN114138181A (zh) | 2022-03-04 |
| CN114138181B true CN114138181B (zh) | 2024-06-11 |
Family
ID=80394704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111237021.1A Active CN114138181B (zh) | 2021-10-24 | 2021-10-24 | 一种绑定池放置组选主的方法、装置、设备及可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114138181B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115202589B (zh) * | 2022-09-14 | 2023-02-24 | 浪潮电子信息产业股份有限公司 | 放置组成员选择方法、装置、设备及可读存储介质 |
| CN117061541B (zh) * | 2023-10-11 | 2024-02-09 | 苏州元脑智能科技有限公司 | 存储双池绑定方法、装置、电子设备及可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106503237A (zh) * | 2016-11-04 | 2017-03-15 | 郑州云海信息技术有限公司 | 一种pg成员选择方法、装置、存储池和分布式文件*** |
| CN110018799A (zh) * | 2019-04-12 | 2019-07-16 | 苏州浪潮智能科技有限公司 | 一种存储池pg主确定方法、装置、设备及可读存储介质 |
| CN110222013A (zh) * | 2019-06-11 | 2019-09-10 | 深信服科技股份有限公司 | 一种集群存储容量确定的方法、***、设备及存储介质 |
| CN111414136A (zh) * | 2020-03-13 | 2020-07-14 | 苏州浪潮智能科技有限公司 | 一种存储池的创建方法、***、设备以及介质 |
| CN111708486A (zh) * | 2020-05-24 | 2020-09-25 | 苏州浪潮智能科技有限公司 | 一种主放置组均衡优化的方法、***、设备及介质 |
| CN111752483A (zh) * | 2020-05-28 | 2020-10-09 | 苏州浪潮智能科技有限公司 | 一种存储集群中存储介质变更减少重构数据的方法及*** |
| CN111930317A (zh) * | 2020-09-21 | 2020-11-13 | 柏科数据技术（深圳）股份有限公司 | 基于ceph数据分布方法、装置、服务器及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110169008B (zh) * | 2018-07-10 | 2022-06-03 | 深圳花儿数据技术有限公司 | 一种基于一致性哈希算法的分布式数据冗余存储方法 |
-
2021
- 2021-10-24 CN CN202111237021.1A patent/CN114138181B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106503237A (zh) * | 2016-11-04 | 2017-03-15 | 郑州云海信息技术有限公司 | 一种pg成员选择方法、装置、存储池和分布式文件*** |
| CN110018799A (zh) * | 2019-04-12 | 2019-07-16 | 苏州浪潮智能科技有限公司 | 一种存储池pg主确定方法、装置、设备及可读存储介质 |
| CN110222013A (zh) * | 2019-06-11 | 2019-09-10 | 深信服科技股份有限公司 | 一种集群存储容量确定的方法、***、设备及存储介质 |
| CN111414136A (zh) * | 2020-03-13 | 2020-07-14 | 苏州浪潮智能科技有限公司 | 一种存储池的创建方法、***、设备以及介质 |
| CN111708486A (zh) * | 2020-05-24 | 2020-09-25 | 苏州浪潮智能科技有限公司 | 一种主放置组均衡优化的方法、***、设备及介质 |
| CN111752483A (zh) * | 2020-05-28 | 2020-10-09 | 苏州浪潮智能科技有限公司 | 一种存储集群中存储介质变更减少重构数据的方法及*** |
| CN111930317A (zh) * | 2020-09-21 | 2020-11-13 | 柏科数据技术（深圳）股份有限公司 | 基于ceph数据分布方法、装置、服务器及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114138181A (zh) | 2022-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114138181B (zh) | 一种绑定池放置组选主的方法、装置、设备及可读介质 | |
| CA2822900C (en) | Filtering queried data on data stores | |
| US10901619B2 (en) | Selecting pages implementing leaf nodes and internal nodes of a data set index for reuse | |
| EP2863310B1 (en) | Data processing method and apparatus, and shared storage device | |
| CN108228649B (zh) | 用于数据访问的方法和设备 | |
| CN109710572B (zh) | 一种基于HBase的文件分片方法 | |
| CN107704202B (zh) | 一种数据快速读写的方法和装置 | |
| CN110888837B (zh) | 对象存储小文件归并方法及装置 | |
| US10127254B2 (en) | Method of index recommendation for NoSQL database | |
| WO2016066108A1 (zh) | 路由访问方法、路由访问***及用户终端 | |
| WO2017143957A1 (zh) | 一种数据重分布的方法及装置 | |
| CN103324713B (zh) | 多级服务器中的数据处理方法、装置和数据处理*** | |
| CN107622079A (zh) | 数据存储、查询方法及装置 | |
| CN103973810A (zh) | 基于互联网协议ip盘的数据处理方法和装置 | |
| CN103324533A (zh) | 分布式数据处理方法、装置及*** | |
| CN110781156A (zh) | 一种数据节点的分配方法、设备及介质 | |
| CN104657435A (zh) | 一种应用数据的存储管理方法和网络管理*** | |
| CN104598652B (zh) | 一种数据库查询方法及装置 | |
| CN106503260A (zh) | 一种提高数据库的有效存储空间的方法和装置 | |
| US20130332465A1 (en) | Database management device and database management method | |
| WO2016192057A1 (zh) | 索引表的更新方法和设备 | |
| CN115904211A (zh) | 一种存储***、数据处理方法及相关设备 | |
| CN114138180A (zh) | 一种删除对象的方法、装置、设备及可读介质 | |
| CN111209304B (zh) | 数据处理方法、装置及*** | |
| CN110968267B (zh) | 数据管理方法、装置、服务器及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240419 Address after: Room 1801, Floor 18, Jiyun Investment Building, No. 278, Xinyi Road, Zhengdong New District, Zhengzhou City, Henan Province, 450000 Applicant after: Zhengzhou Inspur Data Technology Co.,Ltd. Country or region after: China Address before: Room s311, building S05, Inspur Science Park, No. 1036, Inspur Road, Jinan area, China (Shandong) pilot Free Trade Zone, Jinan City, Shandong Province Applicant before: Inspur(Jinan)Data Technology Co.,Ltd Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |