CN105577763A - 一种动态副本一致性维护***、方法及云存储平台 - Google Patents
一种动态副本一致性维护***、方法及云存储平台 Download PDFInfo
- Publication number
- CN105577763A CN105577763A CN201510945393.8A CN201510945393A CN105577763A CN 105577763 A CN105577763 A CN 105577763A CN 201510945393 A CN201510945393 A CN 201510945393A CN 105577763 A CN105577763 A CN 105577763A
- Authority
- CN
- China
- Prior art keywords
- file
- updated
- queue
- server end
- replica node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种动态副本一致性维护***、方法及云存储平台，该***包括：请求接收模块，用于接收客户端以强一致性原则，向元数据服务器端发送的副本更新请求；文件获取模块，用于当元数据服务器端对请求接收模块接收到的副本更新请求进行响应后，获取元数据服务器端中相应的更新文件队列；弱一致性维护模块，用于利用更新文件队列，在元数据服务器端与存储服务器端之间执行副本的弱一致性维护处理。本申请同时基于强一致性和弱一致性的原则对云存储平台上的副本进行维护处理，既融合了强一致性原则的副本访问效率较高的优点，也引入了弱一致性原则的***资源消耗较少的优点，从而既避免了消耗过多的***资源，也保证了一定的副本访问效率。
Description
技术领域
本发明涉及云存储技术领域，特别涉及一种动态副本一致性维护***、方法及云存储平台。
背景技术
目前，云存储***中通常会采用副本一致性维护方法，以实现副本之间的同步，例如基于强一致性或弱一致性的原则对副本进行一致性维护处理。然而，当前的云存储***中要么是基于强一致性的原则对副本进行一致性维护，要么是基于弱一致性的原则对副本进行一致性维护处理，其中，基于强一致性的副本维护过程虽然能够确保副本中具有最新的数据，从而有利于提升副本的访问效率，但是却会消耗大量的***资源；而基于弱一致性的副本维护过程虽然消耗的***资源较少，但是副本的访问效率较低。
综上所述可以看出，如何在副本的维护过程中，既要避免消耗过多的***资源，也要保证一定的副本访问效率是目前有待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种动态副本一致性维护***、方法及云存储平台，在副本的维护过程中，既避免了消耗过多的***资源，也保证了一定的副本访问效率。其具体方案如下：
一种动态副本一致性维护***，应用于云存储平台，所述云存储平台包括客户端、元数据服务器端和存储服务器端；所述***包括：
请求接收模块，用于接收所述客户端以强一致性原则，向所述元数据服务器端发送的副本更新请求；
文件获取模块，用于当所述元数据服务器端对所述请求接收模块接收到的副本更新请求进行响应后，获取所述元数据服务器端中相应的更新文件队列；
弱一致性维护模块，用于利用所述更新文件队列，在所述元数据服务器端与所述存储服务器端之间执行副本的弱一致性维护处理。
优选的，所述弱一致性维护模块包括：
热度信息获取子模块，用于获取所述存储服务器端的访问热度文件列表；
文件排序子模块，用于根据所述更新文件队列与所述访问热度文件列表之间的交集文件，对所述更新文件队列进行排序，相应地得到待更新文件优先队列；
副本节点定位子模块，用于对所述待更新文件优先队列中的每一份待更新文件所对应的位于所述存储服务器端的副本节点进行定位，相应地得到待更新副本节点列表；
弱一致性维护子模块，用于利用所述待更新文件优先队列，对所述待更新副本节点列表中的每一副本节点进行一致性维护。
优选的，所述文件排序子模块包括：
第一排序单元，用于当所述更新文件队列与所述访问热度文件列表之间交集文件的数量为0时，将所述更新文件队列中的队列顺序确定为所述待更新文件优先队列的队列顺序；
第二排序单元，用于当所述更新文件队列与所述访问热度文件列表之间交集文件的数量为1时，将该交集文件迁移至所述更新文件队列的队列头部，剩余文件的相对位置保持不变，得到相应的待更新文件优先队列；其中，队列头部的优先级高于队列尾部的优先级；
第三排序单元，用于当所述更新文件队列与所述访问热度文件列表之间交集文件的数量大于1时，根据每一个交集文件的更新权重值，对所有的交集文件进行优先级排序，并将排序后的所有交集文件迁移至所述更新文件队列的队列头部，剩余文件的相对位置保持不变，得到相应的待更新文件优先队列。
优选的，交集文件的更新权重值为根据热度更新比以及未更新副本文件数进行确定的数值；其中，所述热度更新比为副本文件的更新概率与副本文件的访问热度之间的比值。
优选的，所述弱一致性维护子模块包括：
节点负载信息收集单元，用于收集所述待更新副本节点列表中每一副本节点所对应的负载；
节点排序单元，用于基于负载越小优先级越高的排序原则，相应地对所述待更新副本节点列表中的副本节点进行排序，得到待更新副本节点优先队列；
一致性维护单元，用于按照所述待更新副本节点优先队列中每一副本节点的优先级顺序，通过利用所述待更新文件优先队列，依次对所述待更新副本节点优先队列中的每一副本节点进行一致性维护。
本发明还公开了一种动态副本一致性维护方法，应用于云存储平台，所述云存储平台包括客户端、元数据服务器端和存储服务器端；所述方法包括：
接收所述客户端以强一致性原则，向所述元数据服务器端发送的副本更新请求；
当所述元数据服务器端对接收到的副本更新请求进行响应后，获取所述元数据服务器端中相应的更新文件队列；
利用所述更新文件队列，在所述元数据服务器端与所述存储服务器端之间执行副本的弱一致性维护处理。
优选的，所述利用所述更新文件队列，在所述元数据服务器端与所述存储服务器端之间执行副本的弱一致性维护处理的过程，包括：
获取所述存储服务器端的访问热度文件列表；
根据所述更新文件队列与所述访问热度文件列表之间的交集文件，对所述更新文件队列进行排序，相应地得到待更新文件优先队列；
对所述待更新文件优先队列中的每一份待更新文件所对应的位于所述存储服务器端的副本节点进行定位，相应地得到待更新副本节点列表；
利用所述待更新文件优先队列，对所述待更新副本节点列表中的每一副本节点进行一致性维护。
优选的，所述根据所述更新文件队列与所述访问热度文件列表之间的交集文件，对所述更新文件队列进行排序，相应地得到待更新文件优先队列的过程，包括：
当所述更新文件队列与所述访问热度文件列表之间交集文件的数量为0时，将所述更新文件队列中的队列顺序确定为所述待更新文件优先队列的队列顺序；
当所述更新文件队列与所述访问热度文件列表之间交集文件的数量为1时，将该交集文件迁移至所述更新文件队列的队列头部，剩余文件的相对位置保持不变，得到相应的待更新文件优先队列；其中，队列头部的优先级高于队列尾部的优先级；
当所述更新文件队列与所述访问热度文件列表之间交集文件的数量大于1时，根据每一个交集文件的更新权重值，对所有的交集文件进行优先级排序，并将排序后的所有交集文件迁移至所述更新文件队列的队列头部，剩余文件的相对位置保持不变，得到相应的待更新文件优先队列；
其中，交集文件的更新权重值为根据热度更新比以及未更新副本文件数进行确定的数值；所述热度更新比为副本文件的更新概率与副本文件的访问热度之间的比值。
优选的，所述利用所述待更新文件优先队列，对所述待更新副本节点列表中的每一副本节点进行一致性维护的过程，包括：
收集所述待更新副本节点列表中每一副本节点所对应的负载；
基于负载越小优先级越高的排序原则，相应地对所述待更新副本节点列表中的副本节点进行排序，得到待更新副本节点优先队列；
按照所述待更新副本节点优先队列中每一副本节点的优先级顺序，通过利用所述待更新文件优先队列，依次对所述待更新副本节点优先队列中的每一副本节点进行一致性维护。
本发明还公开了一种云存储平台，包括客户端、元数据服务器端和存储服务器端；还包括前述的动态副本一致性维护***。
本发明中，动态副本一致性维护***包括：请求接收模块，用于接收客户端以强一致性原则，向元数据服务器端发送的副本更新请求；文件获取模块，用于当元数据服务器端对请求接收模块接收到的副本更新请求进行响应后，获取元数据服务器端中相应的更新文件队列；弱一致性维护模块，用于利用更新文件队列，在元数据服务器端与存储服务器端之间执行副本的弱一致性维护处理。可见，本发明中，客户端是通过强一致性原则，向云存储平台中的元数据服务器端发送副本更新请求，也即，本发明中元数据服务器端与客户端之间是基于强一致性的原则进行副本维护，而元数据服务器端与存储服务器端之间则基于弱一致性的原则进行副本维护，综上可见，本发明同时基于强一致性和弱一致性的原则对云存储平台上的副本进行维护处理，既融合了强一致性原则的副本访问效率较高的优点，也引入了弱一致性原则的***资源消耗较少的优点，也即，本发明在副本的维护过程中，既避免了消耗过多的***资源，也保证了一定的副本访问效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种动态副本一致性维护***应用结构示意图；
图2为本发明实施例公开的一种动态副本一致性维护方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种动态副本一致性维护***，应用于云存储平台，云存储平台包括客户端、元数据服务器端和存储服务器端；参见图1所示，上述***包括：
请求接收模块11，用于接收客户端以强一致性原则，向元数据服务器端发送的副本更新请求；
文件获取模块12，用于当元数据服务器端对请求接收模块接收到的副本更新请求进行响应后，获取元数据服务器端中相应的更新文件队列；
弱一致性维护模块13，用于利用更新文件队列，在元数据服务器端与存储服务器端之间执行副本的弱一致性维护处理。
需要说明的是，上述元数据服务器端可工作在云存储平台上的管理层和执行层；上述请求接收模块11和文件获取模块12可设置在元数据服务器端上；上述元数据服务器端在接收到客户端基于强一致性原则发送的副本更新请求后，将会对相关的副本进行强一致性维护。
本发明实施例中，动态副本一致性维护***包括：请求接收模块，用于接收客户端以强一致性原则，向元数据服务器端发送的副本更新请求；文件获取模块，用于当元数据服务器端对请求接收模块接收到的副本更新请求进行响应后，获取元数据服务器端中相应的更新文件队列；弱一致性维护模块，用于利用更新文件队列，在元数据服务器端与存储服务器端之间执行副本的弱一致性维护处理。
可见，本发明实施例中，客户端是通过强一致性原则，向云存储平台中的元数据服务器端发送副本更新请求，也即，本发明实施例中元数据服务器端与客户端之间是基于强一致性的原则进行副本维护，而元数据服务器端与存储服务器端之间则基于弱一致性的原则进行副本维护，综上可见，本发明实施例同时基于强一致性和弱一致性的原则对云存储平台上的副本进行维护处理，既融合了强一致性原则的副本访问效率较高的优点，也引入了弱一致性原则的***资源消耗较少的优点，也即，本发明实施例在副本的维护过程中，既避免了消耗过多的***资源，也保证了一定的副本访问效率。
本发明实施例公开了一种具体的动态副本一致性维护***，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：
考虑到更新文件队列中每个文件在存储服务器端上的副本维护迫切度互有不同，在本实施例中，可事先按照副本维护迫切程度的高低顺序，对文件获取模块获取到的更新文件队列进行排列。例如，本实施例中，弱一致性维护模块具体可以包括热度信息获取子模块、文件排序子模块、副本节点定位子模块和弱一致性维护子模块；其中，
热度信息获取子模块，用于获取存储服务器端的访问热度文件列表；其中，热度信息获取子模块可工作于云存储平台的管理层；
文件排序子模块，用于根据更新文件队列与访问热度文件列表之间的交集文件，对更新文件队列进行排序，相应地得到待更新文件优先队列；
副本节点定位子模块，用于对待更新文件优先队列中的每一份待更新文件所对应的位于存储服务器端的副本节点进行定位，相应地得到待更新副本节点列表；其中，副本节点定位子模块可工作于云存储平台的管理层；
弱一致性维护子模块，用于利用待更新文件优先队列，对待更新副本节点列表中的每一副本节点进行一致性维护；其中，弱一致性维护子模块可工作于云存储平台的执行层。
需要说明的是，上述访问热度文件列表是按照访问热度的大小顺序进行排序的文件列表，其中，某一文件的访问热度越高，则该文件的副本维护迫切程度越高。上述文件排序子模块基于更新文件队列与访问热度文件列表之间的交集文件，对更新文件队列进行重新排序，从而得到了待更新文件优先队列。其中，上述交集文件是上述更新文件队列中副本维护迫切程度较高的文件。
具体的，上述文件排序子模块可以包括第一排序单元、第二排序单元和第三排序单元；其中，
第一排序单元，用于当更新文件队列与访问热度文件列表之间交集文件的数量为0时，将更新文件队列中的队列顺序确定为待更新文件优先队列的队列顺序；
第二排序单元，用于当更新文件队列与访问热度文件列表之间交集文件的数量为1时，将该交集文件迁移至更新文件队列的队列头部，剩余文件的相对位置保持不变，得到相应的待更新文件优先队列；其中，队列头部的优先级高于队列尾部的优先级；
第三排序单元，用于当更新文件队列与访问热度文件列表之间交集文件的数量大于1时，根据每一个交集文件的更新权重值，对所有的交集文件进行优先级排序，并将排序后的所有交集文件迁移至更新文件队列的队列头部，剩余文件的相对位置保持不变，得到相应的待更新文件优先队列。
需要说明的是，上述交集文件的更新权重值为根据热度更新比以及未更新副本文件数进行确定的数值；其中，热度更新比为副本文件的更新概率与副本文件的访问热度之间的比值。本实施例中，根据实际应用需要，可以基于热度更新比越大更新权重值越低的原则，以及基于未更新副本文件数越多更新权重值越高的原则，来对每一个交集文件的更新权重值进行确定，其中，某一交集文件的更新权重值越大，表示该交集文件的副本维护迫切程度越高，也即该交集文件的优先级越高。
进一步的，上述弱一致性维护子模块具体可以包括节点负载信息收集单元、节点排序单元和一致性维护单元；其中，
节点负载信息收集单元，用于收集待更新副本节点列表中每一副本节点所对应的负载；
节点排序单元，用于基于负载越小优先级越高的排序原则，相应地对待更新副本节点列表中的副本节点进行排序，得到待更新副本节点优先队列；
一致性维护单元，用于按照待更新副本节点优先队列中每一副本节点的优先级顺序，通过利用待更新文件优先队列，依次对待更新副本节点优先队列中的每一副本节点进行一致性维护。
其中，副本节点对应的负载包括CPU使用率、内存使用率、网络带宽占用率和磁盘I/O使用率等负载信息。可见，本实施例中的弱一致性维护模块可以通过充分利用文件的访问热度信息以及副本节点的负载信息，在元数据服务器端和存储服务器端之间执行副本的弱一致性维护处理，由此可实现提高弱一致性副本维护过程的维护效率。
本发明实施例还公开了一种动态副本一致性维护方法，应用于云存储平台，云存储平台包括客户端、元数据服务器端和存储服务器端；参见图2所示，该方法包括：
步骤S21：接收客户端以强一致性原则，向元数据服务器端发送的副本更新请求；
步骤S22：当元数据服务器端对接收到的副本更新请求进行响应后，获取元数据服务器端中相应的更新文件队列；
步骤S23：利用更新文件队列，在元数据服务器端与存储服务器端之间执行副本的弱一致性维护处理。
具体的，上述步骤S23可以包括：
步骤S231：获取存储服务器端的访问热度文件列表；
步骤S232：根据更新文件队列与访问热度文件列表之间的交集文件，对更新文件队列进行排序，相应地得到待更新文件优先队列；
步骤S233：对待更新文件优先队列中的每一份待更新文件所对应的位于存储服务器端的副本节点进行定位，相应地得到待更新副本节点列表；
步骤S234：利用待更新文件优先队列，对待更新副本节点列表中的每一副本节点进行一致性维护。
进一步的，上述步骤S232具体可以包括：
步骤S2321：当更新文件队列与访问热度文件列表之间交集文件的数量为0时，将更新文件队列中的队列顺序确定为待更新文件优先队列的队列顺序；
步骤S2322：当更新文件队列与访问热度文件列表之间交集文件的数量为1时，将该交集文件迁移至更新文件队列的队列头部，剩余文件的相对位置保持不变，得到相应的待更新文件优先队列；其中，队列头部的优先级高于队列尾部的优先级；
步骤S2323：当更新文件队列与访问热度文件列表之间交集文件的数量大于1时，根据每一个交集文件的更新权重值，对所有的交集文件进行优先级排序，并将排序后的所有交集文件迁移至更新文件队列的队列头部，剩余文件的相对位置保持不变，得到相应的待更新文件优先队列；其中，队列头部的优先级高于队列尾部的优先级；
其中，交集文件的更新权重值为根据热度更新比以及未更新副本文件数进行确定的数值；热度更新比为副本文件的更新概率与副本文件的访问热度之间的比值。
另外，上述步骤S234具体可以包括：
步骤S2341：收集待更新副本节点列表中每一副本节点所对应的负载；
步骤S2342：基于负载越小优先级越高的排序原则，相应地对待更新副本节点列表中的副本节点进行排序，得到待更新副本节点优先队列；
步骤S2343：按照待更新副本节点优先队列中每一副本节点的优先级顺序，通过利用待更新文件优先队列，依次对待更新副本节点优先队列中的每一副本节点进行一致性维护。
可见，本发明实施例中，客户端是通过强一致性原则，向云存储平台中的元数据服务器端发送副本更新请求，也即，本发明实施例中元数据服务器端与客户端之间是基于强一致性的原则进行副本维护，而元数据服务器端与存储服务器端之间则基于弱一致性的原则进行副本维护，综上可见，本发明实施例同时基于强一致性和弱一致性的原则对云存储平台上的副本进行维护处理，既融合了强一致性原则的副本访问效率较高的优点，也引入了弱一致性原则的***资源消耗较少的优点，也即，本发明实施例在副本的维护过程中，既避免了消耗过多的***资源，也保证了一定的副本访问效率。
本发明实施例还公开了一种云存储平台，包括客户端、元数据服务器端和存储服务器端；还包括前述实施例中公开的动态副本一致性维护***，关于该***的具体内容可参考前述实施例中的相关内容，在此不再一一赘述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种动态副本一致性维护***、方法及云存储平台进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种动态副本一致性维护***，其特征在于，应用于云存储平台，所述云存储平台包括客户端、元数据服务器端和存储服务器端；所述***包括：
请求接收模块，用于接收所述客户端以强一致性原则，向所述元数据服务器端发送的副本更新请求；
文件获取模块，用于当所述元数据服务器端对所述请求接收模块接收到的副本更新请求进行响应后，获取所述元数据服务器端中相应的更新文件队列；
弱一致性维护模块，用于利用所述更新文件队列，在所述元数据服务器端与所述存储服务器端之间执行副本的弱一致性维护处理。
2.根据权利要求1所述的动态副本一致性维护***，其特征在于，所述弱一致性维护模块包括：
热度信息获取子模块，用于获取所述存储服务器端的访问热度文件列表；
文件排序子模块，用于根据所述更新文件队列与所述访问热度文件列表之间的交集文件，对所述更新文件队列进行排序，相应地得到待更新文件优先队列；
副本节点定位子模块，用于对所述待更新文件优先队列中的每一份待更新文件所对应的位于所述存储服务器端的副本节点进行定位，相应地得到待更新副本节点列表；
弱一致性维护子模块，用于利用所述待更新文件优先队列，对所述待更新副本节点列表中的每一副本节点进行一致性维护。
3.根据权利要求2所述的动态副本一致性维护***，其特征在于，所述文件排序子模块包括：
第一排序单元，用于当所述更新文件队列与所述访问热度文件列表之间交集文件的数量为0时，将所述更新文件队列中的队列顺序确定为所述待更新文件优先队列的队列顺序；
第二排序单元，用于当所述更新文件队列与所述访问热度文件列表之间交集文件的数量为1时，将该交集文件迁移至所述更新文件队列的队列头部，剩余文件的相对位置保持不变，得到相应的待更新文件优先队列；其中，队列头部的优先级高于队列尾部的优先级；
第三排序单元，用于当所述更新文件队列与所述访问热度文件列表之间交集文件的数量大于1时，根据每一个交集文件的更新权重值，对所有的交集文件进行优先级排序，并将排序后的所有交集文件迁移至所述更新文件队列的队列头部，剩余文件的相对位置保持不变，得到相应的待更新文件优先队列。
4.根据权利要求3所述的动态副本一致性维护***，其特征在于，交集文件的更新权重值为根据热度更新比以及未更新副本文件数进行确定的数值；其中，所述热度更新比为副本文件的更新概率与副本文件的访问热度之间的比值。
5.根据权利要求2至4任一项所述的动态副本一致性维护***，其特征在于，所述弱一致性维护子模块包括：
节点负载信息收集单元，用于收集所述待更新副本节点列表中每一副本节点所对应的负载；
节点排序单元，用于基于负载越小优先级越高的排序原则，相应地对所述待更新副本节点列表中的副本节点进行排序，得到待更新副本节点优先队列；
一致性维护单元，用于按照所述待更新副本节点优先队列中每一副本节点的优先级顺序，通过利用所述待更新文件优先队列，依次对所述待更新副本节点优先队列中的每一副本节点进行一致性维护。
6.一种动态副本一致性维护方法，其特征在于，应用于云存储平台，所述云存储平台包括客户端、元数据服务器端和存储服务器端；所述方法包括：
接收所述客户端以强一致性原则，向所述元数据服务器端发送的副本更新请求；
当所述元数据服务器端对接收到的副本更新请求进行响应后，获取所述元数据服务器端中相应的更新文件队列；
利用所述更新文件队列，在所述元数据服务器端与所述存储服务器端之间执行副本的弱一致性维护处理。
7.根据权利要求6所述的动态副本一致性维护方法，其特征在于，所述利用所述更新文件队列，在所述元数据服务器端与所述存储服务器端之间执行副本的弱一致性维护处理的过程，包括：
获取所述存储服务器端的访问热度文件列表；
根据所述更新文件队列与所述访问热度文件列表之间的交集文件，对所述更新文件队列进行排序，相应地得到待更新文件优先队列；
对所述待更新文件优先队列中的每一份待更新文件所对应的位于所述存储服务器端的副本节点进行定位，相应地得到待更新副本节点列表；
利用所述待更新文件优先队列，对所述待更新副本节点列表中的每一副本节点进行一致性维护。
8.根据权利要求7所述的动态副本一致性维护方法，其特征在于，所述根据所述更新文件队列与所述访问热度文件列表之间的交集文件，对所述更新文件队列进行排序，相应地得到待更新文件优先队列的过程，包括：
当所述更新文件队列与所述访问热度文件列表之间交集文件的数量为0时，将所述更新文件队列中的队列顺序确定为所述待更新文件优先队列的队列顺序；
当所述更新文件队列与所述访问热度文件列表之间交集文件的数量为1时，将该交集文件迁移至所述更新文件队列的队列头部，剩余文件的相对位置保持不变，得到相应的待更新文件优先队列；其中，队列头部的优先级高于队列尾部的优先级；
当所述更新文件队列与所述访问热度文件列表之间交集文件的数量大于1时，根据每一个交集文件的更新权重值，对所有的交集文件进行优先级排序，并将排序后的所有交集文件迁移至所述更新文件队列的队列头部，剩余文件的相对位置保持不变，得到相应的待更新文件优先队列；
其中，交集文件的更新权重值为根据热度更新比以及未更新副本文件数进行确定的数值；所述热度更新比为副本文件的更新概率与副本文件的访问热度之间的比值。
9.根据权利要求7或8所述的动态副本一致性维护方法，其特征在于，所述利用所述待更新文件优先队列，对所述待更新副本节点列表中的每一副本节点进行一致性维护的过程，包括：
收集所述待更新副本节点列表中每一副本节点所对应的负载；
基于负载越小优先级越高的排序原则，相应地对所述待更新副本节点列表中的副本节点进行排序，得到待更新副本节点优先队列；
按照所述待更新副本节点优先队列中每一副本节点的优先级顺序，通过利用所述待更新文件优先队列，依次对所述待更新副本节点优先队列中的每一副本节点进行一致性维护。
10.一种云存储平台，其特征在于，包括客户端、元数据服务器端和存储服务器端；还包括如权利要求1至5任一项所述的动态副本一致性维护***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510945393.8A CN105577763A (zh) | 2015-12-16 | 2015-12-16 | 一种动态副本一致性维护***、方法及云存储平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510945393.8A CN105577763A (zh) | 2015-12-16 | 2015-12-16 | 一种动态副本一致性维护***、方法及云存储平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN105577763A true CN105577763A (zh) | 2016-05-11 |
Family
ID=55887407
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510945393.8A Pending CN105577763A (zh) | 2015-12-16 | 2015-12-16 | 一种动态副本一致性维护***、方法及云存储平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105577763A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106095957A (zh) * | 2016-06-16 | 2016-11-09 | 北京航空航天大学 | 分布式文件***的跨域多副本文件同步方法及装置 |
| CN107239544A (zh) * | 2017-06-05 | 2017-10-10 | 山东浪潮云服务信息科技有限公司 | 一种分布式存储的实现方法及装置 |
| CN107609090A (zh) * | 2017-09-07 | 2018-01-19 | 电子科技大学 | 分布式存储***中多副本弱一致性维护方法 |
| CN107707643A (zh) * | 2017-09-27 | 2018-02-16 | 柏域信息科技（上海）有限公司 | 一种数据存储***中更新数据的方法及装置 |
| CN108920100A (zh) * | 2018-06-25 | 2018-11-30 | 重庆邮电大学 | 基于Ceph的读写模型优化和异构副本组合方法 |
| CN109995558A (zh) * | 2017-12-30 | 2019-07-09 | ***通信集团辽宁有限公司 | 故障信息处理方法、装置、设备及存储介质 |
| CN114244859A (zh) * | 2022-02-23 | 2022-03-25 | 阿里云计算有限公司 | 数据处理方法及装置和电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100325199A1 (en) * | 2009-06-22 | 2010-12-23 | Samsung Electronics Co., Ltd. | Client, brokerage server and method for providing cloud storage |
| CN102546751A (zh) * | 2011-12-06 | 2012-07-04 | 华中科技大学 | 一种分布式文件***分级元数据缓存控制方法 |
| CN103150347A (zh) * | 2013-02-07 | 2013-06-12 | 浙江大学 | 基于文件热度的动态副本管理方法 |
| CN103440182A (zh) * | 2013-09-12 | 2013-12-11 | 重庆大学 | 自适应分配方法及装置、自适应副本一致性方法 |
-
2015
- 2015-12-16 CN CN201510945393.8A patent/CN105577763A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100325199A1 (en) * | 2009-06-22 | 2010-12-23 | Samsung Electronics Co., Ltd. | Client, brokerage server and method for providing cloud storage |
| CN102546751A (zh) * | 2011-12-06 | 2012-07-04 | 华中科技大学 | 一种分布式文件***分级元数据缓存控制方法 |
| CN103150347A (zh) * | 2013-02-07 | 2013-06-12 | 浙江大学 | 基于文件热度的动态副本管理方法 |
| CN103440182A (zh) * | 2013-09-12 | 2013-12-11 | 重庆大学 | 自适应分配方法及装置、自适应副本一致性方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106095957A (zh) * | 2016-06-16 | 2016-11-09 | 北京航空航天大学 | 分布式文件***的跨域多副本文件同步方法及装置 |
| CN106095957B (zh) * | 2016-06-16 | 2019-10-18 | 北京航空航天大学 | 分布式文件***的跨域多副本文件同步方法及装置 |
| CN107239544A (zh) * | 2017-06-05 | 2017-10-10 | 山东浪潮云服务信息科技有限公司 | 一种分布式存储的实现方法及装置 |
| CN107609090A (zh) * | 2017-09-07 | 2018-01-19 | 电子科技大学 | 分布式存储***中多副本弱一致性维护方法 |
| CN107707643A (zh) * | 2017-09-27 | 2018-02-16 | 柏域信息科技（上海）有限公司 | 一种数据存储***中更新数据的方法及装置 |
| CN109995558A (zh) * | 2017-12-30 | 2019-07-09 | ***通信集团辽宁有限公司 | 故障信息处理方法、装置、设备及存储介质 |
| CN109995558B (zh) * | 2017-12-30 | 2021-11-23 | ***通信集团辽宁有限公司 | 故障信息处理方法、装置、设备及存储介质 |
| CN108920100A (zh) * | 2018-06-25 | 2018-11-30 | 重庆邮电大学 | 基于Ceph的读写模型优化和异构副本组合方法 |
| CN114244859A (zh) * | 2022-02-23 | 2022-03-25 | 阿里云计算有限公司 | 数据处理方法及装置和电子设备 |
| CN114244859B (zh) * | 2022-02-23 | 2022-08-16 | 阿里云计算有限公司 | 数据处理方法及装置和电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105577763A (zh) | 一种动态副本一致性维护***、方法及云存储平台 | |
| CN109358965B (zh) | 云计算集群资源调度方法、介质、装置和计算设备 | |
| CN104915407A (zh) | 一种基于Hadoop多作业环境下的资源调度方法 | |
| CN102227121A (zh) | 基于机器学习的分布式缓存策略自适应切换方法及*** | |
| CN107291539B (zh) | 基于资源重要程度的集群程序调度方法 | |
| US8417688B2 (en) | Converting two-tier resource mapping to one-tier resource mapping | |
| CN108563697B (zh) | 一种数据处理方法、装置和存储介质 | |
| CN111966289A (zh) | 基于Kafka集群的分区优化方法和*** | |
| CN103489139A (zh) | 城市配电网规划综合分析与管理*** | |
| CN108833592A (zh) | 云主机调度器优化方法、装置、设备及存储介质 | |
| CN101483668A (zh) | 热点数据的网络存储和访问方法、设备及*** | |
| Zhang et al. | An optimal container update method for edge‐cloud collaboration | |
| CN116842012A (zh) | 一种Redis集群的分片存储方法、装置、设备及存储介质 | |
| CN111124313A (zh) | 电力采集终端数据读写方法、装置和电子设备 | |
| CN111723063A (zh) | 一种离线日志数据处理的方法和装置 | |
| CN113364895B (zh) | 用于资源调度的方法、装置、电子设备及存储介质 | |
| KR102597248B1 (ko) | 계량데이터 통합관리시스템 | |
| Wang et al. | A Cloud‐Computing‐Based Data Placement Strategy in High‐Speed Railway | |
| CN112258149A (zh) | 一种线路可转供电率的确定方法、装置、设备及存储介质 | |
| CN109687464B (zh) | 电网潮流的分析方法及装置、存储介质、处理器 | |
| CN105630896A (zh) | 一种快速导入海量数据的方法 | |
| CN111126833A (zh) | 一种电源接入点的获取方法及装置 | |
| CN107193362B (zh) | 一种增强云计算环境节能装置 | |
| CN110928839A (zh) | 国际运价数据的存储方法和*** | |
| Li et al. | Application and performance optimization of MapReduce model in image segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160511 |