CN103167026A - 一种云存储环境数据处理方法、***及设备 - Google Patents
一种云存储环境数据处理方法、***及设备 Download PDFInfo
- Publication number
- CN103167026A CN103167026A CN2013100487836A CN201310048783A CN103167026A CN 103167026 A CN103167026 A CN 103167026A CN 2013100487836 A CN2013100487836 A CN 2013100487836A CN 201310048783 A CN201310048783 A CN 201310048783A CN 103167026 A CN103167026 A CN 103167026A
- Authority
- CN
- China
- Prior art keywords
- data
- storage server
- server
- metadata
- read request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种云存储环境数据处理方法，元数据服务器接收到客户端的数据读请求或数据写请求时，将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器，确定为响应所述数据读请求或数据写请求的存储服务器，更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据，并通知所述客户端响应所述数据读请求或数据写请求的存储服务器的信息。本发明同时还公开了一种云存储环境数据处理***及设备，使用本发明的技术方案，降低了实施硬件成本，提高了数据存储的可靠性。
Description
技术领域
本发明涉及数据存储技术，尤其涉及一种云存储环境数据处理方法、***及设备。
背景技术
当前，遵循数字影院倡导者联盟（DCI，Digital Cinema Initiatives）技术规范的数字影院在作业时，各自独立的服务器向中央存储服务器请求多媒体数据并播放，由于所有的多媒体数据都存储在中央存储服务器中，且中央服务器要响应所有独立服务器读取请求，需要中央服务器具有高速数据处理性能，如此在实施时硬件成本较高；同时，所有的多媒体数据都存储在中央存储服务器中，一旦中央服务器宕机，可能造成所有数据丢失，如何保障数据存储的可靠性成为亟待解决的问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种云存储环境数据处理方法、***及设备，在降低实施硬件成本的同时，能够提高数据存储的可靠性。
为达到上述目的，本发明的技术方案是这样实现的：
本发明公开了一种云存储环境数据处理方法，所述方法包括：
元数据服务器接收到客户端的数据读请求或数据写请求时，将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器，确定为响应所述数据读请求或数据写请求的存储服务器；
所述元数据服务器更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据，并通知所述客户端响应所述数据读请求或数据写请求的存储服务器的信息。
优选地，所述元数据服务器接收到客户端的数据读请求或数据写请求时，将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器，确定为响应所述数据读请求或数据写请求的存储服务器，包括：
所述元数据服务器接收到所述客户端的数据读请求时，根据本地元数据检索所述数据读请求读取数据所在的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器，确定为响应所述数据读请求的存储服务器；
所述元数据服务器接收到所述客户端的数据写请求时，根据本地元数据检索满足所述数据写请求的存储空间需求的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器，确定为响应所述数据写请求的存储服务器。
优选地，所述元数据服务器更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据，包括：
所述元数据服务器更新本地的所述响应数据读请求的存储服务器的元数据中的负载信息；或更新本地的所述响应数据写请求的存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息。
优选地，所述元数据服务器接收到客户端的数据写请求时，所述方法还包括：
所述元数据服务器根据本地元数据和所述数据写请求检索负载不超过设定阈值的存储服务器，将检索到的存储服务器确定为备份所述客户端写入响应所述数据写请求的存储服务器的数据的存储服务器，更新所述备份存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息，并向响应所述数据写请求的存储服务器发送将所述客户端写入的数据发送至所述备份存储服务器的备份指令。
优选地，所述方法还包括：
所述元数据服务器同步本地元数据至从属元数据服务器，所述从属元数据服务器在预设时间内没有接收到所述元数据服务器的周期性心跳信息时确定所述元数据服务器不可用，替代所述元数据服务器处理所述客户端的数据读请求或数据写请求。
优选地，所述方法还包括：
所述元数据服务器根据本地元数据分析出所述客户端通过数据读请求读取同一数据的频率超过预设最大值时，根据本地元数据检索满足所述数据存储空间需求的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器确定为备份所述数据的存储服务器，向所述数据所在的存储服务器发送将所述数据发送至所述备份存储服务器的备份指令，并更新所述备份存储服务器的元数据中的数据标识信息和剩余存储空间信息；
所述元数据服务器根据本地元数据分析出所述客户端通过数据读请求读取的同一数据频率小于预设最小值时，确定所述数据所在的存储服务器中的一个或多个删除所述数据，向所述一个或多个存储服务器发送删除所述数据的备份删除指令，并更新所述一个或多个存储服务器的元数据中的数据标识信息和剩余存储空间信息。
优选地，所述方法还包括：
所述元数据服务器检测到所述云存储环境新加入存储服务器时，根据本地元数据，对所述客户端通过数据读请求读取同一数据的频率进行排序，并向读取频率最高的预设数量的数据所在的存储服务器，发送将所述数据发送至所述新加入的存储服务器的备份指令，并更新所述新加入的存储服务器的元数据中的数据标识信息和剩余存储空间信息；
所述元数据服务器检测到所述云存储环境存储服务器数量减少时，根据本地元数据检索没有备份的数据，将没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器，确定为备份所述数据的存储服务器，向存储所述数据的存储服务器发送将所述数据发送至所述备份存储服务器的备份指令，并更新所述备份存储服务器的元数据的数据标识信息和剩余存储空间信息。
本发明还公开了一种元数据服务器，所述元数据服务器包括：第一接收单元、第一存储单元、第一检索确定单元、第一更新单元和第一发送单元；其中，
所述第一接收单元，用于接收客户端的数据读请求或数据写请求；
所述第一存储单元，用于存储元数据；
所述第一检索确定单元，用于在所述第一接收单元接收到数据读请求或数据写请求时，将根据所述数据读请求或数据写请求检索到的负载不超过设定阈值的存储服务器，确定为响应所述数据读请求或数据写请求的存储服务器；
所述第一更新单元，用于更新所述第一存储单元的所述第一检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的元数据；
所述第一发送单元，用于向所述客户端发送通知所述第一检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的信息。
优选地，所述第一检索确定单元，还用于在所述第一接收单元接收到所述客户端的数据读请求时，根据所述第一存储单元的元数据，检索所述数据读请求读取数据所在的存储服务器，将检索到的存储服务器中负载不超过设定阈值的存储服务器，确定为响应所述数据读请求的存储服务器；在所述第一接收单元接收到所述客户端的数据写请求时，根据所述第一存储单元的元数据，检索满足所述数据写请求的存储空间需求的存储服务器，将检索的到的存储服务器中负载不超过设定阈值的存储服务器，确定为响应所述数据写请求的存储服务器。
优选地，所述第一更新单元，还用于更新所述第一存储单元的所述响应数据读请求的存储服务器的元数据中的负载信息；或更新所述第一存储单元的所述响应数据写请求的存储服务器的元数据中的负载信息和剩余存储空间信息。
优选地，所述第一检索确定单元，还用于在所述第一接收单元接收到所述客户端的数据写请求时，根据所述第一存储单元的元数据，检索负载不超过设定阈值的存储服务器，将检索到的存储服务器确定为备份所述客户端写入响应所述数据写请求的存储服务器的数据的存储服务器；
所述第一更新单元，用于在所述第一检索确定单元确定所述备份存储服务器时，更新所述第一存储单元中元数据的数据标识信息、负载信息和剩余存储空间信息，所述元数据为所述第一检索确定单元确定的备份存储服务器的元数据；
所述第一发送单元，还用于在所述第一检索确定单元确定所述备份存储服务器时，向响应所述数据写请求的存储服务器发送将所述客户端写入的数据发送至所述备份存储服务器的备份指令。
优选地，所述第一存储单元，还用于生成元数据同步信息；
所述第一发送单元，还用于将所述第一存储单元生成的元数据同步信息发送至从属元数据服务器；向从属元数据服务器发送周期性心跳信息。
优选地，所述元数据服务器还包括：
第一分析单元，用于根据所述第一存储单元的元数据，分析出所述客户端通过数据读请求读取同一数据的频率；
所述第一检索确定单元，还用于在所述第一分析单元分析出所述客户端通过数据读请求读取同一数据的频率超过预设最大值时，根据所述第一存储单元的元数据检索满足所述数据存储空间需求的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器确定为备份所述数据的存储服务器；在所述第一分析单元分析出所述客户端通过数据读请求读取同一数据频率小于预设最小值时，确定所述数据所在的存储服务器中的一个或多个删除所述数据；
所述第一发送单元，还用于向所述数据所在的存储服务器发送将所述数据发送至所述第一检索确定单元确定的备份存储服务器的备份指令；向所述第一检索确定单元确定的删除所述数据的一个或多个存储服务器，发送删除所述数据的备份删除指令；
所述第一更新单元，还用于更新所述第一存储单元中所述第一检索确定单元确定的备份存储服务器的元数据中的数据标识信息和剩余存储空间信息；更新所述第一存储单元中所述第一检索单元确定的删除数据的一个或多个存储服务器的元数据中的数据标识信息和剩余存储空间信息。
优选地，所述元数据服务器还包括：
第一检测单元，用于检测云存储环境中存储服务器的数量；
所述第一检索确定单元，还用于在所述第一检测单元检测到所述云存储环境新加入存储服务器时，根据所述第一存储单元的元数据，对所述客户端通过数据读请求读取同一数据的频率进行排序；在所述第一检测单元检测到云存储环境存储服务器数量减少时，根据所述第一存储单元的元数据检索没有备份的数据，将没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器，确定为备份所述数据的存储服务器；
所述第一发送单元，还用于根据所述第一检索确定单元的排序结果，向读取频率最高的预设数量的数据所在的存储服务器，发送将所述数据发送至所述新加入的存储服务器的备份指令；向所述第一检索确定单元确定的备份存储服务器发送将所述没有备份的数据发送至所述备份存储服务器的备份指令；
所述第一更新单元，还用于在所述第一发送单元向所述新加入存储服务器发送备份指令时，更新所述第一存储单元的元数据的数据标识信息和剩余存储空间信息，所述元数据为所述新加入的存储服务器的元数据；在所述第一发送单元向所述备份存储服务器发送备份指令时，更新所述第一存储单元的元数据的数据标识信息和剩余存储空间信息，所述元数据为所述备份存储服务器的元数据。
本发明还公开了一种存储服务器，所述存储服务器包括：第二接收单元和第二发送单元；其中，
所述第二接收单元，用于接收元数据服务器发送的将所述客户端写入的数据发送至备份存储服务器的备份指令。
所述第二发送单元，用于根据所述第二接收单元接收的备份指令，向所述备份指令指定的备份存储服务器发送所述客户端写入的数据。
优选地，所述第二接收单元，还用于接收元数据服务器发送的将所述客户端通过数据读请求读取频率超过预设最大值的数据发送至备份存储服务器的备份指令；接收元数据服务器发送的删除所述客户端通过数据读请求读取频率小于预设最小值的数据的备份删除指令。
优选地，所述第二接收单元，还用于接收元数据服务器发送的将客户端通过数据读请求读取频率最高的预设数量的数据发送至备份存储服务器的备份指令；接收元数据服务器发送的将没有备份的数据发送至备份存储服务器的备份指令。
本发明还公开了一种从属元数据服务器，所述从属元数据服务器包括：第三接收单元、第三存储单元、第三检索确定单元、第三更新单元和第三发送单元；其中，
所述第三接收单元，用于接收元数据服务器发送的周期性心跳信息；接收客户端的数据读请求或数据写请求；
所述第三存储单元，用于存储元数据；
所述第三检索确定单元，用于在所述第三接收单元在预设时间内没有接收到心跳信息时确定元数据服务器不可用，根据所述第三接收单元接收到的数据读请求或数据写请求检索到负载不超过设定阈值的存储服务器，将检索到的存储服务器确定为响应所述数据读请求或数据写请求的存储服务器；
所述第三更新单元，用于更新所述第三存储单元的所述第三检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的元数据；
所述第三发送单元，用于向所述客户端发送通知所述第三检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的信息。
本发明还公开了一种云存储环境数据处理***，所述***包括：客户端、至少两台存储服务器和元数据服务器；其中，
所述元数据服务器，用于接收到客户端的数据读请求或数据写请求时，将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器确定为响应所述数据读请求或数据写请求的存储服务器；更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据，并通知所述客户端所述响应数据读请求或数据写请求的存储服务器的信息。
优选地，所述元数据服务器，还用于接收到所述客户端的数据读请求时，根据本地元数据检索所述数据读请求读取数据所在的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器，确定为响应所述数据读请求的存储服务器；接收到所述客户端的数据写请求时，根据本地元数据检索满足所述数据写请求的存储空间需求的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器，确定为响应所述数据写请求的存储服务器。
优选地，所述元数据服务器，还用于更新本地的所述响应数据读请求的存储服务器的元数据中的负载信息；或更新本地的所述响应数据写请求的存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息。
优选地，所述元数据服务器，还用于在接收到所述客户端的数据写请求时，根据本地元数据检索负载不超过设定阈值的存储服务器，将检索到的存储服务器确定为备份所述客户端写入响应数据写请求的存储服务器的数据的存储服务器，更新所述备份存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息，并向响应所述数据写请求的存储服务器发送将所述客户端写入的数据发送至所述备份存储服务器的备份指令。
优选地，所述***还包括：从属元数据服务器，用于接收所述元数据服务器同步至本地的元数据；在预设时间内没有接收到所述元数据服务器的心跳信息时确定所述元数据服务器不可用，替代所述元数据服务器处理所述客户端的数据读请求或数据写请求。
优选地，所述元数据服务器，还用于根据本地元数据分析出所述客户端通过数据读请求读取同一数据的频率超过预设最大值时，根据本地元数据检索满足所述数据存储空间需求的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器确定为备份所述数据的存储服务器，向所述数据所在的存储服务器发送将所述数据发送所述备份存储服务器的备份指令，并更新所述备份存储服务器的元数据中的数据标识信息和剩余存储空间信息；根据本地元数据分析出客户端通过数据读请求读取同一数据频率小于预设最小值时，确定所述数据所在的存储服务器中的一个或多个删除所述数据，向所述一个或多个存储服务器发送删除所述数据的备份删除指令，并更新所述一个或多个存储服务器的元数据中的数据标识信息和剩余存储空间信息。
优选地，所述元数据服务器，还用于检测到所述云存储环境新加入存储服务器时，根据本地元数据，对所述客户端通过数据读请求读取同一数据的频率进行排序，并向读取频率最高的预设数量的数据所在的存储服务器，发送将所述数据发送至所述新加入的存储服务器的备份指令，并更新所述新加入的存储服务器的元数据中的数据标识信息和剩余存储空间信息；检测到所述云存储环境存储服务器数量减少时，根据本地元数据检索没有备份的数据，并将没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器，确定为备份所述数据的存储服务器，向存储所述数据的存储服务器发送将所述数据发送至所述备份存储服务器的备份指令，并更新所述备份存储服务器的元数据的数据标识信息和剩余存储空间信息。
本发明所提供的技术方案中，由所述存储服务器组成云存储环境以存储数据，所述存储服务器硬件成本低，且所述存储服务器部署的数量可以根据不同应用场景需要存储数据容量的不同而调整，从而有效控制硬件成本，并且，客户端写入云存储环境中存储服务器的数据，会在云存储环境中其他的存储服务器进行备份，提高了数据存储的可靠性；
进一步地，所述元数据服务器将元数据在从属元数据服务器备份，从而在所述元数据服务器不可用时，从属元数据服务器能够替代元数据服务器响应客户端的数据读请求或数据写请求，提高了数据处理的可靠性；
进一步地，所述元数据服务器根据所述客户端通过数据读请求读取同一数据的频率，调整存储所述数据的存储服务器的数量，提高了对客户端数据读请求的响应速度；
进一步地，所述元数据服务器在所述云存储环境新加入存储服务器时，根据数据读取频率确定新加入存储服务器存储的数据，使存储服务器的负载均衡化；在所述云存储环境存储服务器数量减少时，检索没有备份的数据并进行备份，提高了数据存储的可靠性。
附图说明
图1为本发明云存储环境数据处理方法的实现流程示意图；
图2为本发明云存储环境数据处理***的组成结构示意图；
图3为本发明一实施例中云存储环境数据处理方法实现流程示意图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1为本发明云存储环境数据处理方法的实现流程示意图，如图1所示，包括：
步骤101：元数据服务器接收到客户端的数据读请求或数据写请求时，将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器，确定为响应所述数据读请求或数据写请求的存储服务器；
其中，所述负载具体为所述存储服务器响应的数据读请求或数据写请求以及响应时间，当所述存储服务器的负载达到预设阈值时，即表示所述存储服务器的输入/输出达到所述存储服务器的吞吐性能上限。
其中，所述存储服务器负载信息的获取为现有技术的范畴。
其中，所述客户端的数据读请求中携带数据的标识到元数据服务器读取数据，所述客户端的数据写请求携带需写入数据的标识信息和需写入数据的存储空间需求。
其中，所述存储服务器的元数据包括存储服务器存储的数据的标识信息、存储服务器的负载信息和剩余存储空间信息。相应地，所述元数据服务器将检索到的存储服务器确定为响应数据读请求的存储服务器时，需要更新所述存储服务器的元数据中的负载信息；所述元数据服务器将检索到的存储服务器确定为响应数据写请求的存储服务器时，需要在所述存储服务器的元数据中添加客户端写入数据的标识信息，并更新所述存储服务器的负载信息和剩余存储空间信息。如此，所述元数据服务器后续接收到数据读请求或数据写请求时，可以根据所述存储服务器当前存储元数据中的数据标识信息、负载信息和剩余存储空间信息，检索并确定响应所述后续数据读请求或数据写请求的存储服务器，以保证所述后续的数据读请求或数据写请求的响应不会被延迟。
优选地，所述元数据服务器接收到客户端的数据读请求或数据写请求时，将根据所述数据读请求或数据写请求检索负载不超过预设阈值的存储服务器确定为响应所述数据读请求或数据写请求的存储服务器，包括：
所述元数据服务器接收到所述客户端的数据读请求时，根据本地元数据检索所述数据读请求读取数据所在的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器，确定为响应所述数据读请求的存储服务器；
所述元数据服务器接收到所述客户端的数据写请求时，根据本地元数据检索满足所述数据写请求的存储空间需求的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器，确定为响应所述数据写请求的存储服务器。
其中，所述元数据服务器检索到符合检索条件的存储服务器时，优先选择符合检索条件的存储服务器中负载最小的存储服务器确定为响应所述数据写请求或数据写请求的存储服务器，以均衡所述存储服务器的负载。
其中，所述确定响应数据读请求的存储服务器的数量可以为一个或多个，所述确定响应数据读请求的存储服务器的数量可以预设最大值与最小值。具体地，预设响应数据读请求的存储服务器数量的最小值，可以避免所述客户端接收数据的速率较小而无法及时接收到完整数据；预设响应数据读请求的存储服务器数量的最大值，可以避免过多的存储服务器响应所述数据读请求，致使客户端后续的数据读请求或数据写请求无法得到及时响应。
优选地，所述元数据服务器更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据，包括：
所述元数据服务器更新本地的所述响应数据读请求的存储服务器的元数据中的负载信息；或更新本地的所述响应数据写请求的存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息。
为将客户端发送到存储服务器的需写入的数据在另一个存储服务器备份，优选地，所述元数据服务器接收到客户端的数据写请求时，所述方法还包括：
所述元数据服务器根据本地元数据和所述数据写请求检索负载不超过设定阈值的存储服务器，将检索到的存储服务器确定为备份所述客户端写入响应所述数据写请求的存储服务器的数据的存储服务器，更新所述备份存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息，并向响应所述数据写请求的存储服务器发送将所述客户端写入的数据发送至所述备份存储服务器的备份指令。
优选地，所述方法还包括：
所述元数据服务器同步本地元数据至从属元数据服务器，所述从属元数据服务器在预设时间内没有接收到所述元数据服务器的周期性心跳信息时确定所述元数据服务器不可用，替代所述元数据服务器处理所述客户端的数据读请求或数据写请求。
其中，所述元数据服务器周期性向所述从属元数据服务器发送心跳信息，以标识所述元数据服务器处于正常工作状态，当所述从属元数据服务器在预设时间内没有接收到心跳信息时，表示所述元数据服务器处于不可用状态。
步骤102：所述元数据服务器更新本地的所述响应数据读请求或数据写请求的存储服务器对应的元数据，并通知所述客户端响应所述数据读请求或数据写请求的存储服务器的信息。
其中，所述存储服务器的信息为标识所述存储服务器的信息，在由存储服务器组成的云存储环境中，所述存储服务器的信息包括所述存储服务器的互联网协议（IP，Internet Protocol）地址。
优选地，所述方法还包括：
所述客户端向响应所述数据读请求或数据写请求的存储服务器发送数据读请求或需写入的数据，并接收所述存储服务器返回的所述数据读请求读取的数据或数据写入成功信息。
优选地，所述方法还包括：
所述元数据服务器根据本地元数据分析出所述客户端通过数据读请求读取同一数据的频率超过预设最大值时，根据本地元数据检索满足所述数据存储空间需求的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器确定为备份所述数据的存储服务器，向所述数据所在的存储服务器发送将所述数据发送至所述备份存储服务器的备份指令，并更新所述备份存储服务器的元数据中的数据标识信息和剩余存储空间信息；
所述元数据服务器根据本地元数据分析出客户端通过数据读请求读取的同一数据频率小于预设最小值时，确定所述数据所在的存储服务器中的一个或多个删除所述数据，向所述一个或多个存储服务器发送删除所述数据的备份删除指令，并更新所述一个或多个存储服务器的元数据中的数据标识信息和剩余存储空间信息。
其中，由于元数据中的负载信息具体为所述存储服务器响应的数据读请求或数据写请求以及响应时间，因此根据所述云存储环境中所有存储服务器的负载信息，可分析出客户端发送同一数据读请求读取同一数据的频率。
其中，所述客户端在通过数据读请求读取同一数据频率超过预设最大值时，表示存储所述数据的现有数量的存储服务器的吞吐性能无法保证客户端针对所述数据的数据读请求能够及时响应，通过上述增加存储所述数据的存储服务器的数量的处理，可以提高针对所述数据的数据读请求的响应速度；所述客户端通过数据读请求读取同一数据频率小于预设最小值时，表示存储所述数据的现有数量的存储服务器较多，通过上述在存储服务器中删除所述数据的操作，可以节省所述存储服务器的存储空间。
优选地，所述方法还包括：
所述元数据服务器检测到所述云存储环境新加入存储服务器时，根据本地元数据，对所述客户端通过数据读请求读取同一数据的频率进行排序，并向读取频率最高的预设数量的数据所在的存储服务器，发送将所述数据发送至所述新加入的存储服务器的备份指令，并更新所述新加入的存储服务器的元数据中的数据标识信息和剩余存储空间信息；
所述元数据服务器检测到所述云存储环境存储服务器数量减少时，根据本地元数据检索没有备份的数据，将没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器，确定为备份所述数据的存储服务器，向存储所述数据的存储服务器发送将所述数据发送至所述备份存储服务器的备份指令，并更新所述备份存储服务器的元数据的数据标识信息和剩余存储空间信息。
其中，通过检索没有备份的数据并进行备份的处理，避免了存储服务器因故障不可用时，导致数据没有备份而存在丢失的可能性；并且，所述元数据服务器将检索到的没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器时，优选选择符合检索条件的存储服务器中负载最小的存储服务器，确定为备份所述数据的存储服务器，可以均衡所述存储服务器的负载。
图2为本发明云存储环境数据处理***的组成结构示意图，如图2所示，所述***包括：元数据服务器21、至少两台存储服务器22和客户端23；其中，
所述元数据服务器21，用于接收到客户端23的数据读请求或数据写请求时，将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器22确定为响应所述数据读请求或数据写请求的存储服务器22；更新本地的所述响应数据读请求或数据写请求的存储服务器22的元数据，并通知所述客户端23所述响应数据读请求或数据写请求的存储服务器22的信息。
优选地，所述元数据服务器21，还用于接收到所述客户端23的数据读请求时，根据本地元数据检索所述数据读请求读取数据所在的存储服务器22，将检索到的存储服务器22中负载不超过预设阈值的存储服务器22，确定为响应所述数据读请求的存储服务器22；接收到所述客户端23的数据写请求时，根据本地元数据检索满足所述数据写请求的存储空间需求的存储服务器22，将检索到的存储服务器22中负载不超过预设阈值的存储服务器22，确定为响应所述数据写请求的存储服务器22。
优选地，所述元数据服务器21，还用于更新本地的所述响应数据读请求的存储服务器22的元数据中的负载信息；或更新本地的所述响应数据写请求的存储服务器22的元数据中的数据标识信息、负载信息和剩余存储空间信息。
优选地，所述元数据服务器21，还用于在接收到所述客户端23的数据写请求时，根据本地元数据检索负载不超过设定阈值的存储服务器22，将检索到的存储服务器22确定为备份所述客户端23写入响应数据写请求的存储服务器22的数据的存储服务器22，更新所述备份存储服务器22的元数据中的数据标识信息、负载信息和剩余存储空间信息，并向响应所述数据写请求的存储服务器22发送将所述客户端23写入的数据发送至所述备份存储服务器22的备份指令。
优选地，所述***还包括：
从属元数据服务器24，用于接收所述元数据服务器21同步至本地的元数据；在预设时间内没有接收到所述元数据服务器21的心跳信息时确定所述元数据服务器21不可用，替代所述元数据服务器21处理所述客户端23的数据读请求或数据写请求。
优选地，所述元数据服务器21，还用于根据本地元数据分析出所述客户端23通过数据读请求读取同一数据的频率超过预设最大值时，根据本地元数据检索满足所述数据存储空间需求的存储服务器22，将检索到的存储服务器22中负载不超过预设阈值的存储服务器22确定为备份所述数据的存储服务器22，向所述数据所在的存储服务器22发送将所述数据发送所述备份存储服务器22的备份指令，并更新所述备份存储服务器22的元数据中的数据标识信息和剩余存储空间信息；根据本地元数据分析出客户端23通过数据读请求读取同一数据频率小于预设最小值时，确定所述数据所在的存储服务器22中的一个或多个删除所述数据，向所述一个或多个存储服务器22发送删除所述数据的备份删除指令，并更新所述一个或多个存储服务器22的元数据中的数据标识信息和剩余存储空间信息。
优选地，所述元数据服务器21，还用于检测到所述云存储环境新加入存储服务器22时，根据本地元数据，对所述客户端23通过数据读请求读取同一数据的频率进行排序，并向读取频率最高的预设数量的数据所在的存储服务器22，发送将所述数据发送至所述新加入的存储服务器22的备份指令，并更新所述新加入的存储服务器22的元数据中的数据标识信息和剩余存储空间信息；检测到所述云存储环境存储服务器22数量减少时，根据本地元数据检索没有备份的数据，并将没有备份所述数据的存储服务器22中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器22，确定为备份所述数据的存储服务器22，向存储所述数据的存储服务器22发送将所述数据发送至所述备份存储服务器22的备份指令，并更新所述备份存储服务器22的元数据的数据标识信息和剩余存储空间信息。
优选地，所述元数据服务器21包括：第一接收单元211、第一存储单元212、第一检索确定单元213、第一更新单元214和第一发送单元215；其中，
所述第一接收单元211，用于接收客户端23的数据读请求或数据写请求；
所述第一存储单元212，用于存储元数据；
所述第一检索确定单元213，用于在所述第一接收单元211接收到数据读请求或数据写请求时，将根据所述数据读请求或数据写请求检索到的负载不超过设定阈值的存储服务器22，确定为响应所述数据读请求或数据写请求的存储服务器22；
所述第一更新单元214，用于更新所述第一存储单元212的所述第一检索确定单元213确定的响应所述数据读请求或数据写请求的存储服务器22的元数据；
所述第一发送单元215，用于向所述客户端23发送通知所述第一检索确定单元213确定的响应所述数据读请求或数据写请求的存储服务器22的信息。
优选地，所述第一检索确定单元213，还用于在所述第一接收单元211接收到所述客户端23的数据读请求时，根据所述第一存储单元212的元数据，检索所述数据读请求读取数据所在的存储服务器22，将检索到的存储服务器22中负载不超过设定阈值的存储服务器22，确定为响应所述数据读请求的存储服务器22；在所述第一接收单元211接收到所述客户端23的数据写请求时，根据所述第一存储单元212的元数据，检索满足所述数据写请求的存储空间需求的存储服务器22，将检索的到的存储服务器22中负载不超过设定阈值的存储服务器22，确定为响应所述数据写请求的存储服务器22。
优选地，所述第一更新单元214，还用于更新所述第一存储单元212的所述响应数据读请求的存储服务器22的元数据中的负载信息；或更新所述第一存储单元212的所述响应数据写请求的存储服务器22的元数据中的负载信息和剩余存储空间信息。
优选地，所述第一检索确定单元213，还用于在所述第一接收单元211接收到所述客户端23的数据写请求时，根据所述第一存储单元212的元数据，检索负载不超过设定阈值的存储服务器22，将检索到的存储服务器22确定为备份所述客户端23写入响应所述数据写请求的存储服务器22的数据的存储服务器22；
所述第一更新单元214，用于在所述第一检索确定单元213确定所述备份存储服务器22时，更新所述第一存储单元212中元数据的数据标识信息、负载信息和剩余存储空间信息，所述元数据为所述第一检索确定单元213确定的备份存储服务器22的元数据；
所述第一发送单元215，还用于在所述第一检索确定单元213确定所述备份存储服务器22时，向响应所述数据写请求的存储服务器22发送将所述客户端23写入的数据发送至所述备份存储服务器22的备份指令。
优选地，所述第一存储单元212，还用于生成元数据同步信息；
所述第一发送单元215，还用于将所述第一存储单元212生成的元数据同步信息发送至元数据服务器21；向元数据服务器21发送周期性心跳信息。
优选地，所述元数据服务器21还包括：
第一分析单元216，用于根据所述第一存储单元212的元数据，分析出所述客户端23通过数据读请求读取同一数据的频率；
所述第一检索确定单元213，还用于在所述第一分析单元216分析出所述客户端23通过数据读请求读取同一数据的频率超过预设最大值时，根据所述第一存储单元212的元数据检索满足所述数据存储空间需求的存储服务器22，将检索到的存储服务器22中负载不超过预设阈值的存储服务器22确定为备份所述数据的存储服务器22；在所述第一分析单元216分析出所述客户端23通过数据读请求读取同一数据频率小于预设最小值时，确定所述数据所在的存储服务器22中的一个或多个删除所述数据；
所述第一发送单元215，还用于向所述数据所在的存储服务器22发送将所述数据发送至所述第一检索确定单元213确定的备份存储服务器22的备份指令；向所述第一检索确定单元213确定的删除所述数据的一个或多个存储服务器22，发送删除所述数据的备份删除指令；
所述第一更新单元214，还用于更新所述第一存储单元212中所述第一检索确定单元213确定的备份存储服务器22的元数据中的数据标识信息和剩余存储空间信息；更新所述第一存储单元212中所述第一检索单元确定的删除数据的一个或多个存储服务器22的元数据中的数据标识信息和剩余存储空间信息。
优选地，所述元数据服务器21还包括：
第一检测单元217，用于检测云存储环境中存储服务器22的数量；
所述第一检索确定单元213，还用于在所述第一检测单元217检测到所述云存储环境新加入存储服务器22时，根据所述第一存储单元212的元数据，对所述客户端23通过数据读请求读取同一数据的频率进行排序；在所述第一检测单元217检测到云存储环境存储服务器22数量减少时，根据所述第一存储单元212的元数据检索没有备份的数据，将没有备份所述数据的存储服务器22中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器22，确定为备份所述数据的存储服务器22；
所述第一发送单元215，还用于根据所述第一检索确定单元213的排序结果，向读取频率最高的预设数量的数据所在的存储服务器22，发送将所述数据发送至所述新加入的存储服务器22的备份指令；向所述第一检索确定单元213确定的备份存储服务器22发送将所述没有备份的数据发送至所述备份存储服务器22的备份指令；
所述第一更新单元214，还用于在所述第一发送单元215向所述新加入存储服务器22发送备份指令时，更新所述第一存储单元212的元数据的数据标识信息和剩余存储空间信息，所述元数据为所述新加入的存储服务器22的元数据；在所述第一发送单元215向所述备份存储服务器22发送备份指令时，更新所述第一存储单元212的元数据的数据标识信息和剩余存储空间信息，所述元数据为所述备份存储服务器22的元数据。
优选地，所述存储服务器22包括：第二接收单元221和第二发送单元222；其中，
所述第二接收单元221，用于接收元数据服务器21发送的将所述客户端23写入的数据发送至备份存储服务器22的备份指令。
所述第二发送单元222，用于根据所述第二接收单元221接收的备份指令，向所述备份指令指定的备份存储服务器22发送所述客户端23写入的数据。
优选地，所述第二接收单元221，还用于接收元数据服务器21发送的将所述客户端23通过数据读请求读取频率超过预设最大值的数据发送至备份存储服务器22的备份指令；接收元数据服务器21发送的删除所述客户端23通过数据读请求读取频率小于预设最小值的数据的备份删除指令。
优选地，所述第二接收单元221，还用于接收元数据服务器21发送的将客户端23通过数据读请求读取频率最高的预设数量的数据发送至备份存储服务器22的备份指令；接收元数据服务器21发送的将没有备份的数据发送至备份存储服务器22的备份指令。
优选地，所述从属元数据服务器24包括：第三接收单元241、第三存储单元242、第三检索确定单元243、第三更新单元244和第三发送单元245；其中，
所述第三接收单元241，用于接收元数据服务器21发送的周期性心跳信息；接收客户端23的数据读请求或数据写请求；
所述第三存储单元242，用于存储元数据；
所述第三检索确定单元243，用于在所述第三接收单元241在预设时间内没有接收到心跳信息时确定元数据服务器21不可用，根据所述第三接收单元241接收到的数据读请求或数据写请求检索到负载不超过设定阈值的存储服务器22，将检索到的存储服务器22确定为响应所述数据读请求或数据写请求的存储服务器22；
所述第三更新单元244，用于更新所述第三存储单元242的元数据，所述元数据为所述第三检索确定单元243确定的响应所述数据读请求或数据写请求的存储服务器22的元数据；
所述第三发送单元245，用于向所述客户端23发送通知所述第三检索确定单元243确定的响应所述数据读请求或数据写请求的存储服务器22的信息。
图3为本发明一实施例中云存储环境数据处理方法实现流程示意图，如图3所示，包括：
步骤301：客户端向元数据服务器发送数据写请求；
步骤302：元数据服务器根据本地的元数据，检索并确定存储服务器1响应所述数据写请求，存储服务器2备份客户端写入存储服务器1的数据，更新存储服务器1和存储服务器2的元数据；
其中，元数据服务器根据所述数据写请求，根据本地元数据检索到满足所述数据写请求的存储空间需求且负载不超过预设阈值的存储服务器1和存储服务器2，确定存储服务器1为响应所述数据写请求的存储服务器，更新存储服务器1的元数据中的数据标识信息、负载信息和剩余存储空间信息；确定存储服务器2为备份客户端写入存储服务器1的数据的存储服务器，并更新存储服务器2的元数据中的数据标识信息和剩余存储空间信息。
步骤303：元数据服务器向从属元数据服务器发送元数据同步信息；
其中，所述元数据同步信息携带步骤302中更新的存储服务器1和存储服务器2的元数据。
步骤304：元数据服务器向客户端返回存储服务器1响应所述数据写请求的通知信息；
步骤305：元数据服务器向存储服务器1发送备份指令；
其中，所述备份指令为将客户端写入存储服务器1的数据发送至存储服务器2的指令。
需要说明的是，步骤303、304和305的执行顺序可以任意调换。
步骤306：客户端向存储服务器1发送需写入的数据；
其中，客户端向存储服务器1发送需写入的数据之前，还可以向存储服务器1发送数据写请求，在收到存储服务器1返回的确认信息后，向存储服务器1发送需写入的数据。
步骤307：存储服务器1向存储服务器2发送客户端写入的数据；
其中，存储服务器1在步骤306中将客户端发送的数据写入本地之后，根据步骤305接收到的备份指令，将步骤306中客户端写入的数据发送至存储服务器2，由存储服务器2备份所述数据。
步骤308：存储服务器2向客户端返回数据写入成功信息；
步骤309：客户端向元数据服务器发送数据读请求；
步骤310：元数据服务器根据本地的元数据，检索并确定存储服务器1和存储服务器2响应所述数据读请求；
其中，元数据服务器根据所述数据写请求和本地元数据，检索到所述数据写请求读取的数据所在的存储服务器为存储服务器1和存储服务器2，存储服务器1和存储服务器2的负载均不超过预设阈值，且预设的响应数据读请求的存储服务器的数量的最小值为2，则确定存储服务器1和存储服务器2响应所述数据读请求。
步骤311：元数据服务器向客户端发送存储服务器1和存储服务器2响应所述数据读请求的通知信息；
步骤312：客户端向存储服务器1和存储服务器2发送数据读请求；
步骤313：存储服务器1和存储服务器2向客户端发送数据读请求读取的数据。
其中，上述处理步骤中，从属元数据服务器还接收元数据服务器周期性发送的心跳信息，当从属元数据发起在预设时间内没有接收到元数据服务器的心跳信息时，则替代元数据服务器，与客户端、存储服务器1和存储服务器2进行交互，以响应客户端的数据读请求或数据写请求，具体交互处理与步骤301～步骤313中元数据服务器与存储服务器以及客户端的交互相同，不再赘述。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (25)
1.一种云存储环境数据处理方法，其特征在于，所述方法包括：
元数据服务器接收到客户端的数据读请求或数据写请求时，将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器，确定为响应所述数据读请求或数据写请求的存储服务器；
所述元数据服务器更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据，并通知所述客户端响应所述数据读请求或数据写请求的存储服务器的信息。
2.根据权利要求1所述的方法，其特征在于，所述元数据服务器接收到客户端的数据读请求或数据写请求时，将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器，确定为响应所述数据读请求或数据写请求的存储服务器，包括：
所述元数据服务器接收到所述客户端的数据读请求时，根据本地元数据检索所述数据读请求读取数据所在的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器，确定为响应所述数据读请求的存储服务器；
所述元数据服务器接收到所述客户端的数据写请求时，根据本地元数据检索满足所述数据写请求的存储空间需求的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器，确定为响应所述数据写请求的存储服务器。
3.根据权利要求1所述的方法，其特征在于，所述元数据服务器更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据，包括：
所述元数据服务器更新本地的所述响应数据读请求的存储服务器的元数据中的负载信息；或更新本地的所述响应数据写请求的存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息。
4.根据权利要求1或2所述的方法，其特征在于，所述元数据服务器接收到客户端的数据写请求时，所述方法还包括：
所述元数据服务器根据本地元数据和所述数据写请求检索负载不超过设定阈值的存储服务器，将检索到的存储服务器确定为备份所述客户端写入响应所述数据写请求的存储服务器的数据的存储服务器，更新所述备份存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息，并向响应所述数据写请求的存储服务器发送将所述客户端写入的数据发送至所述备份存储服务器的备份指令。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述元数据服务器同步本地元数据至从属元数据服务器，所述从属元数据服务器在预设时间内没有接收到所述元数据服务器的周期性心跳信息时确定所述元数据服务器不可用，替代所述元数据服务器处理所述客户端的数据读请求或数据写请求。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述元数据服务器根据本地元数据分析出所述客户端通过数据读请求读取同一数据的频率超过预设最大值时，根据本地元数据检索满足所述数据存储空间需求的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器确定为备份所述数据的存储服务器，向所述数据所在的存储服务器发送将所述数据发送至所述备份存储服务器的备份指令，并更新所述备份存储服务器的元数据中的数据标识信息和剩余存储空间信息；
所述元数据服务器根据本地元数据分析出所述客户端通过数据读请求读取的同一数据频率小于预设最小值时，确定所述数据所在的存储服务器中的一个或多个删除所述数据，向所述一个或多个存储服务器发送删除所述数据的备份删除指令，并更新所述一个或多个存储服务器的元数据中的数据标识信息和剩余存储空间信息。
7.根据权利要求1、2、3、4、5或6所述的方法，其特征在于，所述方法还包括：
所述元数据服务器检测到所述云存储环境新加入存储服务器时，根据本地元数据，对所述客户端通过数据读请求读取同一数据的频率进行排序，并向读 取频率最高的预设数量的数据所在的存储服务器，发送将所述数据发送至所述新加入的存储服务器的备份指令，并更新所述新加入的存储服务器的元数据中的数据标识信息和剩余存储空间信息；
所述元数据服务器检测到所述云存储环境存储服务器数量减少时，根据本地元数据检索没有备份的数据，将没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器，确定为备份所述数据的存储服务器，向存储所述数据的存储服务器发送将所述数据发送至所述备份存储服务器的备份指令，并更新所述备份存储服务器的元数据的数据标识信息和剩余存储空间信息。
8.一种元数据服务器，其特征在于，所述元数据服务器包括：第一接收单元、第一存储单元、第一检索确定单元、第一更新单元和第一发送单元；其中，
所述第一接收单元，用于接收客户端的数据读请求或数据写请求；
所述第一存储单元，用于存储元数据；
所述第一检索确定单元，用于在所述第一接收单元接收到数据读请求或数据写请求时，将根据所述数据读请求或数据写请求检索到的负载不超过设定阈值的存储服务器，确定为响应所述数据读请求或数据写请求的存储服务器；
所述第一更新单元，用于更新所述第一存储单元的所述第一检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的元数据；
所述第一发送单元，用于向所述客户端发送通知所述第一检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的信息。
9.根据权利要求8所述的元数据服务器，其特征在于，
所述第一检索确定单元，还用于在所述第一接收单元接收到所述客户端的数据读请求时，根据所述第一存储单元的元数据，检索所述数据读请求读取数据所在的存储服务器，将检索到的存储服务器中负载不超过设定阈值的存储服务器，确定为响应所述数据读请求的存储服务器；在所述第一接收单元接收到所述客户端的数据写请求时，根据所述第一存储单元的元数据，检索满足所述数据写请求的存储空间需求的存储服务器，将检索的到的存储服务器中负载不 超过设定阈值的存储服务器，确定为响应所述数据写请求的存储服务器。
10.根据权利要求8所述的元数据服务器，其特征在于，
所述第一更新单元，还用于更新所述第一存储单元的所述响应数据读请求的存储服务器的元数据中的负载信息；或更新所述第一存储单元的所述响应数据写请求的存储服务器的元数据中的负载信息和剩余存储空间信息。
11.根据权利要求8或9所述的元数据服务器，其特征在于，
所述第一检索确定单元，还用于在所述第一接收单元接收到所述客户端的数据写请求时，根据所述第一存储单元的元数据，检索负载不超过设定阈值的存储服务器，将检索到的存储服务器确定为备份所述客户端写入响应所述数据写请求的存储服务器的数据的存储服务器；
所述第一更新单元，用于在所述第一检索确定单元确定所述备份存储服务器时，更新所述第一存储单元中元数据的数据标识信息、负载信息和剩余存储空间信息，所述元数据为所述第一检索确定单元确定的备份存储服务器的元数据；
所述第一发送单元，还用于在所述第一检索确定单元确定所述备份存储服务器时，向响应所述数据写请求的存储服务器发送将所述客户端写入的数据发送至所述备份存储服务器的备份指令。
12.根据权利要求8所述的元数据服务器，其特征在于，
所述第一存储单元，还用于生成元数据同步信息；
所述第一发送单元，还用于将所述第一存储单元生成的元数据同步信息发送至从属元数据服务器；向从属元数据服务器发送周期性心跳信息。
13.根据权利要求8所述的元数据服务器，其特征在于，所述元数据服务器还包括：
第一分析单元，用于根据所述第一存储单元的元数据，分析出所述客户端通过数据读请求读取同一数据的频率；
所述第一检索确定单元，还用于在所述第一分析单元分析出所述客户端通过数据读请求读取同一数据的频率超过预设最大值时，根据所述第一存储单元 的元数据检索满足所述数据存储空间需求的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器确定为备份所述数据的存储服务器；在所述第一分析单元分析出所述客户端通过数据读请求读取同一数据频率小于预设最小值时，确定所述数据所在的存储服务器中的一个或多个删除所述数据；
所述第一发送单元，还用于向所述数据所在的存储服务器发送将所述数据发送至所述第一检索确定单元确定的备份存储服务器的备份指令；向所述第一检索确定单元确定的删除所述数据的一个或多个存储服务器，发送删除所述数据的备份删除指令；
所述第一更新单元，还用于更新所述第一存储单元中所述第一检索确定单元确定的备份存储服务器的元数据中的数据标识信息和剩余存储空间信息；更新所述第一存储单元中所述第一检索单元确定的删除数据的一个或多个存储服务器的元数据中的数据标识信息和剩余存储空间信息。
14.根据权利要求8、9、10、11、12或13所述的元数据服务器，其特征在于，所述元数据服务器还包括：
第一检测单元，用于检测云存储环境中存储服务器的数量；
所述第一检索确定单元，还用于在所述第一检测单元检测到所述云存储环境新加入存储服务器时，根据所述第一存储单元的元数据，对所述客户端通过数据读请求读取同一数据的频率进行排序；在所述第一检测单元检测到云存储环境存储服务器数量减少时，根据所述第一存储单元的元数据检索没有备份的数据，将没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服务器，确定为备份所述数据的存储服务器；
所述第一发送单元，还用于根据所述第一检索确定单元的排序结果，向读取频率最高的预设数量的数据所在的存储服务器，发送将所述数据发送至所述新加入的存储服务器的备份指令；向所述第一检索确定单元确定的备份存储服务器发送将所述没有备份的数据发送至所述备份存储服务器的备份指令；
所述第一更新单元，还用于在所述第一发送单元向所述新加入存储服务器发送备份指令时，更新所述第一存储单元的元数据的数据标识信息和剩余存储 空间信息，所述元数据为所述新加入的存储服务器的元数据；在所述第一发送单元向所述备份存储服务器发送备份指令时，更新所述第一存储单元的元数据的数据标识信息和剩余存储空间信息，所述元数据为所述备份存储服务器的元数据。
15.一种存储服务器，其特征在于，所述存储服务器包括：第二接收单元和第二发送单元；其中，
所述第二接收单元，用于接收元数据服务器发送的将所述客户端写入的数据发送至备份存储服务器的备份指令。
所述第二发送单元，用于根据所述第二接收单元接收的备份指令，向所述备份指令指定的备份存储服务器发送所述客户端写入的数据。
16.根据权利要求15所述的存储服务器，其特征在于，
所述第二接收单元，还用于接收元数据服务器发送的将所述客户端通过数据读请求读取频率超过预设最大值的数据发送至备份存储服务器的备份指令；接收元数据服务器发送的删除所述客户端通过数据读请求读取频率小于预设最小值的数据的备份删除指令。
17.根据权利要求15或16所述的存储服务器，其特征在于，
所述第二接收单元，还用于接收元数据服务器发送的将客户端通过数据读请求读取频率最高的预设数量的数据发送至备份存储服务器的备份指令；接收元数据服务器发送的将没有备份的数据发送至备份存储服务器的备份指令。
18.一种从属元数据服务器，其特征在于，所述从属元数据服务器包括：第三接收单元、第三存储单元、第三检索确定单元、第三更新单元和第三发送单元；其中，
所述第三接收单元，用于接收元数据服务器发送的周期性心跳信息；接收客户端的数据读请求或数据写请求；
所述第三存储单元，用于存储元数据；
所述第三检索确定单元，用于在所述第三接收单元在预设时间内没有接收到心跳信息时确定元数据服务器不可用，根据所述第三接收单元接收到的数据 读请求或数据写请求检索到负载不超过设定阈值的存储服务器，将检索到的存储服务器确定为响应所述数据读请求或数据写请求的存储服务器；
所述第三更新单元，用于更新所述第三存储单元的所述第三检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的元数据；
所述第三发送单元，用于向所述客户端发送通知所述第三检索确定单元确定的响应所述数据读请求或数据写请求的存储服务器的信息。
19.一种云存储环境数据处理***，其特征在于，所述***包括：客户端、至少两台存储服务器和元数据服务器；其中，
所述元数据服务器，用于接收到客户端的数据读请求或数据写请求时，将根据所述数据读请求或数据写请求检索到的负载不超过预设阈值的存储服务器确定为响应所述数据读请求或数据写请求的存储服务器；更新本地的所述响应数据读请求或数据写请求的存储服务器的元数据，并通知所述客户端所述响应数据读请求或数据写请求的存储服务器的信息。
20.根据权利要求19所述的***，其特征在于，
所述元数据服务器，还用于接收到所述客户端的数据读请求时，根据本地元数据检索所述数据读请求读取数据所在的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器，确定为响应所述数据读请求的存储服务器；接收到所述客户端的数据写请求时，根据本地元数据检索满足所述数据写请求的存储空间需求的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器，确定为响应所述数据写请求的存储服务器。
21.根据权利要求19所述的***，其特征在于，
所述元数据服务器，还用于更新本地的所述响应数据读请求的存储服务器的元数据中的负载信息；或更新本地的所述响应数据写请求的存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息。
22.根据权利要求19所述的***，其特征在于，
所述元数据服务器，还用于在接收到所述客户端的数据写请求时，根据本地元数据检索负载不超过设定阈值的存储服务器，将检索到的存储服务器确定 为备份所述客户端写入响应数据写请求的存储服务器的数据的存储服务器，更新所述备份存储服务器的元数据中的数据标识信息、负载信息和剩余存储空间信息，并向响应所述数据写请求的存储服务器发送将所述客户端写入的数据发送至所述备份存储服务器的备份指令。
23.根据权利要求20所述的***，其特征在于，所述***还包括：
从属元数据服务器，用于接收所述元数据服务器同步至本地的元数据；在预设时间内没有接收到所述元数据服务器的心跳信息时确定所述元数据服务器不可用，替代所述元数据服务器处理所述客户端的数据读请求或数据写请求。
24.根据权利要求20所述的***，其特征在于，
所述元数据服务器，还用于根据本地元数据分析出所述客户端通过数据读请求读取同一数据的频率超过预设最大值时，根据本地元数据检索满足所述数据存储空间需求的存储服务器，将检索到的存储服务器中负载不超过预设阈值的存储服务器确定为备份所述数据的存储服务器，向所述数据所在的存储服务器发送将所述数据发送所述备份存储服务器的备份指令，并更新所述备份存储服务器的元数据中的数据标识信息和剩余存储空间信息；根据本地元数据分析出客户端通过数据读请求读取同一数据频率小于预设最小值时，确定所述数据所在的存储服务器中的一个或多个删除所述数据，向所述一个或多个存储服务器发送删除所述数据的备份删除指令，并更新所述一个或多个存储服务器的元数据中的数据标识信息和剩余存储空间信息。
25.根据权利要求20、21、22、23或24所述的***，其特征在于，
所述元数据服务器，还用于检测到所述云存储环境新加入存储服务器时，根据本地元数据，对所述客户端通过数据读请求读取同一数据的频率进行排序，并向读取频率最高的预设数量的数据所在的存储服务器，发送将所述数据发送至所述新加入的存储服务器的备份指令，并更新所述新加入的存储服务器的元数据中的数据标识信息和剩余存储空间信息；检测到所述云存储环境存储服务器数量减少时，根据本地元数据检索没有备份的数据，并将没有备份所述数据的存储服务器中满足所述数据的存储空间需求且负载不超过设定阈值的存储服 务器，确定为备份所述数据的存储服务器，向存储所述数据的存储服务器发送将所述数据发送至所述备份存储服务器的备份指令，并更新所述备份存储服务器的元数据的数据标识信息和剩余存储空间信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310048783.6A CN103167026B (zh) | 2013-02-06 | 2013-02-06 | 一种云存储环境数据处理方法、***及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310048783.6A CN103167026B (zh) | 2013-02-06 | 2013-02-06 | 一种云存储环境数据处理方法、***及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103167026A true CN103167026A (zh) | 2013-06-19 |
| CN103167026B CN103167026B (zh) | 2016-05-18 |
Family
ID=48589762
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310048783.6A Expired - Fee Related CN103167026B (zh) | 2013-02-06 | 2013-02-06 | 一种云存储环境数据处理方法、***及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103167026B (zh) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103440303A (zh) * | 2013-08-21 | 2013-12-11 | 曙光信息产业股份有限公司 | 一种异构云存储***及其数据处理方法 |
| CN104461404A (zh) * | 2014-12-29 | 2015-03-25 | 成都致云科技有限公司 | 元数据存储方法、装置以及*** |
| CN105450679A (zh) * | 2014-08-06 | 2016-03-30 | 杭州海康威视***技术有限公司 | 进行数据云存储的方法及*** |
| CN105635278A (zh) * | 2015-12-30 | 2016-06-01 | 深圳市瑞驰信息技术有限公司 | 一种管理存储***的元数据的方法以及元数据服务器 |
| WO2016086552A1 (zh) * | 2014-12-04 | 2016-06-09 | 中兴通讯股份有限公司 | 一种文件处理的方法及客户端 |
| CN105872118A (zh) * | 2015-11-25 | 2016-08-17 | 乐视云计算有限公司 | Dns网络中节点服务器的检测方法及设备 |
| CN107018163A (zh) * | 2016-01-28 | 2017-08-04 | ***通信集团河北有限公司 | 一种资源配置方法和装置 |
| CN107135240A (zh) * | 2016-02-29 | 2017-09-05 | 华为技术有限公司 | 一种分布式***中命令分发方法、装置及*** |
| CN107666497A (zh) * | 2016-07-27 | 2018-02-06 | 北京京东尚科信息技术有限公司 | 数据访问方法和装置 |
| CN108347454A (zh) * | 2017-01-24 | 2018-07-31 | 阿里巴巴集团控股有限公司 | 元数据交互方法及*** |
| CN108347455A (zh) * | 2017-01-24 | 2018-07-31 | 阿里巴巴集团控股有限公司 | 元数据交互方法及*** |
| CN108989370A (zh) * | 2017-05-31 | 2018-12-11 | 华为软件技术有限公司 | 一种cdn***中的数据存储方法、设备及*** |
| CN110139053A (zh) * | 2018-02-08 | 2019-08-16 | 云丁网络技术(北京)有限公司 | 一种数据处理方法及装置 |
| CN114615275A (zh) * | 2022-03-04 | 2022-06-10 | 国家工业信息安全发展研究中心 | 一种面向云储存分布式负载均衡控制方法及装置 |
| CN116561089A (zh) * | 2023-07-10 | 2023-08-08 | 成都泛联智存科技有限公司 | 数据同步方法、装置、客户端和计算机可读存储介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111240900B (zh) * | 2019-05-23 | 2020-11-24 | 北京天华星航科技有限公司 | 基于虚拟磁带库的数据备份方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1418422A (zh) * | 2000-02-04 | 2003-05-14 | 里逊·Com股份有限公司 | 用于分布式媒体网络和元数据服务器的*** |
| CN101706805A (zh) * | 2009-10-30 | 2010-05-12 | 中国科学院计算技术研究所 | 对象存储方法及其*** |
| CN102024044A (zh) * | 2010-12-08 | 2011-04-20 | 华为技术有限公司 | 分布式文件*** |
| CN102437925A (zh) * | 2011-12-01 | 2012-05-02 | 中兴通讯股份有限公司 | 分布式***中的数据备份方法、装置及*** |
| CN102820998A (zh) * | 2012-08-27 | 2012-12-12 | 南京云创存储科技有限公司 | 实现面向办公应用的双机容错服务***及其数据存储方法 |
| CN102882983A (zh) * | 2012-10-22 | 2013-01-16 | 南京云创存储科技有限公司 | 一种云存储***中提升并发访问性能的数据快速存储方法 |
-
2013
- 2013-02-06 CN CN201310048783.6A patent/CN103167026B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1418422A (zh) * | 2000-02-04 | 2003-05-14 | 里逊·Com股份有限公司 | 用于分布式媒体网络和元数据服务器的*** |
| CN101706805A (zh) * | 2009-10-30 | 2010-05-12 | 中国科学院计算技术研究所 | 对象存储方法及其*** |
| CN102024044A (zh) * | 2010-12-08 | 2011-04-20 | 华为技术有限公司 | 分布式文件*** |
| CN102437925A (zh) * | 2011-12-01 | 2012-05-02 | 中兴通讯股份有限公司 | 分布式***中的数据备份方法、装置及*** |
| CN102820998A (zh) * | 2012-08-27 | 2012-12-12 | 南京云创存储科技有限公司 | 实现面向办公应用的双机容错服务***及其数据存储方法 |
| CN102882983A (zh) * | 2012-10-22 | 2013-01-16 | 南京云创存储科技有限公司 | 一种云存储***中提升并发访问性能的数据快速存储方法 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103440303A (zh) * | 2013-08-21 | 2013-12-11 | 曙光信息产业股份有限公司 | 一种异构云存储***及其数据处理方法 |
| CN105450679B (zh) * | 2014-08-06 | 2019-06-28 | 杭州海康威视***技术有限公司 | 进行数据云存储的方法及*** |
| CN105450679A (zh) * | 2014-08-06 | 2016-03-30 | 杭州海康威视***技术有限公司 | 进行数据云存储的方法及*** |
| WO2016086552A1 (zh) * | 2014-12-04 | 2016-06-09 | 中兴通讯股份有限公司 | 一种文件处理的方法及客户端 |
| CN104461404A (zh) * | 2014-12-29 | 2015-03-25 | 成都致云科技有限公司 | 元数据存储方法、装置以及*** |
| CN105872118A (zh) * | 2015-11-25 | 2016-08-17 | 乐视云计算有限公司 | Dns网络中节点服务器的检测方法及设备 |
| CN105635278A (zh) * | 2015-12-30 | 2016-06-01 | 深圳市瑞驰信息技术有限公司 | 一种管理存储***的元数据的方法以及元数据服务器 |
| CN107018163A (zh) * | 2016-01-28 | 2017-08-04 | ***通信集团河北有限公司 | 一种资源配置方法和装置 |
| CN107018163B (zh) * | 2016-01-28 | 2020-02-11 | ***通信集团河北有限公司 | 一种资源配置方法和装置 |
| CN107135240A (zh) * | 2016-02-29 | 2017-09-05 | 华为技术有限公司 | 一种分布式***中命令分发方法、装置及*** |
| CN107666497B (zh) * | 2016-07-27 | 2020-09-29 | 北京京东尚科信息技术有限公司 | 数据访问方法和装置 |
| CN107666497A (zh) * | 2016-07-27 | 2018-02-06 | 北京京东尚科信息技术有限公司 | 数据访问方法和装置 |
| CN108347455A (zh) * | 2017-01-24 | 2018-07-31 | 阿里巴巴集团控股有限公司 | 元数据交互方法及*** |
| CN108347454A (zh) * | 2017-01-24 | 2018-07-31 | 阿里巴巴集团控股有限公司 | 元数据交互方法及*** |
| CN108347455B (zh) * | 2017-01-24 | 2021-03-26 | 阿里巴巴集团控股有限公司 | 元数据交互方法及*** |
| CN108347454B (zh) * | 2017-01-24 | 2021-03-26 | 阿里巴巴集团控股有限公司 | 元数据交互方法及*** |
| CN108989370A (zh) * | 2017-05-31 | 2018-12-11 | 华为软件技术有限公司 | 一种cdn***中的数据存储方法、设备及*** |
| CN108989370B (zh) * | 2017-05-31 | 2020-11-06 | 华为技术有限公司 | 一种cdn***中的数据存储方法、设备及*** |
| CN110139053A (zh) * | 2018-02-08 | 2019-08-16 | 云丁网络技术(北京)有限公司 | 一种数据处理方法及装置 |
| CN114615275A (zh) * | 2022-03-04 | 2022-06-10 | 国家工业信息安全发展研究中心 | 一种面向云储存分布式负载均衡控制方法及装置 |
| CN114615275B (zh) * | 2022-03-04 | 2024-05-10 | 国家工业信息安全发展研究中心 | 一种面向云储存分布式负载均衡控制方法及装置 |
| CN116561089A (zh) * | 2023-07-10 | 2023-08-08 | 成都泛联智存科技有限公司 | 数据同步方法、装置、客户端和计算机可读存储介质 |
| CN116561089B (zh) * | 2023-07-10 | 2023-09-19 | 成都泛联智存科技有限公司 | 数据同步方法、装置、客户端和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103167026B (zh) | 2016-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103167026A (zh) | 一种云存储环境数据处理方法、***及设备 | |
| KR102240557B1 (ko) | 데이터 저장 방법, 장치 및 시스템 | |
| CN101944124B (zh) | 分布式文件***管理方法、装置以及对应的文件*** | |
| US20090282203A1 (en) | Managing storage and migration of backup data | |
| CN104580439B (zh) | 一种云存储***中使数据均匀分布的方法 | |
| CN102694860A (zh) | 一种云存储的数据处理方法、设备及*** | |
| CN101808127B (zh) | 数据备份方法、***和服务器 | |
| CN104731516A (zh) | 一种存取文件的方法、装置及分布式存储*** | |
| CN107087031B (zh) | 一种存储资源负载均衡方法及装置 | |
| CN104537076A (zh) | 一种文件读写方法及装置 | |
| CN102668516A (zh) | 一种云消息服务中实现消息传递的方法和装置 | |
| CN103037004A (zh) | 云存储***操作的实现方法和装置 | |
| CN105338078A (zh) | 用于存储***的数据存储方法和装置 | |
| CN110022338B (zh) | 文件读取方法、***、元数据服务器和用户设备 | |
| CN104158858A (zh) | 一种访问分布式集群文件***方法及*** | |
| CN102148870A (zh) | 一种云存储***及其实现方法 | |
| CN109328331B (zh) | 用于异步存储服务的自组织存储*** | |
| CN102298547A (zh) | 一种数据备份方法及其装置 | |
| CN103152390A (zh) | 分布式存储***的节点配置方法、装置、节点及*** | |
| CN103049574B (zh) | 实现文件动态副本的键值文件***及方法 | |
| CN102982182A (zh) | 一种数据存储规划方法及装置 | |
| CN110633046A (zh) | 一种分布式***的存储方法、装置、存储设备及存储介质 | |
| US9298765B2 (en) | Apparatus and method for handling partially inconsistent states among members of a cluster in an erratic storage network | |
| CN101644994B (zh) | 控制磁盘休眠方法与***及启用磁盘的方法与服务器 | |
| CN104035728A (zh) | 一种硬盘热插拔处理方法、装置及节点 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160518 Termination date: 20210206 |