CN105025084A - 一种基于同步代理和混合存储的云存储*** - Google Patents

一种基于同步代理和混合存储的云存储*** Download PDF

Info

Publication number
CN105025084A
CN105025084A CN201510316110.3A CN201510316110A CN105025084A CN 105025084 A CN105025084 A CN 105025084A CN 201510316110 A CN201510316110 A CN 201510316110A CN 105025084 A CN105025084 A CN 105025084A
Authority
CN
China
Prior art keywords
file
cloud storage
user
cloud
sync agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510316110.3A
Other languages
English (en)
Other versions
CN105025084B (zh
Inventor
林为民
余勇
蒋诚智
石聪聪
郭骞
俞庚申
范杰
叶云
高鹏
李尼格
冯谷
曹宛恬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Smart Grid Research Institute of SGCC
Original Assignee
State Grid Corp of China SGCC
Smart Grid Research Institute of SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Smart Grid Research Institute of SGCC filed Critical State Grid Corp of China SGCC
Priority to CN201510316110.3A priority Critical patent/CN105025084B/zh
Publication of CN105025084A publication Critical patent/CN105025084A/zh
Application granted granted Critical
Publication of CN105025084B publication Critical patent/CN105025084B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种基于同步代理和混合存储的云存储***，所述***包括(1)拥有应用程序、Web控制台和同步代理的用户接口模块；(2)负责管理存储对象元数据的虚拟文件模块；(3)负责控制存储设备和其它***功能的后端管理模块；所述用户接口模块、虚拟文件模块与后端管理模块采用唯一的REST接口进行通信。本发明能够有效解决客户端与服务器之间的数据高一致性问题，能够提高云存储服务的高可用性，又能够解决上传到公共云存储的用户数据安全性问题。

Description

一种基于同步代理和混合存储的云存储***
技术领域
本发明涉及一种云存储架构，具体讲涉及一种基于同步代理和混合存储的云存储***。
背景技术
近年来，许多云存储服务相继出现，并且提供了不同级别的存储对象。云存储服务允许用户在任何地方都能存储数据到远程磁盘中，并从远程磁盘中访问数据。常用的云存储类型主要有公共云存储和私有云存储。
(1)公共云存储
诸如Amazon公司的简单存储服务(Simple Storage Service，S3)和Nutanix公司的网络存储服务，都可以低成本地向用户提供大量的文件存储空间。云存储服务提供商可以保证每个用户的存储空间和业务应用都是独立的。其中，以Dropbox为代表的个人云存储服务是公共云存储发展较为突出的代表，而国内比较突出的代表有搜狐企业网盘、百度云盘、360云盘、金山快盘等。
(2)私有云存储
与公共云存储相比，私有云存储通常服务于某个企业，企业拥有或控制私有云存储的基础架构以及业务应用。私有云存储通常部署于企业的数据中心或相同地点的基础设施上，既可以由公司自己的IT部门管理，也可以由私有云存储服务提供商管理。可以提供私有云存储服务的平台有Eucalyptus、3A Cloud、minicloud安全办公私有云以及联想网盘等。
为了给用户更好的体验，云存储应具备几项严格要求，包括数据高一致性、服务高可用性等。当前，云存储的一个发展现状是公共云存储具有更高的效率和更低的价格，但是其安全问题仍然使得组织机构犹豫是否选择公共云存储；而私有云存储相对安全，但是其服务性价比却相对较低。因此，如何综合两种云存储实现方式的优势，设计数据更为一致、服务更为稳定的云存储架构成为迫切需要解决的一个新挑战。
发明内容
针对现有技术的不足，本发明提出一种基于同步代理和混合存储的云存储***。本发明在所提出的同步代理机制中，通过定期比较客户端与服务器之间用户文件或文件夹的不同，并建立用户文件或文件夹修改记录数据库，能够有效解决客户端与服务器之间的数据高一致性问题；在所提出的混合存储机制中，借助于公共云存储资源作为私有云存储***的备份能够提高云存储服务的高可用性，同时经过加密的远程备份存储和自动服务恢复机制又能够解决上传到公共云存储的用户数据安全性问题。
本发明的目的是采用下述技术方案实现的：
一种基于同步代理和混合存储的云存储***，其改进之处在于，所述***包括(1)拥有应用程序、Web控制台和同步代理的用户接口模块；(2)负责管理存储对象元数据的虚拟文件模块；(3)负责控制存储设备和其它***功能的后端管理模块；
所述用户接口模块、虚拟文件模块与后端管理模块采用唯一的REST接口进行通信。
优选的，所述用户接口模块的应用程序包括外部用户程序和云存储***自带的应用程序；
所述外部用户程序是指访问云存储服务的客户端用户程序；
所述云存储***自带的应用程序，可作为云存储资源的配置接口，也可作为外部用户程序访问云存储资源的一个桥梁；
除了借助于云存储***自带的应用程序，外部用户程序也可以通过调用CSMA的REST接口与虚拟文件模块进行交互，以在云存储服务器上创建新的业务应用。
优选的，所述Web控制台用于文件访问和服务器管理的Web用户接口被实现为一个富互联网应用程序。
优选的，所述用户接口模块的同步代理包括当用户启动自己的客户端设备时，相应的同步代理随之启动，该同步代理将定期扫描用户指定的文件夹，并比较存放于其中的文件或文件夹的状态；通过比较文件名字、文件大小、更新日期/时间戳以及文件数据的校验和，确定客户端指定文件夹与服务器相应文件夹之间所有内容的不同之处；
同步代理能够发现对所有已有文件和新增加/删除文件的修改，并利用这些信息明确每次同步操作需要上传或下载的文件；
同步代理建立了一个数据库来跟踪和记录客户端的所有文件操作，以确保每次同步结果都是一致和正确的；
客户端设备离线时，同步代理会保存所有文件变化到数据库中，并在网络可用时将数据库保存的所有文件变化同步到云存储服务器和其它共享相同文件的客户端。
优选的，在虚拟文件模块中，每个用户都有自己的子虚拟文件模块，每个子虚拟文件模块为每个用户提供一个存储逻辑视图，并保存所有用户自己创建和其他用户共享的文件的元数据。
优选的，所述虚拟文件模块中包括混合存储机制，其包括用户数据备份到公共云存储、切换私有云存储到公共云存储和从公共云存储恢复用户数据。
优选的，所述后端管理模块用于负责云存储***的用户信息管理、信息共享控制、自动***维护、状态健康检查、数据备份/恢复和设备资源管理功能。
进一步地，所述用户信息管理用于减少对***管理员的依赖设计了一个自注册的简单机制来添加、初始化和收集新用户的信息；
信息共享控制用于防止共享同一文件夹的所有用户越权操作其他用户的文件或文件夹，规定所有共享文件或文件夹只能由自己的所有者删除；
数据备份/恢复具有用户档案、资源配置、文件数据信息的本地或远程自动备份功能，备份操作定期自动执行或随时手动启动。
与最接近的现有技术比，本发明的有益效果为：
(1)轻量级同步代理：为了实现客户端与服务器之间用户信息的同步，本发明设计了一种同步代理机制。该机制通过定期扫描用户指定的文件夹和比较文件名字、文件大小、更新日期/时间戳以及文件数据的校验和，计算出客户端与服务器之间用户信息的差距，实现两端用户信息的同步。所设计的同步代理具有无痕启动、双向同步、离线有效等特点，有效提高了云存储***的数据一致性。
(2)安全的混合存储：为了应对私有云存储***因设备故障和网络中断等原因而造成服务不可用问题，本发明设计了一种混合存储机制。在混合存储机制中，借助于公共云存储资源作为私有云存储***的备份，同时对上传到公共云存储的用户数据进行加密，融合了远程备份存储和自动服务恢复过程的混合存储机制有效解决了云存储的服务高可用性和数据安全性问题。
(3)低成本用户管理：为了减少对***管理员的依赖，本发明设计了一个“自注册”的简单机制来实现新用户注册的自动完成。同时，所设计的用户管理功能还可以利用微软的Windows活动目录实现用户定义和身份认证。这种改进对不愿购买额外资源创建新目录或者已经建有企业目录的中小企业而言尤其有意义。
(4)多种备份机制：本发明所提出的云存储架构具有用户信息的本地或远程备份功能，信息可以备份到本地存储设备或Amazon之类的网络存储服务平台中。备份操作定期自动执行或随时手动启动，并支持增量式滚动备份。这种改进能够为中小企业提供多种机制备份重要的商业数据。
(5)多粒度共享控制：当前的一些公共云存储解决方案允许具有权限的所有用户在一个共享文件夹内可以删除其他用户文件或文件夹，这种粗放的权限控制不能满足商业应用的严格要求。在本发明所提出的云存储架构中，所有共享文件或文件夹只能由自己的所有者删除，同时支持基于***级或个体级用户组策略的信息共享方式，实现了云存储信息共享的多粒度严格控制。
(6)隐私和安全：中小企业采用本发明所提出的云存储架构后，数据隐私和安全都交由中小企业控制。同时，所提出的云存储架构能够记录对用户数据的所有操作以供用户审计，因此用户可以享受最低安全风险的云存储服务。这个优势极大地提高了中小企业在其重要商业应用中采用云存储服务的意愿。
附图说明
图1为本发明提供的基于同步代理和混合存储的云存储***(CSMA)。
图2为本发明提供的CSMA的混合存储机制。
图3为本发明提供的CSMA的远程安全备份过程。
图4为本发明提供的CSMA的远程安全恢复过程。
图5为本发明提供的虚拟文件模块的元数据概念模型实现。
图6为本发明提供的CSMA应对存储对象快速增长的稳定性情况。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
在本发明中，提出了一种能够提高云存储数据一致性和服务可用性的云存储***—CSMA(Cloud Storage Middleware Architecture)。该云存储***如图1所示，主要包括三个模块：(1)拥有应用程序、Web控制台和同步代理的用户接口模块；(2)负责管理存储对象元数据的虚拟文件模块；(3)负责控制存储设备和其它***功能的后端管理模块。对于三个模块之间的通信，CSMA提供了用户接口模块、虚拟文件模块与后端管理模块的唯一接口—REST接口。由于允许其它应用程序直接调用自己来访问云存储资源，REST接口降低了云存储***的通信开销。CSMA的虚拟文件模块和后端管理模块通过外部调用接口来管理硬件资源以及操作***和数据库等软件资源。
A、用户接口模块
(1)应用程序
CSMA中的应用程序包括两种情形：一是外部用户程序，主要是指访问云存储服务的客户端(与云存储服务器相对应的一个概念)用户程序；二是云存储***自带的应用程序，既可以作为云存储资源的配置接口，又可以作为外部用户程序访问云存储资源的一个桥梁。除了借助于云存储***自带的应用程序，外部用户程序也可以通过调用CSMA的REST接口与虚拟文件模块进行交互，以在云存储服务器上创建新的业务应用。
(2)Web控制台
通常，用于文件访问和服务器管理的Web用户接口被实现为一个富互联网应用程序(Rich-Internet Application，RIA)。该富互联网应用程序可以通过任何采用DHTML、CSS、JavaScript、JQuery、AJAX等技术实现的Web浏览器访问，这种RIA/AJAX实现方式利用客户端编程和浏览器能够提供一个高交互性的用户接口。该用户接口能够提供诸如拖放、环境菜单和图形可视化等功能，而且不会对云存储服务器或客户端与服务器之间的通信增加额外负担。
CSMA的Web用户接口与下层的REST接口完全独立。这种独立使得开发人员在不影响虚拟文件模块架构完整性的情况下，很容易和快速地修改用户接口以满足不同需求。用户接口模块发出的JavaScript以及相关HTML和CSS程序通过REST接口使用经过JSON编码的请求与虚拟文件模块进行交互。除了RIA/AJAX方式，CSMA还实现了一个向导程序，作为云存储服务器的管理助手来进行存储设备RAID配置、数据备份/恢复操作、***健康监控、特定***/数据库修复操作、新***固件/软件升级、***失效恢复等复杂任务的管理。借助于与底层云存储服务器的进程接口，向导程序能够激活进程来处理各种管理任务。另外，向导程序还根据云存储服务器的配置和状态情况使用规则推理和调度机制来优化其决策。借助于这种智能向导程序，普通用户能够通过Web控制台来监控和管理分配给自己的云存储资源。
(3)同步代理
为了与各种客户端操作***的文件***或访问方式进行协调，CSMA针对支持的每种客户端环境实现了一个相应的同步代理。当用户启动自己的客户端设备时，相应的同步代理随之启动。该同步代理将定期扫描用户指定的文件夹，并比较存放于其中的文件或文件夹的状态。
为了实现客户端与服务器之间用户指定文件夹信息的同步，通过比较文件名字、文件大小、更新日期/时间戳以及文件数据的校验和，可以确定客户端指定文件夹与服务器相应文件夹之间所有内容的不同之处。同步代理能够发现对所有已有文件和新增加/删除文件的修改，并利用这些信息明确每次同步操作需要上传或下载的文件。同步代理建立了一个数据库来跟踪和记录客户端的所有文件操作，以确保每次同步结果都是一致和正确的。即使客户端设备离线，同步代理也会保存所有文件变化到数据库中，并在网络可用时将数据库保存的所有文件变化同步到云存储服务器和其它共享相同文件的客户端。
B、虚拟文件模块
虚拟文件模块是一个位于用户应用程序与网络附属存储(Network-attached Storage，NAS)服务器之间的抽象层。在虚拟文件模块中，每个用户都有自己的子虚拟文件模块。每个子虚拟文件模块为每个用户提供一个存储逻辑视图，并保存所有用户自己创建和其他用户共享的文件的元数据。由于诸如删除、移动、共享和重命名等许多操作都是通过修改虚拟文件模块的元数据实现的，因此这些操作通常非常快速、灵活和高效。
虚拟文件模块的结构允许开发人员增加许多通用文件***不直接支持的新功能。所有CSMA的“文件版本”和“文件共享”功能都是借助于虚拟文件模块的这种扩展能力实现的。例如在“文件版本”中，当某个文件首次被修改时，一个隐藏的“版本历史”文件夹将被创建以维护所有的文件版本。对于用户之间共享的文件或文件夹，虚拟文件模块维护了一个指针列表以跟踪和记录所有文件或文件夹的关系。
在CSMA云存储体系中，如果私有云存储设备由于网络中断或者设备故障等原因变得不可访问时，则用户上传或下载数据的请求将无法得到响应。为了解决这一问题，CSMA在虚拟文件模块中设计了一种混合存储机制。借助于公共云存储资源，混合存储机制能够有效地提高整个CSMA云存储体系的服务可用性。公共云存储***中运行CSMA镜像的虚拟机可被视为CSMA云存储体系下一个按需提供存储服务的设备，并在CSMA云存储体系下私有云存储服务不可用时继续提供云存储服务。此外，在混合存储机制中即使用户隐私数据被上传到公共云存储设备中，仍是安全的。图2显示了本发明所提出的混合存储机制。下面将通过三个主要应用场景来解释该机制如何能够实现云存储服务的高可用性。
(1)场景一：用户数据备份到公共云存储
在第一个场景中，CSMA的私有云存储设备是可用的，而且DNS服务器连接到CSMA。CSMA每隔一段时间发送一个心跳到负载均衡器以报告CSMA的状态。用户提交的所有存储请求将首先被发送到DNS服务器，然后被发送给CSMA进行正确响应。
按照备份执行计划，CSMA将发送一个特殊的心跳信号到负载均衡器以通知备份将要开始。一旦负载均衡器收到该备份心跳，它将发送另一个请求到一个拥有CSMA镜像的虚拟机管理器，以启动一个运行CSMA镜像的虚拟机实例(称为CSMA虚拟机)。当CSMA虚拟机启动后，一个经过加密的存储卷将被安装到CSMA虚拟机作为存储设备，负载均衡器将发送一个解密密钥到CSMA虚拟机以解密经过加密的存储卷，并发送CSMA虚拟机的IP地址给CSMA以进行安全的备份通信。需要说明的是，只有新增加或修改的用户数据才被备份到公共云，而且当备份完成后，CSMA虚拟机将被停止。图3显示了详细的用户数据公共云存储安全备份过程。
(2)场景二：切换私有云存储到公共云存储
只有当CSMA由于某些原因不可用时，第二个场景才发生。一旦负载均衡器发现CSMA不再可用，它将要求虚拟机管理器启动一个CSMA虚拟机并安装经过加密的存储卷，然后负载均衡器要求DNS服务器把连接从CSMA切换到CSMA虚拟机继续提供云存储服务。用户请求将直接被提交到CSMA虚拟机而不是CSMA，并且这些请求将相应地影响经过加密的存储卷。需要说明的是，CSMA虚拟机的可用性是由虚拟机管理器而不是负载均衡器控制的，虚拟机管理器将接管CSMA虚拟机的计算资源和网络资源的管理。
当DNS服务器发生切换时，所有执行中的请求将被终止，用户需要重新提交请求。重新提交的请求将被送到CSMA虚拟机以实现其任务，而且并非所有重新提交的请求都能够得到响应，因为在当前使用的存储和远程的加密备份存储卷之间存在时间延迟。时间延迟的影响依赖于备份发生的频率。幸运的是，云存储对象(文件或文件夹)并不总是频繁更新，而且大部分诸如Dropbox的云存储服务都采用“最终一致”策略来同步客户端和服务器。这意味着时间延迟所造成的数据不同最终能被消除。
(3)场景三：从公共云存储恢复用户数据
CSMA的硬件或软件失效总能通过更换存储硬件或重启存储软件得到解决。但是，无论硬件更换还是软件重启都只能恢复存储设备的功能。在恢复存储设备功能之后，还需要启动数据恢复过程。图4是一个CSMA数据恢复的流程图。
当CSMA功能恢复后，***管理员可以登录CSMA虚拟机的管理控制台来设置数据恢复的目的地(即CSMA的IP地址)，以将用户数据从CSMA虚拟机恢复到CSMA。一旦恢复过程启动，CSMA虚拟机将停止接收进一步的请求，并且所有执行中的请求将被终止。在数据恢复成功完成后，CSMA将发送一个包含CSMA的IP地址的通知到负载均衡器，以请求DNS服务器重新映射域名到CSMA的IP地址和请求虚拟机管理器停止CSMA虚拟机。
由上述三个场景可见，混合存储机制能够保证整个CSMA云存储环境的状态稳定，极大地提高云存储服务的可用性。
C、后端管理模块
CSMA的后端管理模块主要负责云存储***的用户信息管理、信息共享控制、自动***维护、状态健康检查、数据备份/恢复、设备资源管理等功能。其中，自动***维护、状态健康检查和设备资源管理利用云存储***现有管理工具完成；而用户信息管理、信息共享控制和数据备份/恢复等功能，由CSMA在云存储***现有管理工具的基础上，加以改进完成。
(1)用户信息管理：为了减少对***管理员的依赖，CSMA设计了一个“自注册”的简单机制来添加、初始化和收集新用户的信息。新用户的注册可以经由***管理员审批完成，也可以全部自动完成。CSMA根据每个用户的基本情况，为之分配相应的存储空间定额。除了自身的用户管理功能，CSMA还可以利用微软的Windows活动目录实现用户定义和身份认证。
(2)信息共享控制：为了防止共享同一文件夹的所有用户越权操作其他用户的文件或文件夹，CSMA规定所有共享文件或文件夹只能由自己的所有者删除。另外，CSMA还支持利用用户组策略实现信息共享。其中，用户组可以是整个云存储***范围的，也可以由云存储***若干用户组成，提供了灵活的信息共享控制粒度。
(3)数据备份/恢复：CSMA具有用户档案、资源配置、文件数据等信息的本地或远程自动备份功能，备份操作定期自动执行或随时手动启动。为了提高效率，CSMA支持增量式滚动备份。信息可以备份到本地存储设备或Amazon之类的网络存储服务平台中。
实施例
本发明所提出的CSMA中间件可实现为一个设备模块安装到云存储***中来管理云存储资源和提供诸如Dropbox之类的服务。目前，CSMA原型实现共提供了12个身份认证API、22个对象操作API、19个对象共享API、25个用户组管理API和70个设备管理API。除了设备管理API，其它的API接口都已开放并用于新应用程序的开发和集成。
对于同步代理，CSMA不仅实现了针对Windows等操作***的桌面版同步代理，还实现了针对IPad和IPhone操作***的移动版同步代理。这些移动版同步代理不但支持同步操作，而且支持内容浏览。同时，为了降低电池能耗和通信成本，这些移动版同步代理采用了稍微不同的同步策略：当桌面版同步代理同步所有的文件变化时，移动版同步代理只同步文件名和文件夹等信息的变化。只有用户真正访问某个文件时，该文件的最新内容才被下载。移动设备上的文件或文件夹一旦修改，将被尽快回送到云存储服务器上。如果当前移动设备没有连接到网络，这种内容变化将进入队列等待传送。当网络连接可用后，文件排队传送将被自动传输到CSMA服务器上。
对于“版本历史”功能，CSMA实现了图5所示的虚拟文件模块元数据概念模型。其中，在用户A对应的子虚拟文件模块根文件夹“USERA”下有一个“Folder”文件夹，该文件夹下有两个文件：DOC1和DOC2。由于DOC1被修改了三次，因此在“版本历史”中创建了DOC1的三个独立版本，并设置三个指针指向三个版本。当用户A将“Folder”文件夹共享给用户B时，在子虚拟文件模块根文件夹的元数据中将为用户B创建一个指针以实现共享。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (8)

1.一种基于同步代理和混合存储的云存储***，其特征在于，所述***包括(1)拥有应用程序、Web控制台和同步代理的用户接口模块；(2)负责管理存储对象元数据的虚拟文件模块；(3)负责控制存储设备和其它***功能的后端管理模块；
所述用户接口模块、虚拟文件模块与后端管理模块采用唯一的REST接口进行通信。
2.如权利要求1所述的一种基于同步代理和混合存储的云存储***，其特征在于，所述用户接口模块的应用程序包括外部用户程序和云存储***自带的应用程序；
所述外部用户程序是指访问云存储服务的客户端用户程序；
所述云存储***自带的应用程序，可作为云存储资源的配置接口，也可作为外部用户程序访问云存储资源的一个桥梁；
除了借助于云存储***自带的应用程序，外部用户程序也可以通过调用CSMA的REST接口与虚拟文件模块进行交互，以在云存储服务器上创建新的业务应用。
3.如权利要求1所述的一种基于同步代理和混合存储的云存储***，其特征在于，所述Web控制台用于文件访问和服务器管理的Web用户接口被实现为一个富互联网应用程序。
4.如权利要求1所述的一种基于同步代理和混合存储的云存储***，其特征在于，所述用户接口模块的同步代理包括当用户启动自己的客户端设备时，相应的同步代理随之启动，该同步代理将定期扫描用户指定的文件夹，并比较存放于其中的文件或文件夹的状态；通过比较文件名字、文件大小、更新日期/时间戳以及文件数据的校验和，确定客户端指定文件夹与服务器相应文件夹之间所有内容的不同之处；
同步代理能够发现对所有已有文件和新增加/删除文件的修改，并利用这些信息明确每次同步操作需要上传或下载的文件；
同步代理建立了一个数据库来跟踪和记录客户端的所有文件操作，以确保每次同步结果都是一致和正确的；
客户端设备离线时，同步代理会保存所有文件变化到数据库中，并在网络可用时将数据库保存的所有文件变化同步到云存储服务器和其它共享相同文件的客户端。
5.如权利要求1所述的一种基于同步代理和混合存储的云存储***，其特征在于，在虚拟文件模块中，每个用户都有自己的子虚拟文件模块，每个子虚拟文件模块为每个用户提供一个存储逻辑视图，并保存所有用户自己创建和其他用户共享的文件的元数据。
6.如权利要求1所述的一种基于同步代理和混合存储的云存储***，其特征在于，所述虚拟文件模块中包括混合存储机制，其包括用户数据备份到公共云存储、切换私有云存储到公共云存储和从公共云存储恢复用户数据。
7.如权利要求1所述的一种基于同步代理和混合存储的云存储***，其特征在于，所述后端管理模块用于负责云存储***的用户信息管理、信息共享控制、自动***维护、状态健康检查、数据备份/恢复和设备资源管理功能。
8.如权利要求7所述的一种基于同步代理和混合存储的云存储***，其特征在于，所述用户信息管理用于减少对***管理员的依赖设计了一个自注册的简单机制来添加、初始化和收集新用户的信息；
信息共享控制用于防止共享同一文件夹的所有用户越权操作其他用户的文件或文件夹，规定所有共享文件或文件夹只能由自己的所有者删除；
数据备份/恢复具有用户档案、资源配置、文件数据信息的本地或远程自动备份功能，备份操作定期自动执行或随时手动启动。
CN201510316110.3A 2015-06-10 2015-06-10 一种基于同步代理和混合存储的云存储*** Active CN105025084B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510316110.3A CN105025084B (zh) 2015-06-10 2015-06-10 一种基于同步代理和混合存储的云存储***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510316110.3A CN105025084B (zh) 2015-06-10 2015-06-10 一种基于同步代理和混合存储的云存储***

Publications (2)

Publication Number Publication Date
CN105025084A true CN105025084A (zh) 2015-11-04
CN105025084B CN105025084B (zh) 2018-11-16

Family

ID=54414778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510316110.3A Active CN105025084B (zh) 2015-06-10 2015-06-10 一种基于同步代理和混合存储的云存储***

Country Status (1)

Country Link
CN (1) CN105025084B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105429994A (zh) * 2015-12-10 2016-03-23 黄信开 一种基于分布式云存储的智能手机保密方法
CN105824723A (zh) * 2016-03-18 2016-08-03 北京春鸿企业管理咨询有限公司 一种对公有云存储账户的数据进行备份的方法及***
CN105930233A (zh) * 2016-05-19 2016-09-07 北京春鸿企业管理咨询有限公司 对指定公有云账户的数据进行分别自动备份的方法及***
CN106254421A (zh) * 2016-07-19 2016-12-21 北京中科同向信息技术有限公司 一种基于虚拟云的技术
CN106296349A (zh) * 2016-08-03 2017-01-04 海南警视者科技开发有限公司 一种多功能管家服务管理***
CN106899669A (zh) * 2017-02-23 2017-06-27 郑州云海信息技术有限公司 一种基于Registry的企业容器镜像建立方法和装置
CN107172192A (zh) * 2017-06-19 2017-09-15 西安工程大学 基于混合存储的SaaS网络管理***数据管理框架
CN107613026A (zh) * 2017-10-31 2018-01-19 四川仕虹腾飞信息技术有限公司 基于云存储***的分布式文件管理***
CN109413151A (zh) * 2018-09-25 2019-03-01 淮阴师范学院 一种用于文件更新的代理服务器
CN109995869A (zh) * 2019-04-08 2019-07-09 苏州浪潮智能科技有限公司 一种远程自动下载文件的方法、装置、设备及存储介质
CN110199277A (zh) * 2017-01-18 2019-09-03 微软技术许可有限责任公司 在数据资源中包括元数据
CN110895483A (zh) * 2018-09-12 2020-03-20 北京奇虎科技有限公司 任务恢复方法及装置
CN110990745A (zh) * 2019-12-04 2020-04-10 北京方正数码有限公司 一种自动同步同类公共云资源的方法
CN111143133A (zh) * 2019-12-31 2020-05-12 广州鼎甲计算机科技有限公司 虚拟机备份方法和备份虚拟机恢复方法
CN111586119A (zh) * 2020-04-26 2020-08-25 蛟龙（厦门）科技有限公司 一种一体化云存储***及其存储方法
CN112398962A (zh) * 2020-10-12 2021-02-23 联通智网科技有限公司 一种存储容灾方法、装置、计算机设备和存储介质
CN112541190A (zh) * 2020-12-03 2021-03-23 苏州工业园区测绘地理信息有限公司 基于统一用户信息的地图分权控制方法及控制***
CN113225390A (zh) * 2021-04-26 2021-08-06 杭州当虹科技股份有限公司 基于对象存储的代理方法及***
CN117453639A (zh) * 2023-12-22 2024-01-26 山东万里红信息技术有限公司 一种面向云存储的数据可信销毁方法及其***
WO2024045909A1 (zh) * 2022-08-30 2024-03-07 武汉攀升鼎承科技有限公司 可内置独立数据的存储设备
US12019684B2 (en) 2017-01-18 2024-06-25 Microsoft Technology Licensing, Llc Application programming interface arranged to interface with a plurality of data sources

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307221A (zh) * 2011-03-25 2012-01-04 国云科技股份有限公司 一种云存储***及其实现方法
CN103067488A (zh) * 2012-12-25 2013-04-24 中国科学院深圳先进技术研究院 一种统一存储的实现方法
CN103237046A (zh) * 2013-02-25 2013-08-07 中国科学院深圳先进技术研究院 支持混合云存储应用的分布式文件***及实现方法
CN103442057A (zh) * 2013-08-27 2013-12-11 玉林师范学院 一种基于用户协作云的云存储***
CN104508627A (zh) * 2012-10-08 2015-04-08 惠普发展公司，有限责任合伙企业 混合云环境

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102307221A (zh) * 2011-03-25 2012-01-04 国云科技股份有限公司 一种云存储***及其实现方法
CN104508627A (zh) * 2012-10-08 2015-04-08 惠普发展公司，有限责任合伙企业 混合云环境
CN103067488A (zh) * 2012-12-25 2013-04-24 中国科学院深圳先进技术研究院 一种统一存储的实现方法
CN103237046A (zh) * 2013-02-25 2013-08-07 中国科学院深圳先进技术研究院 支持混合云存储应用的分布式文件***及实现方法
CN103442057A (zh) * 2013-08-27 2013-12-11 玉林师范学院 一种基于用户协作云的云存储***

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105429994B (zh) * 2015-12-10 2018-08-28 黄信开 一种基于分布式云存储的智能手机保密方法
CN105429994A (zh) * 2015-12-10 2016-03-23 黄信开 一种基于分布式云存储的智能手机保密方法
CN105824723A (zh) * 2016-03-18 2016-08-03 北京春鸿企业管理咨询有限公司 一种对公有云存储账户的数据进行备份的方法及***
CN105824723B (zh) * 2016-03-18 2018-09-18 北京春鸿科技有限公司 一种对公有云存储账户的数据进行备份的方法及***
CN105930233A (zh) * 2016-05-19 2016-09-07 北京春鸿企业管理咨询有限公司 对指定公有云账户的数据进行分别自动备份的方法及***
CN105930233B (zh) * 2016-05-19 2018-10-16 北京春鸿科技有限公司 对指定公有云账户的数据进行分别自动备份的方法及***
CN106254421A (zh) * 2016-07-19 2016-12-21 北京中科同向信息技术有限公司 一种基于虚拟云的技术
CN106296349A (zh) * 2016-08-03 2017-01-04 海南警视者科技开发有限公司 一种多功能管家服务管理***
US12019684B2 (en) 2017-01-18 2024-06-25 Microsoft Technology Licensing, Llc Application programming interface arranged to interface with a plurality of data sources
CN110199277B (zh) * 2017-01-18 2023-09-12 微软技术许可有限责任公司 在数据资源中包括元数据
CN110199277A (zh) * 2017-01-18 2019-09-03 微软技术许可有限责任公司 在数据资源中包括元数据
CN106899669A (zh) * 2017-02-23 2017-06-27 郑州云海信息技术有限公司 一种基于Registry的企业容器镜像建立方法和装置
CN106899669B (zh) * 2017-02-23 2020-09-18 苏州浪潮智能科技有限公司 一种基于Registry的企业容器镜像建立方法和装置
CN107172192A (zh) * 2017-06-19 2017-09-15 西安工程大学 基于混合存储的SaaS网络管理***数据管理框架
CN107613026A (zh) * 2017-10-31 2018-01-19 四川仕虹腾飞信息技术有限公司 基于云存储***的分布式文件管理***
CN110895483A (zh) * 2018-09-12 2020-03-20 北京奇虎科技有限公司 任务恢复方法及装置
CN109413151B (zh) * 2018-09-25 2021-01-12 淮阴师范学院 一种用于文件更新的代理服务器
CN109413151A (zh) * 2018-09-25 2019-03-01 淮阴师范学院 一种用于文件更新的代理服务器
CN109995869A (zh) * 2019-04-08 2019-07-09 苏州浪潮智能科技有限公司 一种远程自动下载文件的方法、装置、设备及存储介质
CN110990745A (zh) * 2019-12-04 2020-04-10 北京方正数码有限公司 一种自动同步同类公共云资源的方法
CN111143133A (zh) * 2019-12-31 2020-05-12 广州鼎甲计算机科技有限公司 虚拟机备份方法和备份虚拟机恢复方法
CN111143133B (zh) * 2019-12-31 2020-09-01 广州鼎甲计算机科技有限公司 虚拟机备份方法和备份虚拟机恢复方法
CN111586119B (zh) * 2020-04-26 2023-06-09 蛟龙（厦门）科技有限公司 一种一体化云存储***及其存储方法
CN111586119A (zh) * 2020-04-26 2020-08-25 蛟龙（厦门）科技有限公司 一种一体化云存储***及其存储方法
CN112398962A (zh) * 2020-10-12 2021-02-23 联通智网科技有限公司 一种存储容灾方法、装置、计算机设备和存储介质
CN112541190A (zh) * 2020-12-03 2021-03-23 苏州工业园区测绘地理信息有限公司 基于统一用户信息的地图分权控制方法及控制***
CN112541190B (zh) * 2020-12-03 2024-03-12 园测信息科技股份有限公司 基于统一用户信息的地图分权控制方法及控制***
CN113225390A (zh) * 2021-04-26 2021-08-06 杭州当虹科技股份有限公司 基于对象存储的代理方法及***
WO2024045909A1 (zh) * 2022-08-30 2024-03-07 武汉攀升鼎承科技有限公司 可内置独立数据的存储设备
CN117453639A (zh) * 2023-12-22 2024-01-26 山东万里红信息技术有限公司 一种面向云存储的数据可信销毁方法及其***
CN117453639B (zh) * 2023-12-22 2024-03-22 山东万里红信息技术有限公司 一种面向云存储的数据可信销毁方法及其***

Also Published As

Publication number Publication date
CN105025084B (zh) 2018-11-16

Similar Documents

Publication Publication Date Title
CN105025084A (zh) 一种基于同步代理和混合存储的云存储***
RU2604519C2 (ru) Меж-облачное управление и устранение неполадок
US9912753B2 (en) Cloud storage brokering service
CN107707393B (zh) 基于Openstack O版特性的多活***
US10261872B2 (en) Multilevel disaster recovery
US7774323B2 (en) Method and apparatus for delivering managed applications to remote locations
US8918392B1 (en) Data storage mapping and management
CN105357296A (zh) 一种Docker云平台下弹性缓存***
US7370336B2 (en) Distributed computing infrastructure including small peer-to-peer applications
JP5727020B2 (ja) クラウドコンピューティングシステム及びそのデータ同期化方法
US7937716B2 (en) Managing collections of appliances
US20090063650A1 (en) Managing Collections of Appliances
CN103647849A (zh) 一种业务迁移方法、装置和一种容灾***
CN104391930A (zh) 分布式文件存储装置和方法
CN105094897B (zh) 一种虚拟机启动方法、云接入设备及云计算中心
JP2016525244A (ja) コンピューティングセッションの管理
CN105138435A (zh) 向执行中的程序提供对非本地块数据存储装置的可靠访问
CN103973725A (zh) 一种分布式协同方法和协同器
CN103399806A (zh) 网络备份更新管理方法及其***
CN105069152A (zh) 数据处理方法及装置
EP3457668B1 (en) Clustering in unified communication and collaboration services
CN105404530B (zh) 一种实现简易部署和使用私有云的***及方法
CN113535391A (zh) 跨域大数据平台的分布式集群状态信息管理方法及***
CN101237400A (zh) 网络附加存储服务的迁移方法及网络附加存储节点
CN104158833A (zh) 一种智能桌面***的构建方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant