CN104378396A

CN104378396A - 数据管理装置及方法

Info

Publication number: CN104378396A
Application number: CN201310355089.9A
Authority: CN
Inventors: 吕桂华; 许式伟
Original assignee: SHANGHAI QINIU INFORMATION TECHNOLOGIES Co Ltd
Current assignee: SHANGHAI QINIU INFORMATION TECHNOLOGIES Co Ltd
Priority date: 2013-08-15
Filing date: 2013-08-15
Publication date: 2015-02-25
Anticipated expiration: 2033-08-15
Also published as: CN104378396B

Abstract

本发明公开了一种数据管理装置，包括：数据镜像管理单元、数据高速分发单元、数据缓存单元、数据永久存储单元等。数据镜像管理单元用以接收和分发海量数据访问请求，并进行数据存在性查询判断；数据高速分发单元用以计算并提供到达最终用户的最短数据传输路径；数据缓存单元用以加快数据的读写速度，以及缓存经数据处理单元处理的结果数据；数据永久存储单元用以永久存储数据镜像管理单元从外部的客户数据***中获取的数据，并为该数据管理装置提供原始形态的数据。本发明大大降低了数据永久存储单元和数据处理单元的请求压力，以完全非侵入式方式访问和处理位于客户自定义单元中的数据，逐步降低直至完全消除对客户数据***的依赖性。

Description

数据管理装置及方法

技术领域　

本发明关于一种云计算技术，特别是涉及一种数据管理装置及方法。　

背景技术　

经过近20年的发展，互联网技术如今已经非常成熟，并随着近年来移动设备特别是智能手机的快速普及所导致的数据产生门槛下降，全社会的数据总量快速增加。2011年全球的数据总量已达1800ＥＢ，预计2015年将达7900ＥＢ，保持每两年翻一番的速度。　

随着数据总量的飞速递增，社会对于云存储服务的需求越来越强烈。云存储服务可以以低廉的单位存储成本管理海量的数据，且不会随着数据量的发展而导致访问性能的逐渐下降。　

对于在云存储服务普及之前已经采用传统方式管理着大量数据的企业而言，如何在保持服务不中断的前提下平滑而安全的将历史数据迁移至云存储***中已成为他们之前最大的一道障碍。　

现有的技术已经在业界广泛使用的是内容分发网络。通过将所有对源数据***的请求路由到内容分发网络，内容分发网络可以感知频繁被访问的内容并存储到内容分发网络的缓存节点，从而同时达到降低对源站访问压力和提高访问性能的目的。但内容分发网络无法完全脱离对源数据***的依赖性，从而无法达成非常广泛的普适性。　

海量数据的存储、访问、处理这三大问题通常同时出现，只解决其中一到两个问题并不能解决复杂的数据管理技术问题。随着数据量的迅速增加，原先搭建的数据处理基础设施已经不堪使用，频繁出现用户访问量大增时，经常导致数据处理***反应迟钝，无法及时响应用户对数据的访问。因此发明一种可以在不完全推翻原有基础设施的前提下将数据平滑迁移到先进的云存储***的方法已变得非常急迫。　

发明内容　

为克服上述现有技术存在的不足，本发明提出一种数据管理装置，包括：数据镜像管理单元、数据高速分发单元、数据缓存单元、数据永久存储单元以及数据处理单元，其中，　

数据镜像管理单元用以接收和分发海量数据访问请求，并进行数据存在性查询判断；　

数据高速分发单元用以计算并提供到达最终用户的最短数据传输路径；　

数据缓存单元用以加快数据的读写速度，以及缓存经数据处理单元处理的结果数据；　

数据永久存储单元用以永久存储数据镜像管理单元从外部的客户数据***中获取的数据，并为该数据管理装置提供原始形态的数据；　

数据处理单元用以根据计算压力在海量的计算节点之间的负载进行均衡，按访问请求附带的数据处理需求对输入的原始数据进行相应处理，并作为输出写入到目标位置。　

进一步地，数据处理单元包括有一数据处理挂载模块，用以挂载具体的数据处理程序，实现在高并发场景下仍然能够以稳定的效率执行数据处理过程。　

进一步地，所述数据高速分发单元还支持上传下载双向传输加速功能，用以将数据进行高速分发。　

进一步地，所述数据永久存储单元为一次性获取客户数据并永久保存。　

进一步地，所述数据镜像管理单元还从外部的客户数据***中抓取尚不存在于数据永久存储单元中的相应数据并放入数据永久存储单元。　

本发明还提供一种数据的管理方法，包括如下步骤：　

1）在数据镜像管理单元中配置使用环境；　

2）响应用户对数据的访问请求。　

进一步地，步骤1）包括：　

在数据镜像管理单元上配置用于迁移数据的存储空间；　

在数据镜像管理单元上配置外部的客户数据***的访问模式和访问地址；　

将外部的客户数据***的原域名解析指向配置完成的数据镜像管理单元，将原先直接指向外部的客户数据***的数据访问调整到统一通过数据镜像管理单元进行访问。　

进一步地，步骤2）包括：　

判断访问请求的数据是否已经存在于数据缓存单元中，若存在，则直接读取并返回给用户；若不存在，则　

查询数据永久存储单元，并返回访问请求结果。　

进一步地，查询数据永久存储单元，并返回访问请求结果步骤中包括：　

若访问请求的目标数据存在于数据永久存储单元，则返回访问请求结果；　

若目标数据均不存在于数据永久存储单元中，则数据镜像管理单元将远程查询外部的客户数据***，如果目标数据的原始形态存在于外部的客户数据***中，则将访问请求结果返回给用户，并将返回的数据存储到数据永久存储单元中；　

若目标数据并不存在于外部的客户数据***中，则数据镜像管理单元向用户返回数据不存在的相关信息。　

进一步地，若访问请求的目标数据的原始形态存在于数据永久存储单元，但不存在于数据缓存单元，根据访问请求中是否包含数据处理规则描述，确定是否在将目标数据从数据永久存储单元提升到数据缓存单元之前先经由数据处理单元变换出符合最终需求的数据形态。　

与现有技术相比，本发明的技术效果如下：　

1、设置了数据镜像管理单元，为数据永久存储单元加入数据管理功能。　

2、数据缓存单元加快了数据的读写，大大降低了数据永久存储单元和数据处理单元的请求压力。　

3、引入数据管理流程，达到以完全非侵入式方式访问和处理位于客户自定义单元中的数据，并实现数据访问加速的目标，以及逐步降低直至完全消除对客户数据***的依赖性。　

附图说明　

图1为本发明一种数据管理装置的***架构图；　

图2为本发明一种数据管理方法的步骤流程图。　

具体实施方式　

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。　

图1为本实施例的数据管理装置的***架构图。该数据管理装置1包括数据镜像管理单元13、数据处理单元14、数据高速分发单元15、数据缓存单元12以及数据永久存储单元11，其中，数据镜像管理单元13组合上述若干单元，　以接收和分发海量数据访问请求，并进行数据存在性查询判断。必要时完成从客户数据***2中抓取相应数据并放入数据永久存储单元11中。　

在使用该数据管理装置时，配置好用于迁移数据的存储空间；客户数据***2的访问模式和访问地址；将客户数据***2的原域名解析指向配置完成的数据镜像管理单元13，将原先直接指向客户数据***2的数据访问调整到通过数据镜像管理单元13进行访问。当外面的用户向数据管理装置1发起访问请求后，数据镜像管理单元13即可开始执行访问任务。　

数据高速分发单元15用以计算并提供到达最终用户的最短数据传输路径，同时还支持上传下载双向传输加速功能，解决了能够在多个节点上传数据而不会导致数据不一致性问题。　

数据缓存单元12用以加快数据的读写速度，以及缓存经数据处理单元处理的结果数据。数据缓存单元12可以明显降低对于数据永久存储单元11和数据处理单元14的请求压力。　

数据永久存储单元11用以从外部的客户数据***中获取数据，并为该数据管理装置提供原始形态数据。实际使用时，可以用于永久存储从客户数据***2中一次性获取的数据。数据永久存储单元11中存储的数据不会像传统的内容分发网络那样，会因为数据缓存单元12的存储空间限制而导致阶段性的删除，而是保持永久有效，大大降低并最终消除对客户数据***2的依赖。　

为了进一步提高本实施例中数据管理装置1的计算性能，数据管理装置1还可以设置有数据处理单元14，提供一种根据计算压力在海量计算节点之间进行自动负载均衡的机制，按访问请求附带的数据处理需求对输入的原始数据进行相应处理，并作为输出写入到目标位置。并附有一数据处理挂载模块（未图示），用以挂载具体的数据处理程序，如以符合数据处理单元14所定义的标准接口协议实现常规的或客户自定义的数据处理算法，由数据处理单元14进行调度和执行，完成所需的数据处理过程。从而实现在高并发场景下仍然能够以稳定的效率处理数据。　

请参见图2，图2为本实施例的数据管理方法的步骤流程图，为了进一步展开说明本实施例的技术效果，下面以本实施例中的数据管理装置1对访问请求的工作流程进行详细的说明。　

步骤Ｓ1，首先，在数据镜像管理单元中配置使用环境。其中，包括如下步骤：　

1．在数据镜像管理单元上配置用于迁移数据的存储空间；　

2．在数据镜像管理单元上配置外部的客户数据***的访问模式和访问地址；　

3．将外部的客户数据***的原域名解析指向配置完成的数据镜像管理单元，将原先直接指向外部的客户数据***的数据访问调整到通过数据镜像管理单元进行访问。　

步骤Ｓ2，用户向数据管理装置发起访问请求，数据管理装置根据用户的访问请求，完整执行镜像数据访问业务流程。　

步骤Ｓ0，访问完成。　

下面详细说明数据管理装置执行用户访问请求的步骤：　

步骤Ｓ20：首先，用户请求访问数据镜像管理单元13以及数据缓存单元12；　

步骤Ｓ21：如果访问的目标数据存在于数据缓存单元12，则执行步骤Ｓ210，即将数据缓存单元12中的数据读取，返回给用户，进入步骤Ｓ0，读取完成。　

在步骤Ｓ21中，如果访问的目标数据不存在于数据缓存单元12中，则进入步骤Ｓ22。　

步骤Ｓ22及步骤Ｓ23，访问数据永久存储单元11并进行判断，若访问请求的目标数据存在于数据永久存储单元11中，则进入步骤Ｓ230。　

步骤Ｓ230，对数据进行处理，根据访问请求中是否包含数据处理规则描述，确定是否在将目标数据从数据永久存储单元提升到数据缓存单元之前先经由数据处理单元变换出符合最终需求的数据形态，如视频文件转码、图片缩放与剪切、日志文件压缩和解压缩等等。如果需要进行处理，则进入步骤Ｓ231，对数据进行处理，处理完毕，进入步骤Ｓ232。　

步骤Ｓ232，将访问到的数据或者经过步骤Ｓ231处理过的数据写入数据缓存单元12并返回给用户，进入步骤Ｓ0访问完成。　

在步骤Ｓ23中，若访问请求的目标数据不存在于数据永久存储单元11中，进入步骤Ｓ24以及步骤Ｓ240，数据镜像管理单元13将远程查询外部的客户数据***2。如果目标数据的原始形态存在于外部的客户数据***2中，则进入步骤Ｓ242，将访问请求结果存储到数据永久存储单元11中，然后进入步骤Ｓ230。　

在步骤Ｓ240中，若目标数据并不存在于外部的客户数据***2中，则进入步骤Ｓ241，数据镜像管理单元13向用户返回数据不存在的相关信息，比如返回“文件不存在”的错误信息，最后访问完成。　

综上所述，本发明的一种数据管理***及方法其效果包括如下：　

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。　

Claims

1.一种数据管理装置，其特征在于，包括：数据镜像管理单元、数据高速分发单元、数据缓存单元、数据永久存储单元以及数据处理单元，其中，

2.如权利要求1所述的数据管理装置，其特征在于：数据处理单元包括有一数据处理挂载模块，用以挂载具体的数据处理程序，实现在高并发场景下仍然能够以稳定的效率执行数据处理过程。

3.如权利要求1所述的数据管理装置，其特征在于：所述数据高速分发单元还支持上传下载双向传输加速功能，用以将数据进行高速分发。

4.如权利要求1所述的数据管理装置，其特征在于：所述数据永久存储单元为一次性获取客户数据并永久保存。

5.如权利要求1所述的数据管理装置，其特征在于：所述数据镜像管理单元还从外部的客户数据***中抓取尚不存在于数据永久存储单元中的相应数据并放入数据永久存储单元。

6.一种数据的管理方法，其特征在于，包括如下步骤：

1）在数据镜像管理单元中配置使用环境；

2）响应用户对数据的访问请求。

7.如权利要求6所述的一种数据的管理方法，其特征在于，步骤1）包括：

在数据镜像管理单元上配置用于迁移数据的存储空间；

8.如权利要求6所述的一种数据的管理方法，其特征在于，步骤2）包括：

查询数据永久存储单元，并返回访问请求结果。

9.如权利要求8所述的一种数据的管理方法，其特征在于，查询数据永久存储单元，并返回访问请求结果步骤中包括：

10.如权利要求9所述的一种数据的管理方法，其特征在于，若访问请求的目标数据的原始形态存在于数据永久存储单元，但不存在于数据缓存单元，根据访问请求中是否包含数据处理规则描述，确定是否在将目标数据从数据永久存储单元提升到数据缓存单元之前先经由数据处理单元变换出符合最终需求的数据形态。