CN102204267B

CN102204267B - 分布式数据存储和接入***

Info

Publication number: CN102204267B
Application number: CN200980133058.0A
Authority: CN
Inventors: 戴维·C·卡弗尔; 布兰科·J·格罗瓦克
Original assignee: Peribit Networks Inc
Current assignee: Juniper Networks Inc; Peribit Networks Inc
Priority date: 2008-07-10
Filing date: 2009-07-09
Publication date: 2014-05-07
Anticipated expiration: 2029-07-09
Also published as: WO2010006134A3; EP2307991A2; CN102204267A; WO2010006134A2

Abstract

一种用于内容存储和接入的分布式***，包括存储平台和接入平台，该存储平台至少具有第一存储部件，该接入平台具有一个或多个接入部件。每个接入部件与多个接入服务中的至少一个相关联。该接入服务可以是管理服务，该管理服务用于接收第一用户发起的服务请求，以及用于识别该服务请求的特征，该服务请求与内容首项相关联；或是内容管理服务，该服务至少部分基于该服务请求的该特征确定与该第一存储部件相关联的要执行的数据传输操作的详细说明；还可以是一个维护与内容首项相关联的信息的目录服务。

Description

分布式数据存储和接入***

技术领域

本发明涉及分布式数据存储和接入***。

背景技术

基于分布式网络的数据存储(例如，通过互联网可以接入)具有多种应用。一种应用是视频存取。

在过去的几十年里，随着家用高速互联网业务日臻成熟，在线视频流越来越受互联网用户的欢迎。例如当传统的视频传输***(如有线电视***)不再满足客户日益增长的对于便于读取即时传送的需求时，电影消费者可能会立刻转向能够提供这种服务的在线视频存储。但是，实际上建立一个库容量与传统视频租赁店相当的互联网存储***用来以合理的价格向消费者提供可靠的电影下载服务并非易事。下面的实例说明了这种想法背后存在的一些难题。

考虑这样一个例子，一个电影下载服务***，其中有20K部电影，每部片长2小时，编码率为2.5Mbps，配置为可同时服务15K个会话。在过去，这个***可被看做一个装备精良的大型视频租赁店。(作为对比，NetFlix目前有大约超过70K部影视作品。)按照每部电影占用约2.25GB存储空间(即2hr*2.5Mb/s*60sec*60min/8)，存储20K部电影所需的毛存储量为45TB。另外，如果使用了镜像还原，存储整个电影库所需的最小容量为90TB，该***可用大约96块1TB的硬盘按照例如4台服务器每台24块硬盘进行构建。

在上面的示例***中，进行15K并行会话所需的接入带宽为37.5Gbps，在假设各个硬盘上的负载相等的情况下需要96块硬盘中的每一块都能提供大约400Mbps的带宽。但是，这样的接入速率超出了一般存储***的常规实用速率。在典型的工作负载条件下，传统的存储***可提供平均每个磁盘50Mbps的带宽。即使是调整过的已被配置为能够提供超常的高达150～200Mbps带宽的多媒体存储服务器也无法满足示例***的要求。而且，获得理想接入带宽的难度随着示例***的规模而逐渐增加。

一些为这种应用确定***配置的方法按照动态分布实时资源配置可以从本质上解决所讨论的问题，但对于大型***，该问题尤其难以解决，因为通常这类问题的组合复杂度随着***规模扩大而增加。简而言之，动态分布实时资源配置和调度问题本质上可以以NP完全问题(NP Completeproblem)为特征，这意味着在一个可追踪到的时间内不存在可计算出的确定性的解，换句话说，这些解在空间和/或时间上具有组合复杂度。传统的解决NP完全问题的方法通常是以某种方式约束该问题，从而使得受约束的问题能够服从确定性的解。但是，这种受约束的解会因种种原因而失效。例如，被约束的问题的解无法真实反映原始问题的解。而且当这个确定性的解达碰到问题空间的边界条件时，这个问题又会变成组合问题，有时导致这个确定性的解产生灾难性的结果。

发明内容

通常，一方面本发明表征了一种用于数据存储和接入的分布式***，该***包含存储平台和接入平台，该存储平台至少具有第一存储部件，该接入平台具有一个或多个接入部件，每个接入部件都与多个接入服务中的至少一个相关联，这些接入服务包括：管理服务，用于接收第一用户发起的服务请求以及识别该服务请求的特征，该服务请求与内容首项有关联；内容管理服务，用于至少部分基于服务请求的特征确定与第一存储部件相关联的要执行的数据传输操作的详细说明；以及目录服务，用来维护与内容首项相关联的信息。

本发明的其它方面还包括如下特征中的一项或几项。

数据传输操作的详细说明可包括数据传输操作类型标识符以及第一存储器的元素的永久的完全解析的标识符。

服务请求可包含上传请求。

内容管理服务可包括上传服务，该服务用于响应于上传请求，分配第一存储部件的资源，从而确定局部资源配置安排，然后根据局部资源配置安排完成完整资源配置安排。数据传输操作的详细说明可包含完整资源配置安排的描述。

上传请求可包含描述内容首项的一个或多个操作对象的特征的第一属性集，上传服务至少部分基于第一组属性的一个或多个来确定完整资源配置安排。

上传请求还可包括内容首项，数据传输操作可包括根据完整资源分配安排将内容首项的元素存储到第一存储部件内所分配资源的相应元素中。

目录服务可维护将内容首项的元素存储到第一存储部件内的分配资源的相应元素中的结果的描述。

存储内容首项的元素的结果的描述使得能够利用专一性为进一步的接入操作在第一存储部件内所分配资源中定位内容首项。

服务请求可包含下载请求。

内容管理服务可包括下载服务，用于响应于下载请求，通过与目录服务交互，识别与内容首项相关联的现有资源分配安排。数据传输操作可包含下载操作。

目录服务可维护现有资源配置安排的描述，包括内容首项的元素与第一存储部件内分配给首项的相应元素之间的关联。

下载服务可执行一组查询，以确定是否满足发起下载操作的条件。

该一组查询可包括对下列一项或几项的评估：第一存储部件的整体工作负载情况；与首项的元素相关联的第一存储部件的相应元素之间的负载偏差；涉及数据传输操作的资源可用性；以及当前分布式***中与内容首项相关联的各种操作的资源使用水平。

当满足数据传输操作的发起条件时，下载服务可确定下载操作的详细说明，包括在将为下载操作接入的所述首项相关联的所述第一存储部件的所述元素中选定的一组元素。

第一存储部件可包括一个以上存储设备，该存储设备选自下列类型中的至少一个：磁盘驱动器，固态存储器以及非易失性存储器。

服务请求可包含多个属性，该属性包括下列中的一个或多个：名称、数据长度、数据类型、以及一组描述多个内容项目的一个或多个操作对象的特征的属性。

述一个或多个操作对象包含下列中的一个或多个：受欢迎度、完整度、适应性、可获得性、功耗、地理集中度和排斥度以及拓扑集中度和排斥度。

多个接入服务还包括***调度服务，用来协调分布式***内多个接入服务中的一个或多个执行的操作。

该分布式***还可包括多个接入服务平台，每个具有一个或多个接入部件。由该接入部件提供的多个接入服务中的至少一个可被分配到一个或多个接入服务平台上的实例中。

目录服务可提供对永久数据库的接口，该永久数据库用来存储与分布式***正处理的内容相关联的信息。

管理服务可提供基于第一用户身份验证的安全手段来接收特定类型的服务请求。

数据传输操作可包含下列类型中的一个或多个：上传、下载、删除以及移动。

其它主要方面包括上述方面和特性的其它组合，以及表示为方法、机构、***、计算机程序的以及以其他方式表示的其他方面和特性。

通常，本发明一方面的特征是一种计算机实现的方法，包括接收内容传输请求，该请求包含第一组供应属性，该属性描述内容首项的一个或多个操作对象的特征；以及处理内容传输请求，以分配存储环境中的资源来储存所述内容首项。

本发明的各个方面可包含下述一项或多项特征。

处理内容传输请求的方法可包括将第一组供应属性与规划属性组进行比较，以识别满足内容首项的一个或多个操作对象的一组规划属性；为内容首项分配存储环境中的资源，以完成基于与所识别的一组规划属性相关联的局部资源分配安排而确定的完整资源分配安排；以及采取措施来使内容首项被存储到在存储环境中分配的资源中。

完整资源配置安排可包含与内容首项的多个元素中的每一个相关联的存储环境中的资源上的目的地的描述。

本方法还可包括在接收内容传输请求之前，利用特定于域的知识，配置规划属性组和与各个规划属性组相关联的所述局部资源分配安排。

本方法还可包括在第一数据库中存储规划属性组以及相关联的局部资源分配安排。

内容首项的一个或多个操作对象包括下列中的一个或多个：受欢迎度、完整度、适应性、可获得性、功耗、地理集中度和排斥度以及拓扑集中度和排斥度。

规划属性组中的每个均具有对应的局部资源分配安排。

规划属性组中的每个可表示一个存储规划，该存储规划为一个特定的基于属性分类的内容项目指定一个局部资源配置安排。

内容传输请求还可包含内容首项，使内容首项被存储到在存储环境中所分配的资源中的方法包括：将该内容首项存储至在存储换环境中所分配的资源中的相应元素中。

本方法还可包含确定基于与所识别的一组规划属性相关联的局部资源分配安排，确定完整资源分配安排。

确定完整资源配置安排的方法可包括基于局部资源分配安排迭代生成完整资源分配安排的候选方案，根据资源分配标准对该方案的质量进行评估，并且基于对候选方案的质量评估结果选择完整资源配置安排。

资源配置标准可与存储环境中的资源间的工作负载分布相关联。

资源配置标准可与潜在资源分配冲突度度相关联。

资源配置标准可与描述该内容的多个项目的特征的一组操作对象中的每一个的层级关联度评估相关联。

对于一个或多个操作对象中的每一个的层级关联度评估可针对所述内容的多个项目的至少一些中的每个。

选择完整资源配置安排的方法可包括：根据资源配置标准定义一个目标函数，所选定的完整资源配置安排使目标函数最优化。

分配分配所述存储环境中的资源的方法可包括将内容首项的元素映射到存储环境中所分配的相应资源上。

该方法还可包括在第二数据库中对内容首项的元素映射到在存储环境中所分配的相应资源的结果进行归档。

在第二数据库中对映射结果进行归档的方法使得能够利用专一性为进一步的接入操作在所述存储环境内所分配的资源中定位所述内容首项。

存储环境中的资源可包含一个或多个存储设备，这些存储设备选自下列类型中的至少一个：磁盘驱动器、固态存储器以及非易失性存储器。

内容传输请求还可包含第组二供应属性，该属性包括下列中的一个或多个：名称、数据长度和数据类型。

通常，本发明一方面的特征是一种计算机实现的方法，该方法包括接收接入存储在存储环境中的资源上的内容首项的请求，该请求是由第一用户发起；识别将内容首项的元素与存储环境中的资源上的相应元素关联起来的现有资源分配安排；执行查询，以确定是否满足允许条件，如果满足允许条件，则生成接入操作的详细说明，该接入操作被配置为使在存储环境中的该资源的相应元素中选定的一组元素能够被接入。

本发明的各个方面可包含下述一向或多项特征。

执行查询的方法可包括估计存储部件的资源的工作负载情况。

执行查询的方法可包括估计与内容首项相关联的存储环境中的资源的相应元素之间的负载偏差。

执行查询的方法包括确定第一存储部件的能力的可用性，第一存储部件是与内容首项相关联的存储部件的资源的相应元素中的一些的集合。

第一存储部件的能力可以包括至少部分以第一存储部件的最大数据读取速率为特征的接入能力。

第一存储部件可包括一个或多个存储设备，这些存储设备选自下列类型中的至少一个：磁盘驱动器，固态存储器以及非易失性存储器。

现有资源配置安排的描述可以保存在第一数据库中，该描述包括多个映射的表示，每个映射都与存储在存储环境中的资源上的内容首项的多个实例中的每一个相关联。

生成接入操作的详细说明的方法包括评估与内容首项相关联的多个映射中的每一个的质量，以及基于质量评估的结果，根据预设的标准在多个映射中选择一个优选的映射。

预设的标准可与潜在资源分配冲突度相关联。

接入请求可包含一个描述内容首项的特性的属性。

生成接入操作说明至少部分依赖于描述内容首项的特征的属性。

该属性可包括一组属性，该一组属性包含下列中的一个或多个：文件名、数据长度、数据类型以及全局资源标识符(URI)。

本方法还可包括基于对第一用户身份的认证通过安全的通道接收一组特定的接入请求。

其它主要方面包括上述方面和特征的其它组合，以及表示为方法、机构、***、计算机程序的以及以其他方式表示的其他方面和特性。

根据以下描述以及根据权利要求书，本发明的其他特性和优点更加明显。

附图说明

图1为一示例性分布式数据存取***的框图。

图2为当一个操作客户端向存储服务器上传内容时“上传”操作期间的事件流的图示。

图3为当一个接入客户端从存储服务器下载内容时“下载”操作期间的事件流的图示。

图4A为***处理示例性上传请求的框图。

图4B为内容供应流程的流程图。

图5示出了与多个属性相关联的示例性图表。

具体实施方式

1.***概述

参照图1，分布式***100由三种基本类型的用于内容存储和传送(delivery)的计算机平台组成：存储服务器平台130、接入服务器平台120、以及客户平台110。术语“平台”用于指一组部件的集合，它们可以例如安装(host)在同一台计算机上或分布在多台计算机上。

存储服务器平台130可以安装多个存储服务器132，其中的各个存储服务器轮流协调对一组存储资源的访问，并提供数据读写能力。例如每个服务器可以由一台计算机担任，或者其功能自身被分布到多个硬件元件上。每个存储服务器可包含一个或多个各种类型的存储设备。存储设备的实施例包括磁盘驱动器、固态存储器(诸如RAM)以及非易失性存储器(诸如闪存)。

接入服务器平台120提供接入服务，该接入服务共同提供一种或多种关于***的存储服务器的数据/内容的接入方法。一些接入服务根据预先定义的接入协议/体制/接口(例如HTTP、RSTP、NFS等)来处理数据。其他接入服务管理***资源并相应地调整内容接入。管理***资源的服务包括例如分配***资源以存储和传送内容的内容供应服务124，以及当被***中各种会话请求所请求时允许会话的允许服务126。

通常，接入服务器平台120的一侧由分布式网络160物理地限制，另一侧由接入网络170物理地限制，其中，分布式网络160在存储服务器平台130和接入服务器平台120之间提供互连，接入网络170在客户平台110与接入服务平台120之间提供互连。注意，由一个或多个接入服务器平台提供的不同的接入服务也可以通过分布式网络160或通过***中的其它网络进行通讯。接入网络170包括操作网络140和传送网络150，其中，一个或多个操作客户端112(例如，在线视频商店的管理员)通过操作网络140与接入服务器平台120进行通讯，一个或多个接入客户端114(例如，在线视频商店的客户)通过传送网络150与接入服务器平台120进行通讯。

接入服务器平台120可以容纳(host)一个或多个从外部可接入的管理服务器121，该管理服务器提供将操作网络140链接至接入服务器平台120和存储服务器平台130的服务的接口，例如，提供安全获取、检索和验证存储在***内的内容的方法。通过管理服务器121，操作客户端112可以以管理员权限接入***，例如：1)向***上传内容；2)从***下载内容；3)删除***中现有的内容等等。在一些实施例中，管理服务器121利用HTTP协议向操作客户端提供软件接口，这些管理员权限的接入可分别对应于HTTP的“PUT”、“GET”和“DELETE”方法，或其它的HTTP方法的组合，例如“POST”和“DELETE”。优选地，接入管理服务器121被给予操作客户端112的特权。

接入服务器平台120还容纳一个或多个从外部可接入的下载服务器122。通过下载服务器122，接入客户端114可以例如根据定义的一组用于流出(stream)和下载内容的规则(体制或协议)向***请求流出数据或下载内容。

如图1所示，在存储器与客户端之间无需直接链接，因为存储和接入功能在***中是分离(decouple)的。当客户端执行操作时(例如上传或下载内容)，管理服务器121或下载服务器122代表其客户端与存储服务器进行通讯主要将数据放入存储资源或从存储资源中获取数据，以及与***中的其他元件进行通信以例如定位资源以及控制权限。这种存储与接入的分离给***的配置和升级带来了方便，并且极大的降低了***对于同步的依赖，同步会随着***规模的扩大而趋于使分布式***崩溃。

当从操作客户端112接收到上传请求后，管理服务器121接收包含上传内容外部名(例如URI，即，全局资源标识符)的输入和内容本身(例如，编码视频流的二进制数据)。当从接入客户端114或操作客户端112接收到下载请求后，下载服务器122或管理服务器121分别接收要下载内容的外部名(例如，还是URI)，如果可能，则提供所请求的内容。

在一些实施例中，管理服务器121可以从操作客户端随上传或下载请求一起获取(例如，与请求一起接收)一组管理服务器121在向该请求提供服务时所使用的属性。该属性可以包含例如供应属性、接入属性、以及管理属性。为上传提供的属性的一个示例性实施例为对于特定内容片断(例如，名称或对象)所允许的最大并发流会话。例如，如果内容限制为最多5个并发会话，则内容供应服务可以为存储服务器上的该片断数据确定一个较好的安排，随后如果超过了5个会话的限制，管理服务可以拒绝下载请求。

对象目录服务128提供了对永久数据库(例如，对象目录129)的接口，该永久数据库用来存储与***处理的对象有关的信息。可以存储的信息的一个实施例是分配给内部对象标识符(OID)的外部名称的分配情况信息，该信息的第二个实施例是描述内容在***的存储服务器/存储资源中的存储位置的信息。详细的说明一下第二个实施例，对象目录129可以包含一张与某部电影名称相关联的图表，该图表描述该部电影的数据在存储服务器上是如何存储的，包括保存的该部电影的拷贝数量，以及每个拷贝被放置的磁盘驱动器和特定扇区。第三个实施例是表示供应属性(例如，内容的峰值累积接入带宽和适应系数)、管理属性(例如，管理是否允许创建关于某个内容的会话的属性)以及接入属性(例如，管理以多大速率传输关于某个内容的会话的属性)的信息。

应理解，存储在对象目录中的数据不仅限于这些实施例，而是可以为任何类型和/或数量的数据，包括外部引用的对象的全部数据。

在下述部分，将在分布式***100中的两种主要操作——“上传”和“下载”的环境中详细描述内容供应和管理服务的使用。

2.上传”操作的实施例

参照图2，在“上传”操作200的实施例中，操作客户端112通过管理服务器121发起向***上传电影(例如《怪物史莱克I》)的请求210。除请求210以外，管理服务器还接收到的数据包括内容《怪物史莱克I》的外部名和电影内容本身。注意，图中箭头表示逻辑上从一个接口到另一个接口的单向通讯(尽管其隐含的协议或许事实上包含双向的握手通讯)，双线箭头表示实际数据内容通过该通讯被传送。除了外部名和电影内容以外，客户端还可以提供属性，包括传统属性(例如，内容大小和内容类型)和一些影响每个内容处理的非传统属性(诸如最大并发接入会话数、受欢迎度、适应程度、完整度、生命周期以及拓扑和地理属性)。

当接收到外部名后，管理服务器在命令212中发送该外部名，请求对象目录服务128为《怪物史莱克I》创建一个对象，并且为该外部名生成OID映射。一旦成功创建对象，对象目录服务128便传送消息214来通知管理服务器121。随后，管理服务器通过请求216调用内容供应服务124来提供内容。同样，除请求216以外，管理服务器还传送内容的供应属性，该属性用来在内容供应期间决定如果可用那么将哪部分***资源分配给该内容。

在***配置过程中，可以为具有某些类型供应属性的内容预先确定一组潜在资源配置，其中，每个配置表示例如将内容的拷贝在***中一个或多个存储资源之间进行分段的方法。这使内容供应服务能够做出高效的供应决策。例如，内容供应服务通过这些属性来获得并评估最佳映射，例如通过近似服务器在给定时刻的占有率，并且获得可以用于满足内容的内容需求(例如，性能需求)的可能的服务器组。

在此，映射通常指描述针对***存储资源上的对象的数据潜在安排的信息，包括例如将使用的磁盘驱动器组以及每个驱动器上相关的磁盘区域。如果容许最佳映射，在这个实施例中意味着内容供应服务可以在选定的磁盘中为该内容分配足够的区块而不威胁整个***的性能，则内容供应服务向管理服务器发送携带映射结果的消息218。然后，基于该映射结果，管理服务器通过一组指令220将内容写入在存储服务器132上所分配的区块。在有些情况下，当***中需要内容的多份拷贝时，内容供应服务可以为每一个拷贝单独确定最佳映射。

在某些情况下，最佳映射可能会因为资源配置冲突而失败。例如，在被提供的内容的其他片断中，一个片断可能已经占有了磁盘驱动器上的某一个区块，而这个区块恰好包含在《怪物史莱克I》的映射结果中。在这种情况下，会重新为《怪物史莱克I》选定一个映射，然后重复执行评估过程，直到找到允许的映射。随后，管理服务器将内容写入到磁盘驱动器上通过映射或映射组所分配的区块中。

内容传输完毕后，存储服务器将“完成(done)”信号222发送到管理服务器，接下来，管理服务器指示对象目录服务对完成的映射进行归档(通过消息224)，以便对象目录可以为客户的后续接入识别内容的位置。当从对象目录服务接收到报告更新完成的“完成(done)”消息226后，管理服务器通知操作客户端(通过“上传成功(upload success)”消息228)“上传”操作已经成功完成。

3.“下载”操作的实施例

参照图3，在“下载”操作300的实施例中，接入客户端通过下载服务器122发起下载目标影片(例如《怪物史莱克II》)的请求310。通常，在收到《怪物史莱克II》内容的外部名以后，下载服务器122利用接入服务器平台中的服务来决定对于该内容的请求是否能够或应当被允许，如果能够或应当被允许，如何从存储服务器获取该内容。具体地，下载服务器122使用外部名通过请求312来调用对象目录服务128，以获知该对象是否存在，如果存在，则在对象目录中定位相应的对象值。假如对象存在，对象目录服务通过消息314向下载服务器返回该对象值。该对象值包含对象的OID、部分或全部描述保存该内容的一组存储资源的映射(或部分映射)，以及与该内容有关的其它属性。随后，下载服务器122调用允许服务126来决定是否允许该内容的下载请求，如果允许，如何处理该下载请求。

通常，允许服务126被配置为允许与***资源可支持的工作负载一致的会话的组合，并且拒绝当***接近饱和时威胁现有会话完整性的会话。因此，在允许/拒绝一个上传或下载请求之前，管理服务首先检查各***资源的使用状况和可用性。在一个实施方式以及该“下载”操作的实施例中，资源的检查/保留是通过管理服务进行的，包括，例如：1)检查为涉及与《怪物史莱克II》相同内容的现有会话分配的带宽，以确保预期的新会话不会使内容变得过请求；2)检查可用的服务器资源，以确定内容的可能的多个拷贝中哪个可以提供最好的服务性(例如，一个拷贝的带宽即使在负担最重的服务器上仍然可用)，以及保留与该拷贝相关的存储服务器；3)在为了下载将接入的保留的存储服务器上检查并保留可用的单元资源(例如，磁盘时间和带宽)。另外，根据实施，还有许多其它类型的资源需要被分配和检查。例如，可以检查接入服务器/平台的能力，允许服务可以回复一条表明接入服务器应当将客户端重定向到一个不同的接入服务器的消息。

在决定接入存储服务器132上的内容的多个拷贝中的哪一个以满足下载请求时，即使将该组服务器间的负载差异考虑在内，通常允许服务选择具有最低平均服务器负载的拷贝。例如，一个具有低平均和高偏差的拷贝可能不及一个具有适度较高的平均但低偏差的拷贝。而且最好在选择中包含一定程度的统计分布，从而确保不会使轻载资源崩溃(这种情况在会话失败恢复时可能会发生)。有时，如果此刻没有一个拷贝具有足够的资源，该会话被拒绝。

当允许服务126决定允许该下载请求并且选择该内容拷贝向服务客户端服务时，它会将消息318连同选定的拷贝的映射发送到下载服务器122，然后下载服务器通过消息320向存储服务器请求与所述存储服务器上确定的存储服务器区块建立下载会话。随后，《怪物史莱克II》的内容会通过数据线路322和324从存储器分别传送到下载服务器以及继续传送至接入客户端。当客户端接收到电影《怪物史莱克II》的完整数据内容时，“下载”操作完成。当“下载”操作终止或完成后，之前为它保留的资源会被释放或被标记用于后续的无用单元的回收。

4.基于属性的内容供应服务的实施例

在上述“上传”操作的实施例中，内容供应服务140利用供应属性找到了能够满足内容的要求(例如，性能要求)的在存储服务器上安排内容的最佳映射。一个性能要求的实施例是接入带宽，其与任意给定时刻允许接入内容的最大并发会话数量有关。下面的实施例中阐述了内容供应服务如何通过使用一个特殊的供应属性——最大并发流会话来决定支持接入带宽需求的最佳映射。

参照图4A，例如，***400被设计为容纳大约20K部电影的电影库，每部电影的每个拷贝占用大约500MB的存储空间，具有2.5Mbps的客户端接入速率。假设***400具有96块1TB的磁盘驱动器，均匀分布在四台存储服务器432上，从而提供96TB的存储容量。对于每个磁盘驱动器，例如拥有100Mbps的接入带宽，则***的接入能力(即，最大接入带宽)为9.6Gbps。(注意，其它的实施例可能具有不同的电影特征和***存储及接入能力。例如，对于一部以2.5Mbps编码、约长100分钟的电影，每个拷贝会占用大约2GB的存储空间。连同镜像，20K部影片将占用大约80TB的存储空间(例如，80块1TB磁盘驱动器)。如果每个磁盘有400Mbps的接入带宽，则***的总接入带宽会达到大约32Gbps。)

为了对库中的每部电影进行良好的资源配置安排，***通常采用的方法是将请求率高的内容分布在较多的磁盘中，以便该内容的接入带宽总和足以支持峰值使用率下所有的并发流会话。

例如，当管理服务器421从操作客户端接收到一个向存储器上传电影《怪物史莱克I》的请求402时，它还被告知对于《怪物史莱克I》，在任意给定时刻最大可有140个并发流会话，说明峰值流速率为350Mbps(这里假设电影以2.5Mbps编码)。由于每个磁盘驱动器支持最大100Mbps的接入速率，如果电影不被分布到最少4个磁盘驱动器上，那么350Mbps的带宽将无法达到。因此，内容供应服务对内容进行分布的一个方法是将数据映射到4个磁盘驱动器上，虽然这也许不是最佳的选择，因为当该部影片达到峰值使用率时，在这4个驱动器上的其它数据将会变得不可获得(电影间竞争的例子)。更好的选择是将电影间竞争考虑在内，从而将这样的数据分布得更广泛，比如在6、12甚至24个磁盘驱动器上。通常，***具有一组这样的映射，每个都可满足服务内容的350Mbps带宽要求。

在这里一组具有共同目标(例如，带宽容量)的映射被称为规划(schema)。对于该电影库例子来说，每部电影具有一个满足该部电影的内容需求(诸如，接入带宽)的相应规划。

计算每部电影能够满足要求的规划很重要，计算的难度水平通常随着***规模而逐渐增加。因此，在某些实施例中，为了减轻内容供应服务的负担，会预先计算一组规划，例如基于一种预测的或建模的属性分布，并储存在数据库中，让内容供应服务424可以使用。这组预先计算好的规划用来降低运算开销，并提高整体***效率。

如图4B所示，通过使用预先计算规划的数据库，该范例***400以下述方法提供内容。首先，当接收到上传请求480时，内容供应服务424在步骤482中从规划数据库中寻找一个满足内容需求的可接受的规划，。接下来，在与选定的规划相关联的映射中，内容供应服务在步骤484中确定一个最佳映射，例如，具有最低服务器占有率的映射。在接下来的步骤486中，如果可以在最佳映射中指定的磁盘驱动器上找到足够的资源，则内容供应服务424将会在内容传送过程(步骤490)开始前为内容在每个磁盘驱动器上分配一组区块(488)。但是如果在步骤486中内容供应服务424无法在最佳映射中定位足够的资源，它会在规划中选择另一个映射，重复步骤486，直到一个可以接受的映射被选定来进行区块分配。

这种使用规划的基于属性的内容供应服务的一般概念在图4A所示的上传《怪物史莱克I》的实施例中有进一步的说明。如前文所讨论的，在该实例中需要350Mbps的接入带宽。因此，在该规划数据库470中，内容供应服务424将具有400Mbps带宽容量的规划S3(如表472所示)作为可接受的规划。该规划S3还说明，对于符合该分类的每个内容，该内容的两个拷贝将被存储到***上，每个拷贝分布在24个磁盘上，并写在每个磁盘的R3区。

选定S3后，会产生一个映射表474，来描述一组规划到磁盘驱动器的可能映射。例如，在映射表474中，M21、M22、M23和M24对应于S3到存储器的四个正交映射，每个映射使用一组特定的磁盘(诸如在M21中使用磁盘1到24)，以及指定的磁盘区(R3)。内容供应服务在与规划S3相关的所有可能映射中为内容的每个拷贝寻找最佳映射，例如通过近似服务器在给定时间的占有率。在该实施例中，内容供应服务选择映射M21和M23来分别存储《怪物史莱克I》的两个拷贝。如果发现这两个映射是可以访问的，则区块分配器476根据这些映射在磁盘驱动器上完成区块分配。如果分配的区块可用并且已经被保留用于占用，管理服务421通过分布式网络460向存储服务器432写入内容数据。

5.内容供应服务使用的多个属性的实施例

在某些应用中，内容供应服务使用多个属性来寻找在存储服务器上安排内容的最佳映射。这些属性的实施例包括描述受欢迎度、适应性和完整性的属性。

受欢迎度指对于一条内容的预期需求量的表达。例如，如果内容受欢迎，则对于该内容的需求量可能比较高，因此供应***将会试图以足够的资源来提供该内容，以满足预期需求。

适应性指在器件失效的情况下对于信息对象的预期服务维持度。例如，在获取一个适应性好的对象时，一个客户在读取磁盘A失败时，可以通过继续读取磁盘B上的另一个拷贝获得服务。通常对象所需的适应性越强，内容供应***需要为该对象分配的资源越多(有可能的话资源种类也越多)。

完整性指当器件失效后恢复内容的能力，即使是***灾难性的失效。例如，如果一个磁盘完全失效且无法修复，包含在该磁盘上的内容部分可以从***内部或***之间通过该内容的其他拷贝恢复，也可以用编码重构法恢复。

根据具体实现，内容供应服务可以确定存储内容片断的最佳映射，该映射可以为该内容片断提供满意的受欢迎度、适应性和/或完整性。

参照图5，在规划表500中示出了一些提供不同程度的受欢迎度、适应性和完整性的规划。例如，参照规划4(S4)，在上传一个需要某种程度适应性的相对低受欢迎度的影片的过程中，提供一个主拷贝来满足受欢迎度的需求。同时，存储两个该内容的副拷贝，以确保在读取主拷贝失败的情况下用户仍然可以在不中断服务的情况下通过两个副拷贝来获取该影片。规划5(S5)提供了另一种上传一部相对低的受欢迎度仍然不重要但需要高完整性的电影的方案。这时，例如高完整性可以通过使用高级冗余编码实现(虽然这样会增加计算量)。

在一些现有***中，适应性和完整性通常是隐含的一起绑定在存储器冗余方案中(例如，RAID 5)。在本描述中，这两种属性的分离，以及对每个内容片断显示的提出完整性和适应性要求的一个优点是允许***可以以为每部电影提供一个需求组合，并使用最适合的方法来满足需求组合。

6.本分布式***的其它实施例

再次参照图1，在一些实施例中，分布式***100中的接入服务器平台120除了提供上文描述的服务外，还可以提供其它类型的接入服务127。一个实施例是内容重供应服务，该服务可以在诸如出现使用异常或内容过期的某些情况下，确定重新供应内容(包括上行和下行供应)。另一个例子是调度服务(Management Service)，该服务可以协调***中的配置、监控、控制和数据采集。调度服务可以跟踪正常和异常事件，以在需要时诊断***问题和异常，触发***中其它服务(例如重供应服务)来进行后续操作。

***提供的每个服务都可以通过多种方式实现。在一些是实施例中，服务可以绑定到特定的平台上(例如服务器)。虽然这些服务单独对于器件失效不具备适应性，可以通过服务复制和会话级重分配来实现***适应性。在一些实施例中，服务可以分布到一组平台的多个实例中。这种分布可以通过将问题空间(例如，通过进程流水线，或者通过对象对称并发等)划分到一种可以达到服务性能和适应性需求的程度。在一些其它的是实施例中，服务可以从一个平台移植到另一个。特别是如果服务不是通过分布式的方式实现，假如服务在平台上失效或退化，移植可以使服务被重定位到***中的其它平台上。

在一些实施中，存储服务器平台可以是一个配置好的配备有存储控制器和配置为提供例如10GbE接入线速率到一组存储资源(例如，磁盘或存储器)的网络控制卡的现成计算机***。控制卡既可以自行开发，也可以从第三方获得成品。在一些实施例中，存储控制器提供对于所属的存储设备的不受限的高接入带宽。存储设备的实施例包括磁盘驱动器、固态存储器(诸如RAM)、以及非易失性存储器(诸如闪存)。

在一些实施中，接入服务器平台可以是一个配置好的配备有网络控制卡的现成计算机***，该网络控制卡被配置为支持一系列接入***中存储内容的接入机制。接入机制由接入服务器提供，这些接入服务器可以采用多种协议，其性能和效率也可有很大差异。接入服务器的一个实施例是Microsoft Windows Media Server(WMS)，它在互联网上被广泛用作流媒体服务。另一个实施例是HTTP服务器，其使用HTTP协议来提供用户对于***上内容的接入。第三个实施例是Adobed的Flash Media Server。

注意，管理服务器和下载服务器只是潜在的多种接入服务器中的两类。接入服务器是根据预定义的规则向***中的对象提供外部接入的通用类服务器。

虽然接入服务器(以及接入服务)和存储服务器(以及存储服务)已经被描述为分别存放于接入和存储平台上，在一些实施方案中，一种接入和存储服务器以及服务的组合或所有的接入和存储服务器以及服务都可以被配置到存放到一个公共平台上。

在一些实施方式中，操作网络140与输送网络150隔离。管理服务器121和下载服务器122可以互斥的分别***作客户端112和接入客户端114接入。下载服务器122可提供不适合操作客户端的特性或语句，反之亦然。

应理解，上述描述的目的在于说明，而并不在于限制本发明的范围，本发明的范围由所附权利要求书的范围进行了限定。其它实施方式在下列权利要求范围之内。

Claims

1.一种用于内容存储和接入的分布式***，所述***包括：

存储平台，至少包括第一存储部件；以及

接入平台，经由第一网络连接至所述存储平台，所述接入平台包括一个或多个接入部件，其中所述接入平台将提供多个接入服务，所述接入服务包括：

管理服务，用于：

经由与所述第一网络不同的第二网络接收第一用户发起的上传请求，所述上传请求与内容首项相关联，其中，所述上传请求包括描述所述内容首项的一个或多个操作对象的特征的第一组属性和所述内容首项，以及

识别所述上传请求的特征；

内容管理服务，用于：

基于所述上传请求的所述特征确定与所述第一存储部件相关联的要执行的数据传输操作的详细说明，其中所述数据传输操作的详细说明包括完整资源分配安排的描述；以及

其中，所述内容管理服务包括：

上传服务，用于：

响应于所述上传请求，分配所述第一存储部件的资源以确定局部资源分配安排，

基于所述第一组属性的一个或多个来确定所述完整资源分配安排，以及根据所述局部资源分配安排完成所述完整资源分配安排，以及

接入服务，用于：

基于所述数据传输操作的所述详细说明确定是否准予接入所述内容首项的请求，其中，接入所述内容首项的所述请求经由与所述第一网络和所述第二网络不同的第三网络从第二用户接收，其中，所述数据传输操作的执行包括根据所述完整资源分配安排将所述内容首项的元素存储到所述第一存储部件内所分配的资源的相应元素中。

2.根据权利要求1所述的分布式***，其中，所述数据传输操作的详细说明包括数据传输操作类型标识符，以及所述第一存储部件的元素的永久的完全可解析的标识符。

3.根据权利要求1所述的分布式***，其中，接入所述内容首项的所

述请求包括下载请求，所述内容管理服务还包括：

下载服务，用于：

响应于所述下载请求，基于与目录服务交互，识别与所述内容首项相关联的现有资源分配安排，所述目录服务维护与所述内容首项相关联的信息。

4.根据权利要求3所述的分布式***，其中，所述目录服务维护所述现有资源分配安排的描述，包括所述内容首项的元素与所述第一存储部件内分配给所述内容首项的相应元素之间的关联，以及

其中，所述下载服务还：

执行一组查询，以确定是否满足发起所述下载操作的条件。

5.根据权利要求4所述的分布式***，其中，所述一组查询包括对下列中的一项或几项的评估：

所述第一存储部件的整体工作负载情况；

与所述内容首项的所述元素相关联的所述第一存储部件的所述相应元素之间的负载偏差；

涉及所述下载操作的资源可用性；或

当前所述分布式***中与所述内容首项相关联的各种操作的资源使用水平。

6.根据权利要求5所述的分布式***，其中，当满足发起所述下载操作的条件时，所述下载服务：

确定所述下载操作的所述详细说明，其中所述下载操作的所述详细说明包括在将为下载操作接入的所述内容首项相关联的所述第一存储部件的所述元素中选定的一组元素。

7.根据权利要求1所述的分布式***，其中，所述多个接入服务还包括：

***调度服务，用来协调所述分布式***内所述多个接入服务中的一个或多个所执行的操作。

8.根据权利要求1所述的分布式***，还包括：

多个接入服务平台，所述多个接入服务平台的每个包括一个或多个接入部件，其中，由所述一个或多个接入部件提供的所述多个接入服务中的至少一个被分配到一个或多个接入服务平台上的多个实例中。

9.根据权利要求1所述的分布式***，其中，所述管理服务提供基于第一用户身份验证来接收特定类型的服务请求。

10.一种上传和下载方法，包括:

经由与所述第一网络不同的第二网络接收第一用户发起的上传请求，其中，所述上传请求与内容首项相关联，其中，所述上传请求包括描述所述内容首项的一个或多个操作对象的特征的第一组属性和所述内容首项；

识别所述上传请求的特征；

基于所述上传请求的所述特征确定与要执行的数据传输操作的详细说明，其中所述数据传输操作的详细说明包括完整资源分配安排的描述；

响应于所述请求，分配与所述第一网络连接的第一存储部件的资源以确定局部资源分配安排；

基于所述第一组属性的一个或多个来确定所述完整资源分配安排，以及根据所述局部资源分配安排完成所述完整资源分配安排；以及

11.根据权利要求10所述的方法，其中，所述数据传输操作的详细说明包括数据传输操作类型标识符，以及所述第一存储部件的元素的永久的完全可解析的标识符。

12.根据权利要求10所述的方法，其中，接入所述内容首项的所述请求包括下载请求，所述方法还包括：

13.一种上传和下载方法，包括：

通过网络装置，经由第一网络，接收第一用户的上传请求，其中，所述上传请求包括内容首项和描述所述内容首项的一个或多个操作对象的特征的一组属性；

识别所述上传请求的特征；

通过所述网络装置，基于所述特征，确定与数据传输操作相关联的详细说明，其中，所述数据传输操作包括在所述网络装置和另一网络装置之间经由与所述第一网络不同的第二网络传输所述内容首项；

通过所述网络装置，基于所述详细说明，分配所述另一网络装置的资源，以确定局部资源分配；

基于详细说明和所述一组属性的一个或多个确定完整资源分配；

通过所述网络装置，维护与所述局部资源分配和所述完整资源分配相关联的信息；

基于所述维护信息，经由所述第二网络在所述网络装置和所述另一网络装置之间传输所述内容首项，以及

14.根据权利要求13所述的方法，还包括：

从客户装置经由与所述第一网络和所述第二网络不同的第三网络接收与所述内容首项相关联的下载请求；

基于维护的所述信息确定是否允许所述内容首项从所述另一网络装置到所述客户装置的下载。

15.根据权利要求14所述的方法，其中，确定是否允许所述内容首项的下载包括：

基于维护的所述信息识别与下载所述内容首项相关联的分配资源；

确定与所述另一网络装置相关联的当前资源分配；以及

基于识别所述分配资源和确定所述当前资源分配，确定是否允许所述内容首项从所述另一网络装置到所述客户装置的下载。