CN101076021A - 网络数据存储*** - Google Patents

网络数据存储*** Download PDF

Info

Publication number
CN101076021A
CN101076021A CN200710104124.4A CN200710104124A CN101076021A CN 101076021 A CN101076021 A CN 101076021A CN 200710104124 A CN200710104124 A CN 200710104124A CN 101076021 A CN101076021 A CN 101076021A
Authority
CN
China
Prior art keywords
data storage
storage server
digital
data
digital file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200710104124.4A
Other languages
English (en)
Other versions
CN101076021B (zh
Inventor
加尔·马塞
克劳德·沙佩尔
瓦莱利·阿利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101076021A publication Critical patent/CN101076021A/zh
Application granted granted Critical
Publication of CN101076021B publication Critical patent/CN101076021B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1006—Server selection for load balancing with static server selection, e.g. the same server being selected for a specific client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种网络数据存储***(2)，包括存储单元(4)、至少一个网络客户端(6)和中间网络交换机(8)。存储单元(4)包含至少两个数据存储服务器(10)，每一个数据存储服务器包括包含有至少一个数字文件的数字文件段的本地存储组件(12)，而且每一个数据存储服务器适于执行本地数字文件管理方法，所述方法对数字文件段的物理位置进行组织。每一个数据存储服务器适于和其它数据存储服务器进行通信，并执行分布式数字文件管理方法。分布式数字文件管理方法维持操作记录，并且与其它数据存储服务器进行内部通信，以获得与数据存储服务器上包含的数字文件段有关的信息、以及与存储单元上存储的所有数字文件有关的所有信息的概述。

Description

网络数据存储***
技术领域
本发明涉及一种网络数据存储***，用于通过数字网络与存储单元进行数据通信。
背景技术
与网络相连的若干客户端或应用程序可以使用例如网络附加存储(NAS)的网络存储***访问存储装置上存储的数据。通常，通过将NAS装置与网络交换机相连而实现网络附加存储，其中所述网络交换机连接有特定数目的客户端或应用程序。
由于NAS装置提供服务，所以它通常被称作“服务器”，NAS装置包括实现文件***或文件管理方法的软件，并且与存储装置直接相连。通过高速小型计算机***接口(SCSE)或集成驱动电子(IDE)链接而执行与存储装置的通信。
使用网络附加存储存储的数字文件对于网络上每一个客户端都是可见的，而且在针对数字文件的请求期间，文件***对存储装置的不同物理位置处存储的数字文件的数据扇区进行检索，并且将完整的数字文件通信至客户端。
对于客户端，NAS***具有简化的管理，客户端请求数字文件且该数字文件以未分割的单元而传递。然而，由于多个客户端通过进入NAS装置的一个通信信道与NAS装置进行通信，当大量数据向存储装置传输或由存储装置传输、或者出现大量的客户端请求时，NAS存储***显现出通信瓶颈。
例如存储区域网络(SAN)的集群存储***去除或减小了NAS***所显现的瓶颈。SAN包括与SAN交换机并行连接的多个存储装置，其中客户端与SAN交换机直接相连或间接地通过服务器与SAN交换机相连。由于存储数据分布在多个存储装置之中，对共享数据的并发访问增多且减小了显现通信瓶颈的风险。
然而，SAN***要求客户端实现更为复杂的分布式文件***，以管理数据存储。客户端所使用的分布式文件***对分布在若干存储装置中的数字文件的数据段进行检索。不能使用例如网络文件***(NFC)或公共因特网文件***(CIFS)的标准分布式文件***，而且需要专用的和昂贵的硬件来实现所述分布式存储功能。
通常，多媒体数据是指包含可视信息、音频信息、动画信息、图形信息、文本信息或任意这些信息的组合的数据。典型地，多媒体数据包括大量的数据比特，使得高比特率通信成为必需。传输多媒体数据要求以线性、连续的方式将数据以流的形式连续传输。当前，多媒体数据用于例如医疗应用、军事应用和电视演播室的视听应用中。
在存储空间和访问要求方面，多媒体数据的网络存储与传统的信息技术数据存储有所不同。多媒体数据环境中使用的网络数据存储***需要支持极大数量的数据以提供高带宽，并且需要为对已存储多媒体数据的线性连续访问赋予优先权。
对多媒体数据提出请求的网络上的客户端或应用程序要求以严格的时间连续性从存储单元传递数据。由于多媒体数据以实时的方式使用，所以必须在时域中严格遵守和控制多媒体数据的传输，而且不能够容忍多媒体数据的到达出现延迟。
NAS***的通信瓶颈对于多媒体数据流造成了问题，而且没有遵守多媒体数据的严格的时间要求。SAN***强制客户端使用复杂的分布式文件***来管理多个存储装置上的数据存储。
发明内容
本发明的目的是提供一种网络数据存储***，该***能够遵守线性数据通信的严格时间要求，而且该***的文件***管理对于客户端来说是简单的。
本发明的目的是提供根据权利要求1所述的网络数据存储***。
接口装置的其它特征可以在从属权利要求中找到。
附图说明
根据下文结合附图的详细描述，本发明的上述目的、特征和其它优点将会得到最佳理解，其中：
-图1是根据本发明的网络数据存储***的示意性框图；
-图2A、2B和2C是示出了与网络数据存储***中数字文件数据段的处理相关的潜在问题的示意性框图；以及
-图3是用于对图1中的网络数据存储***中数字文件数据段的处理进行同步的方法流程图。
在附图中，相同的附图标记用于指定相同的元件。
具体实施方式
图1示出了网络数据存储***，该***用于通过数字网络将数字文件写入存储单元4以及从存储单元4读取数字文件。在当前的示例中，使用以太网的实施方式来构建数字网络。数字文件包含表示二进制数字数据的比特序列，其中二进制数字数据表示例如数字视频记录的信息。数字文件具有关联元数据，所述关联元数据包括例如数字文件名称和文件的最后修改日期的信息。网络数据存储***2包括适于和存储单元4建立通信的至少一个网络客户端或应用程序6，而且每一个网络客户端6都通过中间网络交换机8与存储单元4相连。
网络客户端6是包括适于访问远程服务的软件的装置，其中所述软件通过与存储单元4中被称作服务器软件的其它软件进行通信而执行所述访问。例如，网络客户端6是电视演播室中的视听装置，该装置检索已存储的归档数据并将归档数据向演播室的观众进行显示，所述电视演播室同时被传送给电视直播的观众。
中间网络交换机8将包括每一个网络客户端6的网络段与存储单元4连接到一起，以形成数字网络。数据以数据分组的形式在数字网络上传送，而且每一个数据分组包括：至少一个导航数据部分，用于引导数据经过数字网络到达其目的地；以及数据有效载荷，包含多媒体数据或与网络数据存储***2的管理有关的控制数据。
由网络客户端6发送到中间网络交换机8、并去往存储单元4的数据包含导航数据部分，这个数据部分具有目的媒体访问控制器(MAC)地址，该地址是与存储单元4或与网络相连的其它可能的装置相关的地址。中间网络交换机8适于保存网络客户端6的MAC地址以及中间网络交换机8的端口，在该端口处数据到达MAC地址表中。随后，中间网络交换机8查阅MAC地址表，将数据路由到与目的MAC地址相关的中间网络交换机端口，并将数据从该端口向数据的目的地传送。
从存储单元4发送到网络客户端6的数据经过中间网络交换机8，并以类似的方式被导航而经过网络。中间网络交换机8还适于通过将输入数据路由到除了输入数据端口的所有端口而对数据进行多播，然后将数据从这些端口向与所述数据相关的目的地进行传送。
存储单元4包括至少两个数据存储服务器10，而且每一个数据存储服务器10都包含本地存储组件12。在当前的实施例中，本地存储组件是独立盘冗余阵列(RAID)。在备选实施例中，本地存储组件是硬盘驱动器。
每一个数据存储服务器10都单独地与中间网络交换机8相连。然而，客户端6具有对于存储单元4唯一的虚拟入口点。使用分配给存储单元4的唯一的因特网协议(IP)地址来实现唯一的虚拟入口点。当客户端6尝试与存储单元4建立通信时，中间网络交换机8对数据分组中包含IP地址的导航数据部分进行验证。在确认该IP地址符合存储单元4中的IP地址时，将该数据通信至存储单元4。
每一个数据存储服务器10都额外地与其相邻的存储服务器10相连，这允许任意的存储服务器10与任意其它的存储服务器10在存储单元4中进行内部通信。
中间网络交换机8还包含负载平衡器13。负载平衡器13适于管理存储单元4的数据存储服务器10的工作负载，并将存储单元4向客户端6展现为单一且唯一的存储装置。
负载平衡器13适于将客户端通信传输到一个数据存储服务器10。预定义的规则集用于确定哪一个数据存储服务器10将会接收来自客户端6的信息。在当前的实施例中，所采用的预定义规则集是数据存储服务器10的最少数目连接。在本发明的其它实施例中，采用循环复用(round-robin)或来源/目的散列法。使用网络地址转换(NAT)转发技术将信息转发到数据存储服务器10。在本发明的其它实施例中，采用IP隧穿和IP直接路由。负载平衡器13还适于：在客户端向存储单元4做出数字文件读取请求后，接收从存储单元4传送的数字文件，并将该数字文件向客户端传输。
负载平衡器13包含路由表，而且适于在路由表中维护每一个数据存储服务器10的客户端/数据存储服务器10的连接的最新账户。在路由表中维持有当前和可预期的数据存储服务器10的连接，而且还维持有可预期的客户端/数据存储服务器10的连接终止。
每一个数据存储服务器10包括：存储服务器处理器14，用于管理数据存储服务器10的本地存储组件12中的数据存储和检索；网络接口装置16，将中间网络交换机8和数据存储服务器10进行接口连接；以及RAID控制器18，将网络接口装置16与本地存储组件12进行接口连接。网络接口装置16额外地将数据存储服务器10与相邻的数据存储服务器10进行接口连接，以便进行数据擦除服务器10之间的通信。
网络接口装置16包含专用的硬件处理器，适于对数据分组的导航数据部分进行处理，并且与中间网络交换机8进行数据通信，与存储服务器处理器14进行数据通信，与RAID控制器18进行数据通信以及与其它数据存储服务器10进行数据通信。
到达和来自存储服务器处理器14的数据通信包括仅包含与网络数据存储***2的管理有关的控制数据的数据有效载荷。到达和来自RAID控制器18的数据通信包括仅包含多媒体数据的数据有效载荷。到达和来自中间网络交换机8的数据通信包括包含多媒体数据或控制数据的数据有效载荷。数据存储服务器10之间的数据通信包括包含与存储单元4的数据存储服务器10的同步和管理有关的控制数据的数据有效载荷。
RAID控制器18以专用硬件实现，而且包括控制单元、流处理器、剥离处理器和SCSI控制器。控制单元适于执行存储服务器处理器14的命令，并与剥离处理器和SCSI控制器进行通信。流处理器向网络接口装置16提供了在数字网络上进行输送的多媒体数据有效载荷。流处理器还将多媒体数据从网络接口装置16输送到剥离处理器，所述剥离处理器将数据流划分为与RAID盘的盘访问尺寸相对应的、具有16比特的字。流处理器的两个操作是双向且同时发生的。SCSI控制器通过串行附加SCSI接口与RAID盘进行通信，以将16比特的数据字写入RAID盘并从RAID盘读取数据。SCSI控制器在与盘传输数据时的快速响应使存储单元4与数字网络之间的数据传输速率最优化。RAID控制器18是被编程用于和存储服务器处理器14一同实现RAID盘上的RAID等级5数据组织的硬件。
存储服务器处理器14包含适于实现分布式数字文件管理方法的服务器软件，所述方法用于管理存储单元4中的数字文件存储和检索。
在数字文件写入请求之后，每一个数据存储服务器10的分布式数字文件管理方法将数字文件划分为至少两个数字文件段，并将所述数字文件段传送到至少两个数据存储服务器10以存储在本地存储组件12中。例如，在存储单元4包含两个数据存储服务器10、且数字文件被划分为两个段的情况下，每一个数据存储服务器10接收所有的段，或在每一个数据存储服务器10接收不同的数字文件段的前提下仅接收一个数字文件段。
将数字文件剥离为存储在若干数据存储服务器10上的数字文件段避免了在与存储单元4进行数据传送期间单一数据存储服务器10上出现的数据拥塞。
分布式数字文件管理方法还将存储单元4向客户端6展现为统一的存储实体，并隐藏了存储单元4的内部结构以及数据存储服务器10和本地存储组件12的存在。
存储在存储单元4上的数字文件向客户端展现为统一的存储组织，所述存储组织具有数字文件逻辑集、多个目录以及根目录。当客户端6请求数字文件时，从客户端的角度来看，该请求通过客户端6对于存储单元4的唯一虚拟入口点而向存储单元4的统一文件***做出，而且客户端6通过存储单元4的唯一虚拟入口点从存储单元4的统一文件***以未划分整体的形式接收数字文件。
每一个数据存储服务器10的存储服务器处理器14都包含存储管理表20，分布式数字文件管理方法维持对这个表20的更新。存储管理表20包含与数据存储服务器10所执行的操作有关的信息，例如对数据存储服务器10上的数字文件段进行写入和修改。存储管理表20包含与包括该表20的数据存储服务器10的数字文件段有关的信息，而且还包含与存储单元4中所有其它的数据存储服务器10所包含的数字文件段有关的信息。
在例如对数据存储服务器10上的数字文件段进行写入或修改的操作之后，所涉及的数据存储服务器10对其存储管理表20进行更新，并将该操作传达给所有其它的数据存储服务器10。随后，每一个其它的数据存储服务器10利用已经添加的新的数字文件段对其存储管理表20进行更新，或利用例如已经对现有数字文件段做出的修改对其存储管理表20进行更新。
通过数据存储服务器10之间的通信，每一个数据存储服务器10都可以访问每一个其它的数据存储服务器10中的每一个存储管理表20。
每一个数据存储服务器10完全知晓存储单元4上存储的所有数字文件、数字文件段在多个数据存储服务器10之间的分布以及每一个数据存储服务器10处执行的数字文件段写入和修改操作。
每一个数据存储服务器10的分布式数字文件管理方法完全知晓存储单元4上存储的所有数字文件，并且向客户端6展现出具有数字文件逻辑集、多个目录和根目录的统一的存储组织。在数字文件写入请求期间，分布式数字文件管理方法使用关于存储单元4上存储的所有数字文件的所有信息的概述、以确定与哪些数据存储服务器10传送被划分的数字文件的数字文件段。
在对数据存储服务器10中的数字文件段进行写入或修改处理期间，分布式数字文件管理方法向所涉及的存储服务器10中的存储管理表20添加入口、或对现有入口进行修改。
在对数据存储服务器10中的数字文件段进行写入或修改处理期间，分布式数字文件管理方法阻止对正在被写入或修改的数字文件段进行访问。在写入或修改处理期间，其它数据存储服务器10、或者其中的数字文件段被写入或修改的数据存储服务器10都不能访问数字文件段，从而不能执行面向客户端的传输或对数字文件段进行修改。
如果客户端6发出对数字文件段所属的数字文件进行修改的请求，那么分布式数字文件管理方法还阻止了对处于读取过程中的数字文件段的访问。如果客户端6发出对数字文件段所属的数字文件进行读取的请求，那么分布式数字文件管理方法不会阻止对处于读取过程中的数字文件段的访问。这允许客户端6对已存储的数字文件做出多个读取访问。
当一个或多个客户端对目录中的内容进行探索时，其中所述目录包含其数字文件段正在被修改或写入的数字文件，仅在存储管理表20已被更新时传输例如包含数字文件元数据的数据，以便为所有客户端6维持简化的和统一的存储单元4的视图(view)。
尽管分布式数字文件管理方法能够访问存储管理表20中关于数字文件段在数据存储服务器10之间的分布的信息，但是所述方法不能访问与数据存储服务器10中的本地存储组件12上的数字文件段的物理布置和组织有关的任意信息。每一个数据存储服务器10中的存储服务器处理器14包含适于执行本地数字文件管理方法的软件，所述方法对本地存储组件12上的数字文件段的物理布置和组织进行管理。
RAID控制器18在存储服务器处理器14的控制下对向RAID盘传输的文件段数据进行准备，而且本地数字文件管理方法对盘上的数据的物理组织进行管理。在RAID控制器18将数据存储服务器10接收到的数字文件段划分为16比特的盘访问字后，本地数字文件管理方法将16比特的盘访问字的物理布置组织为具有512字节大小的RAID盘的盘扇区。
本地数字文件管理方法通过对存储服务器处理器14中包含的文件段分配表22进行更新而跟踪盘扇区中数据的物理位置。文件段分配表22用于跟踪哪些扇区属于哪些文件段且哪些扇区保留未使用。
在来自客户端6的数字文件读取请求之后，所涉及的数据存储服务器10的分布式数字文件管理方法按照正确的顺序对来自数据存储服务器10的数字文件的每一个数字文件段的恢复进行时间同步，以形成连续的数字文件段流，通过负载平衡器13将这个流传输到客户端6以供客户端6实时使用。
由于多媒体数据中包含的极大量的数据要求客户端6采用极大量的存储缓冲器并要求客户端6进行极大量的数据处理，所以没有使用数据缓冲，因而需要上述同步。
来自存储单元4的多媒体数据读取请求要求严格地遵守每一个数据存储服务器10的数字文件段传输顺序，并要求以严格的时间连续性来传递数字文件段。图2C示出了理想的数字文件检索，包括分别来自数据存储器A和数据存储器B的第一和第二数字文件段。数字文件检索处于正确的顺序，而且数字文件段之间具有时间连续性，而图2A和2B中所示的情况不同，其中数字文件段之间的间断和数字文件段之间的交迭导致到达客户端的多媒体数据中出现干扰。
如图3所示，分布式数字文件管理方法执行同步方法29，从而对多个数据存储服务器10中包含的数字文件的数字文件段的处理进行同步，并将数字文件正确地传递给客户端6。
任意一个数据存储服务器10(当前实施例中具有最小工作负荷的数据存储服务器10)通过负载平衡器13接收数字文件读取请求。如果接收数据存储服务器10不是包含数字文件的第一数据文件段的数据存储服务器10，那么接收数据存储服务器10查阅其存储管理表20，以恢复与其它数据存储服务器10上数字文件的所有数字文件段的布置有关的信息。分布式数字文件管理方法将读取请求内部通信至包含所请求的数字文件的第一数字文件段的数据存储服务器10。
类似地，包含第一数字文件段的数据存储服务器10的分布式数字文件管理方法从其存储管理表20中恢复与其它数据存储服务器10上数字文件的所有数字文件段的布置有关的信息。然后，包含第一数字文件段的数据存储服务器10的分布式数字文件管理方法将如下内容告知包含每一个其它数字文件段的其它数据存储服务器10：读取请求已经发出，以及从它们的本地存储组件12所传输的数字文件段。分布式数字文件管理方法还告知负载平衡器13该数据存储服务器10是包含第一数据段的数据存储服务器10，而且负载平衡器13因此而对其路由表进行更新。负载平衡器13还被告知将会通信后续数据段的数据存储服务器10。
包含第一数字文件段的数据存储服务器10将会启动第一数字文件段的传输。包含数字文件的第一数字文件段的数据存储服务器10(由图3中的数据存储服务器“A”所示)执行第一处理步骤30，发起对第一数字段的检索并将第一数字文件段传送到负载平衡器13。负载平衡器13根据其路由表中记录的信息继续将第一数字文件段传输到客户端6。
然后，包含第一数据段的数据存储服务器10执行通信步骤32，将以太网帧数目通信至负载平衡器13，所述以太网帧数目指示何时处理将转移到后续的数据存储服务器10(由图3中的数据存储服务器“B”所示)，或者在当前数据段是数字文件的最后数据段的情况下指示当前数字段的检索将在何时结束。
时间同步步骤34通过数据存储服务器10之间的内部通信而对当前数据存储服务器10和包含第二数字文件段的后续数据存储服务器10的时钟周期进行同步。这确保了在从一个数据存储服务器10移交到后续数据存储服务器10期间数据传输遵守严格的时间要求。
通知步骤36向包含后续数字文件段的数据存储服务器10发送精确启动时间，该时间指示包含后续数字文件段的数据存储服务器10开始向负载平衡器13传送下一个数据段的启动时间，负载平衡器13继续将第二数字文件段传输给客户端6。启动时间的通知允许所涉及的数据存储服务器10在所述启动时间之前对后续数字文件段的处理和检索进行准备，从而后续数据存储服务器10将会继续进行传输并遵守数据传输的时间连续性。
终止步骤38正好在所述启动时间终止对第一数字文件段的处理，然后在所述启动时间在后续数据存储服务器10中开始执行第二处理步骤40，以检索将通信至负载平衡器13的下一个数字段。
重复步骤42针对所请求的数字文件的每一个数据段重复所有上述步骤，除非当前数据段是数字文件的最后数据段，在这种情况下仅重复第一处理步骤、通信步骤和终止步骤。
分布式数字文件管理方法所采用的同步方法29确保了从数据存储服务器10中以正确的顺序检索数字文件并遵守数字文件段之间的时间连续性。客户端从存储单元4请求数字文件，并从存储单元4以连续的数据流的形式接收统一的数字文件。
客户端6做出的数字文件写入请求不需要数字文件读取请求所要求的严格的时间连续性。然而，与上文中的同步方法类似的同步方法可以用于对向数据存储服务器10执行的数字文件段写入进行同步。现在，处理步骤将数字段通信至数据存储服务器10以进行存储。
由于存储单元4包括多个内部互连的、具有本地存储组件12和分布式数字文件管理方法的数据存储服务器10，其中所述方法能够访问与所有数据存储服务器10有关的所有信息，所以面向客户端6的、遵守线性数据通信的严格时间要求的数据通信是可能的。另外，分布式数字文件管理允许将统一的存储单元展现给客户端，这简化了客户端对文件***的管理。
在当前实施例中，使用以太网实施方式来构建数字网络。然而在本发明的其它实施例中，可以通过其它网络实施方式的实施而形成数字网络，例如异步传送模式(ATM)网络。
另外，已经针对多媒体数据的存储和通信对当前实施例进行了描述。然而，根据本发明的网络数据存储***2同样可以用于所有类型的数据的通信和存储，例如信息技术(IT)数据。
在当前实施例中，应当理解的是，分布式数字文件管理方法选择记录在存储管理表20中的操作以及阻止对数字文件段的访问的操作仅作为本发明实施例的示例而给出。在本发明的其它实施例中，通过选择记录在存储管理表20中的附加或更少的操作、并改变阻止对数字文件段的访问的操作，可以获得网络数据存储***的不同性能和可用性。
另外，不仅在数字文件段的级别上、而且可以在不同的级别上阻止访问，例如在目录级别上阻止访问。

Claims (7)

1.一种网络数据存储***(2)，包括：
-存储单元(4)，用于存储数据并包含至少一个数字文件的数据；
-至少一个网络客户端(6)，适于访问所述存储单元(4)中至少一个数字文件；以及
-中间网络交换机(8)，适于在所述至少一个网络客户端(6)与所述存储单元(4)之间形成联络；
所述存储单元(4)包含至少两个数据存储服务器(10)，其中每一个数据存储服务器(10)包括包含有至少一个数字文件的数字文件段的本地存储组件(12)，而且每一个数据存储服务器(10)适于执行本地数字文件管理方法，所述方法对所述至少一个数字文件的数字文件段在所述数据存储服务器(10)的本地存储组件(12)中的物理位置进行组织；
每一个数据存储服务器(10)适于和所述存储单元(4)内的其它数据存储服务器(10)进行通信，并执行分布式数字文件管理方法；
所述分布式数字文件管理方法维持与每一个数据存储服务器(10)的数字文件段有关的操作记录；并且与其它数据存储服务器(10)进行内部通信，以交换与所述数据存储服务器(10)上包含的数字文件段有关的信息，并且获得与所述存储单元(4)上存储的所有数字文件有关的所有信息的概述；
所述网络数据存储***(2)的特征在于，所述中间网络交换机(8)包含负载平衡器(13)；所述负载平衡器(13)适于维持每一个数据存储服务器(10)的当前和可预期动作的最新记录，从而将用于访问所述存储单元(4)的网络客户端(6)请求通信至所述数据存储服务器(10)之一；并且在数字文件读取请求之后，接收数字文件并将所述数字文件通信至所述客户端(6)，所述数字文件包括从所述数据存储服务器(10)传送过来的连续时间同步数据段。
2.根据权利要求1所述的网络数据存储***(2)，其特征在于，为了实现所述分布式数字文件管理方法，每一个数据存储服务器(10)具有：组织装置，用于对面向所述至少一个网络客户端(6)的数据通信、以及所述数据存储服务器(10)之间的数据通信进行组织；以及管理装置，用于根据与所述存储单元(4)上存储的所有数字文件有关的所有信息的概述，管理所述数据存储服务器(10)上至少一个数字文件的数字文件段的后勤组织(logistical organi sation)。
3.根据权利要求1或2所述的网络数据存储***(2)，其特征在于，每一个数据存储服务器(10)适于和所述中间网络交换机(8)进行通信，而且所述网络客户端(6)具有面向所述存储单元(4)的唯一虚拟入口点；所述数据存储服务器(10)的所述分布式数字文件管理方法将所述存储单元(4)向所述网络客户端(6)展现为统一的存储单元(4)，并且向所述网络客户端(6)隐藏了所述数据存储服务器(10)和所述本地存储组件(12)。
4.根据上述权利要求中任意一项所述的网络数据存储***(2)，其特征在于，每一个数据存储服务器(10)适于在所述网络客户端(6)的数字文件写入请求之后，将至少一个数字文件划分为多个数字文件段，并将所述数字文件段通信至至少两个数据存储服务器(10)的所述本地存储组件(12)以进行存储。
5.根据上述权利要求中任意一项所述的网络数据存储***(2)，其特征在于，每一个数据存储服务器(10)适于在所述网络客户端(6)的数字文件读取请求之后，对来自所述本地存储组件(12)的至少一个数字文件的每一个数据段的恢复进行时间同步，以形成实时连续的数据段流，在不出现数据段交迭或不丧失连续性的情形下重建所述至少一个数字文件。
6.根据权利要求1至5中任意一项所述的网络数据存储***(2)，其特征在于，每一个本地存储组件(12)是独立盘冗余阵列(RAID)。
7.根据权利要求1至5中任意一项所述的网络数据存储***(2)，其特征在于，每一个本地存储组件(12)是硬盘驱动器。
CN200710104124.4A 2006-05-16 2007-05-16 网络数据存储*** Expired - Fee Related CN101076021B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP06290792.8 2006-05-16
EP06290792A EP1858228A1 (en) 2006-05-16 2006-05-16 Network data storage system with distributed file management

Publications (2)

Publication Number Publication Date
CN101076021A true CN101076021A (zh) 2007-11-21
CN101076021B CN101076021B (zh) 2012-11-07

Family

ID=37075507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710104124.4A Expired - Fee Related CN101076021B (zh) 2006-05-16 2007-05-16 网络数据存储***

Country Status (4)

Country Link
US (1) US8484367B2 (zh)
EP (1) EP1858228A1 (zh)
JP (1) JP5208446B2 (zh)
CN (1) CN101076021B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102761596A (zh) * 2011-04-28 2012-10-31 汤姆森许可贸易公司 在在线存储***中上载文件的方法及相应在线存储***
CN101930423B (zh) * 2009-06-23 2014-04-23 联想(北京)有限公司 一种服务器、一种交换控制设备及一种网络***
CN103891250A (zh) * 2011-08-19 2014-06-25 记忆树公司 经由网络对数字内容进行未来递送的方法、***和设备
CN105450964A (zh) * 2014-09-30 2016-03-30 杭州海康威视***技术有限公司 对录像数据进行云存储的方法、***及管理节点
CN106164812A (zh) * 2014-02-19 2016-11-23 西部数据技术公司 设备优化的功率管理
TWI710230B (zh) * 2018-07-19 2020-11-11 廣達電腦股份有限公司 儲存系統及遠程存取方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080162589A1 (en) * 2006-12-29 2008-07-03 Microsoft Corporation Weakly-consistent distributed collection compromised replica recovery
US20080294701A1 (en) * 2007-05-21 2008-11-27 Microsoft Corporation Item-set knowledge for partial replica synchronization
US8505065B2 (en) * 2007-06-20 2013-08-06 Microsoft Corporation Access control policy in a weakly-coherent distributed collection
US7685185B2 (en) * 2007-06-29 2010-03-23 Microsoft Corporation Move-in/move-out notification for partial replica synchronization
US20090006489A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Hierarchical synchronization of replicas
JP2009181308A (ja) * 2008-01-30 2009-08-13 Hamamatsu Photonics Kk ストレージシステム
US20100274886A1 (en) * 2009-04-24 2010-10-28 Nelson Nahum Virtualized data storage in a virtualized server environment
US8966172B2 (en) 2011-11-15 2015-02-24 Pavilion Data Systems, Inc. Processor agnostic data storage in a PCIE based shared storage enviroment
US9652182B2 (en) 2012-01-31 2017-05-16 Pavilion Data Systems, Inc. Shareable virtual non-volatile storage device for a server
US20140280347A1 (en) * 2013-03-14 2014-09-18 Konica Minolta Laboratory U.S.A., Inc. Managing Digital Files with Shared Locks
JP6115308B2 (ja) * 2013-05-22 2017-04-19 富士通株式会社 情報処理システム、情報処理システムの制御方法、及び制御プログラム
JP2015191534A (ja) * 2014-03-28 2015-11-02 富士通株式会社 サーバ装置、情報格納プログラム、及び情報格納方法
JP6354431B2 (ja) * 2014-08-04 2018-07-11 株式会社バッファロー 記憶装置
US9712619B2 (en) 2014-11-04 2017-07-18 Pavilion Data Systems, Inc. Virtual non-volatile memory express drive
US9565269B2 (en) 2014-11-04 2017-02-07 Pavilion Data Systems, Inc. Non-volatile memory express over ethernet
EP3345355B1 (en) * 2015-09-02 2019-07-24 Telefonaktiebolaget LM Ericsson (publ) Methods and network nodes for scalable top-of-chain selection in mobile service chaining
FR3097092B1 (fr) * 2019-06-04 2021-06-18 Thales Sa Procédé de stockage de fichiers numériques mis en oeuvre par un réseau avionique déterministe et à routage prédéterminé, et système de communication avionique associé

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3461278B2 (ja) * 1997-02-19 2003-10-27 日本電信電話株式会社 分散マルチメディアサーバ装置，分散マルチメディアサーバ情報アクセス方法およびこの方法を実現するプログラムを記録した記録媒体
JP2000148634A (ja) * 1998-11-10 2000-05-30 Victor Co Of Japan Ltd 動画像サーバシステム
US6721794B2 (en) * 1999-04-01 2004-04-13 Diva Systems Corp. Method of data management for efficiently storing and retrieving data to respond to user access requests
JP2000305831A (ja) * 1999-04-22 2000-11-02 Tadamitsu Ryu 分散環境におけるファイル管理の方法、システム。
US7428540B1 (en) * 2000-03-03 2008-09-23 Intel Corporation Network storage system
US7506034B2 (en) * 2000-03-03 2009-03-17 Intel Corporation Methods and apparatus for off loading content servers through direct file transfer from a storage center to an end-user
WO2002061525A2 (en) * 2000-11-02 2002-08-08 Pirus Networks Tcp/udp acceleration
US7512673B2 (en) * 2001-01-11 2009-03-31 Attune Systems, Inc. Rule based aggregation of files and transactions in a switched file system
US8195760B2 (en) * 2001-01-11 2012-06-05 F5 Networks, Inc. File aggregation in a switched file system
US20040133606A1 (en) * 2003-01-02 2004-07-08 Z-Force Communications, Inc. Directory aggregation for files distributed over a plurality of servers in a switched file system
AU2002249939A1 (en) * 2001-01-11 2002-07-24 Z-Force Communications, Inc. File switch and switched file system
US6880062B1 (en) * 2001-02-13 2005-04-12 Candera, Inc. Data mover mechanism to achieve SAN RAID at wire speed
US6862609B2 (en) * 2001-03-07 2005-03-01 Canopy Group, Inc. Redundant storage for multiple processors in a ring network
US20020157113A1 (en) * 2001-04-20 2002-10-24 Fred Allegrezza System and method for retrieving and storing multimedia data
JP4001727B2 (ja) * 2001-06-15 2007-10-31 富士通株式会社 ファイルアクセス制御プログラム、ファイルアクセス制御装置およびファイルアクセス制御方法
US7209996B2 (en) * 2001-10-22 2007-04-24 Sun Microsystems, Inc. Multi-core multi-thread processor
JP3800508B2 (ja) * 2001-11-09 2006-07-26 日本電信電話株式会社 サーバへの接続の振り分け方法およびそのプログラムと記録媒体
US7788396B2 (en) * 2001-11-28 2010-08-31 Interactive Content Engines, Llc Synchronized data transfer system
JP4154893B2 (ja) * 2002-01-23 2008-09-24 株式会社日立製作所 ネットワークストレージ仮想化方法
US20030145086A1 (en) * 2002-01-29 2003-07-31 O'reilly James Scalable network-attached storage system
US7774325B2 (en) * 2002-10-17 2010-08-10 Intel Corporation Distributed network attached storage system
US6839740B1 (en) * 2002-12-27 2005-01-04 Veritas Operating Corporation System and method for performing virtual device I/O operations
JP4068473B2 (ja) * 2003-02-19 2008-03-26 株式会社東芝 ストレージ装置、分担範囲決定方法及びプログラム
US7831641B2 (en) * 2003-04-24 2010-11-09 Neopath Networks, Inc. Large file support for a network file server

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930423B (zh) * 2009-06-23 2014-04-23 联想(北京)有限公司 一种服务器、一种交换控制设备及一种网络***
CN102761596A (zh) * 2011-04-28 2012-10-31 汤姆森许可贸易公司 在在线存储***中上载文件的方法及相应在线存储***
CN103891250A (zh) * 2011-08-19 2014-06-25 记忆树公司 经由网络对数字内容进行未来递送的方法、***和设备
CN103891250B (zh) * 2011-08-19 2017-05-31 记忆树公司 经由网络对数字内容进行未来递送的方法、***和设备
CN106164812A (zh) * 2014-02-19 2016-11-23 西部数据技术公司 设备优化的功率管理
CN106164812B (zh) * 2014-02-19 2022-08-02 西部数据技术公司 设备优化的功率管理
CN105450964A (zh) * 2014-09-30 2016-03-30 杭州海康威视***技术有限公司 对录像数据进行云存储的方法、***及管理节点
CN105450964B (zh) * 2014-09-30 2020-03-17 杭州海康威视***技术有限公司 对录像数据进行云存储的方法、***及管理节点
TWI710230B (zh) * 2018-07-19 2020-11-11 廣達電腦股份有限公司 儲存系統及遠程存取方法

Also Published As

Publication number Publication date
US20090019054A1 (en) 2009-01-15
JP5208446B2 (ja) 2013-06-12
US8484367B2 (en) 2013-07-09
EP1858228A1 (en) 2007-11-21
CN101076021B (zh) 2012-11-07
JP2007317183A (ja) 2007-12-06

Similar Documents

Publication Publication Date Title
CN101076021A (zh) 网络数据存储***
US11068182B2 (en) Asynchronous semi-inline deduplication
US10783121B2 (en) Techniques for optimizing data flows in hybrid cloud storage systems
US20050138184A1 (en) Efficient method for sharing data between independent clusters of virtualization switches
US20130036272A1 (en) Storage engine node for cloud-based storage
US11743333B2 (en) Tiered queuing system
EP1782287A2 (en) Distributed storage architecture based on block map caching and vfs stackable file system modules
CN1871587A (zh) 存储服务器的自底向上高速缓存结构
US20170285963A1 (en) Methods for sharing nvm ssd across a cluster group and devices thereof
US10523753B2 (en) Broadcast data operations in distributed file systems
US20110055261A1 (en) Methods and Systems for Concurrently Reading Direct and Indirect Data Blocks
US9152603B1 (en) System and method for increasing application compute client data I/O bandwidth performance from data file systems and/or data object storage systems by hosting/bundling all of the data file system storage servers and/or data object storage system servers in the same common global shared memory compute system as the application compute clients
US20030154246A1 (en) Server for storing files
US7460528B1 (en) Processing data packets at a storage service module of a switch
KR101470857B1 (ko) iSCSI 스토리지 시스템을 이용한 네트워크 분산 파일 시스템 및 방법
JP2018504689A (ja) リモート・ダイレクト・メモリ・アクセス操作を実行するデータ転送方法、システム、およびプログラム
CN1487436A (zh) 基于多通道存储设备的海量存储***及其***控制方法
KR20130133989A (ko) 파일 스토리지 클러스터간 병렬 파일 전송 시스템 및 방법
US7382776B1 (en) Performing block storage virtualization at a switch
CN105808560B (zh) 一种同机多业务的检索方法及***
CN1690944A (zh) 一种磁盘阵列***
Chen et al. A fibre channel-based architecture for Internet multimedia server clusters
US20140068220A1 (en) Hardware based memory allocation system with directly connected memory
EP1858229A1 (en) Network data storage system with distributed file management
US7644229B2 (en) Rapid search system and method in high capacity hard disk drive cluster

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121107

Termination date: 20170516

CF01 Termination of patent right due to non-payment of annual fee