CN104391901A - 一种存储单元网络大数据基础构架平台及其文件存取方法 - Google Patents

Abstract

本发明公开了一种存储单元网络大数据基础构架平台及其文件存取方法，包括互联网络连接的多个营运商的存储管理服务器和注册于不同营运商的终端用户，存储管理服务器连接多个节点储存服务器，互联网络上分别连接有HASH值服务器和用户存储记录服务器；当用户建立或更新网络文件时，首先通过HASH值服务器对所述网络文件产生并赋予一个当前时间HASH值，同时对赋予当前时间HASH值的文件在用户存储记录服务器中建立文件链接索引，所述当前时间HASH值是唯一最新HASH值，用户根据最新HASH值提取文件。本发明形成了一种新的网络文件存取结构和方法，弃用了传统的直连式存储，可以省掉各运营商之间传统的文件备份，节约了网络的带宽使用量。

Description

一种存储单元网络大数据基础构架平台及其文件存取方法

技术领域

 本发明涉及数据网络传输，特别涉及一种存储单元网络大数据基础构架平台及其文件存取方法，是一种通过 ARM存储单元的网络大数据基础构架平台及其文件存取方法。

背景技术

ARM架构，过去称作高级精简指令集机器（Advanced RISC Machine，更早称作：Acorn RISC Machine），是一个32位精简指令集（RISC）处理器架构，其广泛地使用在许多嵌入式***设计。由于节能的特点，ARM处理器非常适用于移动通信领域，符合其主要设计目标为低成本、高性能、低耗电的特性。

ARM平台一般应用于信息电子设备、专用的***和工控领域，如：平板电脑、手机、汽车电脑、自动控制等，随着ARM架构下的CPU处理能力不断增强，功能不断强大，接口不断增多，已经有些公司通过ARM平台的CPU研发服务器产品，通过几十到上百颗CPU同时的处理能力进行运算，由于ARM架构下的CPU能耗很低，所以通过几十到上百颗CPU组成的服务器，性能与传统的X86架构下的服务器一样，而功耗消耗上有优势。

传统的存储开放***的直连式存储(Direct-Attached Storage，简称DAS )已经有近四十年的使用历史并一直延续至今应用于大数据基础构架平台，随着用户数据的不断增长，尤其是数百GB以上时，其在备份、恢复、扩展、灾备等方面的问题变得日益困扰***管理员。

直连式存储与服务器主机之间的连接通道通常采用SCSI连接，随着服务器CPU的处理能力越来越强，存储硬盘空间越来越大，阵列的硬盘数量越来越多，SCSI通道将会成为IO瓶颈；服务器主机SCSI ID资源有限，能够建立的SCSI通道连接有限。但是也只有这一项专有的功能，不能再开启其它的功能，浪费了功耗、硬件资源和投资成本，不是当今社会提倡节能环保的理念。

发明内容

本发明的目的是针对上述直连式存储的问题提出的一种存储单元网络大数据基础构架平台及其文件存取方法。

为了实现上述目的，本发明的技术方案是：

一种存储单元网络大数据基础构架平台，包括互联网络，互联网络上连接了多个营运商的数据库和注册于不同营运商的终端用户，数据库包括多个节点储存服务器，节点储存服务器连接数据存储单元；其中，所述互联网络上分别还连接有HASH值服务器和用户存储记录服务器；所述HASH值服务器用于对终端用户上传或更新文件赋予一个HASH新值并存储，所述用户存储记录服务器存储赋予HASH新值文件的检索路径。

方案进一步是：所述节点储存服务器是ARM架构的节点储存服务器，包括ARM架构中央处理器；所述中央处理器包括有PCIE系列接口电路和SATA系列接口电路以及RGM系列接口电路；所述PCIE系列接口电路通过一个PCIE转SATA桥接电路连接至少两个SATA硬盘数据存储单元，所述SATA系列接口电路通过一个SATA扩展电路连接至少两个SATA硬盘数据存储单元，所述RGM系列接口电路经网络PHY与互联网络连接。

方案进一步是：所述数据库还包括存储管理服务器，存储管理服务器连接节点储存服务器，所述存储管理服务器用于监控节点的硬盘使用情况、调度硬盘存储的使用量，并均衡硬盘文件存储。

一种网络文件存取方法，是基于存储单元网络大数据基础构架平台的文件存取方法，所述平台包括互联网络，互联网络上连接了多个营运商的存储管理服务器和注册于不同营运商的终端用户，存储管理服务器连接多个节点储存服务器，节点储存服务器连接数据存储单元；所述互联网络上分别还连接有HASH值服务器和用户存储记录服务器；其中，所述网络文件存取方法是：当用户建立或更新网络文件时，首先通过HASH值服务器对所述网络文件产生并赋予一个当前时间HASH值，同时对赋予当前时间HASH值的文件在用户存储记录服务器中建立文件链接索引，所述当前时间HASH值是唯一最新HASH值，用户根据最新HASH值提取文件。

方案进一步是：所述用户根据最新HASH值提取文件的过程是：当终端用户发送文件处理请求后，将终端用户的请求解析到用户所在当前运营商下的存储管理服务器上，用户在注册、登陆后建立或打开自己的目录文件列表，找到自己要下载或更新的文件，点击要下载的文件，首先通过与互联网络连接的用户存储记录服务器中存储的该文件HASH值找到对应的链接，如果该文件链接是用户登陆的运营商所在的节点存储器上则该文件的HASH值是最新的，那么该文件就会直接下载下来；如果该文件不在用户登陆的运营商的节点上，则通过链接将用户的文件下载到用户所在运营商的节点存储器上来，用户然后再下载下来。

方案进一步是：所述在用户存储记录服务器中建立文件链接索引的过程是：当用户建立一个新文件或更新文件后，首先通过设置在互联网络上的HASH值服务器获取一个当前时间的HASH值赋予新文件或所更新文件，将所述赋予当前时间HASH值文件存入当前运营商所在的节点存储器上，对所述当前时间HASH值文件赋予当前运营商所在节点的链接地址；将文件名、当前时间HASH值和链接地址存入与互联网络连接的用户存储记录服务器生成链接索引，并且当文件名相同时，更新相同文件名的HASH值和链接地址。

方案进一步是：所述节点储存服务器是ARM架构的节点储存服务器，包括ARM架构中央处理器；所述中央处理器包括有PCI-E系列接口电路和SATA系列接口电路以及RGM系列接口电路；所述PCI-E系列接口电路通过一个PCI-E转SATA桥接电路连接至少两个SATA硬盘数据存储单元，所述SATA系列接口电路通过一个SATA扩展电路连接至少两个SATA硬盘数据存储单元，所述RGM系列接口电路经网络PHY与互联网络连接。

方案进一步是：所述HASH值服务器和所述户存储记录服务器采用双机热备的方式工作。

方案进一步是：所述网络文件存取方法进一步包括对节点储存服务器文件存取监控；监控的方法是：存储管理服务器实时探测节点储存服务器的联网状态，监测节点储存服务器的CPU负载、内存容量及利用率、存储容量及利用率、网络带宽及利用率、硬盘运行的状况信息；

当某个节点的网络流量和存储使用量大于或等于使用量的80%时，文件的存取调度到运营商的其他节点下；

当一个节点没有握手信息或反应迟缓时，文件的存取调度到运营商的其他节点下，直至节点恢复。

方案进一步是：所述运营商包括以请求端源地址路由为基础的当前运营商和有请求端源地址路由出口的其它运营商。 

本发明与现有技术相比的有益效果是：

1，HASH（散列）值服务器和用户存储记录服务器的设置形成了一种新的网络文件存取结构和方法，弃用了传统的直连式存储(Direct-Attached Storage，简称DAS )，每一个文件采用唯一HASH值标识，以及带有HASH值和链接地址索引的引入，使任何时候、任何地点打开的文件都是最新的，并且任一营运商的存储器都可以作为该文件的存储，可以省掉各运营商传统的文件备份，新的HASH值设置和检索方式的条用文件减少了文件在网上的重复传递，以及校正给网络带来的拥堵，提高了网络的容纳量。

2.ARM架构节点储存服务器的引入，解决了利用不同数据通道高速读写硬盘数据的问题；充分利用了CPU、内存、硬盘、网络接口的资源，使它们达到了统一快速的调用能力，一个ARM架构节点储存服务器可以同时连接4个4T容量硬盘，发挥了最大效能；在同等容量下，成本比X86架构节点储存服务器低70%、功耗低80%、体积小50%。

下面结合附图和实施例对本发明作一详细描述。

附图说明

图1为本发明网络平台拓扑图；

图2为本发明节点储存服务器结构示意图；

图3为本发明文件存取方法工作流程图。

具体实施方式

实施例1：

一种存储单元网络大数据基础构架平台，如图1所示，包括互联网络1，互联网络上连接了多个营运商A、B、C（如联通运营商A、电信运营商B、移动运营商C）的数据库和注册于不同营运商的终端用户2，数据库包括多个节点储存服务器3，节点储存服务器连接数据存储单元4；其中，所述互联网络上分别还连接有HASH（散列）值服务器5和用户存储记录服务器6；所述HASH值服务器用于对终端用户上传或更新文件赋予一个HASH新值并存储，所述用户存储记录服务器存储赋予HASH新值文件的检索路径。

为了增加存储容量，所述的节点储存服务器设施有多个，为了对多个节点储存服务器进行管理，所述数据库还包括存储管理服务器7，存储管理服务器通过网络连接节点储存服务器，所述存储管理服务器用于监控节点的硬盘使用情况、调度硬盘存储的使用量，并均衡硬盘文件存储。

实施例中：如图2所示，所述节点储存服务器是ARM架构的节点储存服务器，包括ARM架构中央处理器301；所述中央处理器包括有PCI-E系列接口电路和SATA系列接口电路以及RGM系列接口电路；所述PCI-E系列接口电路通过一个PCI-E转SATA桥接电路302连接至少两个SATA硬盘303数据存储单元，所述SATA系列接口电路通过一个SATA扩展电路304连接至少两个SATA硬盘303数据存储单元，所述RGM系列接口电路经网络PHY与互联网络连接。

实施例中的中央处理器是ARM Cortex-A9的四核处理器，CPU的最高频率达到1.0GHz，支持64位的总线带宽，1066MHz的DDR3数据总线接口，吞吐速率更快，最大内存容量支持到4GB。

通常ARM平台上实现多路SATA接口是通过USB 2.0信号来转接的。但是这个只能解决接口问题，在速度方面不能满足用户数据的读写速度。为了满足大容量的存储空间，并能够满足高速数据读写速度，必须需要采用目前常用的标准SATA II 2.0接口。实施例选用1路PCI-E 2.0 1x接口和1路SATA II接口的CPU，同时PCI-E 2.0的速度最快可以达到6Gb/s，SATA II的速度也可以达到6Gb/s。

目前，常用的企业级硬盘的I/O读写速度最快在160MB/s，而标准SATA II 信号的读写速度至少在350MB/s以上，硬盘的传输速度是最大的瓶颈，为了消除或者减少硬盘的瓶颈，利用PCI-E 2.0的桥接芯片外扩2路标准的SATA II 接口，同时把6Gb/s的SATA II的接口接一路硬盘，这样一个ARM 的CPU就可以外接3个硬盘。实现了大容量存储，也满足高速传输数据的要求，同时也解决了硬盘传输速度的瓶颈。

本实施例CPU通过PCI-E-2.0信号连接桥接芯片外扩两个标准的SATA II接口，扩大了设备的存储空间，同时也能满足用户快速的读取相关数据。同时CPU通过SATA-II信号连接扩展芯片外扩2个标准的SATA-II接口。这样本实施例单个ARM平台的CPU设备就能同时接4个SATA硬盘。

实施例中桥接芯片是先把PCI-E的信号经过PCI-E PHY处理后把一些无用的信号和有用的信号区分开，同时从传输的数据包里分析出有用的数据，把这些有用的数据经过PCIE的控制器处理后，把信号暂存在FIFO里面，再经过AHCI的控制器和SATA的PHY模块后，最后输出的就是SATA的信号接口。

SATA扩展芯片是把SATA的信号先经过PHY模块后，把一些不用的数据包剔除，同时把有用的数据包分析出有用的数据，把这些数据传输给DATA FIFO，再把FIFO中的数据分发给2个SATA PHY 模块后，压缩成统一的SATA 总线。

实施例2：

一种网络文件存取方法，是基于实施例1所述存储单元网络大数据基础构架平台的文件存取方法，如图1所示，所述平台包括互联网络1，互联网络上连接了多个营运商的存储管理服务器7和注册于不同营运商的终端用户2，存储管理服务器通过网络连接多个节点储存服务器3，节点储存服务器连接数据存储单元4；所述互联网络上分别还连接有HASH值服务器5和用户存储记录服务器6；其中，所述网络文件存取方法是：当用户建立或更新网络文件时，首先通过HASH值服务器对所述网络文件产生并赋予一个当前时间HASH值，同时对赋予当前时间HASH值的文件在用户存储记录服务器中建立文件链接索引，所述当前时间HASH值是唯一最新HASH值，用户根据最新HASH值提取文件。

Hash也称为“散列”，就是把任意长度的输入（又叫做预映射， pre-image），通过散列算法，变换成固定长度的输出，该输出就是散列值。这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来唯一的确定输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。作为HASH值服务器是文件识别服务器，用户上传新文件或更新旧文件时，该文件就会从HASH值服务器得到一个新的HASH值，以替代原文件旧有的HASH值，并会广播到整个***该文件存储链接在哪家运营商上的哪个节点上，用户再下载该文件时就会根据新的HASH值所提供的链接到相对面应的运营商的哪个节点上通过骨干网将用户的文件传到用户的所在节点上来并同时下载下来，在用户下载下来文件的同时，当前运营商的存储节点上的文件也同步更新。

因此，实施例中：所述用户根据最新HASH值提取文件的过程是：当终端用户发送文件处理请求后，用户不论是哪家运营商的接入用户，在进行存储请求时，首先通过智能解析DNS***将终端用户的请求解析到用户所在当前运营商下的存储管理服务器上，用户在注册、登陆后建立或打开自己的目录文件列表，找到自己要下载或更新的文件，点击要下载的文件，首先通过与互联网络连接的用户存储记录服务器中存储的该文件HASH值找到对应的链接，如果该文件链接是用户登陆的运营商所在的节点存储器上则该文件的HASH值是最新的，那么该文件就会直接下载下来；如果该文件不在用户登陆的运营商的节点上，则通过链接从骨干网络快速的将用户的文件下载到用户所在运营商的节点存储器上来，用户然后再下载下来。

作为用户存储记录服务器是以数据库的形式记录用户的注册的用户名和密码，还有用户存储的文件链接和HASH服务器所付文件的HASH值。因此，实施例中：所述在用户存储记录服务器中建立文件链接索引的过程是：当用户建立一个新文件或更新文件后，首先通过设置在互联网络上的HASH值服务器获取一个当前时间的HASH值赋予新文件或所更新文件，将所述赋予当前时间HASH值文件存入当前运营商所在的节点存储器上，对所述当前时间HASH值文件赋予当前运营商所在节点的链接地址；将文件名、当前时间HASH值和链接地址存入与互联网络连接的用户存储记录服务器生成链接索引，并且当文件名相同时，更新相同文件名的HASH值和链接地址。

实施例中：所述节点储存服务器是ARM架构的节点储存服务器，包括ARM架构中央处理器；所述中央处理器包括有PCIE系列接口电路和SATA系列接口电路以及RGM系列接口电路；所述PCI-E系列接口电路通过一个PCI-E转SATA桥接电路连接至少两个SATA硬盘数据存储单元，所述SATA系列接口电路通过一个SATA扩展电路连接至少两个SATA硬盘数据存储单元，所述RGM系列接口电路经网络PHY与互联网络连接。

为了安全运行，实施例中：所述HASH值服务器和所述户存储记录服务器采用双机热备的方式工作。

实施例中所述存储管理服务器采用智能DNS解析***：DNS策略解析最基本的功能是可以智能的判断访问网站的用户所用的源IP地址，对比DNS服务器上的地址库然后指向用户所在的运营商的节点服务器的IP上。如访问者是联通用户，DNS策略解析服务器会把你的域名对应的联通IP地址解析给这个访问者。如访问者是电信用户DNS策略解析服务器会把您域名对应的电信IP地址解析给这个访问者。在智能解析的同时还有效的解决了服务器的负载均衡。

因此，所述网络文件存取方法进一步包括对节点储存服务器文件存取监控；监控的方法是：通过SNMP（简单网络协议）由存储管理服务器实时除了监控设备的硬件性能和工作状态外，还监测节点服务器的网络流量。并在超警示后报警和预警。即实时探测节点储存服务器的联网状态，监测节点储存服务器的CPU负载、内存容量及利用率、存储容量及利用率、网络带宽及利用率、硬盘运行的状况信息，通过对监控所获取的信息，然后反馈给调度***；

当整个***平稳运行时，调度***是不触发的；

当某个节点的网络流量和存储使用量大于或等于使用量的80%时，文件的存取调度到运营商的其它节点下；

当一个节点没有握手信息或反应迟缓时，比如北京联通节点有连续5分钟没有向网管***反馈本机的SNMP信息或者PING不通，***将自动将本节点从DNS数据库服务器***中删除节点信息，使新的请求不会在分发到故障节点上；文件的存取调度到运营商的其他节点下，直至节点恢复。其中，所述的运营商包括两种状况：

一种情况是用户请求端源地址路由为基础的当前运营商；例如：北京联通某个节点达到流量值达到***的预警值后，***自动将根据源地址是北京联通的用户新的请求是调往北京联通的其它节点上；

另一种情况是：所述运营商是有请求端源地址路由出口的其它运营商；比如北京联通某个节点达到流量值达到***的预警值后，***自动将根据源地址是北京联通的用户新的请求调往有北京联通出口的其他运营商如中电华通，并且将中电华通节点在添加节点时就定义为大区的同一运营商下的调度节点。同理天津联通或河北联通还有山东联通河南联通山西联通的用户在达到上限流量值时也调入中电华通节点。实际上就是网络上的所有节点存储器。

实施例中：所述监控的方法进一步包括人工干预：当某一节点有特别需求时，例如调试需求时，可以人工强制调度用户流量到同一运营商别的节点上运行，需求结束时手工调度回来。 

Claims (10)

1.一种存储单元网络大数据基础构架平台，包括互联网络，互联网络上连接了多个营运商的数据库和注册于不同营运商的终端用户，数据库包括多个节点储存服务器，节点储存服务器连接数据存储单元；其特征在于，所述互联网络上分别还连接有HASH值服务器和用户存储记录服务器；所述HASH值服务器用于对终端用户上传或更新文件赋予一个HASH新值并存储，所述用户存储记录服务器存储赋予HASH新值文件的检索路径。

2.根据权利要求1所述的一种存储单元网络大数据基础构架平台，其特征在于，所述节点储存服务器是ARM架构的节点储存服务器，包括ARM架构中央处理器；所述中央处理器包括有PCIE系列接口电路和SATA系列接口电路以及RGM系列接口电路；所述PCI-E系列接口电路通过一个PCI-E转SATA桥接电路连接至少两个SATA硬盘数据存储单元，所述SATA系列接口电路通过一个SATA扩展电路连接至少两个SATA硬盘数据存储单元，所述RGM系列接口电路经网络PHY与互联网络连接。

3.根据权利要求1所述的一种存储单元网络大数据基础构架平台，其特征在于，所述数据库还包括存储管理服务器，存储管理服务器连接节点储存服务器，所述存储管理服务器用于监控节点的硬盘使用情况、调度硬盘存储的使用量，并均衡硬盘文件存储。

4.一种网络文件存取方法，是基于存储单元网络大数据基础构架平台的文件存取方法，所述平台包括互联网络，互联网络上连接了多个营运商的存储管理服务器和注册于不同营运商的终端用户，存储管理服务器通过网络连接节点储存服务器，节点储存服务器连接数据存储单元；所述互联网络上分别还连接有HASH值服务器和用户存储记录服务器；其特征在于，所述网络文件存取方法是：当用户建立或更新网络文件时，首先通过HASH值服务器对所述网络文件产生并赋予一个当前时间HASH值，同时对赋予当前时间HASH值的文件在用户存储记录服务器中建立文件链接索引，所述当前时间HASH值是唯一最新HASH值，用户根据最新HASH值提取文件。

5.根据权利要求4所述的一种网络文件处理方法，其特征在于，所述用户根据最新HASH值提取文件的过程是：当终端用户发送文件处理请求后，将终端用户的请求解析到用户所在当前运营商下的存储管理服务器上，用户在注册、登陆后建立或打开自己的目录文件列表，找到自己要下载或更新的文件，点击要下载的文件，首先通过与互联网络连接的用户存储记录服务器中存储的该文件HASH值找到对应的链接，如果该文件链接是用户登陆的运营商所在的节点存储器上则该文件的HASH值是最新的，那么该文件就会直接下载下来；如果该文件不在用户登陆的运营商的节点上，则通过链接将用户的文件下载到用户所在运营商的节点存储器上来，用户然后再下载下来。

6.根据权利要求4所述的一种网络文件处理方法，其特征在于，所述在用户存储记录服务器中建立文件链接索引的过程是：当用户建立一个新文件或更新文件后，首先通过设置在互联网络上的HASH值服务器获取一个当前时间的HASH值赋予新文件或所更新文件，将所述赋予当前时间HASH值文件存入当前运营商所在的节点存储器上，对所述当前时间HASH值文件赋予当前运营商所在节点的链接地址；将文件名、当前时间HASH值和链接地址存入与互联网络连接的用户存储记录服务器生成链接索引，并且当文件名相同时，更新相同文件名的HASH值和链接地址。

7.根据权利要求4所述的一种网络文件处理方法，其特征在于，所述节点储存服务器是ARM架构的节点储存服务器，包括ARM架构中央处理器；所述中央处理器包括有PCIE系列接口电路和SATA系列接口电路以及RGM系列接口电路；所述PCI-E系列接口电路通过一个PCI-E转SATA桥接电路连接至少两个SATA硬盘数据存储单元，所述SATA系列接口电路通过一个SATA扩展电路连接至少两个SATA硬盘数据存储单元，所述RGM系列接口电路经网络PHY与互联网络连接。

8.根据权利要求4、5、6所述的一种网络文件处理方法，其特征在于，所述HASH值服务器和所述户存储记录服务器采用双机热备的方式工作。

9.根据权利要求4所述的一种网络文件处理方法，其特征在于，所述网络文件存取方法进一步包括对节点储存服务器文件存取监控；监控的方法是：存储管理服务器实时探测节点储存服务器的联网状态，监测节点储存服务器的CPU负载、内存容量及利用率、存储容量及利用率、网络带宽及利用率、硬盘运行的状况信息；

当某个节点的网络流量和存储使用量大于或等于使用量的80%时，文件的存取调度到运营商的其他节点下；

当一个节点没有握手信息或反应迟缓时，文件的存取调度到运营商的其他节点下，直至节点恢复。

10.根据权利要求9所述的一种网络文件处理方法，其特征在于，所述运营商包括以请求端源地址路由为基础的当前运营商和有请求端源地址路由出口的其它运营商。