CN101398821A - 基于本地缓存和虚拟文件***技术的网络存储方法及*** - Google Patents
基于本地缓存和虚拟文件***技术的网络存储方法及*** Download PDFInfo
- Publication number
- CN101398821A CN101398821A CNA2007101224457A CN200710122445A CN101398821A CN 101398821 A CN101398821 A CN 101398821A CN A2007101224457 A CNA2007101224457 A CN A2007101224457A CN 200710122445 A CN200710122445 A CN 200710122445A CN 101398821 A CN101398821 A CN 101398821A
- Authority
- CN
- China
- Prior art keywords
- local cache
- network storage
- file
- network
- upper layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于网络数据存储技术领域，具体涉及一种基于本地缓存和虚拟文件***技术的网络存储方法及***。该方法在视音频工作站操作***的设备层虚拟一个或多个硬盘设备，虚拟的硬盘设备设在上层软件模块与本地磁盘之间，上层软件模块以访问普通驱动器的形式对虚拟的硬盘设备进行操作，虚拟的硬盘设备与网络存储设备之间进行数据连接，当上层软件进行写文件操作时，在工作站本地的Cache和网络存储设备中各写一份，当上层软件进行读文件操作时，优先使用本地Cache中存储的数据。本发明减小了网络盘阵的使用压力，降低了对网络带宽的需求，并且可以在***出现极限状况下，不中断节目生产，保证***能够可靠、高速的运行。
Description
技术领域
本发明属于网络数据存储技术领域，具体涉及一种基于虚拟文件***技术的网络存储方法及存储***。该***可以应用到广电行业的视音频网络存储，以及其它对网络带宽、数据安全要求比较高的各种数据存储领域。
背景技术
近年来，在广电行业非编网络项目的设计和实施过程中，考虑最多的问题是如何保证网络的稳定以及高速的带宽，稳定、高速是非编对文件存储***的基本要求。非编对带宽的要求很高，带宽稍有波动就会造成播放画面的不连续，其后果要么是制作出来的节目质量不过关，要么造成非编***的崩溃，甚至直接造成播出事故。
如何使用较低的成本组建一个成规模的高清网络是广电行业要面临的另外一个问题，高清网络的带宽要求会是目前带宽的2倍以上，这对目前技术来说是一个挑战。
由于电视广播的特殊性，目前视音频网络会经常遇到如下一些问题：如盘阵崩溃了如何处理，交换机损坏了如何应对，服务器宕机了如何解决等等，这就需要一系列的关于***在极限状况下的应急处理方案。由于盘阵一次坏两块以上硬盘的概率是极小的，所以常规的解决方法一般是可以上双控制器，上双交换机，让服务器支持HA。
以上这些解决方案除了成本成倍增长以外，并不能保证***真的万无一失。一般情况下，上述系列解决方案可以保证数据不会丢失，但是不能保证***能一直连续运行，而是总会有一段不可用时间，并且这一段时间是不能确定长短的。对于新闻生产等节目网络***来说，1个小时以上的***不可用时间，就有可能对即将播出的节目造成影响，所以寻找一个可节约成本并且更具实用性的应急方案，一直是广电行业相关技术人员追求的目标。
最后，非编在非编网络中占用带宽资源是最高的，非编占用这些带宽的主要用途包括：素材采集、节目制作、素材下载、打包合成、节目审查等。在这些操作过程中，除了部分极简单的新闻类节目在制作环节花费的时间比较少以外，应该说节目制作花费的时间是最长，而且节目制作占用的带宽也最多，尤其是制作类型的网络就更明显。从分析中可以看出盘阵在更多的时候是在承担着“读”的操作，如果能尽量减少盘阵的“读”操作，将这部分工作放到别处，从而使盘阵承担更多“写”的操作，也就支持了更多的非编站点。
发明内容
本发明的目的在于针对目前视音频网络技术中***在极限状况下的应急处理方案所存在的缺陷，提供一种基于本地缓存和虚拟文件***技术的网络存储方法及***，从而更加合理的配置网络盘阵的操作形式，以支持更多的非编站点，保证***能够可靠、高速的运行。
本发明的技术方案如下：一种基于本地缓存和虚拟文件***技术的网络存储方法，该方法在视音频工作站操作***的设备层虚拟一个或多个硬盘设备，当上层软件进行写文件操作时，在工作站本地的Cache和网络存储设备中各写一份，当上层软件进行读文件操作时，优先使用本地Cache中存储的数据。
如上所述的基于本地缓存和虚拟文件***技术的网络存储方法，其中，当上层软件进行读文件操作时，如果工作站本地的Cache不存在相关数据，则从网络存储设备中读取数据返回给上层应用，并在传给上层的同时在本地的Cache中保留一份相同的数据文件。
如上所述的基于本地缓存和虚拟文件***技术的网络存储方法，其中，当上层软件进行写文件操作时，在网络盘阵速度不够的情况下，将文件优先写入本地的Cache中。
进一步，在上述基于本地缓存和虚拟文件***技术的网络存储方法中，当上层软件进行修改文件操作时，将相关数据同时修改到工作站本地的Cache和网络存储设备中所对应的文件上；如果工作站本地的Cache不存在相关数据文件，则获取网络存储设备中相应文件的大小，在本地的Cache中创建一个同样大小的空文件，将写入的数据同时写到这两个文件中，同时记录写入的位置，在***空闲时将其他的数据写入到本地的Cache。
进一步，在上述基于本地缓存和虚拟文件***技术的网络存储方法中，当上层软件进行删除文件操作时，先删除网络存储设备中的相关文件，然后再删除本地Cache中的相关文件；在删除过程中，如果删除网络文件成功，则无论本地Cache中的文件是否被成功删除，都返回给上层应用成功的信息。
进一步，在上述基于本地缓存和虚拟文件***技术的网络存储方法中，当上层软件进行查询文件操作时，对于应用模式，优先使用网络存储设备中的相关文件返回查询结果，如果网络盘阵发生故障，则使用本地Cache进行文件列表查询；对于远程存储等应用模式，优先使用本地Cache中的相关文件返回查询结果。
一种基于本地缓存和虚拟文件***技术的网络存储***，包括视音频工作站和网络存储设备，其中，在视音频工作站的上层软件模块与本地磁盘之间，设置一套虚拟的硬盘设备，上层软件模块以访问普通驱动器的形式对虚拟的硬盘设备进行操作，虚拟的硬盘设备与网络存储设备之间进行数据连接。
如上所述的基于本地缓存和虚拟文件***技术的网络存储***，其中，虚拟的硬盘设备为一个或多个虚拟硬盘。
如上所述的基于本地缓存和虚拟文件***技术的网络存储***，其中，在本地磁盘的Cache与网络存储设备中，均存储有相关的视音频数据文件。
本发明的有益效果如下：本发明通过虚拟文件***技术在视音频工作站的设备层虚拟一套硬盘设备，并在虚拟的***与网络盘阵之间建立数据联系，在非编工作站的本地存放一份和盘阵上一样的素材，将对网络***中数据文件的“读”操作放到虚拟文件***中予以实现，从而，减小了网络盘阵的使用压力，降低了对网络带宽的需求，并且可以在***出现极限状况下，不中断节目生产，保证***能够可靠、高速的运行。
附图说明
图1为本发明的***结构示意图。
图2为本发明进行数据读取操作时的流程图。
图3为本发明进行数据写入操作时的流程图。
图4为本发明进行数据修改操作时的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细的描述。
如图1所示，基于本地缓存和虚拟文件***技术的网络存储***包括视音频工作站和网络存储设备--网络盘阵，在视音频工作站的上层软件模块与本地磁盘之间，通过VFS虚拟文件***技术设置一套虚拟的硬盘设备，上层软件模块以访问普通驱动器的形式对虚拟的硬盘设备进行操作，虚拟的硬盘设备与网络盘阵之间进行数据连接。
VFS技术为一种本领域的公知技术，在本发明中，VFS需要处理以下几件主要的事情或功能：
●在操作***的设备层虚拟硬盘设备。
●当上层在写文件时，需要在本地Cache(高速缓冲存储器)和网络存储设备中各写一份。
●当上层在读文件时，优先使用本地Cache中数据，如果本地Cache中不存在相关数据，则从网络存储设备中读取，再传给上层的同时在本地Cache中保留一份。
●支持对网络存储设备的多链路冗余，当一个MDC或NAS头发生故障时，自动启用其他的备用链路。
●根据本地Cache的空间使用情况，以及缓存文件的使用频率，自动维护本地缓存中文件的生命周期。
●提供简单的函数给上层应用，用来确认是否有本地的Cache，以及对可能会用到的文件进行提前的Cache操作。这里需要特别指出的是，上层应用可以不调用任何VFS的API就可以从VFS的基本功能中受益。
本发明可以在任意操作***平台中实现，与具体的平台类型无关。以Windows操作***为例，首先开发一个虚拟硬盘模块--文件虚拟层，这是虚拟文件***的基础，通过该模块用户可以在Windows***中发现虚拟出来的盘符，可以在该盘符中进行普通的文件操作，与使用普通的硬盘没有什么区别。
对文件***的上层操作基本有以下几种：读取、写入(新建、修改)、删除、查询，这些操作对于文件虚拟层来说的处理程序如下：
(1)读取操作
当上层软件进行读文件操作时，优先使用本地Cache中存储的数据，如果工作站本地的Cache不存在相关数据，则从网络存储设备中读取数据返回给上层应用，并在传给上层的同时在本地的Cache中保留一份相同的数据文件。具体流程见图2。
(2)写入操作(新建、修改)
当上层软件进行写文件操作时，在工作站本地的Cache和网络存储设备中各写一份，在网络盘阵速度不够的情况下，将文件优先写入本地的Cache中。具体流程见图3。
当上层软件进行修改文件操作时，将相关数据同时修改到工作站本地的Cache和网络存储设备中所对应的文件上；如果工作站本地的Cache不存在相关数据文件，则获取网络存储设备中相应文件的大小，在本地的Cache中创建一个同样大小的空文件，将写入的数据同时写到这两个文件中，同时记录写入的位置，在***空闲时将其他的数据写入到本地的Cache。具体流程见图4。
(3)删除操作
当上层软件进行删除文件操作时，将本地和网络盘阵上的素材同时删除即可，但删除要注意，先删除盘阵素材，然后再删除本地素材，以便保持数据的一致性。在删除过程中，如果删除网络文件成功，则不管本地Cache文件是否删除成功，都返回给上层应用成功的信息。
(4)查询操作
当上层软件进行查询文件操作时，也就是获取文件列表，对于本地Cache降低带宽压力这种需求(或者是应用模式)来说，查询优先使用网络盘阵，如果网络盘阵发生故障，将会使用本地Cache进行文件列表查询；对于远程存储等应用模式来说，为了提高对上层应用的响应速度，优先使用本地Cache返回查询结果。
考虑到在此公开的对本发明的描述和特殊的实施例，本发明的其他实施例对于本领域的技术人员来说是显而易见的。这些说明和实施例仅作为例子来考虑，它们都属于由所附权利要求所指示的本发明的保护范围和精神之内。
Claims (12)
1.一种基于本地缓存和虚拟文件***技术的网络存储方法，其特征在于：该方法在视音频工作站操作***的设备层虚拟一个或多个硬盘设备，当上层软件进行写文件操作时，在工作站本地的Cache和网络存储设备中各写一份，当上层软件进行读文件操作时，优先使用本地Cache中存储的数据。
2.如权利要求1所述的基于本地缓存和虚拟文件***技术的网络存储方法，其特征在于：当上层软件进行读文件操作时，如果工作站本地的Cache不存在相关数据，则从网络存储设备中读取数据返回给上层应用，并在传给上层的同时在本地的Cache中保留一份相同的数据文件。
3.如权利要求1或2所述的基于本地缓存和虚拟文件***技术的网络存储方法，其特征在于：当上层软件进行写文件操作时，在网络盘阵速度不够的情况下，将文件优先写入本地的Cache中。
4.如权利要求1所述的基于本地缓存和虚拟文件***技术的网络存储方法，其特征在于：当上层软件进行修改文件操作时，将相关数据同时修改到工作站本地的Cache和网络存储设备中所对应的文件上。
5.如权利要求4所述的基于本地缓存和虚拟文件***技术的网络存储方法，其特征在于：如果工作站本地的Cache不存在相关数据文件，则获取网络存储设备中相应文件的大小，在本地的Cache中创建一个同样大小的空文件，将写入的数据同时写到这两个文件中，同时记录写入的位置，在***空闲时将其他的数据写入到本地的Cache。
6.如权利要求1所述的基于本地缓存和虚拟文件***技术的网络存储方法，其特征在于：当上层软件进行删除文件操作时，先删除网络存储设备中的相关文件，然后再删除本地Cache中的相关文件。
7.如权利要求6所述的基于本地缓存和虚拟文件***技术的网络存储方法，其特征在于：在删除过程中，如果删除网络文件成功，则无论本地Cache中的文件是否被成功删除，都返回给上层应用成功的信息。
8.如权利要求1所述的基于本地缓存和虚拟文件***技术的网络存储方法，其特征在于：当上层软件进行查询文件操作时，对于应用模式，优先使用网络存储设备中的相关文件返回查询结果，如果网络盘阵发生故障，则使用本地Cache进行文件列表查询。
9.如权利要求1所述的基于本地缓存和虚拟文件***技术的网络存储方法，其特征在于：当上层软件进行查询文件操作时，对于远程存储等模式，优先使用本地Cache中的相关文件返回查询结果。
10.一种基于本地缓存和虚拟文件***技术的网络存储***，包括视音频工作站和网络存储设备，其特征在于：在视音频工作站的上层软件模块与本地磁盘之间，设置一套虚拟的硬盘设备，上层软件模块以访问普通驱动器的形式对虚拟的硬盘设备进行操作，虚拟的硬盘设备与网络存储设备之间进行数据连接。
11.如权利要求10所述的基于本地缓存和虚拟文件***技术的网络存储***，其特征在于：虚拟的硬盘设备包括一个或多个虚拟硬盘。
12.如权利要求10或11所述的基于本地缓存和虚拟文件***技术的网络存储***，其特征在于：在本地磁盘的Cache与网络存储设备中，均存储相关的视音频数据文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2007101224457A CN101398821A (zh) | 2007-09-26 | 2007-09-26 | 基于本地缓存和虚拟文件***技术的网络存储方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2007101224457A CN101398821A (zh) | 2007-09-26 | 2007-09-26 | 基于本地缓存和虚拟文件***技术的网络存储方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101398821A true CN101398821A (zh) | 2009-04-01 |
Family
ID=40517384
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2007101224457A Pending CN101398821A (zh) | 2007-09-26 | 2007-09-26 | 基于本地缓存和虚拟文件***技术的网络存储方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101398821A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521330A (zh) * | 2011-12-07 | 2012-06-27 | 华中科技大学 | 一种桌面虚拟化环境下的镜像分布式存储方法 |
| CN103020199A (zh) * | 2012-12-05 | 2013-04-03 | 上海创图网络科技发展有限公司 | 适用于不同操作***平台的虚拟文件***及其应用 |
| WO2013131443A1 (zh) * | 2012-03-09 | 2013-09-12 | 腾讯科技（深圳）有限公司 | 存储数据的方法及装置 |
| WO2016197838A1 (zh) * | 2015-06-08 | 2016-12-15 | 阿里巴巴集团控股有限公司 | 一种访问方法及装置 |
| CN106850825A (zh) * | 2017-02-23 | 2017-06-13 | 中南大学 | 一种移动透明计算环境下客户端块级缓存优化方法 |
| CN108052536A (zh) * | 2017-11-16 | 2018-05-18 | 中南大学 | 一种IoT设备的文件*** |
-
2007
- 2007-09-26 CN CNA2007101224457A patent/CN101398821A/zh active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521330A (zh) * | 2011-12-07 | 2012-06-27 | 华中科技大学 | 一种桌面虚拟化环境下的镜像分布式存储方法 |
| WO2013131443A1 (zh) * | 2012-03-09 | 2013-09-12 | 腾讯科技（深圳）有限公司 | 存储数据的方法及装置 |
| CN103020199A (zh) * | 2012-12-05 | 2013-04-03 | 上海创图网络科技发展有限公司 | 适用于不同操作***平台的虚拟文件***及其应用 |
| KR20180016488A (ko) * | 2015-06-08 | 2018-02-14 | 알리바바 그룹 홀딩 리미티드 | 액세스 방법 및 장치 |
| CN106302609A (zh) * | 2015-06-08 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种访问方法及装置 |
| WO2016197838A1 (zh) * | 2015-06-08 | 2016-12-15 | 阿里巴巴集团控股有限公司 | 一种访问方法及装置 |
| CN106302609B (zh) * | 2015-06-08 | 2020-02-28 | 阿里巴巴集团控股有限公司 | 一种访问方法及装置 |
| KR102256890B1 (ko) | 2015-06-08 | 2021-05-31 | 어드밴스드 뉴 테크놀로지스 씨오., 엘티디. | 액세스 방법 및 장치 |
| US11221997B2 (en) | 2015-06-08 | 2022-01-11 | Advanced New Technologies Co., Ltd. | On-demand creation and access of a virtual file system |
| CN106850825A (zh) * | 2017-02-23 | 2017-06-13 | 中南大学 | 一种移动透明计算环境下客户端块级缓存优化方法 |
| CN106850825B (zh) * | 2017-02-23 | 2020-08-07 | 中南大学 | 一种移动透明计算环境下客户端块级缓存优化方法 |
| CN108052536A (zh) * | 2017-11-16 | 2018-05-18 | 中南大学 | 一种IoT设备的文件*** |
| CN108052536B (zh) * | 2017-11-16 | 2020-12-11 | 中南大学 | 一种IoT设备的文件*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101398744B (zh) | 利用虚拟文件***技术实现网络数据处理的方法及*** | |
| US9733862B1 (en) | Systems and methods for reverse point-in-time copy management in a storage system | |
| CN102955720B (zh) | 一种提高ext文件***稳定性的方法 | |
| CN101501623B (zh) | 感知文件***的块存储***、装置和方法 | |
| CN102033786B (zh) | 一种对象存储***中修复副本一致性的方法 | |
| US7844643B2 (en) | Storage management system with integrated continuous data protection and remote copy | |
| US20160357446A1 (en) | Virtual disk drive system and method | |
| CN101661414B (zh) | 计算机***及其备份方法 | |
| CN101398821A (zh) | 基于本地缓存和虚拟文件***技术的网络存储方法及*** | |
| KR101678868B1 (ko) | 플래시 주소 변환 장치 및 그 방법 | |
| CN101008886A (zh) | 储存虚拟化电脑***及储存***中管理资料快照影像方法 | |
| US20150193473A1 (en) | Database Storage System based on Optical Disk and Method Using the System | |
| CN102405460A (zh) | 虚拟存储***及其运行方法 | |
| US20070061540A1 (en) | Data storage system using segmentable virtual volumes | |
| US8560884B2 (en) | Application recovery in a file system | |
| CN101258473A (zh) | 直接数据文件存储存储器中的数据合并和垃圾收集 | |
| CN103106047A (zh) | 一种基于对象的存储***及其存储方法 | |
| JP2006268829A (ja) | ストレージシステム間でオブジェクトをミラー化する方法と装置 | |
| CN103037203B (zh) | 一种基于块存储的索引恢复方法和装置 | |
| CN103838830A (zh) | 一种HBase数据库的数据管理方法及*** | |
| US8495010B2 (en) | Method and system for adaptive metadata replication | |
| CN101727298B (zh) | 实现独立磁盘冗余阵列的方法和装置 | |
| CN102541691A (zh) | 面向内存数据库oltp应用的日志检查点恢复方法 | |
| CN106326229A (zh) | 一种嵌入式***的文件存储方法和装置 | |
| CN102982182A (zh) | 一种数据存储规划方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20090401 |
|
| C20 | Patent right or utility model deemed to be abandoned or is abandoned |