CN105069091A - 一种基于hbase的虚拟文件***及其实现方法 - Google Patents

一种基于hbase的虚拟文件***及其实现方法 Download PDF

Info

Publication number
CN105069091A
CN105069091A CN201510473964.2A CN201510473964A CN105069091A CN 105069091 A CN105069091 A CN 105069091A CN 201510473964 A CN201510473964 A CN 201510473964A CN 105069091 A CN105069091 A CN 105069091A
Authority
CN
China
Prior art keywords
file
hbase
catalogue
module
distributed memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510473964.2A
Other languages
English (en)
Other versions
CN105069091B (zh
Inventor
王敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Si Tech Information Technology Co Ltd
Original Assignee
Beijing Si Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Tech Information Technology Co Ltd filed Critical Beijing Si Tech Information Technology Co Ltd
Priority to CN201510473964.2A priority Critical patent/CN105069091B/zh
Publication of CN105069091A publication Critical patent/CN105069091A/zh
Application granted granted Critical
Publication of CN105069091B publication Critical patent/CN105069091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/188—Virtual file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于HBASE的虚拟文件***及其实现方法，其中方法包括：步骤1：对虚拟文件***和分布式内存库进行初始化连接；步骤2：打开目录,将目录下的所有文件及子目录加载到内存中；步骤3：读取目录，将加载到内存中的所有文件及子目录按序依次返回；步骤4：打开分布式内存库中文件，从HBASE中获得读取数据或将数据存储到HBASE中；步骤5：执行文件关闭操作；步骤6：关闭目录，结束。本发明解决了大数据存储过程中，使用HBASE进行大数据存储时，需要对数据存储方法进行大幅度变更的问题。减少了业务层对于数据存储层变更的影响，使得业务***由传统文件***存储模式到大数据存储模式的变更更为便捷。

Description

一种基于HBASE的虚拟文件***及其实现方法
技术领域
本发明涉及一种基于HBASE的虚拟文件***及其实现方法。
背景技术
随着大数据时代的到来，快速响应海量存储成为数据存储方案的主要特征。于是基于分布式架构的HBASE迅速成为大数据存储的优选方案，但是在进行传统文件***到HBASE文件***移植过程中，数据存储原则的变更成为一个无法避免的攻坚点。
发明内容
本发明所要解决的技术问题是提供一种解决了大数据存储过程中，使用HBASE进行大数据存储时，需要对数据存储方法进行大幅度变更的问题的使用基于HBASE的虚拟文件***及其实现方法。
本发明结合传统文件***与HBASE文件***的数据存储特点，使用分布式内存库作为辅助存储介质存储文件级目录索引，使用HBASE存储文件数据内容，模拟了传统文件***的文件读写操作，有效的降低了在数据移植过程中，业务对于数据存储层介质变更的影响。
本发明解决上述技术问题的技术方案如下：一种基于HBASE的虚拟文件***的实现方法，具体包括以下步骤：
步骤1：对虚拟文件***和分布式内存库进行初始化连接；
步骤2：打开目录，读取分布式内存库中存储的目录信息，并将目录下的所有文件及子目录加载到内存中；
步骤3：读取目录，并将加载到内存中的所有文件及子目录按序依次返回；
步骤4：打开分布式内存库中的文件，从HBASE中读取数据或将数据存储到HBASE中；
步骤5：执行文件关闭操作；
步骤6：关闭目录，结束。
本发明的有益效果是：本发明解决了大数据存储过程中，使用HBASE进行大数据存储时，需要对数据存储方法进行大幅度变更的问题。使用分布式内存数据库和HBASE虚拟了传统的文件***，减少了业务层对于数据存储层变更的影响，使得业务***由传统文件***存储模式到大数据存储模式的变更更为便捷。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述步骤4具体包括以下步骤：
步骤4.1：判断当前操作是否是读取模式，如果是，执行步骤4.2；否则，执行步骤4.4；
步骤4.2：从分布式内存库中查找文件对应的唯一ID，打开扫描器，利用此ID生成rowkey前缀进行HBASE表扫描，获得扫描数据；
步骤4.3：读取扫描数据，执行步骤5；
步骤4.4：当前为写入模式，在分布式内存库中对数据生成唯一ID,并进行HBASE打开表操作，控制生成的ID生成对应的rowkey前缀；
步骤4.5：将rowkey前缀后追加索引，以此索引为rowkey,以文件记录为关键字将数据存储到HBASE中，执行步骤5。
进一步，所述步骤5具体包括以下步骤：
步骤5.1：判断步骤4是否执行读取模式，如果是，执行步骤5.2；否则，执行步骤5.3；
步骤5.2：关闭步骤4.2中打开的扫描器，执行步骤6；
步骤5.3：调用刷新接口，进行HBASE提交操作，保证数据安全性，执行步骤6。
进一步，所述步骤1中文件与目录的索引关系存储在分布式内存库中，虚拟文件***与分布式内存库建立连接后可获取对应的目录索引关系。
进一步，所述步骤2中打开目录时，需要读取分布式内存库中目录与文件索引的对应关系，查找当前目录下的所有文件及子目录。
进一步，所述步骤4.2中进行文件读取时，需要读取分布式内存库中文件的状态信息，并从HBASE中获取文件数据记录。
进一步，进行文件删除时，需要修改分布式内存库中对应的文件状态信息，使其为无效状态，后续由辅助工具进行HBASE中对应数据的删除操作，避免了数据直接删除的效率问题。
本发明解决上述技术问题的技术方案如下：一种基于HBASE的虚拟文件***，包括连接模块、目录打开模块、目录读取模块、文件打开模块、文件关闭模块和目录关闭模块；
所述连接模块用于对虚拟文件***和分布式内存库进行初始化连接；
所述目录打开模块用于打开目录，读取分布式内存库中存储的目录信息，并将目录下的所有文件及子目录加载到内存中；
所述目录读取模块用于读取目录，并将加载到内存中的所有文件及子目录按序依次返回分布式内存库；
所述文件打开模块用于打开分布式内存库中的文件，从HABSE中读取数据或将数据存储到HBASE中；
所述文件关闭模块用于执行文件关闭操作；
所述目录关闭模块用于关闭目录，结束。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述文件打开模块包括模式判断模块、读取模块和写入模块；
所述模式判断模块用于判断当前操作是否是读取模式，如果是，触发读取模块；否则，触发写入模块；
所述读取模块用于从分布式内存库中查找文件对应的唯一ID，打开扫描器，利用此ID生成rowkey前缀进行HBASE表扫描，获得扫描数据；读取扫描数据；
所述写入模块用于在分布式内存库中对数据生成唯一ID,并进行HBASE打开表操作，控制生成的ID生成对应的rowkey前缀；将rowkey前缀后追加索引，以此索引为rowkey,以文件记录为关键字将数据存储到HBASE中。
进一步，所述目录打开模块中打开目录时，需要读取分布式内存库中目录与文件索引的对应关系，查找当前目录下的所有文件及子目录。
进一步，所述读取模块中进行文件读取时，需要读取分布式内存库中文件的状态信息，并从HBASE中获取文件数据记录。
进一步，进行文件删除时，需要修改分布式内存库中对应的文件状态信息，使其为无效状态，后续由辅助工具进行HBASE中对应数据的删除操作。
传统文件***以文件目录和文件名称组成唯一的文件路径，基于HBASE虚拟文件***的实现方法，使用分布式内存库作为文件路径及索引的存储介质，HBASE中以rowkey、列簇、列名、value标识指定文件的唯一记录。
基于HBASE虚拟文件***，首先需要以分布式内存库作为文件目录及文件名称及索引的存储介质，最小单位为文件，每个文件或目录对一了唯一的索引，目录与文件的关系以递归的形式存储在分布式内存库中。
基于HBASE虚拟文件***，其次文件对应的数据存储在HBASE中，最小单位为记录，rowkey的组织形式为“文件唯一索引倒序”加记录唯一索引，便于文件的读写。
基于HBASE虚拟文件***，再次提供了类似于传统文件***的读写接口，包含目录操作及文件操作，接口参数及返回值含义与传统文件***基本相同，减少了业务层对于数据存储方法及接口调用的变更。
本发明的主要思路在于：结合传统文件***及HBASE文件***存储数据的特点，通过对HBASE数据的rowkey及value的设计和分布式内存库的使用，虚拟传统文件***的数据存储方式，提供sopen(文件打开)、swrite(数据写入)、sclose(文件关闭)等文件操作以及smkdir(创建目录)、sopendir(打开目录)、sreaddir(读取目录)、sclosedir(关闭目录)等目录操作。同时将数据按照key-value的形式存储到HBASE中。尽量减少业务应用对于数据层存储介质变更的感知，同时基于虚拟文件***的特点，提供虚拟文件***的查询方法，从而实现了在进行不同的文件***数据查询时，查询原则的一致性。
附图说明
图1为本发明实施例所述的一种基于HBASE的虚拟文件***的实现方法流程图；
图2为本发明实施例所述的一种基于HBASE的虚拟文件***的结构框图
附图中，各标号所代表的部件列表如下：
1、连接模块，2、目录打开模块，3、目录读取模块，4、文件打开模块，5、文件关闭模块，6、目录关闭模块，41、模式判断模块，42、读取模块，43、写入模块。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明实施例所述的一种基于HBASE的虚拟文件***的实现方法，具体包括以下步骤：
步骤1：对虚拟文件***和分布式内存库进行初始化连接；
步骤2：打开目录，读取分布式内存库中存储的目录信息，并将目录下的所有文件及子目录加载到内存中；
步骤3：读取目录，并将加载到内存中的所有文件及子目录按序依次返回；
步骤4：判断当前操作是否是读取模式，如果是，执行步骤5；否则，执行步骤7；
步骤5：从分布式内存库中查找文件对应的唯一ID，打开扫描器，利用此ID生成rowkey前缀进行HBASE表扫描，获得扫描数据；
步骤6：读取扫描数据，执行步骤9；
步骤7：当前为写入模式，在分布式内存库中对数据生成唯一ID,并进行HBASE打开表操作，控制生成的ID生成对应的rowkey前缀；
步骤8：将rowkey前缀后追加索引，以此索引为rowkey,以文件记录为关键字将数据存储到HBASE中，执行步骤9；
步骤9：执行文件关闭操作；
步骤10：关闭目录，结束。
所述步骤9具体包括以下步骤：
步骤9：判断步骤4是否执行读取模式，如果是，执行步骤9.2；否则，执行步骤9.3；
步骤9.2：关闭步骤5中打开的扫描器，执行步骤10；
步骤9.3：调用刷新接口，进行HBASE提交操作，保证数据安全性，执行步骤10。
所述步骤2中打开目录时，需要读取分布式内存库中目录与文件索引的对应关系，查找当前目录下的所有文件及子目录。
所述步骤5中进行文件读取时，需要读取分布式内存库中文件的状态信息，并从HBASE中获取文件数据记录。
进行文件删除时，需要修改分布式内存库中对应的文件状态信息，使其为无效状态，后续由辅助工具进行HBASE中对应数据的删除操作。
如图2所示，为本发明实施例所述的一种基于HBASE的虚拟文件***，包括连接模块1、目录打开模块2、目录读取模块3、文件打开模块4、文件关闭模块5和目录关闭模块6；
所述连接模块1用于对虚拟文件***和分布式内存库进行初始化连接；
所述目录打开模块2用于打开目录，读取分布式内存库中存储的目录信息，并将目录下的所有文件及子目录加载到内存中；
所述目录读取模块3用于读取目录，并将加载到内存中的所有文件及子目录按序依次返回分布式内存库；
所述文件打开模块4用于打开分布式内存库中的文件，从HBASE中读取数据或将数据存储到HBASE中；
所述文件关闭模块5用于执行文件关闭操作；
所述目录关闭模块6用于关闭目录，结束。
所述文件打开模块4包括模式判断模块41、读取模块42和写入模块43；
所述模式判断模块41用于判断当前操作是否是读取模式，如果是，触发读取模块42；否则，触发写入模块43；
所述读取模块42用于从分布式内存库中查找文件对应的唯一ID，打开扫描器，利用此ID生成rowkey前缀进行HBASE表扫描，获得扫描数据；读取扫描数据；
所述写入模块43用于在分布式内存库中对数据生成唯一ID,并进行HBASE打开表操作，控制生成的ID生成对应的rowkey前缀；将rowkey前缀后追加索引，以此索引为rowkey,以文件记录为关键字将数据存储到HBASE中。
所述目录打开模块2中打开目录时，需要读取分布式内存库中目录与文件索引的对应关系，查找当前目录下的所有文件及子目录。
所述读取模块42中进行文件读取时，需要读取分布式内存库中文件的状态信息，并从HBASE中获取文件数据记录。
进行文件删除时，需要修改分布式内存库中对应的文件状态信息，使其为无效状态，后续由辅助工具进行HBASE中对应数据的删除操作。
HBASE文件***是分布式文件***，在使用HBASE***存储之前，要先对HABSE文件***进行初始化连接。正常连接后，结合分布式内存库中的文件和目录索引关系，可对HBASE文件***采用类似于传统文件***的文件读写方法进行操作。操作流程如下：
1.调用sinit进行分布式内存库连接和HBASE连接操作；
2.调用sopendir进行目录打开操作，此操作过程中需要读取分布式内存库中目录的信息，并将目录下的所有文件及子目录加载到内存中；
3.调用sreaddir进行目录读取操作，此操作过程需要将步骤2加载到内存中的文件及目录按照顺序依次返回；
4.调用sopen进行文件打开操作，此操作过程包含两种模式，一类是读取模式，从分布式内存库中查找文件对应的唯一ID，利用此ID生成rowkey的前缀进行HBASE表扫描，一类是写入模式，在分布式内存库中生成唯一ID,并进行HBASE打开表操作；
5.调用sread进行文件读取操作，此操作过程需要读取步骤4读取模式扫描得到的数据；
6.调用swrite进行文件写入操作，此操作过程需要在步骤4生成的rowkey前缀后追加记录索引，以此为rowkey,以文件记录为value存储到HBASE中；
7.调用sclose进行文件关闭操作，此操作过程若为读取模式，则需要关闭步骤4打开的扫描器，若为写入模式，则需要调用sflush接口，进行HBASE提交操作，保证数据安全性；
8.调用sclosedir进行目录关闭操作；
9.***释放sdestroy。
本发明结合传统文件***与HBASE文件***的数据存储特点，以分布式内存数据库为辅助存储介质，将文件及目录的存储关系以递归的方式存储在分布式内存中，最小存储单位为文件，单个文件或目录在分布式内存库中有唯一的ID标识，单个文件或目录在分布式内存库中有文件信息状态，文件数据存储在HBASE中，最小存储单位为记录,rowkey的组织形式为“文件唯一索引倒序”加记录唯一索引,value即为文件数据记录。
以分布式内存库为辅助存储介质，文件级目录的存储关系以递归的方式存储在分布式内存库中；
分布式内存中最小存储单位为文件，单个文件或目录再分布式内存库中有唯一的ID标识；
文件数据记录以key-value的形式存储在HBASE中，最小存储单位为记录，rowkey的组织形式为“文件唯一索引倒序”加记录唯一索引,value即为文件数据记录；
进行打开目录操作时，需要读取分布式内存库中目录与文件索引的对应关系，查找当前目录下的所有文件及目录；
进行文件读取操作时，需要读取分布式内存库中文件的状态信息，并从HBASE中获取文件数据记录；
进行文件写入操作时，需要读取分布式内存库中文件的状态信息，并将文件数据写入HBASE，并更新分布式内存库中文件的状态信息；
在文件为写入模式下，关闭文件时需要对HBASE写入端进行sflush操作，保证HBASE数据的完整性；
在进行文件删除时，需要修改分布式内存库中对应的文件状态信息，使其为无效状态，后续由辅助工具进行HBASE中对应数据的删除操作。
以下为本发明的一个具体实施例：
业务层需要向虚拟文件***中读取并存储一个文件，假设文件的目标目录为/test，源文件名称为test.txt,目录文件名称为store.txt；
初始化与HBASE文件***的连接及内存库的连接；
调用sopendir打开要操作的目录/test；
调用sreaddir读取打开目录中的文件或目录信息，读取到文件按test.txt；
调用sopen读取模式打开文件/test/test.txt；
调用sopen写入模式打开文件/test/store.txt；
调用sread读取/test/test.txt中的数据内容；
调用swrite将读取到的内容写入到/test/store.txt中；
调用sclose关闭文件/test/test.txt；
调用sclose关闭文件/test/store.txt；
调用sclosedir关闭操作目录；
调用sdestory释放HBASE连接及内存库连接；
上述操作调用完成后，在分布式内存库中有/test/store.txt这个文件的相关索引信息及文件状态生成，在HBASE中存储了一批记录，这些记录归属于/test/store.txt。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于HBASE的虚拟文件***的实现方法，其特征在于，具体包括以下步骤：
步骤1：对虚拟文件***和分布式内存库进行初始化连接；
步骤2：打开目录，读取分布式内存库中存储的目录信息，并将目录下的所有文件及子目录加载到内存中；
步骤3：读取目录，并将加载到内存中的所有文件及子目录按序依次返回；
步骤4：打开分布式内存库中的文件，从HBASE中获得读取数据或将数据存储到HBASE中；
步骤5：执行文件关闭操作；
步骤6：关闭目录，结束。
2.根据权利要求1所述的一种基于HBASE的虚拟文件***的实现方法，其特征在于，所述步骤4具体包括以下步骤：
步骤4.1：判断当前操作是否是读取模式，如果是，执行步骤4.2；否则，执行步骤4.4；
步骤4.2：从分布式内存库中查找文件对应的唯一ID，打开扫描器，利用此ID生成rowkey前缀进行HBASE表扫描，获得扫描数据；
步骤4.3：读取扫描数据，执行步骤5；
步骤4.4：当前为写入模式，在分布式内存库中对数据生成唯一ID,并进行HBASE打开表操作，控制生成的ID生成对应的rowkey前缀；
步骤4.5：将rowkey前缀后追加索引，以此索引为rowkey,以文件记录为关键字将数据存储到HBASE中，执行步骤5。
3.根据权利要求2所述的一种虚拟文件***的操作方法，其特征在于，所述步骤5具体包括以下步骤：
步骤5.1：判断步骤4是否执行读取模式，如果是，执行步骤5.2；否则，执行步骤5.3；
步骤5.2：关闭步骤4.2中打开的扫描器，执行步骤6；
步骤5.3：调用刷新接口，进行HBASE提交操作，保证数据安全性，执行步骤6。
4.根据权利要求1所述的一种基于HBASE的虚拟文件***的实现方法，其特征在于，所述步骤1中文件与目录的索引关系存储在分布式内存库中，虚拟文件***与分布式内存库建立连接后可获取对应的目录索引关系。
5.根据权利要求1所述的一种基于HBASE的虚拟文件***的实现方法，其特征在于，所述步骤2中打开目录时，需要读取分布式内存库中目录与文件索引的对应关系，查找当前目录下的所有文件及子目录。
6.根据权利要求2所述的一种基于HBASE的虚拟文件***的实现方法，其特征在于，所述步骤4.2中进行文件读取时，需要读取分布式内存库中文件的状态信息，并从HBASE中获取文件数据记录。
7.根据权利要求1-6任一项所述的一种基于HBASE的虚拟文件***的实现方法，其特征在于，进行文件删除时，需要修改分布式内存库中对应的文件状态信息，使其为无效状态，后续由辅助工具进行HBASE中对应数据的删除操作。
8.一种基于HBASE的虚拟文件***，其特征在于，包括连接模块、目录打开模块、目录读取模块、文件打开模块、文件关闭模块和目录关闭模块；
所述连接模块用于对虚拟文件***和分布式内存库进行初始化连接；
所述目录打开模块用于打开目录，读取分布式内存库中存储的目录信息，并将目录下的所有文件及子目录加载到内存中；
所述目录读取模块用于读取目录，并将加载到内存中的所有文件及子目录按序依次返回分布式内存库；
所述文件打开模块用于打开分布式内存库中的文件，从HBASE中读取数据或将数据存储到HBASE中；
所述文件关闭模块用于执行文件关闭操作；
所述目录关闭模块用于关闭目录，结束。
9.根据权利要求7所述的一种基于HBASE的虚拟文件***，其特征在于，所述文件打开模块包括模式判断模块、读取模块和写入模块；
所述模式判断模块用于判断当前操作是否是读取模式，如果是，触发读取模块；否则，触发写入模块；
所述读取模块用于从分布式内存库中查找文件对应的唯一ID，打开扫描器，利用此ID生成rowkey前缀进行HBASE表扫描，获得扫描数据；读取扫描数据；
所述写入模块用于在分布式内存库中对数据生成唯一ID,并进行HBASE打开表操作，控制生成的ID生成对应的rowkey前缀；将rowkey前缀后追加索引，以此索引为rowkey,以文件记录为关键字将数据存储到HBASE中。
10.根据权利要求7所述的一种基于HBASE的虚拟文件***，其特征在于，所述目录打开模块中打开目录时，需要读取分布式内存库中目录与文件索引的对应关系，查找当前目录下的所有文件及子目录；所述读取模块中进行文件读取时，需要读取分布式内存库中文件的状态信息，并从HBASE中获取文件数据记录。
CN201510473964.2A 2015-08-05 2015-08-05 一种基于hbase的虚拟文件***及其实现方法 Active CN105069091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510473964.2A CN105069091B (zh) 2015-08-05 2015-08-05 一种基于hbase的虚拟文件***及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510473964.2A CN105069091B (zh) 2015-08-05 2015-08-05 一种基于hbase的虚拟文件***及其实现方法

Publications (2)

Publication Number Publication Date
CN105069091A true CN105069091A (zh) 2015-11-18
CN105069091B CN105069091B (zh) 2018-09-11

Family

ID=54498461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510473964.2A Active CN105069091B (zh) 2015-08-05 2015-08-05 一种基于hbase的虚拟文件***及其实现方法

Country Status (1)

Country Link
CN (1) CN105069091B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287201A (zh) * 2019-07-02 2019-09-27 重庆紫光华山智安科技有限公司 数据访问方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398824A (zh) * 2007-09-26 2009-04-01 新奥特硅谷视频技术有限责任公司 利用虚拟文件***技术实现数据处理后存储的方法
US20120209894A1 (en) * 2010-12-20 2012-08-16 International Business Machines Corporation Partition file system for virtual machine memory management
CN103116618A (zh) * 2013-01-28 2013-05-22 南开大学 基于客户端持久缓存的远程文件***镜像方法及***
CN104462185A (zh) * 2014-10-13 2015-03-25 南京邮电大学 一种基于混合结构的数字图书馆云存储***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398824A (zh) * 2007-09-26 2009-04-01 新奥特硅谷视频技术有限责任公司 利用虚拟文件***技术实现数据处理后存储的方法
US20120209894A1 (en) * 2010-12-20 2012-08-16 International Business Machines Corporation Partition file system for virtual machine memory management
CN103116618A (zh) * 2013-01-28 2013-05-22 南开大学 基于客户端持久缓存的远程文件***镜像方法及***
CN104462185A (zh) * 2014-10-13 2015-03-25 南京邮电大学 一种基于混合结构的数字图书馆云存储***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287201A (zh) * 2019-07-02 2019-09-27 重庆紫光华山智安科技有限公司 数据访问方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN105069091B (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
CN102779180B (zh) 数据存储***的操作处理方法,数据存储***
CN104978151B (zh) 基于应用感知的重复数据删除存储***中的数据重构方法
CN103080910B (zh) 存储***
CN103136243B (zh) 基于云存储的文件***去重方法及装置
CN102012852B (zh) 一种增量写快照的实现方法
US10120795B2 (en) Wear-leveling nandflash memory reading/writing method
JP6178859B2 (ja) 光ディスクに基づくデータベース記憶システム及びその利用方法
CN105988723A (zh) 一种快照处理方法及装置
CN103514249B (zh) 一种数据自精简方法和***及存储装置
JP2009510552A (ja) フラッシュメモリメディアにおけるデータ管理方法
CN104184812B (zh) 一种基于私有云的多点数据传输方法
CN101784996A (zh) 仿效存储***
CN102915278A (zh) 重复数据删除方法
CN103473298B (zh) 数据归档方法和装置以及存储***
CN105718217A (zh) 一种精简配置存储池数据一致性维护的方法及装置
CN101980203A (zh) 一种用于高清媒体的嵌入式文件***
CN100507919C (zh) 一种fat文件***及其处理方法
CN109726175A (zh) 一种基于HBase的海量文件离线分区管理方法
WO2021169163A1 (zh) 一种文件数据存取方法、装置和计算机可读存储介质
CN107037988B (zh) 一种基于文件级粒度的闪存安全删除方法及***
EP2669806B1 (en) Storage system
JP4825719B2 (ja) 高速ファイル属性検索
CN103339615A (zh) 存储***
CN102096613B (zh) 一种生成快照的方法及装置
CN105069091A (zh) 一种基于hbase的虚拟文件***及其实现方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant