CN104346357A - 一种嵌入式终端的文件存取方法及*** - Google Patents

Abstract

本发明提出了一种嵌入式终端的文件存取方法及***，所述方法包含：存储文件的步骤，具体包含：步骤101）计算文件所需的数据块的数目；步骤102）查询位图信息，根据所需的数据块的数目得到能满足分配需求的数据块组；步骤103）将文件存储于从102）中找到的数据块组中；查找读取文件的步骤，具体包含：步骤201）计算文件名的哈希值；步骤202）依据得到的哈希值，并根据映射表找到与文件对应的索引节点，查询索引节点中信息可获得文件内容所在的数据块的位置信息；其中，所述索引节点中采用若干区段的形式记录数据块位置信息，且每个区段中包含起始数据块编号和连续存放文件内容的数据块的数目；步骤203）从获得的数据块中读取所需文件的内容。本发明的技术能满足文件存储的高效性、可靠性、可用性和可扩展性需求。

Description

一种嵌入式终端的文件存取方法及***

技术领域

本发明属于网络技术领域，具体涉及到一种嵌入式终端的文件存取方法及***。

背景技术

在数字媒体服务的应用场景中，需要将从外部节目源获取到的媒体数据存储到本地的磁盘阵列，用于数据推送。

采用何种方案来存储和管理流媒体数据是一个比较复杂和重要的问题。传统的方法是利用基于通用操作***（如Windows、Linux）的文件***进行存储和管理。然而，操作***和文件***都会带来不小的资源开销，同时还会带来存储上的瓶颈，由此引出了一个在保证数据存储高可靠性的前提下，如何实现数据高效管理的问题。此问题亦即设计出一个能满足需求的精简的磁盘数据管理***来替代传统的文件***。

现有的文件存储技术和磁盘管理方法还无法完全满足上述应用需求，需要更合适的方法来实现对流媒体数据的存储和管理。

发明内容

本发明的目的在于，为克服上述现有技术中存在的不足，从而提出了一种嵌入式终端的文件存取方法即***。

为了实现上述目的，本发明提供了一种嵌入式终端的文件存取方法，所述方法包含：

用于存储文件的步骤，具体包含：步骤101）计算文件所需的数据块的数目；步骤102）查询位图信息，根据所需的数据块的数目得到能满足分配需求的数据块组；步骤103）将文件存储于步骤102）找到的数据块组中。

用于查找读取文件的步骤，具体包含：步骤201）计算文件名的哈希值；步骤202）依据得到的哈希值，并根据映射表找到与文件对应的索引节点，查询索引节点中信息可获得文件内容所在的数据块的位置信息；其中，所述索引节点中采用若干区段的形式记录数据块位置信息，且每个区段中包含起始数据块编号和连续存放文件内容的数据块的数目；步骤203）从获得的数据块组中读取所需文件的内容；其中，所述位图信息采用多层树状统计结构进行索引和存储，且自下向上分别为位图块、统计块和超级块；所述位图块用于记录数据块组中各数据块的使用状态；所述统计块对位图块信息进行统计，所述超级块则对统计块信息进行统计，统计结果记录为最大连续可用空间和剩余总空间；所述数据块，用于存放文件内容和文件元数据，且一个数据块为物理上若干连续的磁盘扇区，为一个数据块分配一个全局的逻辑地址，并采用该逻辑地址进行寻址；述数据块组为若干物理地址和逻辑地址均连续的数据块；所述映射表存储，用于记录文件名哈希值到索引节点的一一映射关系。

上述步骤102）进一步包含：步骤102-1）依据文件所需的数据块的数目，通过超级块中记录的信息定位到某个拥有足够多空闲存储量的统计块；步骤102-2）依据定位得到的统计块中记录的信息，再定位到某个位图块，即找到了能满足分配需求的数据块组，在该数据块组内为该新文件分配存储空间。

当为文件分配存储空间时仅在一个数据块组内进行；当为文件分配数据块时，采用尽可能连续分配的思想为其分配存储空间。

优化的，用于存储文件的步骤中所述的步骤103）之后还包含如下步骤：步骤104）为文件分配存储空间后，将位图中与刚被分配数据块对应的位标记为“忙碌”状态，同时更新统计块中对应信息，再进一步更新超级块中与之对应的信息。

上述方法还包含：删除文件时更新位信息的步骤，具体为：

删除文件时立即回收该文件占用的数据块，在数据块所在组对应的位块中更新位信息，同时更新统计块中对应信息，进一步更新超级块中与之对应的信息。

各数据块的使用状态采用二进制位表征。

此外本发明还提供了一种嵌入式终端的文件存取***，所述存储***包含：

数据块，用于存储文件和文件元数据，一个数据块包含物理上若干连续的磁盘扇区；

位图块，用于记录数据块的使用状态，一个位图块的信息标识了一组数据块的使用状态；

统计块，用于对若干位图块信息进行统计，一个统计块中的信息记录了一组位图块中每个位图块表征的最大连续可用空间和剩余总空间；

超级块，用于对统计块中的信息进行统计，记录每个统计块表征的最大连续可用空间和剩余总空间；

索引块，由若干索引节点组成，每个索引节点中存放与之对应的文件占用的数据块的位置信息，及此文件大小、文件创建时间和文件类型信息；和

文件入口，用于记录文件名哈希值到索引节点的映射表；

其中，为所述的每个数据块分配一个逻辑地址，该逻辑地址用于文件存取时寻址；

所述文件名哈希值用于唯一标识该文件；

当查找文件时，通过所述文件入口存储的映射表寻找文件对应的索引节点；

当为新建文件分配存储空间时，先计算文件所需的数据块的数量，依次查询超级块、统计块和位图块信息找到足够存储容量的数据块组，为新建文件分配存储空间。

上述***还包含：更新驱动模块，用于当存储文件时，删除文件时驱动位图块、统计块和超级块改变对应数据块的使用状态信息。

上述索引节点采用多个区段的形式记录数据块位置信息，每个区段中包含起始数据块编号、连续数据块数目。

总之，本发明公开了一种嵌入式***磁盘数据管理方法，将磁盘阵列中的扇区映射成逻辑上的数据块，通过对逻辑上的数据块的管理来实现对磁盘阵列资源的管理；该方法采用扁平式目录结构，将文件的哈希值作为文件存储时的唯一标识；用二进制位表示数据块的使用状态，位图信息采用多层树状统计结构进行存储，并将数据块分组管理，新建文件时仅在同一组内为新文件预分配存储空间，为文件分配的存储空间的位置信息以区段的形式记录；此外，对属于不同大小等级的文件，采用不同尺寸的数据块进行存储。

与现有技术相比，本发明的技术优势在于：能满足流媒体应用中文件存储的高效性、可靠性、可用性和可扩展性方面的需求，上述四方面优势具体为：

高效性——能够实现磁盘空间的高效管理和文件的高效存储；

可靠性——能够在异常情况和突发事件下对文件数据进行恢复；

可用性——能够同时支持大文件和小文件的存储；

可扩展性——能够支持***容量和功能的扩展。

附图说明

下面结合附图对本发明进行详细的描述，使得本发明的上述优点更加明确。

图1是本发明实施例提供的磁盘数据管理***的逻辑结构示意图；

图2是本发明实施例提供的存储位图的多层树状统计结构示意图，其中，图标表示最大连续可用空间，图标“□”表示剩余总空间；

图3是本发明实施例提供的索引节点存储数据块位置信息示意图。

具体实施方式

下面结合附图对本发明进行详细的说明：

本发明针对现有文件存储技术和磁盘管理方法在流媒体应用中存在的不足，结合流媒体数据的特点，抽象出了一个逻辑上的磁盘数据管理***，并基于该***提出了一种磁盘数据管理方法。

其中，图1是磁盘数据管理***的逻辑结构示意图；

如图1所示，磁盘数据管理***包括超级块、统计块、位图块、文件入口、索引块和数据块。

数据块，用于存储文件和文件元数据，所述数据块是***中存储文件的最小单元，且一个数据块在物理上对应若干连续的磁盘扇区，而一系列逻辑上连续的数据块又组成了数据块组；

位图块，用于记录数据块的使用状态，一个位图块的信息标识了一组数据块的使用状态，具体为：位图块用于存储以二进制位表示的数据块是否被使用的信息，每个数据块的状态用一个位来标识，而一组数据块的状态则用一个位图块来表示，一个位图块中位的数量和一个组内数据块的数量应相同；

统计块，用于对若干位图块信息进行统计，一个统计块中的信息记录了一组位图块中每个位图块表征的最大连续可用空间和剩余总空间；

超级块，对统计块中信息进行统计，超级块中记录了每个统计块表征的最大连续可用空间和剩余总空间，还记录***中数据块大小、总数等信息；

索引块，由若干索引节点组成，每个索引节点中存放着与之对应的文件占用的数据块的位置信息，还存储文件大小、文件创建时间、文件类型等元数据信息；

文件入口，记录了文件名哈希值到索引节点的一一映射关系；

文件名的哈希值是***中该文件的唯一标识，通过文件入口的一维映射，可以直接找到文件对应的索引节点，因此本发明采用的是扁平式目录结构，省去了传统文件***中的目录结构，加快了访问文件的速度，减少了***开销。

从图1中可以看出，***中存在不止一种数据块，这是为了存放不同大小等级的文件。流媒体应用中主要包含流媒体数据的大文件和对其索引的小文件，大文件存于大数据块中，小文件则存放在小数据块中，能降低磁盘碎片率。

上述***具体应用时还采用了如下策略：

将若干个物理上连续的磁盘扇区合并为一个逻辑上的数据块，从而形成一个属于数据块的全局逻辑地址空间，对磁盘阵列上扇区的物理寻址则被转换为对数据块的逻辑地址寻址。

采用扁平式目录结构，将文件名的哈希值作为***中文件的唯一标识，摒弃了传统文件***中的目录结构，提高了访问文件的速度。

将数据块分组管理，同组内数据块在逻辑上保持连续，把对数据块的操作简化到在一个组内进行，利于文件的快速读写。

用二进制位表示数据块是否为空闲状态，一个组内所有数据块的使用状态由一个位图块来表征，位图块中每一个位信息表征与之对应的数据块的使用状态。

位图信息采用多层树状统计结构进行索引和存储，自下向上分别为位图块、统计块和超级块；其中，统计块对位图块信息进行统计，超级块则对统计块信息进行统计，统计结果记录为最大连续可用空间和剩余总空间。

为新文件预分配存储空间：先计算新文件所需数据块数，查询位图信息，找到一个空闲数据块数能满足分配需求的组，之后在该组内按尽可能连续分配的思想为该文件分配其所需存储空间，以保证读写数据的时间开销尽可能小。

采用多个区段的形式，在索引节点中记录为各文件分配的数据块位置信息，每个区段中包含起始数据块编号、连续数据块数目。

删除文件时立即回收该文件占用的数据块和索引节点，清空文件入口中与此文件相关的信息，更新位图。对属于不同大小等级的文件，采用不同尺寸的数据块进行存储，降低了磁盘碎片率。

图2是存储位图的多层树状统计结构示意图：

如图2所示，该树状统计结构自底向上依次是位图块、统计块、超级块；

每个位图块管理一组数据块，通过查询该位图块中的位信息便能获取该组数据块的使用状况；

在使用过程中，每组数据块中都可能存在空闲数据块，为了获取一组数据块使用状态的详细信息，需要对组内最大连续可用数据块数和剩余可用数据块总数进行统计并记录。统计块的作用就是记录位图块对应数据块组的最大连续可用空间和剩余总空间；

统计块中包含若干个存储单元，如图2所示，每个单元内存放着对某一位图块的统计结果，即该位图块管理的数据块组中最大连续可用空间和剩余总空间；

超级块对对统计块中信息再进行统计，如图2所示，超级块中每个单元存放着对某一统计块的统计结果；

新建文件时，为新文件预分配存储空间，先计算该文件所需数据块数，查询该树状统计结构便能在最短时间内找到能满足分配的数据块组。具体来说，先通过超级块中信息定位到某统计块，在通过统计块中信息定位到某位图块，即找到了一个数据块组，在该组内为该新文件分配存储空间；

通过此树状统计结构寻找数据块组，避免了对所有位图块进行扫描，能大大降低查询时间，为磁盘数据的高效管理提供了有力保障；

为新文件预分配存储空间后，将位图中与刚被分配数据块对应的位标记为“忙碌”状态，同时更新统计块中对应信息，进一步更新超级块中与之对应的信息；

删除文件时立即回收该文件占用的数据块，在数据块所在组对应的位图中更新位信息，同时更新统计块中对应信息，进一步更新超级块中与之对应的信息。

图3是索引节点存储数据块位置信息示意图：

索引节点中记录了与该节点对应的文件内容所在的数据块的位置信息，本申请没有使用传统的直接/间接块映射表的记录方式，而采用多个区段的形式记录数据块位置信息，每个区段中包含起始数据块编号、连续数据块数目；

如图3所示，图中所描述的情况是文件内容存放在若干段数据块中，每段包含的数据块数不尽相同，而每一段数据块的位置信息则采用区段的形式记录在索引节点中。具体来说，存放该文件的区段信息为（18，2）、（33，3）、（146，4），表示存储该文件的数据块包括：从18号开始的2块数据块、从33号开始的3块数据块和从146号开始的4块数据块；

此外，为新文件分配存储空间仅在一个数据块组内进行，避免了数据存放时跨度太大造成文件读写时磁盘寻道时间过长带来的性能损失；在为新文件分配数据块时，采用尽可能连续分配的思想为新文件分配存储空间；

为文件分配的数据块尽可能连续，可以提高文件读写的性能，还减少了索引节点存储数据块位置信息占用的空间，节约了元数据开销。

综上所述，本发明提供的一种嵌入式***磁盘数据存取方法，采用磁盘逻辑块方式存储和管理数据内容，支持数据的高速访问和高效存储。设置不同尺寸的数据块，对属于不同大小等级的文件，采用不同尺寸的数据块进行存储；将数据块分组管理，新建文件时仅在同一组内为其预分配存储空间；用二进制位表示数据块是否为空闲状态，采用多层树状统计结构存储位图信息；采用多个区段的形式记录为文件分配的数据块位置信息，每个区段中包含起始数据块编号、连续数据块数目；采用扁平式目录结构，将文件名的哈希值作为***中文件的唯一标识。将若干个物理上连续的磁盘扇区合并为一个逻辑上的数据块，从而形成一个属于数据块的全局逻辑地址空间，对磁盘阵列中扇区的物理寻址则被转换为对数据块的逻辑地址寻址。树状统计结构中包括超级块、统计块和位图块，位图块中每一个位则标识与之对应的某数据块的使用状态。为新创建文件预分配数据块时，先计算文件所需数据块数，查询位图信息，找到一个空闲数据块数能满足分配需求的组，之后在该组内按尽可能连续分配的思想为文件分配其所需存储空间，以保证文件读写的时间开销尽可能小；删除文件时立即回收该文件占用的数据块，更新位图信息。

最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的技术人员应当理解，对本发明的技术方案进行修替换或改进，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围内。

Claims (9)

1.一种嵌入式终端的文件存取***，其特征在于，所述存储***包含：

数据块，用于存储文件和文件元数据，一个数据块包含物理上若干连续的磁盘扇区；

位图块，用于记录数据块的使用状态，一个位图块的信息标识了一组数据块的使用状态；

统计块，用于对若干位图块信息进行统计，一个统计块中的信息记录了一组位图块中每个位图块表征的最大连续可用空间和剩余总空间；

超级块，用于对统计块中的信息进行统计，记录每个统计块表征的最大连续可用空间和剩余总空间；

索引块，由若干索引节点组成，每个索引节点中存放与之对应的文件占用的数据块的位置信息，及此文件大小、文件创建时间和文件类型信息；和

文件入口，用于记录文件名哈希值到索引节点的映射表；

其中，为所述的每个数据块分配一个逻辑地址，该逻辑地址用于文件存取时寻址；

所述文件名哈希值用于唯一标识该文件；

当查找文件时，通过所述文件入口存储的映射表寻找文件对应的索引节点；

当为新建文件分配存储空间时，先计算文件所需的数据块的数量，依次查询超级块、统计块和位图块信息找到拥有足够存储容量的数据块组，为新建文件分配存储空间。

2.根据权利要求1所述的嵌入式终端的文件存取***，其特征在于，所述***还包含：

更新驱动模块，用于当存储文件时，删除文件时驱动位图块、统计块和超级块改变对应数据块的使用状态信息。

3.根据权利要求1所述的嵌入式终端的文件存取***，其特征在于，所述索引节点采用多个区段的形式记录数据块位置信息，每个区段中包含起始数据块编号、连续数据块数目。

4.一种嵌入式终端的文件存取方法，所述方法包含：

用于存储文件的步骤，具体包含：

步骤101）计算文件所需的数据块的数目；

步骤102）查询位图信息，根据所需的数据块的数目得到若干能满足分配需求的数据块组；

步骤103）将文件存储于从102）中找到的数据块组中；

用于查找读取文件的步骤，具体包含：

步骤201）计算文件名的哈希值；

步骤202）依据得到的哈希值，并根据映射表找到与文件对应的索引节点，查询索引节点中信息可获得文件内容所在的数据块的位置信息；

其中，所述索引节点中采用若干区段的形式记录数据块位置信息，且每个区段中包含起始数据块编号和连续存放文件内容的数据块的数目；

步骤203）从获得的数据块中读取所需文件的内容；

其中，

所述位图信息采用多层树状统计结构进行索引和存储，且自下向上分别为位图块、统计块和超级块；所述位图块用于记录数据块组中各数据块的使用状态；所述统计块对位图块信息进行统计，所述超级块则对统计块信息进行统计，统计结果记录为最大连续可用空间和剩余总空间；

所述数据块，用于存放文件内容和文件元数据，且一个数据块为物理上若干连续的磁盘扇区，为一个数据块分配一个全局的逻辑地址，并采用该逻辑地址进行寻址；

所述数据块组为若干物理地址和逻辑地址均连续的数据块；

所述映射表存储，用于记录文件名哈希值到索引节点的一一映射关系。

5.根据权利要求4所述的嵌入式终端的文件存储及读取方法，其特征在于，所述步骤102）进一步包含：

步骤102-1）依据文件所需的数据块的数目，通过超级块中记录的信息定位到某个拥有足够多空闲存储量的统计块；

步骤102-2）依据定位得到的统计块中记录的信息，再定位到某个位图块，即找到了能满足分配需求的数据块组，在该数据块组内为该新文件分配存储空间。

6.根据权利要求5所述的嵌入式终端的文件存储及读取方法，其特征在于，

当为文件分配存储空间时仅在一个数据块组内进行；

当为文件分配数据块时，采用尽可能连续分配的思想为其分配存储空间。

7.根据权利要求4或5所述的嵌入式终端的文件存储及读取方法，其特征在于，用于存储文件的步骤中所述的步骤103）之后还包含如下步骤：

步骤104）为文件分配存储空间后，将位图中与刚被分配数据块对应的位标记为“忙碌”状态，同时更新统计块中对应信息，再进一步更新超级块中与之对应的信息。

8.根据权利要求4所述的嵌入式终端的文件存储及读取方法，其特征在于，所述方法还包含：

删除文件时更新位信息的步骤，具体为：

删除文件时立即回收该文件占用的数据块，在数据块所在组对应的位图块中更新位信息，同时更新统计块中对应信息，进一步更新超级块中与之对应的信息。

9.根据权利要求4所述的嵌入式终端的文件存储及读取方法，其特征在于，各数据块的使用状态采用二进制位表征。