CN105867836A - 存储管理方法、装置及流媒体*** - Google Patents

Abstract

本发明了一种流媒体***的存储管理方法、装置及流媒体***，该方法包括：确定待格式化的目标磁盘；根据目标磁盘的存储空间计算大块区域的大小；根据流媒体***中流媒体文件的块文件属性设置大块区域的大存储块属性；格式化目标磁盘。通过本发明的实施，将磁盘的部分存储空间划分为包括大存储块的大块区域，并根据流媒体文件中块文件的属性设置这些大存储块的属性，使得大存储块与块文件的属性相符合，并在此基础上格式化磁盘，这样，在后续存储流媒体文件时，就可以减小流媒体文件的元数据所占用存储空间。

Description

存储管理方法、装置及流媒体***

技术领域

本发明涉及流媒体数据的存储领域，特别地涉及一种存储管理方法、装置及流媒体***。

背景技术

大规模流媒体服务已经广泛的应用到娱乐、教育、商业等各个领域，由于流媒体数据，如视频文件等较大，通常会将视频文件切分成固定大小的块文件(例如64MBB大小)，存储在后台分布式存储***(包括多个磁盘)中。在后台存储***中的磁盘(例如ext2,ext3，XFS等)以块为单位分配数据块(每个块仅用来存储一个文件)，当前磁盘的块大小为4KB，虽然可以使得磁盘的存储空间得到更合理的利用，但是由于视频等流媒体文件都很大，存储这类文件需要占用很大的数据块，例如，在现有技术中，存储63MB大小的视频需要占用16128个数据块，对应得该视频的元数据就需要包括这16128个数据块的位置信息等，导致元数据过大占用较大的内存空间，即现有的存储方式会产生大量的文件的元数据，当存储的文件变多且内存比较紧缺时，文件的元数据会成为存储的瓶颈。

因此，如何提供一种可以减小单个流媒体文件元数据的存储技术，是本领域技术人员亟待解决的技术问题。

发明内容

本发明提供了一种流媒体***的存储管理方法、装置及流媒体***，可以 减小单个流媒体文件元数据所占用的内存空间。

本发明提供了一种流媒体***的存储管理方法,在一个实施例中，该方法包括：确定待格式化的目标磁盘；根据目标磁盘的存储空间计算大块区域的大小；根据流媒体***中流媒体文件的块文件属性设置大块区域的大存储块属性；格式化目标磁盘。

进一步的，上述实施例中的根据目标磁盘的存储空间确定大块区域的大小的步骤包括：将存储空间的90％作为大块区域。

进一步的，上述实施例中的根据流媒体***中流媒体文件的块文件属性设置大存储块属性的步骤包括：根据块文件属性中块文件的大小，设置大存储块的大小。

进一步的，上述实施例中的在根据目标磁盘的存储空间计算大块区域的大小之后，还包括：在剩余的存储空间上设置包括多个小存储块的小块区域的步骤。

进一步的，上述实施例中的在剩余的存储空间上设置小块区域的步骤包括：将小存储块均匀的设置在目标磁盘上。

进一步的，上述实施例在格式化目标磁盘之后，还包括：接收流媒体文件，为流媒体文件分配存储空间，将流媒体文件的元数据存储到目标磁盘的文件元数据区。

进一步的，上述实施例中的为流媒体文件分配存储空间的步骤包括：获取流媒体文件的大小；当流媒体文件小于大存储块时，为流媒体文件分配一个大存储块；当流媒体文件大于大存储块、小于大存储块与预置个数小存储块之和时，为流媒体文件分配一个大存储块及多个小存储块；当流媒体文件大于大存 储块与预置个数小存储块之和时，为流媒体文件分配多个大存储块。

进一步的，上述实施例在格式化目标磁盘之后，还包括：根据文件***的元数据判断是否是目标磁盘的文件***，若是，则将文件***内的所有文件的元数据读入内存。

进一步的，上述实施例中的在将所有文件的元数据读入内存之后，还包括：根据各文件的元数据检测各文件是否损坏，将存储损坏的文件的存储块回收。

本发明提供了一种流媒体***的存储管理装置，在一个实施例中，其包括：选择模块，用于确定待格式化的目标磁盘；划分模块，用于根据目标磁盘的存储空间计算大块区域的大小；设置模块，用于根据流媒体***中流媒体文件的块文件属性设置大块区域的大存储块属性；管理模块，用于格式化目标磁盘。

进一步的，上述实施例中的管理模块还用于在格式化目标磁盘之后，接收流媒体文件，为流媒体文件分配存储空间，将流媒体文件的元数据存储到目标磁盘的文件元数据区。

进一步的，上述实施例中的管理模块还用于在格式化目标磁盘之后，根据文件***的元数据判断是否是目标磁盘的文件***，若是，则将文件***内的所有文件的元数据读入内存。

本发明也提供了一种流媒体***，其包括用于存储流媒体文件的磁盘，及如本发明提供的存储管理装置。

本发明的有益效果：

本发明提供了一种新的磁盘存储空间的管理方式，通过将磁盘的部分存储空间划分为包括大存储块的大块区域，并根据流媒体文件中块文件的属性设置这些大存储块的属性，使得大存储块与块文件的属性相符合，并在此基础上格 式化磁盘，这样，在后续存储流媒体文件时，就可以减小流媒体文件的元数据所占用存储空间；进一步的，本发明将大存储块的大小设置为块文件的大小，在存储流媒体文件时，一个块文件就仅对于一个大存储块，这样就大大减小了流媒体文件的元数据所占用的空间。

附图说明

图1为本发明第一实施例提供的存储管理方法的流程图；

图2为本发明第二实施例提供的存储管理装置的示意图；

图3为本发明第三实施例提供的存储管理方法的流程图；

图4为本发明第三实施例中的磁盘的示意图。

具体实施方式

现通过具体实施方式结合附图的方式对本发明做出进一步的诠释说明。

本发明所涉及的存储管理方法仅包括对磁盘的重新格式化、如何存储流媒体数据、及如何进行文件***的初始化；格式化之后的磁盘内存储块的大小与现有标准ext2,ext3，XFS等格式磁盘的存储块大小不同，这样就降低了单个流媒体文件所占用的存储块的数量，进而达到减少流媒体文件的元数据所占用空间的目的；针对用户如何访问流媒体文件，在文件***初始化时，已经将磁盘内所有文件的元数据读入内存，根据这些文件的元数据就可以完成对应文件的访问。下文所涉及的文件***是指对应磁盘的辅助软件，文件***的元数据包括对应磁盘信息(如名称、大小生成日期等)；磁盘内的元数据区存储有该磁盘内目录文件的元数据、普通文件(如流媒体文件)的元数据，磁盘内的索引区 存储有该磁盘内空闲存储块的索引信息。

第一实施例：

图1为本发明第一实施例提供的存储管理方法的流程图，由图1可知，在本实施例中，本发明提供的存储管理方法包括以下步骤：

S101：确定待格式化的目标磁盘；

由于分布式***中存在很多个磁盘，各磁盘的作用可能不尽相同，因此，本申请可以仅针对用于存储流媒体文件的磁盘进行优化管理，将这些需要进行优化管理的磁盘记为目标磁盘；

S102：根据目标磁盘的存储空间计算大块区域的大小；

磁盘的存储空间并不能全部用来存储流媒体文件，还需要存储其他文件，如文件的元数据、磁盘对应的文件***的元数据、空闲存储块的索引表等；因此，本步骤需要根据磁盘的存储空间来计算得带一个较佳大小的区域作为大块区域，该大块区域包括多个大存储块，这些大存储块的大小远大于当前标准ext2,ext3，XFS等格式磁盘内的标准存储块大小，这样，存储相同文件时，所占用的大存储块的数量也就对应的大大减少；

S103：根据流媒体***中流媒体文件的块文件属性设置大块区域的大存储块属性；

流媒体文件的块文件属性随着流媒体文件的属性发生变化，如音频文件与视频文件的单个块文件的属性不同，这些属性包括块文件的大小、读取方式、存储方式等，将大存储块属性设置为与流媒体文件中块文件的属性相匹配时，就可以大大提高读写速率、及所生成的元文件所需占用的空间；

S104：格式化目标磁盘；

本步骤在上述步骤的基础上，对目标磁盘进行格式化，就可以使得设置生效。

在一些实施例，上述实施例中的根据目标磁盘的存储空间确定大块区域的大小的步骤包括：将存储空间的90％作为大块区域。因为流媒体***内的磁盘空间都较大，一般是10T(1T＝1024G)以上，将90％设置为大块区域，就可以最大限度的减少磁盘存储块的数量，并且剩下的10％也足够存储其他数据，或者设置一些用于灵活存储文件的小存储块。

在一些实施例，上述实施例中的根据流媒体***中流媒体文件的块文件属性设置大存储块属性的步骤包括：根据块文件属性中块文件的大小，设置大存储块的大小。不同***在对流媒体数据进行处理时，所分成的块文件的大小可能存在区别，如一些***将块文件定义为64MB，而另外一些***则是定位为128MB，各***可以根据其***对流媒体文件的块文件的定义自行设置大存储块的大小，可以兼容更多的***，并且，大存储块的大小与块文件大小相同，使得存储空间可以完美利用。

在一些实施例，上述实施例中的在根据目标磁盘的存储空间计算大块区域的大小之后，还包括：在剩余的存储空间上设置包括多个小存储块的小块区域的步骤。设置小存储块是为了进一步的合理利用磁盘空间，如一个流媒体文件为65MB大小，***将其分为一个64MB的块文件及一个1MB的块文件，其需要占用2个存储块，若其占用2个64MB的大存储块，将导致63MB的空间浪费，本实施例通过设置小存储块，如1MB大小的存储块，这样仅为该流媒体文件分配一个大存储块及一个小存储块即可完成存储，并且不浪费存储空间。

在一些实施例，上述实施例中的在剩余的存储空间上设置小块区域的步骤包括：将小存储块均匀的设置在目标磁盘上。本实施例通过将小存储块均匀的分配在磁盘上，可以提供小存储块的读取效率。

现针对流媒体数据的存储功能的实现，进行说明。

在一些实施例，图1所示实施例在格式化目标磁盘之后，还包括：接收流媒体文件，为流媒体文件分配存储空间，将流媒体文件的元数据存储到目标磁盘的文件元数据区。因为本实施例是将流媒体文件存储在格式化之后的磁盘上的，同样的流媒体文件所占用的存储块的数量将远小于存储在现有标准磁盘时所占用的存储块数量，对应的，该流媒体文件的元数据将大大减小。

在一些实施例，上述实施例中的为流媒体文件分配存储空间的步骤包括：获取流媒体文件的大小；当流媒体文件小于大存储块时，为流媒体文件分配一个大存储块；当流媒体文件大于大存储块、小于大存储块与预置个数小存储块之和时，为流媒体文件分配一个大存储块及多个小存储块；当流媒体文件大于大存储块与预置个数小存储块之和时，为流媒体文件分配多个大存储块。在实际应用中，为单个流媒体文件分配的小存储块的个数n可以根据需要设定，如30个，那么，30即是本实施例中的预置个数。本实施例通过大存储块与小存储块相结合的方式存储流媒体数据，可以更合理的利用磁盘的存储空间，在实际应用中，单个流媒体文件的大小一般大于30个小存储块的大小，因此，为了减小流媒体数据的元数据，直接从大存储块开始分配。当然，若小存储块单个存储空间较大或者单个流媒体文件很小时，也可以从小存储块开始分配，这种分配方法不再赘述。

在磁盘格式化之后，为了使得该磁盘可用，就需要为该磁盘更新对应的文 件***，针对文件***上文已经给出定义，此处不再赘述。文件***需要初始化之后，才可以对外提供服务，因此，在一些实施例中，图1所示实施例在格式化目标磁盘之后，还包括：文件***的初始化步骤，该初始化步骤包括：根据文件***的元数据判断是否是目标磁盘的文件***，若是，则将文件***内的所有文件的元数据读入内存。本实施例通过在文件***初始化时就将磁盘内所有文件的元数据读取带内存中，在后续访问时，就可以大大降低内存对磁盘的读取次数，根据内存中文件的元数据就可以访问对应的流媒体数据等内容。

在一些实施例中，上述实施例中的在将所有文件的元数据读入内存之后，还包括：根据各文件的元数据检测各文件是否损坏，将存储损坏的文件的存储块回收。本实施例实现了对磁盘空间的回收，避免损坏文件继续占有存储空间，这些文件包括流媒体文件(普通文件)、目录文件等，检测各文件是否损坏可以通过元数据中的校验和实现，下文有进一步的说明，本处不再赘述。

第二实施例：

图2为本发明第二实施例提供的存储管理装置的示意图，由图2可知，在本实施例中，本发明提供的存储管理装置2包括：选择模块21、划分模块22、设置模块23及管理模块24，其中，

选择模块21，用于确定待格式化的目标磁盘；

划分模块22，用于根据目标磁盘的存储空间计算大块区域的大小；计算方式可以是***默认，或者用户个性化设置；

设置模块23，用于根据流媒体***中流媒体文件的块文件属性设置大块区域的大存储块属性；

管理模块24，用于格式化目标磁盘；通过向目标磁盘发送格式化命令实现 格式化目标磁盘的目的。

在一些实施例中，上述实施例中的管理模块24还用于在格式化目标磁盘之后，接收流媒体文件，为流媒体文件分配存储空间，将流媒体文件的元数据存储到目标磁盘的文件元数据区。

在一些实施例中，上述实施例中的管理模块24还用于在格式化目标磁盘之后，根据文件***的元数据判断是否是目标磁盘的文件***，若是，则将文件***内的所有文件的元数据读入内存。

本发明也提供了一种流媒体***，其包括用于存储流媒体文件的磁盘，及如本发明提供的存储管理装置。

现通过具体应用实例对本发明做进一步的诠释说明。

第三实施例：

图3为本发明第三实施例提供的存储管理方法的流程图，由图3可知，在本实施例中，本发明提供的存储管理方法包括以下步骤：

S301：格式化磁盘；

本步骤主要是对现有的磁盘存储数据的方式进行改进，具体的包括：选定目标磁盘，格式化磁盘内的元数据域，格式化磁盘的数据域并重新划分块；在实际应用中，格式化后的磁盘示意图如图4所示：

目标磁盘的选择可以默认或者用户操作进行，本申请不再赘述；

其中磁盘信息包括磁盘识别码、大小、存储空间大小等信息；

数据域包括大块区域及小块区域，大块区域内大存储块大小与流媒体数据块大小相同(如64MB)，小块区域内小存储块大小可以设置为1MB(用户可以自 行选择设置)，为了便于说明，在下文及附图中，将大块区域内的大存储块简称为大块，小块区域内的小存储块简称为小块，为了提高读写效率，将小块均匀的分别在磁盘内；由于流媒体数据分块后均为固定大小的大文件，所以大块大小等于块文件的大小；例如，根据剩余的磁盘的总的容量大小的90％划分出N个大块，将剩余的10％预留给小块，小块的大小为1MBB(在***初始化时也是可以定制的)；例如针对一个10T大小的磁盘，该磁盘的数据域(存储空间)大小一般略小于10T，将9T作为大块区域，设置147456个大块，将1T作为小块区域，设置1048576个小块，由此可以看出，本实施例的分块方式与现有标准磁盘的分块方式相比(现有以4KB大小的标准存储块为例，需将磁盘分为2684354560个存储块)，大大减少了存储块的数量，在存储相同文件时，也将大大减小文件元数据的内容，进而降低元数据所占用的存储空间；

元数据域包括目录元数据区、文件元数据区、空闲块管理区及目标索引区；其中，目录元数据区用于存放目录文件的元数据信息，如某磁盘最大支持的目录数为10万个，那么该磁盘就仅能存储10万个目录，因此目录元数据区的长度固定，格式化时将目录元数据区全部设置为0；文件元数据区，用于存储磁盘内普通文件(一般为流媒体文件)的元数据，并且保存空闲大块的列表；空闲块管理区，用于维护的是空闲的大块及小块的列表；目录索引区用于存储不同流媒体数据的存储块列表；

在完成上述设置后，就向磁盘发送格式化命令，完成格式化，更新磁盘属性；

S302：接收并存储流媒体数据；

在分布式存储***接收到流媒体文件/目录文件后，需要将其存储带磁盘 中，将目标文件存储到磁盘(一般较小，占用一个或几个小块即可)后，将目录文件的元数据写入元数据域的目录元数据区；将流媒体文件存储到磁盘(一般较大，占用一个或多个大块及小块)后，将普通文件的元数据写入元数据域的文件元数据区；

存储流媒体文化时，包括为流媒体文件分配存储块的步骤，具体的可以是：根据流媒体数据的大小及空闲存储块(包括大块及小块)列表为该流媒体数据分配存储块，并将其存储到对应的存储块中，此时该流媒体数据的元数据格式如下表1所示，该流媒体数据的存储列表包括存储其数据块的存储块列表；本步骤主要通过空闲管理区内的列表来实现；

在实际应用中，当流媒体数据大小小于大块时,为其分配一个空闲的大块；若流媒体数据大小大于一个大块小于一个大块与n个小块之后时，为其分配一个空闲的大块，i个空闲的小块；若流媒体数据大小大于一个大块与n个小块之后、小于两个大块之和时，为其分配两个空闲的大块，依次类推；n值大小可以默认或用户指定，较优的n个小块的大小之和＝80％*1个大块大小，这样既可以避免存储空间的过度浪费，又不会过度的占用小块；

表1

名称	校验和	属性	大块	小块
					文件1	……	未扩展	D(1)
文件2	……	未扩展	D(2)	S(1-3)
					文件3	……	扩展	D(3、4)	S(4-7)
……	……	……	……	……

针对流媒体文件的元数据，参照表1进行详细说明：

针对文件1,由表1可知，该文件在存储时仅占用了一个大块D(1)；

针对文件2,由表1可知，该文件在存储时占用了一个大块D(2)及3个小块S(1-3)；

针对文件3,由表1可知，该文件在存储时占用了多个大块D(3、4)及4个小块S(4-7)，那么其对应的属性内就显示扩展；

S303：磁盘对应的文件***的初始化；

为了使得磁盘可以对外服务，需要完成文件***的初始化，包括以下步骤：判断流文件***是否、正确，本步骤主要通过判断文件***的元数据与磁盘信息是否符合来实现，若不符合，直接退出，若符合，则进入磁盘内存储的所有文件的对外呈现的步骤：

将磁盘内所有文件的元数据读入内存，本步骤将所有文件的元数据读入内存可以避免磁盘为了读取文件的元数据对磁盘的多次读取，降低了交互次数，也提供了文件的读取速度；所有文件包括目录文件及普通文件(如流媒体文件等)；

为了实现对磁盘存储空间的合理利用，还可以对各文件是否有效/合法进行校验，如果无效/不合法，直接回收文件所占用的存储块；

可以通过对元数据的校验和进行实现，如表1所示，文件的元数据内携带了一个校验和，当把该文件的元数据读取内存后，重新计算读取到的元数据的校验和，比较两者是否一致，若一致，则文件有效/合法，否则，无效/不合法；

是否完整，若是，则执行下一步，若否，则提醒用户，流程结束；

S304：向用户提供流媒体服务；

在用户申请访问流媒体数据时，流媒体***根据内存中的流媒体文件的元数据，直接访问磁盘，可以快速完成流媒体文件的读取，及对用户操作的响应。

综上可知，通过本发明的实施，至少存在以下有益效果：

通过将磁盘的部分存储空间划分为包括大存储块的大块区域，并根据流媒体文件中块文件的属性设置这些大存储块的属性，使得大存储块与块文件的属性相符合，并在此基础上格式化磁盘，这样，在后续存储流媒体文件时，就可以减小流媒体文件的元数据所占用存储空间；

进一步的，本发明将大存储块的大小设置为块文件的大小，在存储流媒体文件时，一个块文件就仅对于一个大存储块，这样就大大减小了流媒体文件的元数据所占用的空间；

进一步的，提供了大小块结合的存储方式，使得磁盘的存储空间的利用更加合理；

进一步的，在文件***初始化时，将磁盘内所有文件的元数据都读入内存，降低了后续使用时，内存与磁盘的交互次数，使得内存性能可以合理利用，降低了CPU与存储区域的交互，降低了多线程同时读写文件时CPU的iowait值；

进一步的，提供了文件有效/合法的校验机制，针对无效/不合法的文件所占用的存储块进行回收，使得磁盘的存储空间的利用更加合理。

以上仅是本发明的具体实施方式而已，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施方式所做的任意简单修改、等同变化、结合或修饰，均仍属于本发明技术方案的保护范围。

Claims (13)

1.一种流媒体***的存储管理方法，其特征在于，包括：

确定待格式化的目标磁盘；

根据所述目标磁盘的存储空间计算大块区域的大小；

根据所述流媒体***中流媒体文件的块文件属性设置所述大块区域的大存储块属性；

格式化所述目标磁盘。

2.如权利要求1所述的存储管理方法，其特征在于，根据所述目标磁盘的存储空间确定大块区域的大小的步骤包括：将所述存储空间的90％作为所述大块区域。

3.如权利要求1所述的存储管理方法，其特征在于，根据所述流媒体***中流媒体文件的块文件属性设置所述大存储块属性的步骤包括：根据所述块文件属性中块文件的大小，设置所述大存储块的大小。

4.如权利要求1所述的存储管理方法，其特征在于，在根据所述目标磁盘的存储空间计算大块区域的大小之后，还包括：在剩余的存储空间上设置包括多个小存储块的小块区域的步骤。

5.如权利要求4所述的存储管理方法，其特征在于，在剩余的存储空间上设置小块区域的步骤包括：将所述小存储块均匀的设置在所述目标磁盘上。

6.如权利要求1至5任一项所述的存储管理方法，其特征在于，在格式化所述目标磁盘之后，还包括：接收流媒体文件，为所述流媒体文件分配存储空间，将所述流媒体文件的元数据存储到所述目标磁盘的文件元数据区。

7.如权利要求6所述的存储管理方法，其特征在于，为所述流媒体文件分配存储空间的步骤包括：获取所述流媒体文件的大小；当所述流媒体文件小于大存储块时，为所述流媒体文件分配一个大存储块；当所述流媒体文件大于大存储块、小于大存储块与预置个数小存储块之和时，为所述流媒体文件分配一个大存储块及多个小存储块；当所述流媒体文件大于大存储块与预置个数小存储块之和时，为所述流媒体文件分配多个大存储块。

8.如权利要求1至5任一项所述的存储管理方法，其特征在于，在格式化所述目标磁盘之后，还包括：根据文件***的元数据判断是否是目标磁盘的文件***，若是，则将所述文件***内的所有文件的元数据读入内存。

9.如权利要求8所述的存储管理方法，其特征在于，在将所有文件的元数据读入内存之后，还包括：根据各文件的元数据检测各文件是否损坏，将存储损坏的文件的存储块回收。

10.一种流媒体***的存储管理装置，其特征在于，包括：

选择模块，用于确定待格式化的目标磁盘；

划分模块，用于根据所述目标磁盘的存储空间计算大块区域的大小；

设置模块，用于根据所述流媒体***中流媒体文件的块文件属性设置所述大块区域的大存储块属性；

管理模块，用于格式化所述目标磁盘。

11.如权利要求10所述的存储管理装置，其特征在于，所述管理模块还用于在格式化所述目标磁盘之后，接收流媒体文件，为所述流媒体文件分配存储空间，将所述流媒体文件的元数据存储到所述目标磁盘的文件元数据区。

12.如权利要求10或11所述的存储管理装置，其特征在于，所述管理模块还用于在格式化所述目标磁盘之后，根据文件***的元数据判断是否是目标磁盘的文件***，若是，则将所述文件***内的所有文件的元数据读入内存。

13.一种流媒体***，其特征在于，包括用于存储流媒体文件的磁盘，及如权利要求10至12任一项所述的存储管理装置。