CN105677742A - 一种存储文件的方法及装置 - Google Patents

Abstract

本发明公开了一种存储文件的方法以及装置，存储空间划分有副本存储池和纠删码存储池，方法包括：接收待存储文件；判断所述待存储文件的大小是否小于预定阈值；若小于阈值，则根据预设副本存储算法，将所述待存储文件存储至副本存储池；若大于或等于阈值，获取所述待存储文件的文件类型；判断所述待存储文件的文件类型是否为预配置副本存储规则中所指定的类型；若是，则根据所述预设副本存储算法，将所述待存储文件存储至副本存储池。通过上述方式，本发明能够充分发挥副本存储和纠删码存储的优点，以达到高效存储。

Description

一种存储文件的方法及装置

技术领域

本发明涉及数据存储处理技术领域，特别是涉及一种存储文件的方法及装置。

背景技术

分布式存储***是指由多***立存储设备所组成的***，文件可以分散存储在多***立存储设备上。分布式存储***其一般采用可扩展的***结构，主要利用多台存储设备分担存储负荷，利用位置服务器定位存储设备信息，其不但提高了***的可靠性、可用性和存取效率，还易于扩展。

现有技术中的分布式存储***要么采用副本存储，要么采用纠删码存储，纠删码存储是指根据预设纠删码算法存储文件，副本存储是指根据预设副本存储算法存储文件。而副本存储具有读写速度快的优点，但其同时具有占用存储空间大的缺点，双副本会占用2倍的空间，3副本会占用3倍的空间。纠删码存储具有节省大量存储空间的优点，但是其写入和读取时需要大量计算，速度较慢。

单一的存储方式已经越来越不能满足分布式存储***的发展要求。

发明内容

本发明主要解决的技术问题是提供一种存储文件的方法及装置，能够充分发挥副本存储和纠删码存储的优点，以达到高效存储。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种存储文件的方法，存储空间划分有副本存储池和纠删码存储池，方法包括：接收待存储文件；判断所述待存储文件的大小是否小于预定阈值；若小于阈值，则根据预设副本存储算法，将所述待存储文件存储至副本存储池；若大于或等于阈值，获取所述待存储文件的文件类型；判断所述待存储文件的文件类型是否为预配置副本存储规则中所指定的类型；若是，则根据所述预设副本存储算法，将所述待存储文件存储至副本存储池。

其中，所述方法还包括：若所述待存储文件的文件类型不是预配置副本存储规则中所指定的类型，在文件管理***中，获取所述待存储文件所在的文件目录；提取所述文件目录的创建时间和当前时间；判断所述当前时间与创建时间之间的时间间隔是否小于第一预定期限；若是，则根据所述预设副本存储算法，将所述待存储文件存储至副本存储池；否则，则根据预设纠删码存储算法，将所述待存储文件存储至纠删码存储池。

其中，在根据所述预设副本存储算法，将所述待存储文件存储至副本存储池之前，所述方法还包括：获取所述副本存储池的剩余空间；判断所述剩余空间是否大于所述待存储文件的大小；若是，则根据所述预设副本存储算法，将所述待存储文件存储至副本存储池之前；若否，则根据预设调度算法，从所述副本存储池提取文件，并将根据预设纠删码存储算法，将所提取到的文件转移至纠删码存储池。

其中，所述方法还包括：在访问所述副本存储池的文件时，记录被访问的文件的访问时间以及访问次数；所述根据预设调度算法，从所述副本存储池提取文件的步骤具体包括：获取当前时间；结合所述访问时间，从所述副本存储池提取距离所述当前时间的第二预定期限内访问次数大于预定值的文件。

其中，所述预定阈值为100兆。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种存储文件的装置，所述装置包括存储空间，所述存储空间划分有副本存储池和纠删码存储池，所述装置还包括：接收模块，用于接收待存储文件；第一判断模块，用于判断所述待存储文件的大小是否小于预定阈值；第一存储模块，用于在所述第一判断模块判断到待存储文件的大小小于阈值时，根据预设副本存储算法，将所述待存储文件存储至副本存储池；第一获取模块，用于在所述第一判断模块判断到待存储文件的大小大于或等于阈值时，获取所述待存储文件的文件类型；第二判断模块，用于判断所述待存储文件的文件类型是否为预配置副本存储规则中所指定的类型；第二存储模块，用于在所述第二判断模块判断到待存储文件的文件类型为预配置副本存储规则中所指定的类型时，根据预设副本存储算法，将所述待存储文件存储至副本存储池。

其中，所述装置还包括：第二获取模块，用于在所述第二判断模块判断到待存储文件的文件类型不为预配置副本存储规则中所指定的类型时，在文件管理***中，获取所述待存储文件所在的文件目录；第三判断模块，用于判断所述文件目录是否为预配置副本存储规则中所指定的文件目录；第三存储模块，用于在所述第三判断模块判断到所述文件目录为预配置副本存储规则中所指定的文件目录时，根据所述预设副本存储算法，将所述待存储文件存储至副本存储池；提取模块，用于用于在所述第三判断模块判断到所述文件目录不为预配置副本存储规则中所指定的文件目录时，提取所述文件目录的创建时间和当前时间；第四判断模块，用于判断所述当前时间与创建时间之间的时间间隔是否小于第一预定期限；第四存储模块，用于在所述第三判断模块判断到所述时间间隔小于第一预定期限时，根据所述预设副本存储算法，将所述待存储文件存储至副本存储池；第五存储模块，用于在所述第三判断模块判断到所述时间间隔大于或者等于第一预定期限时，根据预设纠删码存储算法，将所述待存储文件存储至纠删码存储池。

其中，所述装置还包括：第四获取模块，用于在根据所述预设副本存储算法，将所述待存储文件存储至副本存储池之前，获取所述副本存储池的剩余空间；第五判断模块，用于判断所述剩余空间是否大于所述待存储文件的大小，若是，则直接根据所述预设副本存储算法，将所述待存储文件存储至副本存储池；调度模块，用于在所述第四判断模块判断到剩余空间小于所述待存储文件的大小，则根据预设调度算法，从所述副本存储池提取文件，并将根据预设纠删码存储算法，将所提取到的文件转移至纠删码存储池。

其中，所述装置还包括：记录模块，用于在访问所述副本存储池的文件时，记录被访问的文件的访问时间以及访问次数；所述调度模块具体用于获取当前时间，结合所述访问时间，从所述副本存储池提取距离所述当前时间的第二预定期限内访问次数大于预定值的文件，并将根据预设纠删码存储算法，将所提取到的文件转移至纠删码存储池。

其中，所述预定阈值为100兆。

本发明的有益效果是：区别于现有技术的情况，本发明对于小于预定阈值的待存储文件，根据预设副本存储算法，将待存储文件存储至副本存储池，对于大于或等于预定阈值的待存储文件，根据预设纠删码存储算法，将待存储文件存储至纠删码存储池，实现小文件进行副本存储，大文件进行纠删码存储，充分发挥副本存储和纠删码存储的优点，提高处理效率；还可对于特定类型的大文件配置为副本存储，以使所存储的文件可适应不同场景，以达到高效存储文件的目的。

附图说明

图1是本发明存储文件的方法实施方式的流程图；

图2是本发明存储文件的装置实施方式的示意图。

具体实施方式

下面结合附图和实施方式对本发明进行详细。

本发明存储文件的存储空间划分有副本存储池和纠删码存储池，副本存储池对应用于存储根据预设副本存储算法所存储的文件，纠删码存储池对应用于存储根据预设纠删码存储算法所存储的文件，请参阅图1，存储文件的方法包括：

步骤S201：接收待存储文件；

步骤S202：判断待存储文件的大小是否小于预定阈值，若小于阈值，则进入步骤S203，否则进入步骤S204；

步骤S203：根据预设副本存储算法，将待存储文件存储至副本存储池；

根据预设副本存储算法存储文件，其优势在于读写速度快，缺点是占用存储空间大。根据预设纠删码存储算法方式存储文件，其优势在于大量节省空间，但写入和读取时需要大量计算，因此，当文件小于预定阈值时，根据预设副本存储算法存储文件，有利于提高存储速度，当文件大于或等于预定阈值时，适合根据预设纠删码存储算法进行存储，节空间，通过结合预设副本存储算法和预设纠删码存储算法进行存储，充分发挥二者的优势。

步骤S204：获取待存储文件的文件类型；

步骤S205：判断待存储文件的文件类型是否为预配置副本存储规则中所指定的类型，若是，则进入返回步骤S203，否则进入步骤S206；

预配置副本存储规则是用于指定特定的文件类型采用预设副本存储算法进行存储。当然，在其他替代实施方式中，也可以设置预配置纠删码存储规则，预配置纠删码存储规则用于指定特定的文件类型采用预设纠删码算法进行存储。

虽然有些文件大于预定阈值，但是其仍然适合预设纠删码存储算法进行存储，比如：在线视频文件，在线视频文件需要保证其流畅性，因此，本发明还允许用户指定特定的文件类型采用预设副本存储算法进行存储。既充分发挥纠删码存储和副本存储两者的优势，又允许用户对特定文件类型配置为副本存储，以达到高效存储文件的目的。在本实施方式中，预定阈值优选为100兆。当然，预定阈值和预配置副本存储规则均可配置的，用户可以根据不同场景配置不同的内容。

在文件存储的技术领域中，最新目录下的文件最近被访问的可能性最高，为了提高处理效率，最新目录下的文件采用预设副本存储算法进行存储，则方法还包括：

步骤S206：在文件管理***中，获取所述待存储文件所在的文件目录；

步骤S207：判断文件目录是否为预配置副本存储规则中所指定的文

件目录,若是，则返回步骤S203，否则进入步骤S208：步骤S208：

提取文件目录的创建时间和当前时间；

步骤S209判断当前时间与创建时间之间的时间间隔是否小于第一预定期限；若是，返回步骤S203，否则进入步骤S210；

步骤S210：根据预设纠删码存储算法，将待存储文件存储至纠删码存储池。

为了避免在副本存储池的剩余空间不足时，仍然向副本存储池存储文件，在向副本存储池存储文件之前，对副本存储池进行检测，具体，方法还包括：

步骤S301：获取副本存储池的剩余空间；

步骤S302：判断剩余空间是否大于所述待存储文件的大小；若是，则进入步骤S203，否则进入步骤S303；

步骤S303：则根据预设调度算法，从副本存储池提取文件，并将根据预设纠删码存储算法，将所提取到的文件转移至纠删码存储池，然后进入步骤S203。

预设调度算法是根据文件的热度进行筛选，对于热度较低的文件转移至纠删码存储池，热度较高的文件保留在副本存储池中，优化存储，则方法还包括：在访问副本存储池的文件时，记录被访问的文件的访问时间以及访问次数。步骤S303具体为：获取当前时间，结合访问时间，从副本存储池提取距离当前时间的第二预定期限内访问次数大于预定值的文件，将根据预设纠删码存储算法，将所提取到的文件转移至纠删码存储池。

在本发明实施方式中，对于小于预定阈值的待存储文件，根据预设副本存储算法，将待存储文件存储至副本存储池，对于大于或等于预定阈值的待存储文件，根据预设纠删码存储算法，将待存储文件存储至纠删码存储池，实现小文件进行副本存储，大文件进行纠删码存储，充分发挥副本存储和纠删码存储的优点，提高处理效率；还可对于特定类型的大文件配置为副本存储，以使所存储的文件可适应不同场景，以达到高效存储文件的目的。

本发明又提供存储文件的装置实施方式。请参阅图2，存储文件的装置30包括存储空间(图未示)，存储空间划分有副本存储池51和纠删码存储池51，存储文件的装置30包括接收模块31、第一判断模块32、第一存储模块33、第一获取模块34、第二判断模块35和第二存储模块36。

接收模块31，用于接收待存储文件。第一判断模块32，用于判断待存储文件的大小是否小于预定阈值。第一存储模块33，用于在所述第一判断模块32判断到待存储文件的大小小于阈值时，根据预设副本存储算法，将所述待存储文件存储至副本存储池。第一获取模块34，用于在所述第一判断模块32判断到待存储文件的大小大于或等于阈值时，获取所述待存储文件的文件类型。第二判断模块35，用于判断待存储文件的文件类型是否为预配置副本存储规则中所指定的类型。第二存储模块36，用于在第二判断模块35判断到待存储文件的文件类型为预配置副本存储规则中所指定的类型时，根据预设副本存储算法，将待存储文件存储至副本存储池。

对于大文件采用纠删码存储，节省存储空间，对于小文件采用副本存储，提高读写效率，充分利用纠删码存储和副本存储二者优点，提高处理效率。另外，又允许用户对特定文件类型配置为副本存储，以达到高效存储文件的目的。在本实施方式中，预定阈值优选为100兆。当然，预定阈值和预配置副本存储规则均可配置的，用户可以根据不同场景配置不同的内容。

装置30还包括第二获取模块37、第三判断模块38、第三存储模块39、提取模块40、第四判断模块41、第四存储模块42和第五存储模块43。

第二获取模块37，用于在第二判断模块35判断到待存储文件的文件类型不为预配置副本存储规则中所指定的类型时，在文件管理***中，获取所述待存储文件所在的文件目录。第三判断模块38，用于判断文件目录是否为预配置副本存储规则中所指定的文件目录。第三存储模块39，用于在第三判断模块38判断到文件目录为预配置副本存储规则中所指定的文件目录时，根据预设副本存储算法，将待存储文件存储至副本存储池。提取模块40，用于在第三判断模块38判断到文件目录不为预配置副本存储规则中所指定的文件目录时，提取文件目录的创建时间和当前时间。第四判断模块41，用于判断当前时间与创建时间之间的时间间隔是否小于第一预定期限。第四存储模块42，用于在第四判断模块41判断到时间间隔小于第一预定期限时，根据预设副本存储算法，将待存储文件存储至副本存储池。第五存储模块43，用于在第四判断模块41判断到时间间隔大于或者等于第一预定期限时，根据预设纠删码存储算法，将待存储文件存储至纠删码存储池。最新目录下的文件最近被访问的可能性最高，将其配置成副本存储，可提高处理效率。

装置30还包括第四获取模块44、第四判断模块45和调度模块46。

第四获取模块44，用于在根据预设副本存储算法，将待存储文件存储至副本存储池之前，获取副本存储池的剩余空间。第四判断模块，用于判断剩余空间是否大于待存储文件的大小，若是，则直接根据预设副本存储算法，将待存储文件存储至副本存储池。调度模块45，用于在第四判断模块46判断到剩余空间小于所述待存储文件的大小，则根据预设调度算法，从副本存储池提取文件，并将根据预设纠删码存储算法，将所提取到的文件转移至纠删码存储池。

预设调度算法具体为根据文件的访问热度进行调度的算法，则装置还包括记录模块(图未示)。

记录模块，用于在访问所述副本存储池的文件时，记录被访问的文件的访问时间以及访问次数。调度模块具体用于获取当前时间，结合访问时间，从副本存储池提取距离当前时间的第二预定期限内访问次数大于预定值的文件，并将根据预设纠删码存储算法，将所提取到的文件转移至纠删码存储池。当然，在其它替代实施方式中，预设调度算法也可以为其它调度算法，例如：先进先出调度，先进后出调度等等。

在本发明实施方式中，对于小于预定阈值的待存储文件，根据预设副本存储算法，将待存储文件存储至副本存储池，对于大于或等于预定阈值的待存储文件，根据预设纠删码存储算法，将待存储文件存储至纠删码存储池，实现小文件进行副本存储，大文件进行纠删码存储，充分发挥副本存储和纠删码存储的优点，提高处理效率；还可对于特定类型的大文件配置为副本存储，以使所存储的文件可适应不同场景，以达到高效存储文件的目的。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种存储文件的方法，其特征在于，存储空间划分有副本存储池和纠删码存储池，所述方法包括：

接收待存储文件；

判断所述待存储文件的大小是否小于预定阈值；

若小于阈值，则根据预设副本存储算法，将所述待存储文件存储至副本存储池；

若大于或等于阈值，获取所述待存储文件的文件类型；

判断所述待存储文件的文件类型是否为预配置副本存储规则中所指定的类型；

若是，则根据所述预设副本存储算法，将所述待存储文件存储至副本存储池。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述待存储文件的文件类型不是预配置副本存储规则中所指定的类型，在文件管理***中，获取所述待存储文件所在的文件目录；

判断所述文件目录是否为预配置副本存储规则中所指定的文件目录；

若所述文件目录不是预配置副本存储规则中所指定的文件目录，则提取所述文件目录的创建时间和当前时间；

判断所述当前时间与创建时间之间的时间间隔是否小于第一预定期限；

若小于第一预定期限，则根据所述预设副本存储算法，将所述待存储文件存储至副本存储池；

若大于或等于第一预定期限，则根据预设纠删码存储算法，将所述待存储文件存储至纠删码存储池；

若所述文件目录是预配置副本存储规则中所指定的文件目录，则根据所述预设副本存储算法，将所述待存储文件存储至副本存储池。

3.根据权利要求2所述的方法，其特征在于，

在根据所述预设副本存储算法，将所述待存储文件存储至副本存储池之前，所述方法还包括：

获取所述副本存储池的剩余空间；

判断所述剩余空间是否大于所述待存储文件的大小；

若是，则根据所述预设副本存储算法，将所述待存储文件存储至副本存储池之前；

若否，则根据预设调度算法，从所述副本存储池提取文件，并将根据预设纠删码存储算法，将所提取到的文件转移至纠删码存储池。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在访问所述副本存储池的文件时，记录被访问的文件的访问时间以及访问次数；

所述根据预设调度算法，从所述副本存储池提取文件的步骤具体包括：

获取当前时间；

结合所述访问时间，从所述副本存储池提取距离所述当前时间的第二预定期限内访问次数大于预定值的文件。

5.根据权利要求1所述的方法，其特征在于，

所述预定阈值为100兆。

6.一种存储文件的装置，其特征在于，所述装置包括存储空间，所述存储空间划分有副本存储池和纠删码存储池，所述装置还包括：

接收模块，用于接收待存储文件；

第一判断模块，用于判断所述待存储文件的大小是否小于预定阈值；

第一存储模块，用于在所述第一判断模块判断到待存储文件的大小小于阈值时，根据预设副本存储算法，将所述待存储文件存储至副本存储池；

第一获取模块，用于在所述第一判断模块判断到待存储文件的大小大于或等于阈值时，获取所述待存储文件的文件类型；

第二判断模块，用于判断所述待存储文件的文件类型是否为预配置副本存储规则中所指定的类型；

第二存储模块，用于在所述第二判断模块判断到待存储文件的文件类型为预配置副本存储规则中所指定的类型时，根据预设副本存储算法，将所述待存储文件存储至副本存储池。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于在所述第二判断模块判断到待存储文件的文件类型不为预配置副本存储规则中所指定的类型时，在文件管理***中，获取所述待存储文件所在的文件目录；

第三判断模块，用于判断所述文件目录是否为预配置副本存储规则中所指定的文件目录；

第三存储模块，用于在所述第三判断模块判断到所述文件目录为预配置副本存储规则中所指定的文件目录时，根据所述预设副本存储算法，将所述待存储文件存储至副本存储池；

提取模块，用于在所述第三判断模块判断到所述文件目录不为预配置副本存储规则中所指定的文件目录时，提取所述文件目录的创建时间和当前时间；

第四判断模块，用于判断所述当前时间与创建时间之间的时间间隔是否小于第一预定期限；

第四存储模块，用于在所述第三判断模块判断到所述时间间隔小于第一预定期限时，根据所述预设副本存储算法，将所述待存储文件存储至副本存储池；

第五存储模块，用于在所述第三判断模块判断到所述时间间隔大于或者等于第一预定期限时，根据预设纠删码存储算法，将所述待存储文件存储至纠删码存储池。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第四获取模块，用于在根据所述预设副本存储算法，将所述待存储文件存储至副本存储池之前，获取所述副本存储池的剩余空间；

第五判断模块，用于判断所述剩余空间是否大于所述待存储文件的大小，若是，则直接根据所述预设副本存储算法，将所述待存储文件存储至副本存储池；

调度模块，用于在所述第四判断模块判断到剩余空间小于所述待存储文件的大小，则根据预设调度算法，从所述副本存储池提取文件，并将根据预设纠删码存储算法，将所提取到的文件转移至纠删码存储池。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

记录模块，用于在访问所述副本存储池的文件时，记录被访问的文件的访问时间以及访问次数；

所述调度模块具体用于获取当前时间，结合所述访问时间，从所述副本存储池提取距离所述当前时间的第二预定期限内访问次数大于预定值的文件，并将根据预设纠删码存储算法，将所提取到的文件转移至纠删码存储池。

10.根据权利要求6所述的装置，其特征在于，

所述预定阈值为100兆。