CN102902716A - 基于Hadoop分布式计算平台的存储*** - Google Patents

Abstract

本发明公开了一种基于Hadoop分布式计算平台的存储***，包括HDFS通用文件处理模块、文件类型判断模块、小文件处理模块和定时模块；所述文件类型判断模块用于判断用户上传的文件是否属于小文件；定时模块，通过设置定时器计时，到达预定周期时进行统计小文件处理模块中小文件序列的大小，判断小文件序列的大小是否大于HDFS文件***的块；小文件处理模块，用于将每个小文件作为一个Record存入SequenceFile类中形成小文件队列。该***减少了HDFS中小文件的数量，有效地提高了HDFS中文件读取的性能。

Description

基于Hadoop分布式计算平台的存储***

技术领域

本发明属于Hadoop分布式计算平台文件***技术领域，具体涉及一种基于Hadoop分布式计算平台的存储***。

背景技术

Hadoop Distributed File System，简称HDFS，是一个分布式文件***。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。HDFS放宽了POSIX的要求这样可以实现流的形式访问（streaming access）文件***中的数据。HDFS开始是为开源的apache项目nutch的基础结构而创建，HDFS是hadoop项目的一部分，而hadoop又是lucene的一部分。

随着企业要处理的数据量越来越大，MapReduce思想越来越受到重视。Hadoop是MapReduce的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop作为一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，HDFS的小文件问题便是其中之一。小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先，在HDFS中，任何block，文件或者目录在内存中均以对象的形式存储，每个对象约占150byte，如果有10000000个小文件，每个文件占用一个block，则namenode需要2G空间（存两份）。如果存储1亿个文件，则namenode需要20G空间。这样namenode内存容量严重制约了集群的扩展。其次，访问大量小文件速度远远小于访问几个大文件。HDFS最初是为流式访问大文件开发的，如果访问大量小文件，需要不断的从一个datanode跳到另一个datanode，严重影响性能。最后，处理大量小文件速度远远小于处理同等大小的大文件的速度。每一个小文件要占用一个slot，而task启动将耗费大量时间甚至大部分时间都耗费在启动task和释放task上。解决HDFS小文件问题，有助于扩大HDFS的应用范围及增强其扩展性和性能。本发明因此而来。

发明内容

本发明目的在于提供一种基于Hadoop分布式计算平台的存储***，解决了现有技术中Hadoop分布式计算平台小文件数量太大导致性能下降明显等问题。

为了解决现有技术中的这些问题，本发明提供的技术方案是：

一种基于Hadoop分布式计算平台的存储***，包括HDFS通用文件处理模块，其特征在于所述***还包括文件类型判断模块、小文件处理模块和定时模块；所述文件类型判断模块用于判断用户上传的文件是否属于小文件；当用户上传的文件大小小于HDFS文件***的块时，文件类型判断模块判断文件为小文件，否则文件类型判断模块判断文件为大文件；

定时模块，通过设置定时器计时，到达预定周期时进行统计小文件处理模块中小文件序列的大小，判断小文件序列的大小是否大于HDFS文件***的块；

小文件处理模块，用于将每个小文件作为一个Record存入SequenceFile类中形成小文件队列；当定时模块判断小文件序列的大小大于HDFS文件***的块时，以小文件的文件名作为Key值，而文件内容作为Value值，一次性将小文件队列写入MapFile中，并同时删除已处理的小文件。

优选的，所述***还包括小文件状态数据库，采用MySQL数据库存储小文件的文件名、文件大小、上传日期、存储路径，并使用FileList对象维护该小文件队列；当小文件队列写入MapFile后，更新FileList对象和MySQL数据库后，再删除已处理的小文件。

优选的，所述***还设置有文件信息表，所述文件信息表设置小文件状态字段flag，flag=0表示小文件处于待处理状态，flag=1表示小文件已处理，并存在于HDFS的MapFile中，flag=2表示小文件重生成写入到本地磁盘中。

优选的，所述***构建MySQL索引和MapFile索引，MapFile索引通过文件信息表的文件名字段构建索引。

本发明的另一目的在于提供一种基于Hadoop分布式计算平台的存储***的文件上传存储方法，其特征在于所述方法包括以下步骤：

（1）用户向具有基于Hadoop分布式计算平台的存储***的服务器上传文件；

（2）文件文件类型判断模块判断用户上传的文件是否属于小文件；当上传的文件为大文件时，直接上传存储到HDFS中；当上传的文件为小文件时，将每个小文件作为一个Record存入SequenceFile类中形成小文件队列，并启动定时模块；

（3）当到达预定周期时进行统计小文件处理模块中小文件序列的大小，判断小文件序列的大小是否大于HDFS文件***的块；当定时模块判断小文件序列的大小大于HDFS文件***的块时，以小文件的文件名作为Key值，而文件内容作为Value值，一次性将小文件队列写入MapFile中，并同时删除已处理的小文件。

本发明的又一目的在于提供一种基于Hadoop分布式计算平台的存储***的文件下载读取方法，其特征在于所述方法包括以下步骤：

（1）用户向具有基于Hadoop分布式计算平台的存储***的服务器发送下载文件；

（2）具有基于Hadoop分布式计算平台的存储***判断文件是否存储在本地磁盘；

（3）当文件存在于本地磁盘，直接通过下载组件访问下载；

（4）当文件不存在于本地磁盘，具有基于Hadoop分布式计算平台的存储***启动MYSQL索引和MapFile索引，先将小文件从MapFile中读取到本地磁盘，然后通过下载组件访问下载。

相对于现有技术中的方案，本发明的优点是：

本发明技术方案基于Hadoop的小文件存储方法，解决了HDFS的小文件存储问题。本发明技术方案使用SequenceFile作为解决小文件读写的方案就是说，将每个小文件作为一个Record存入SequenceFile中，其中，文件名作为Key值，而文件内容作为Value值，这种方法不论是从理论还是在众多实践中，是目前在HDFS中处理小文件最佳的解决途径。

附图说明

下面结合附图及实施例对本发明作进一步描述：

图1为基于Hadoop分布式计算平台的存储***的文件上传的流程示意图。

图2为基于Hadoop分布式计算平台的存储***的文件下载的流程示意图。

具体实施方式

以下结合具体实施例对上述方案做进一步说明。应理解，这些实施例是用于说明本发明而不限于限制本发明的范围。实施例中采用的实施条件可以根据具体厂家的条件做进一步调整，未注明的实施条件通常为常规实验中的条件。

实施例

如图1所示，本实施例在原有HDFS基础上添加一个小文件处理模块、文件类型判断模块和定时模块。其中所述文件类型判断模块用于判断用户上传的文件是否属于小文件；当用户上传的文件大小小于HDFS文件***的块时，文件类型判断模块判断文件为小文件，否则文件类型判断模块判断文件为大文件；定时模块，通过设置定时器计时，到达预定周期时进行统计小文件处理模块中小文件序列的大小，判断小文件序列的大小是否大于HDFS文件***的块；小文件处理模块，用于将每个小文件作为一个Record存入SequenceFile类中形成小文件队列；当定时模块判断小文件序列的大小大于HDFS文件***的块时，以小文件的文件名作为Key值，而文件内容作为Value值，一次性将小文件队列写入MapFile中，并同时删除已处理的小文件。

具体上传文件时，如图1所示，具体操作流程如下：

1、当用户上传文件时，判断该文件是否属于小文件，如果是，则交给小文件处理模块处理，否则，交给通用文件处理模块处理。

2、在小文件模块中开启一定时任务，其主要功能是当模块中文件总size大于HDFS上block大小的文件时，则通过SequenceFile组件以文件名做key，相应的文件内容为value将这些小文件一次性写入HDFS模块。

3、同时删除已处理的文件，并将结果写入数据库。

4、当用户进行读取操作时，可根据数据库中的结果标志来读取文件。

本发明技术方案减少了HDFS中小文件的数量，有效地提高了HDFS中文件读取的性能。

小文件通过上传组件上传到服务器上，同时使用FileList对象维护一个小文件队列，记录upload目录下总的文件大小，文件名列表，然后将FileList对象通过对象序列化技术持久化到本地磁盘。同时将小文件基本信息如文件名、文件大小、上传日期、存储路径等记录在MySQL数据库中。小文件有三种状态，分别是待处理（在本地磁盘upload目录下）、已处理（在HDFS中）、重生成（在本地磁盘download目录下），对应于文件信息表filetb的字段flag为0、1、2。在web方式下，使用Timer和TimeTask来指定一个定时任务，这个任务每隔五分钟将FileList对象读入内存，通过判断总的文件大小决定是否将upload目录下的小文件写入HDFS中。若总的文件大小大于HDFS block大小，通过MapFile组件以文件名做key，相应的文件内容为value将这些小文件一次性写入HDFS中，同时更新FileList对象和MySQL数据库，最后删掉这些小文件。这里定时任务主要执行的是MapFileTools类中MapFileWriter方法。

当要下载小文件时，首先根据filetb表的flag字段判断小文件是否在本地磁盘。若小文件不在本地磁盘，先将小文件从HDFS的MapFile中读到本地磁盘，并更新数据库，然后使用下载组件下载小文件。

为了高效地对小文件进行随机读取，本实施例采用两级索引，第一级是MySQL索引，第二级是MapFile的索引。MapFile的索引为filetb的filename字段建立索引，以便快速查询小文件所在的MapFile文件。MapFile包含两个文件：data文件、index文件。MapFile可以查找单个键（小文件名）所对应的value值。执行查找时，MapFile.Reader()需要把index读入内存中，然后执行一个简单的二叉搜索找到数据，MapFile.Reader()在查找时，会先在索引文件中找到小于想要找的索引key值，然后再到data文件中向后查找。Hadoop提供了一个非常有效的方法，就是读取索引文件时，可以隔几个索引key再读取索引key值，这样可以有效地降低读入内存的索引文件的大小。至于跳过key的个数是通过io.map.index.skip来设置的。

JAVA实现文件上传的几个组件：1、SmartUpload用的最多的一个组件，已经不再更新了，可以实现上传和下载；2、FileUpload Apache实现的文件上传组件，功能齐备；3、J2KUpload java2000实现的文件上传组件，全部使用内存，适合多个不超过10M的小文件。本发明主要采用第二种方式，按copy方式上传，将本地文件上传到服务器上，支持多文件上传，并且可以设置上传文件的大小、类型。

下载相对简单，只需提供文件的下载地址就可以了。文件的存放路径分为物理路径和虚拟路径。物理路径指的是文件存放在服务器硬盘上的位置，虚拟路径指的是文件存放在HDFS的位置，虚拟路径转换为物理路径的过程上文已经阐明，不再赘述。

上述实例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人是能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种基于Hadoop分布式计算平台的存储***，包括HDFS通用文件处理模块，其特征在于所述***还包括文件类型判断模块、小文件处理模块和定时模块；所述文件类型判断模块用于判断用户上传的文件是否属于小文件；当用户上传的文件大小小于HDFS文件***的块时，文件类型判断模块判断文件为小文件，否则文件类型判断模块判断文件为大文件；

定时模块，通过设置定时器计时，到达预定周期时进行统计小文件处理模块中小文件序列的大小，判断小文件序列的大小是否大于HDFS文件***的块；

小文件处理模块，用于将每个小文件作为一个Record存入SequenceFile类中形成小文件队列；当定时模块判断小文件序列的大小大于HDFS文件***的块时，以小文件的文件名作为Key值，而文件内容作为Value值，一次性将小文件队列写入MapFile中，并同时删除已处理的小文件。

2.根据权利要求1所述的基于Hadoop分布式计算平台的存储***，其特征在于所述***还包括小文件状态数据库，采用MySQL数据库存储小文件的文件名、文件大小、上传日期、存储路径，并使用FileList对象维护该小文件队列；当小文件队列写入MapFile后，更新FileList对象和MySQL数据库后，再删除已处理的小文件。

3.根据权利要求1所述的基于Hadoop分布式计算平台的存储***，其特征在于所述***还设置有文件信息表，所述文件信息表设置小文件状态字段flag，flag=0表示小文件处于待处理状态，flag=1表示小文件已处理，并存在于HDFS的MapFile中，flag=2表示小文件重生成写入到本地磁盘中。

4.根据权利要求3所述的基于Hadoop分布式计算平台的存储***，其特征在于所述***构建MySQL索引和MapFile索引，MapFile索引通过文件信息表的文件名字段构建索引。

5.一种基于Hadoop分布式计算平台的存储***的文件上传存储方法，其特征在于所述方法包括以下步骤：

（1）用户向具有基于Hadoop分布式计算平台的存储***的服务器上传文件；

（2）文件文件类型判断模块判断用户上传的文件是否属于小文件；当上传的文件为大文件时，直接上传存储到HDFS中；当上传的文件为小文件时，将每个小文件作为一个Record存入SequenceFile类中形成小文件队列，并启动定时模块；

（3）当到达预定周期时进行统计小文件处理模块中小文件序列的大小，判断小文件序列的大小是否大于HDFS文件***的块；当定时模块判断小文件序列的大小大于HDFS文件***的块时，以小文件的文件名作为Key值，而文件内容作为Value值，一次性将小文件队列写入MapFile中，并同时删除已处理的小文件。

6.一种基于Hadoop分布式计算平台的存储***的文件下载读取方法，其特征在于所述方法包括以下步骤：

（1）用户向具有基于Hadoop分布式计算平台的存储***的服务器发送下载文件；

（2）具有基于Hadoop分布式计算平台的存储***判断文件是否存储在本地磁盘；

（3）当文件存在于本地磁盘，直接通过下载组件访问下载；

（4）当文件不存在于本地磁盘，具有基于Hadoop分布式计算平台的存储***启动MYSQL索引和MapFile索引，先将小文件从MapFile中读取到本地磁盘，然后通过下载组件访问下载。

Images