CN104408047A - 一种基于nfs文件服务器的文本文件多机并行上传到hdfs方法 - Google Patents
一种基于nfs文件服务器的文本文件多机并行上传到hdfs方法 Download PDFInfo
- Publication number
- CN104408047A CN104408047A CN201410584207.8A CN201410584207A CN104408047A CN 104408047 A CN104408047 A CN 104408047A CN 201410584207 A CN201410584207 A CN 201410584207A CN 104408047 A CN104408047 A CN 104408047A
- Authority
- CN
- China
- Prior art keywords
- node
- file
- uploading
- hdfs
- uploaded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000005516 engineering process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
- G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Document Processing Apparatus (AREA)
Abstract
本发明提供一种基于NFS文件服务器的文本文件多机并行上传到HDFS方法,是选取HDFS集群中N个主机,然后选择任一节点作为主节点,其他N-1个节点作为从节点,在主节点上,获取要上传的NFS文件服务器要上传目录下文件,对于每一个文件,采用并行上传方法,即集群中所有机器都参与上传,集群中每一台主机负责上传每一个文件1/N大小的连续的数据块,达到并行上传的目的,从而提高上传速度。
Description
技术领域
本发明涉及大数据存储技术领域, 具体地说是一种基于NFS文件服务器的文本文件多机并行上传到HDFS方法。
背景技术
伴随着计算机网络的发展,海量数据的时代已经到来。互联网数据中心预测全球的数据使用量到2020年将会增长44倍,达到35.2ZB。
对于如此大数据集的存储、分析、管理和挖掘,传统技术(包括传统关系数据库)是无法胜任的,如何最快最好的分析和理解这些数据是摆在大家面前的当务之急。而在现在已拥有的技术和工具中,最成熟也最成功的一套大数据解决方案为Hadoop文件存储计算框架及构架于其上的相关组件。对于每天生成的大量文本文件,如果快速的上传到HDFS用于后续的处理,是当前面临的一个问题。为解决文本文件快速上传的问题,本文提出了一种基于基于NFS文件服务器的文本文件多机并行上传到HDFS方法。
HDFS默认采用三副本机制,对于HDFS的客户端来说,当某一个用户正在用一个客户端来向HDFS中写数据,如果该客户端上有DataNode节点,NameNode最优先考虑把正在写入的数据的一个副本保存在这个客户端的DataNode节点上,另外两个副本保存到集群其他DataNode节点上,这样在整个集群中,如果仅有一个客户端写入操作的话,集群中只有3个DataNode节点工作,其他DataNode节点是空闲的,不能发挥整个集群的性能。
发明内容
本发明的目的是提供一种基于NFS文件服务器的文本文件多机并行上传到HDFS方法。
本发明的目的是按以下方式实现的,选取HDFS集群中N个主机,然后选择任一节点作为主节点,其他N-1个节点作为从节点,在主节点上,获取要上传的NFS文件服务器要上传目录下文件,对于每一个文件,采用并行上传方法,即集群中所有机器都参与上传,集群中每一台主机负责上传每一个文件1/N大小的连续的数据块,达到并行上传的目的,从而提高上传速度,具体步骤流程为:
1)主节点上MainPut程序计算N个节点每个节点待上传数据块起止字节流,并启动N个节点上BlockPut程序并行上传;如果第一次运行,会在每一个节点上安装一个可执行程序BlockPut,用于上传本节点所负责上传的数据块,然后向每一个从节点发起命令启动BlockPut程序;
2)每个节点上BlockPut程序负责将待上传数据块上传到HDFS,BlockPut打开一个待上传文件输入流InputStream,InputStream定位到起始字节流,后在HDFS上创建一个独立文件,将起止字节流写入到HDFS独立文件中。
将待上传目录挂载到N个节点的默认统一目录。
N不大于NFS文件服务器并行读时可达最大带宽时的客户端数,
本发明的目的有益效果是:本分明选取了集群中N个节点作为客户端,将一个文件分成N个数据块同时上传,每个客户端负责一块,每个分块在HDFS上保存为一个独立的文件,能最大限度的利用整个集群的性能。将一个文本文件分块并行上传,最大限度的发挥集群的性能,提高上传效率。
附图说明
图1 是基于多机并行上传处理框架图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
选取HDFS集群中N个主机,然后选择任一节点作为主节点,其他N-1个节点作为从节点,在主节点上,获取要上传的NFS文件服务器要上传目录下文件,对于每一个文件,采用并行上传方法,即集群中所有机器都参与上传,集群中每一台主机负责上传每一个文件1/N大小的连续的数据块,达到并行上传的目的,从而提高上传速度, 本发明的一种基于NFS文件服务器的文本文件多机并行上传到HDFS方法, 整个流程为:
1)主节点上MainPut程序计算N个节点每个节点待上传数据块起止字节流,,并启动N个节点上BlockPut程序并行上传;如果第一次运行,会在每一个节点上安装一个可执行程序BlockPut,用于上传本节点所负责上传的数据块,然后向每一个从节点发起命令启动BlockPut程序;
2)每个节点上BlockPut程序负责将待上传数据块上传到HDFS,BlockPut打开一个待上传文件输入流InputStream,InputStream定位到起始字节流,后在HDFS上创建一个独立文件,将起止字节流写入到HDFS独立文件中。
除说明书所述的技术特征外,均为本专业技术人员的已知技术。
Claims (3)
1.一种基于NFS文件服务器的文本文件多机并行上传到HDFS方法, 其特征在于,选取HDFS集群中N个主机,然后选择任一节点作为主节点,其他N-1个节点作为从节点,在主节点上,获取要上传的NFS文件服务器要上传目录下文件,对于每一个文件,采用并行上传方法,即集群中所有机器都参与上传,集群中每一台主机负责上传每一个文件1/N大小的连续的数据块,达到并行上传的目的,从而提高上传速度,具体步骤流程为:
主节点上MainPut程序计算N个节点每个节点待上传数据块起止字节流,并启动N个节点上BlockPut程序并行上传;如果第一次运行,会在每一个节点上安装一个可执行程序BlockPut,用于上传本节点所负责上传的数据块,然后向每一个从节点发起命令启动BlockPut程序;
2)每个节点上BlockPut程序负责将待上传数据块上传到HDFS,BlockPut打开一个待上传文件输入流InputStream,InputStream定位到起始字节流,后在HDFS上创建一个独立文件,将起止字节流写入到HDFS独立文件中。
2.根据权利要求1所述的方法,其特征在于将待上传目录挂载到N个节点的默认统一目录。
3.根据权利要求1所述的方法,其特征在于,N不大于NFS文件服务器并行读时可达最大带宽时的客户端数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410584207.8A CN104408047A (zh) | 2014-10-28 | 2014-10-28 | 一种基于nfs文件服务器的文本文件多机并行上传到hdfs方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410584207.8A CN104408047A (zh) | 2014-10-28 | 2014-10-28 | 一种基于nfs文件服务器的文本文件多机并行上传到hdfs方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104408047A true CN104408047A (zh) | 2015-03-11 |
Family
ID=52645679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410584207.8A Pending CN104408047A (zh) | 2014-10-28 | 2014-10-28 | 一种基于nfs文件服务器的文本文件多机并行上传到hdfs方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104408047A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105357317A (zh) * | 2015-12-07 | 2016-02-24 | 金蝶软件(中国)有限公司 | 一种基于多客户端轮循排队的数据上传方法及*** |
CN105357280A (zh) * | 2015-10-19 | 2016-02-24 | 福建新大陆软件工程有限公司 | 一种基于hdfs的文件溯源ftp*** |
CN105610899A (zh) * | 2015-12-10 | 2016-05-25 | 浪潮(北京)电子信息产业有限公司 | 一种文本文件并行上传方法及装置 |
CN106339473A (zh) * | 2016-08-29 | 2017-01-18 | 北京百度网讯科技有限公司 | 文件复制方法及装置 |
CN107800691A (zh) * | 2017-10-12 | 2018-03-13 | 云巅(上海)网络科技有限公司 | 基于分布式存储机制实现按需构建应用程序访问数据副本的***及方法 |
CN108280214A (zh) * | 2017-02-02 | 2018-07-13 | 马志强 | 应用于分布式基因组分析的快速i/o*** |
CN109325002A (zh) * | 2018-09-03 | 2019-02-12 | 北京京东金融科技控股有限公司 | 文本文件处理方法、装置、***、电子设备、存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030110237A1 (en) * | 2001-12-06 | 2003-06-12 | Hitachi, Ltd. | Methods of migrating data between storage apparatuses |
CN101227460A (zh) * | 2007-01-19 | 2008-07-23 | 秦晨 | 分布式文件上传、下载方法及其装置和*** |
CN103530388A (zh) * | 2013-10-22 | 2014-01-22 | 浪潮电子信息产业股份有限公司 | 一种云存储***中提升性能的数据处理方法 |
CN103544285A (zh) * | 2013-10-28 | 2014-01-29 | 华为技术有限公司 | 一种数据加载方法及装置 |
CN103970881A (zh) * | 2014-05-16 | 2014-08-06 | 浪潮(北京)电子信息产业有限公司 | 一种实现文件上传的方法及*** |
CN103971066A (zh) * | 2014-05-20 | 2014-08-06 | 浪潮电子信息产业股份有限公司 | 一种hdfs中大数据迁移完整性验证的方法 |
-
2014
- 2014-10-28 CN CN201410584207.8A patent/CN104408047A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030110237A1 (en) * | 2001-12-06 | 2003-06-12 | Hitachi, Ltd. | Methods of migrating data between storage apparatuses |
CN101227460A (zh) * | 2007-01-19 | 2008-07-23 | 秦晨 | 分布式文件上传、下载方法及其装置和*** |
CN103530388A (zh) * | 2013-10-22 | 2014-01-22 | 浪潮电子信息产业股份有限公司 | 一种云存储***中提升性能的数据处理方法 |
CN103544285A (zh) * | 2013-10-28 | 2014-01-29 | 华为技术有限公司 | 一种数据加载方法及装置 |
CN103970881A (zh) * | 2014-05-16 | 2014-08-06 | 浪潮(北京)电子信息产业有限公司 | 一种实现文件上传的方法及*** |
CN103971066A (zh) * | 2014-05-20 | 2014-08-06 | 浪潮电子信息产业股份有限公司 | 一种hdfs中大数据迁移完整性验证的方法 |
Non-Patent Citations (1)
Title |
---|
杨锋 等: "基于Hadoop 的海量农业数据资源管理平台", 《计算机工程》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105357280A (zh) * | 2015-10-19 | 2016-02-24 | 福建新大陆软件工程有限公司 | 一种基于hdfs的文件溯源ftp*** |
CN105357280B (zh) * | 2015-10-19 | 2019-02-19 | 福建新大陆软件工程有限公司 | 一种基于hdfs的文件溯源ftp*** |
CN105357317A (zh) * | 2015-12-07 | 2016-02-24 | 金蝶软件(中国)有限公司 | 一种基于多客户端轮循排队的数据上传方法及*** |
CN105357317B (zh) * | 2015-12-07 | 2019-06-07 | 金蝶软件(中国)有限公司 | 一种基于多客户端轮循排队的数据上传方法及*** |
CN105610899A (zh) * | 2015-12-10 | 2016-05-25 | 浪潮(北京)电子信息产业有限公司 | 一种文本文件并行上传方法及装置 |
CN105610899B (zh) * | 2015-12-10 | 2019-09-24 | 浪潮(北京)电子信息产业有限公司 | 一种文本文件并行上传方法及装置 |
CN106339473A (zh) * | 2016-08-29 | 2017-01-18 | 北京百度网讯科技有限公司 | 文件复制方法及装置 |
CN108280214A (zh) * | 2017-02-02 | 2018-07-13 | 马志强 | 应用于分布式基因组分析的快速i/o*** |
CN107800691A (zh) * | 2017-10-12 | 2018-03-13 | 云巅(上海)网络科技有限公司 | 基于分布式存储机制实现按需构建应用程序访问数据副本的***及方法 |
CN109325002A (zh) * | 2018-09-03 | 2019-02-12 | 北京京东金融科技控股有限公司 | 文本文件处理方法、装置、***、电子设备、存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104408047A (zh) | 一种基于nfs文件服务器的文本文件多机并行上传到hdfs方法 | |
CN111966684B (zh) | 用于分布式数据集索引的装置、方法和计算机程序产品 | |
EP3080720B1 (en) | Social-driven recaching of accessible objects | |
US20190114537A1 (en) | Distributed training and prediction using elastic resources | |
US11716271B2 (en) | Automated data flows using flow-based data processor blocks | |
US20140115282A1 (en) | Writing data from hadoop to off grid storage | |
US9767040B2 (en) | System and method for generating and storing real-time analytics metric data using an in memory buffer service consumer framework | |
US9715532B1 (en) | Systems and methods for content object optimization | |
US10284671B2 (en) | Dynamic bundling of web components for asynchronous delivery | |
US9712612B2 (en) | Method for improving mobile network performance via ad-hoc peer-to-peer request partitioning | |
JP7038740B2 (ja) | キャッシュ最適化及び効率的な処理のためのデータ集約の方法 | |
JP6386089B2 (ja) | 最適化されたブラウザレンダリングプロセス | |
US9754015B2 (en) | Feature rich view of an entity subgraph | |
Pal et al. | Big data real time ingestion and machine learning | |
US20160259494A1 (en) | System and method for controlling video thumbnail images | |
Dev et al. | A survey of different technologies and recent challenges of big data | |
US20170236132A1 (en) | Automatically modeling or simulating indications of interest | |
Chen et al. | The research about video surveillance platform based on cloud computing | |
US20220231980A1 (en) | Enhancing a social media post with content that is relevant to the audience of the post | |
US11481168B2 (en) | Data streams of production intents | |
Ting et al. | Smart video hosting and processing platform for Internet-of-Things | |
US10540669B2 (en) | Managing object values and resource consumption | |
US9767217B1 (en) | Streaming graph computations in a distributed processing system | |
Li et al. | Enabling performance as a service for a cloud storage system | |
Basha et al. | Storage and processing speed for knowledge from enhanced cloud computing with Hadoop frame work: A survey |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150311 |
|
WD01 | Invention patent application deemed withdrawn after publication |