CN103023995A - 一种基于Hadoop的分布式云存储自动分级数据管理*** - Google Patents

一种基于Hadoop的分布式云存储自动分级数据管理*** Download PDF

Info

Publication number
CN103023995A
CN103023995A CN201210499413XA CN201210499413A CN103023995A CN 103023995 A CN103023995 A CN 103023995A CN 201210499413X A CN201210499413X A CN 201210499413XA CN 201210499413 A CN201210499413 A CN 201210499413A CN 103023995 A CN103023995 A CN 103023995A
Authority
CN
China
Prior art keywords
data
message
module
node
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201210499413XA
Other languages
English (en)
Other versions
CN103023995B (zh
Inventor
张大华
罗志明
周里涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Sichuan Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
State Grid Sichuan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI, State Grid Sichuan Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201210499413.XA priority Critical patent/CN103023995B/zh
Publication of CN103023995A publication Critical patent/CN103023995A/zh
Application granted granted Critical
Publication of CN103023995B publication Critical patent/CN103023995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供一种基于Hadoop的分布式云存储自动分级数据管理***，包括节点服务器和中心服务器，所述节点服务器采集服务器状态消息和数据温度分布消息，并将所采集的消息发送到所述中心服务器的数据分级管理模块。本发明通过在中心服务器上部署数据分级管理模块，统一接收来自HDFS集群中数据节点和名字节点发送的消息，经处理后形成带外数据分级指令，并发送给HDFS集群中的名字节点负责最终的数据块再分布，从而实现基于Hadoop的分布式云存储***的自动数据分级管理，提高存储资源的利用率。

Description

一种基于Hadoop的分布式云存储自动分级数据管理***
技术领域
本发明属于计算机技术领域，具体涉及一种基于Hadoop的分布式云存储自动分级数据管理***。
背景技术
随着云计算技术在国内外的高速发展，基于Hadoop分布式文件***（HDFS）的云存储技术得到了广泛的应用。通过利旧和新增PC服务器的方式建立规模庞大的HDFS集群，利用PC服务器上的本地磁盘提供高性能、高性价比、可弹性扩展的分布式云存储服务。
由于组成HDFS集群的服务器节点的差异性，集群中节点很有可能具有不同的存储性能和存储容量。因此，如何充分考虑节点间的差异性，最优化存储资源的分配是构建基于Hadoop的分布式云存储***亟待解决的问题。
发明内容
为了克服上述现有技术的不足，本发明提供一种基于Hadoop的分布式云存储自动分级数据管理***，实现自动数据分级管理，提高存储资源利用率。
为了实现上述发明目的，本发明采取如下技术方案：
提供一种基于Hadoop的分布式云存储自动分级数据管理***，所述***包括节点服务器和中心服务器，所述节点服务器采集服务器状态消息和数据温度分布消息，并将所采集的消息发送到所述中心服务器的数据分级管理模块。
所述节点服务器包括服务器信息采集模块、数据温度采集模块和数据分级代理模块；所述服务器信息采集模块和数据温度采集模块分别采集服务器状态消息和数据温度分布消息，并分别将采集的消息发送到所述数据分级管理模块。
所述服务器信息采集模块部署在HDFS集群的数据节点上，所述数据温度采集模块和数据分级代理模块部署在所述HDFS集群的名字节点上，所述数据分级管理模块部署在所述中心服务器上。
所述服务器状态消息包含数据节点的硬件配置和运行状态信息，所述数据温度分布消息包含数据温度消息和数据分布消息。
所述消息均包括消息头和消息体，所述消息头包括中心服务器名称、IP地址、节点ID、加密方法、校验和时间戳；所述消息体包括经消息头指定加密方法加密后的节点硬件配置、节点运行状态、数据温度和数据分布。
所述数据分级代理模块接收带外数据分级命令，解析所述带外数据分级命令获取需要移动数据块信息，并将所获取信息告知名字节点，所述名字节点接收信息的同时复制目标数据块到目标节点，并删除源数据节点上的数据块，需要移动数据块消息全部获取结束后，名字节点向数据分级代理模块发送成功消息，所述数据分级代理模块向数据分级管理模块发送确认消息。
所述需要移动数据块信息包括需要移动的目标数据块ID、源数据节点ID和目的节点ID。
所述中心服务器包括消息接收模块、信息持久化模块、信息缓存模块、数据分级管理模块、指令加工模块、指令发送模块、分析引擎模块节点和注册模块。
所述消息接收模块接收来自数据节点和名字节点分别发送的服务器状态消息和数据温度分布消息，对消息进行解析并送往所述数据分级管理模块；
所述数据分级管理模块生成带外数据分级命令，并周期性发送给名字节点；
所述信息缓存模块接收来自消息接收模块的消息，经过处理形成有效信息存入信息缓存区，同时管理和维护信息缓存区内容，并将信息分类后发送给数据分级管理模块，所述信息缓存区内容包括信息的创建、更新和删除；
信息缓存区超出容量或时间计数器结束或服务停止时，所述信息持久化模块对经过信息缓存模块处理后的消息写入到磁盘，数据分级管理模块从磁盘读取信息，送入信息缓存区；
所述分析引擎模块信息缓存模块发送的服务器状态消息和数据温度分布消息，形成数据温度分布式矢量图，并维护数据温度分布矢量图的状态更新；根据数据温度分布式矢量图形成带外数据分级指令，发送给指令加工模块；
所述指令加工模块根据分析引擎模块输出的内容，加工形成可以由指令发送模块发送给特定节点的指令编码；
所述指令发送模块接收来自所述数据分级管理模块生成的带外数据分级命令，并根据所接收指令向目标节点发送指令；
所述节点注册模块接收来自信息缓存区的注册信息，并注册或更新指定节点的信息。
与现有技术相比，本发明的有益效果在于：
1、不同于其他分层存储方法将数据分布在不同的存储介质（内存、固态磁盘、磁盘、SAN网络、磁带）上，本发明提供的基于Hadoop的分布式云存储自动分级数据管理***利用X86服务器的本地磁盘（SATA接口、SCSI接口）存储数据的情况；通过节点服务器配置信息对比磁盘容量、数量、接口类型、读写速率等静态信息进行比对，结合服务器运行状态消息（磁盘容量、CPU、网络带宽等动态信息）和数据温度分布消息息（数据被访问的次数、时间、频率），实现在不同性能的服务器上存放不同温度数据，达到服务器存储资源的最优化使用。
2、不是在数据存储之初考虑数据块的合理分布，本发明使用的是离线的数据块再分布策略，即通过发送带外数据分层指令，在整个HDFS集群负载最轻或最合适的时间进行数据块的移动，从而更为合理地计算出数据的温度信息，同时减少对存储正常使用的影响。
3、本发明与所指的Hadoop分布式文件***是松耦合状态，设计过程中仅在两处需要对HDFS进行修改，可很快移植到其它采用分布式文件***（元数据集中管理）的云存储平台上，提供数据分级存储方案，具有较强的可移植性。
附图说明
图1是基于Hadoop的分布式云存储的数据管理流程图；
图2是基于Hadoop的分布式云存储自动分级数据管理***逻辑架构示意图；
图3是中心服务器组成模块示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图1和图2，提供一种基于Hadoop的分布式云存储自动分级数据管理***，所述***包括节点服务器和中心服务器，所述节点服务器采集服务器状态消息和数据温度分布消息，并将所采集的消息发送到所述中心服务器的数据分级管理模块。
所述节点服务器包括服务器信息采集模块、数据温度采集模块和数据分级代理模块；
所述服务器信息采集模块将收集数据节点的硬件配置信息（包含CPU、内存、硬盘、网络等配置情况的静态信息），生成服务器状态消息后发送给中心服务器；之后，该服务将周期性地采集数据节点的运行状态消息（包含CPU、内存、硬盘、网络等使用情况的动态信息），经分析处理后形成服务器状态消息发送给中心服务器。
所述数据温度采集模块将记录数据被访问的次数和频率（可通过修改HDFS集群中名字节点源代码的直接方式，或在分布式云存储***客户端读请求消息中嵌入更新计数的间接方式），计算得出存储中每个数据（以文件形式存在）的温度信息；通过解析名字节点上的元数据信息，获取文件的分布信息；周期性地将上述有更新地信息合成数据温度分布消息发送给中心服务器。
所述服务器信息采集模块部署在HDFS集群的数据节点上，所述数据温度采集模块和数据分级代理模块部署在所述HDFS集群的名字节点上，所述数据分级管理模块部署在所述中心服务器上。
所述服务器状态消息包含数据节点的硬件配置和运行状态信息，所述数据温度分布消息包含数据温度消息和数据分布消息。
所述消息均包括消息头和消息体，所述消息头包括中心服务器名称、IP地址、节点ID、加密方法、校验和时间戳；所述消息体包括经消息头指定加密方法加密后的节点硬件配置、节点运行状态、数据温度和数据分布。
所述数据分级代理模块接收带外数据分级命令，解析所述带外数据分级命令获取需要移动数据块信息，并将所获取信息告知名字节点，所述名字节点接收信息的同时复制目标数据块到目标节点，并删除源数据节点上的数据块，需要移动数据块消息全部获取结束后，名字节点向数据分级代理模块发送成功消息，所述数据分级代理模块向数据分级管理模块发送确认消息。
所述需要移动数据块信息包括需要移动的目标数据块ID、源数据节点ID和目的节点ID。
如图3，所述中心服务器包括消息接收模块、信息持久化模块、信息缓存模块、数据分级管理模块、指令加工模块、指令发送模块、分析引擎模块节点和注册模块。
所述消息接收模块接收来自数据节点和名字节点分别发送的服务器状态消息和数据温度分布消息，对消息进行解析并送往所述数据分级管理模块；
所述数据分级管理模块生成带外数据分级命令，并周期性发送给名字节点；
所述信息缓存模块接收来自消息接收模块的消息，经过处理形成有效信息存入信息缓存区，同时管理和维护信息缓存区内容，并将信息分类后发送给数据分级管理模块，所述信息缓存区内容包括信息的创建、更新和删除；
信息缓存区超出容量或时间计数器结束或服务停止时，所述信息持久化模块对经过信息缓存模块处理后的消息写入到磁盘，数据分级管理模块从磁盘读取信息，送入信息缓存区；
所述分析引擎模块信息缓存模块发送的服务器状态消息和数据温度分布消息，形成数据温度分布式矢量图，并维护数据温度分布矢量图的状态更新；根据数据温度分布式矢量图形成带外数据分级指令，发送给指令加工模块；
所述指令加工模块根据分析引擎模块输出的内容，加工形成可以由指令发送模块发送给特定节点的指令编码；
所述指令发送模块接收来自所述数据分级管理模块生成的带外数据分级命令，并根据所接收指令向目标节点发送指令；
所述节点注册模块接收来自信息缓存区的注册信息，并注册或更新指定节点的信息（形成节点的ID，供分析引擎完成状态信息和数据温度分布信息解析、节点标识、生成指令等操作）。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于Hadoop的分布式云存储自动分级数据管理***，其特征在于：所述***包括节点服务器和中心服务器，所述节点服务器采集服务器状态消息和数据温度分布消息，并将所采集的消息发送到所述中心服务器的数据分级管理模块。
2.根据权利要求1所述的基于Hadoop的分布式云存储自动分级数据管理***，其特征在于：所述节点服务器包括服务器信息采集模块、数据温度采集模块和数据分级代理模块；所述服务器信息采集模块和数据温度采集模块分别采集服务器状态消息和数据温度分布消息，并分别将采集的消息发送到所述数据分级管理模块。
3.根据权利要求2所述的基于Hadoop的分布式云存储自动分级数据管理***，其特征在于：所述服务器信息采集模块部署在HDFS集群的数据节点上，所述数据温度采集模块和数据分级代理模块部署在所述HDFS集群的名字节点上，所述数据分级管理模块部署在所述中心服务器上。
4.根据权利要求2所述的基于Hadoop的分布式云存储自动分级数据管理***，其特征在于：所述服务器状态消息包含数据节点的硬件配置和运行状态信息，所述数据温度分布消息包含数据温度消息和数据分布消息。
5.根据权利要求1所述的基于Hadoop的分布式云存储自动分级数据管理***，其特征在于：所述消息均包括消息头和消息体，所述消息头包括中心服务器名称、IP地址、节点ID、加密方法、校验和时间戳；所述消息体包括经消息头指定加密方法加密后的节点硬件配置、节点运行状态、数据温度和数据分布。
6.根据权利要求1所述的基于Hadoop的分布式云存储自动分级数据管理***，其特征在于：所述数据分级代理模块接收带外数据分级命令，解析所述带外数据分级命令获取需要移动数据块信息，并将所获取信息告知名字节点，所述名字节点接收信息的同时复制目标数据块到目标节点，并删除源数据节点上的数据块，需要移动数据块消息全部获取结束后，名字节点向数据分级代理模块发送成功消息，所述数据分级代理模块向数据分级管理模块发送确认消息。
7.根据权利要求6所述的基于Hadoop的分布式云存储自动分级数据管理***，其特征在于：所述需要移动数据块信息包括需要移动的目标数据块ID、源数据节点ID和目的节点ID。
8.根据权利要求1-3任一所述的基于Hadoop的分布式云存储自动分级数据管理***，其特征在于：所述中心服务器包括消息接收模块、信息持久化模块、信息缓存模块、数据分级管理模块、指令加工模块、指令发送模块、分析引擎模块节点和注册模块。
9.根据权利要求8任一所述的基于Hadoop的分布式云存储自动分级数据管理***，其特征在于：所述消息接收模块接收来自数据节点和名字节点分别发送的服务器状态消息和数据温度分布消息，对消息进行解析并送往所述数据分级管理模块；
所述数据分级管理模块生成带外数据分级命令，并周期性发送给名字节点；
所述信息缓存模块接收来自消息接收模块的消息，经过处理形成有效信息存入信息缓存区，同时管理和维护信息缓存区内容，并将信息分类后发送给数据分级管理模块，所述信息缓存区内容包括信息的创建、更新和删除；
当信息缓存区超出容量或时间计数器结束或服务停止时，所述信息持久化模块对经过信息缓存模块处理后的消息写入到磁盘，数据分级管理模块从磁盘读取信息，送入信息缓存区；
所述分析引擎模块信息缓存模块发送的服务器状态消息和数据温度分布消息，形成数据温度分布式矢量图，并维护数据温度分布矢量图的状态更新；根据数据温度分布式矢量图形成带外数据分级指令，发送给指令加工模块；
所述指令加工模块根据分析引擎模块输出的内容，加工形成可以由指令发送模块发送给特定节点的指令编码；
所述指令发送模块接收来自所述数据分级管理模块生成的带外数据分级命令，并根据所接收指令向目标节点发送指令；
所述节点注册模块接收来自信息缓存区的注册信息，并注册或更新指定节点的信息。
CN201210499413.XA 2012-11-29 2012-11-29 一种基于Hadoop的分布式云存储自动分级数据管理*** Active CN103023995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210499413.XA CN103023995B (zh) 2012-11-29 2012-11-29 一种基于Hadoop的分布式云存储自动分级数据管理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210499413.XA CN103023995B (zh) 2012-11-29 2012-11-29 一种基于Hadoop的分布式云存储自动分级数据管理***

Publications (2)

Publication Number Publication Date
CN103023995A true CN103023995A (zh) 2013-04-03
CN103023995B CN103023995B (zh) 2015-09-09

Family

ID=47972119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210499413.XA Active CN103023995B (zh) 2012-11-29 2012-11-29 一种基于Hadoop的分布式云存储自动分级数据管理***

Country Status (1)

Country Link
CN (1) CN103023995B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336670A (zh) * 2013-06-04 2013-10-02 华为技术有限公司 一种基于数据温度对数据块自动进行分布的方法和装置
CN103780622A (zh) * 2014-01-24 2014-05-07 华中科技大学 一种面向云存储的数据分类加密方法
CN104021503A (zh) * 2014-05-08 2014-09-03 国家电网公司 一种基于虚拟化Hadoop集群建设继保云的方法
CN104135516A (zh) * 2014-07-29 2014-11-05 浪潮软件集团有限公司 一种基于行业数据采集的分布式云存储方法
CN104462577A (zh) * 2014-12-29 2015-03-25 北京奇艺世纪科技有限公司 一种数据存储方法及装置
CN105930102A (zh) * 2016-05-06 2016-09-07 歌尔声学股份有限公司 一种微机电产品测试数据同步安全转移方法及***
CN106470242A (zh) * 2016-09-07 2017-03-01 东南大学 一种云数据中心大规模异构集群节点快速定量分级方法
CN107135274A (zh) * 2017-06-20 2017-09-05 郑州云海信息技术有限公司 一种分布式集群***的存储管理方法及装置
CN108600281A (zh) * 2017-03-16 2018-09-28 杭州海康威视数字技术股份有限公司 一种云存储***、媒体数据存储方法及***
CN109361560A (zh) * 2018-01-24 2019-02-19 广州Tcl智能家居科技有限公司 一种集群节点通讯处理方法、***、存储介质及服务器
CN111177486A (zh) * 2019-12-19 2020-05-19 四川蜀天梦图数据科技有限公司 一种分布式图计算过程中的消息传递方法和装置
CN113407620A (zh) * 2020-03-17 2021-09-17 北京信息科技大学 基于异构Hadoop集群环境的数据块放置方法及***
CN115190168A (zh) * 2022-07-08 2022-10-14 苏州浪潮智能科技有限公司 一种边缘服务器管理***及服务器集群

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957863A (zh) * 2010-10-14 2011-01-26 广州从兴电子开发有限公司 数据并行处理方法、装置及***
CN102263822A (zh) * 2011-07-22 2011-11-30 北京星网锐捷网络技术有限公司 一种分布式缓存的控制方法、***及装置
CN102638566A (zh) * 2012-02-28 2012-08-15 山东大学 一种基于云存储的blog***运行方法
CN102646121A (zh) * 2012-02-23 2012-08-22 武汉大学 结合RDBMS和Hadoop云存储的两级存储方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957863A (zh) * 2010-10-14 2011-01-26 广州从兴电子开发有限公司 数据并行处理方法、装置及***
CN102263822A (zh) * 2011-07-22 2011-11-30 北京星网锐捷网络技术有限公司 一种分布式缓存的控制方法、***及装置
CN102646121A (zh) * 2012-02-23 2012-08-22 武汉大学 结合RDBMS和Hadoop云存储的两级存储方法
CN102638566A (zh) * 2012-02-28 2012-08-15 山东大学 一种基于云存储的blog***运行方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王峰，雷葆华: "Hadoop分布式文件***的模型分析", 《研究与开发》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103336670B (zh) * 2013-06-04 2016-11-23 华为技术有限公司 一种基于数据温度对数据块自动进行分布的方法和装置
CN103336670A (zh) * 2013-06-04 2013-10-02 华为技术有限公司 一种基于数据温度对数据块自动进行分布的方法和装置
CN103780622A (zh) * 2014-01-24 2014-05-07 华中科技大学 一种面向云存储的数据分类加密方法
CN103780622B (zh) * 2014-01-24 2016-09-28 华中科技大学 一种面向云存储的数据分类加密方法
CN104021503A (zh) * 2014-05-08 2014-09-03 国家电网公司 一种基于虚拟化Hadoop集群建设继保云的方法
CN104135516A (zh) * 2014-07-29 2014-11-05 浪潮软件集团有限公司 一种基于行业数据采集的分布式云存储方法
CN104135516B (zh) * 2014-07-29 2017-04-05 浪潮软件集团有限公司 一种基于行业数据采集的分布式云存储方法
CN104462577B (zh) * 2014-12-29 2018-04-13 北京奇艺世纪科技有限公司 一种数据存储方法及装置
CN104462577A (zh) * 2014-12-29 2015-03-25 北京奇艺世纪科技有限公司 一种数据存储方法及装置
CN105930102A (zh) * 2016-05-06 2016-09-07 歌尔声学股份有限公司 一种微机电产品测试数据同步安全转移方法及***
CN105930102B (zh) * 2016-05-06 2018-12-21 歌尔股份有限公司 一种微机电产品测试数据同步安全转移方法及***
CN106470242B (zh) * 2016-09-07 2019-07-19 东南大学 一种云数据中心大规模异构集群节点快速定量分级方法
CN106470242A (zh) * 2016-09-07 2017-03-01 东南大学 一种云数据中心大规模异构集群节点快速定量分级方法
CN108600281A (zh) * 2017-03-16 2018-09-28 杭州海康威视数字技术股份有限公司 一种云存储***、媒体数据存储方法及***
CN107135274A (zh) * 2017-06-20 2017-09-05 郑州云海信息技术有限公司 一种分布式集群***的存储管理方法及装置
CN109361560A (zh) * 2018-01-24 2019-02-19 广州Tcl智能家居科技有限公司 一种集群节点通讯处理方法、***、存储介质及服务器
CN111177486A (zh) * 2019-12-19 2020-05-19 四川蜀天梦图数据科技有限公司 一种分布式图计算过程中的消息传递方法和装置
CN111177486B (zh) * 2019-12-19 2020-09-08 四川蜀天梦图数据科技有限公司 一种分布式图计算过程中的消息传递方法和装置
CN113407620A (zh) * 2020-03-17 2021-09-17 北京信息科技大学 基于异构Hadoop集群环境的数据块放置方法及***
CN113407620B (zh) * 2020-03-17 2023-04-21 北京信息科技大学 基于异构Hadoop集群环境的数据块放置方法及***
CN115190168A (zh) * 2022-07-08 2022-10-14 苏州浪潮智能科技有限公司 一种边缘服务器管理***及服务器集群
CN115190168B (zh) * 2022-07-08 2023-08-04 苏州浪潮智能科技有限公司 一种边缘服务器管理***及服务器集群

Also Published As

Publication number Publication date
CN103023995B (zh) 2015-09-09

Similar Documents

Publication Publication Date Title
CN103023995A (zh) 一种基于Hadoop的分布式云存储自动分级数据管理***
CA2935215C (en) Hierarchical chunking of objects in a distributed storage system
CN103559217B (zh) 一种面向异构数据库的海量组播数据入库实现方法
CA2871313C (en) Method and system for managing power grid data
CN105335513B (zh) 一种分布式文件***及文件存储方法
CN103581332B (zh) HDFS架构及HDFS架构中NameNode节点的压力分解方法
TW202111564A (zh) 日誌結構儲存系統
CN103440244A (zh) 一种大数据存储优化方法
CN103095806B (zh) 一种面向大电网的实时数据库***的负载均衡管理***
CN103533058A (zh) 面向HDFS/Hadoop存储集群的资源监控***及方法
CN103763368B (zh) 一种跨数据中心的数据同步方法
CN106953910A (zh) 一种Hadoop计算存储分离方法
US20170351620A1 (en) Caching Framework for Big-Data Engines in the Cloud
CN108573029A (zh) 一种获取网络访问关系数据的方法、装置及存储介质
Copie et al. Benchmarking cloud databases for the requirements of the internet of things
CN103853612A (zh) 一种基于分布式存储下的数字家庭内容读数据的方法
CN106020713A (zh) 一种基于缓冲区的文件存储方法
CN105760391A (zh) 数据动态重分布的方法、数据节点、名字节点及***
CN103281383B (zh) 一种面向分布式数据源的时序信息记录方法
CN104038314A (zh) 一种新型的安监联网动态数据实时传输***及方法
Chen et al. Big data storage architecture design in cloud computing
Dongsheng et al. Distributed cache memory data migration strategy based on cloud computing
US20220405306A1 (en) Database replication system and method, source end device, and destination end device
Jian et al. A HDFS dynamic load balancing strategy using improved niche PSO algorithm in cloud storage
KR102459465B1 (ko) 정보 중심 네트워킹 기반 저장기능 통합 인-네트워크 컴퓨팅 처리 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant