CN107066204A - 一种多节点间的数据交换方法 - Google Patents
一种多节点间的数据交换方法 Download PDFInfo
- Publication number
- CN107066204A CN107066204A CN201611208639.4A CN201611208639A CN107066204A CN 107066204 A CN107066204 A CN 107066204A CN 201611208639 A CN201611208639 A CN 201611208639A CN 107066204 A CN107066204 A CN 107066204A
- Authority
- CN
- China
- Prior art keywords
- data
- node
- acquisition system
- data acquisition
- write
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0611—Improving I/O performance in relation to response time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明提供了一种多节点间的数据交换方法,本发明提供的方法将数据传输的负担从数据提供方的服务器中分离出来,选择运行负载最低的节点作为中转节点,减轻数据提供方的服务器的运行负载,加快***交换速度,进一步地,本申请将数据集合G中的数据D的树结构分成N棵子树,依次写入内存的上述缓存区,再对缓存区中的多个子树合并成数据D的完整树结构,缩小了传输过程和写入内存中的数据量,提高了传输和读写速率。
Description
【技术领域】
本发明属于数据共享领域,尤其涉及多节点间的数据交换方法。
【背景技术】
近年来随着网络技术的发展,分布式技术得到了深入的研究和广泛的应用,分布式***中的各个计算机都存储有数据,数据可以在各个计算机之间进行共享和交换。
现有的数据交换方式,通常是在数据请求方和数据提供方之间直接进行数据交换,这对作为数据提供方的服务器的读写和传输速度要求很高,但是对于硬盘读写速度通常比较慢,影响服务器自身的数据处理。
基于上述问题,现在亟需一种新的多节点间的数据交换方法,减轻数据提供方服务器的处理负载,提高***数据交换速度。
【发明内容】
为了解决现有技术中的上述问题,本发明提出了一种多节点间的数据交换方法。
本发明采用的技术方案如下:
一种多节点间的数据交换方法,所述数据以树结构存储,其特征在于,该方法包括如下步骤:
(1)节点A向节点B发送数据集合G的数据交换请求,所述数据集合G中包括若干数据D,其中数据D以树结构存储在节点B中,节点A为数据请求节点,节点B为数据发送节点;
(2)从其他节点中选择一个当前运行负载最低的节点C作为缓存节点,在缓存节点内存中划分一个区域作为共享数据交换的缓冲区;
(3)将数据集合G中的数据D的树结构分成N棵子树,依次写入内存的上述缓存区;
(4)对缓存区中的多个子树合并成数据D的完整树结构;
(5)重复上述步骤(3)(4),将数据集合G中的数据的树结构依次进行子树分解、写入缓存区和完整树合并;
(6)监控缓冲区中存储的数据量是否超过缓存阈值,如果超过缓存阈值,则将缓存区中存储的数据集合E传送给节点A,并将缓冲区中存储的数据量删除;
(7)节点A接收上述传送的数据集合E并存储在其内存中;
(8)如果数据集合E是数据集合G的子集,再继续执行上述步骤(5)-(7),如果数据集合E和数据集合G相同,则执行步骤(9)-(12);
(9)节点A为防止数据丢失,需要将数据存储在暂时持久化磁盘,在节点A硬盘中划分一块区域作为暂时持久化区域;
(10)将数据集合E中的数据F的树结构分成M棵子树,依次写入上述暂时持久化区域;
(11)对暂时持久化区域中的子树合并处理成数据F的完整树结构;
(12)重复上述步骤(10)(11),将数据集合E中的数据的树结构依次进行子树分解、写入缓存区和完整树合并。
本发明的有益效果包括:将数据传输的负担从数据提供方的服务器中分离出来,选择运行负载最低的节点作为中转节点,减轻数据提供方的服务器的运行负载,加快***交换速度,进一步地,本申请将数据集合G中的数据D的树结构分成N棵子树,依次写入内存的上述缓存区,再对缓存区中的多个子树合并成数据D的完整树结构,缩小了传输过程和写入内存中的数据量,提高了传输和读写速率。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解,构成本申请的一部分,但并不构成对本发明的不当限定,在附图中:
图1是本发明***的结构图。
图2是本发明多节点间的数据交换方法的流程图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明,其中的示意性实施例以及说明仅用来解释本发明,但并不作为对本发明的限定。
参见附图1,是本发明所应用的***,在一个实施例中,***为分布式***,该***包括一个控制节点和多个计算节点。在其他实施方式中,也可以是云***等多节点***。
参见附图2,一种多节点间的数据交换方法,所述数据以树结构存储,其特征在于,该方法包括如下步骤:
(1)节点A向节点B发送数据集合G的数据交换请求。
在一个实施方式中,所述数据集合G中包括若干数据D,其中数据D以树结构存储在节点B中,节点A为数据请求节点,节点B为数据发送节点;
(2)从其他节点中选择一个节点C作为缓存节点,
在一个实施方式中,选择一个当前运行负载最低的一个节点作为缓存节点,以便最低限度降低对其他节点运行的影响,然后在缓存节点内存中划分一个区域作为共享数据交换的缓冲区;
(3)将数据集合G中的数据D的树结构分成N棵子树,依次写入内存的上述缓存区;
(4)对缓存区中的多个子树合并成数据D的完整树结构;
(5)重复上述步骤(3)(4),将数据集合G中的数据的树结构依次进行子树分解、写入缓存区和完整树合并;
(6)监控缓冲区中存储的数据量是否超过缓存阈值,如果超过缓存阈值,则将缓存区中存储的数据集合E传送给节点A,并将缓冲区中存储的数据量删除;
(7)节点A接收上述传送的数据集合E并存储在其内存中;
(8)如果数据集合E是数据集合G的子集,再继续执行上述步骤(5)-(7),如果数据集合E和数据集合G相同,则执行步骤(9)-(12);
(9)节点A为防止数据丢失,需要将数据存储在暂时持久化磁盘,在节点A硬盘中划分一块区域作为暂时持久化区域;
(10)将数据集合E中的数据F的树结构分成M棵子树,依次写入上述暂时持久化区域;
(11)对暂时持久化区域中的子树合并处理成数据F的完整树结构;
(12)重复上述步骤(10)(11),将数据集合E中的数据的树结构依次进行子树分解、写入缓存区和完整树合并。
通过上述方法,本发明将数据传输的负担从数据提供方的服务器中分离出来,选择运行负载最低的节点作为中转节点,减轻数据提供方的服务器的运行负载,加快***交换速度,进一步地,本申请将数据集合G中的数据D的树结构分成N棵子树,依次写入内存的上述缓存区,再对缓存区中的多个子树合并成数据D的完整树结构,缩小了传输过程和写入内存中的数据量,提高了传输和读写速率。
以上所述仅是本发明的较佳实施方式,故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰,均包括于本发明专利申请范围内。
Claims (3)
1.一种多节点间的数据交换方法,所述数据以树结构存储,其特征在于,该方法包括如下步骤:
(1)节点A向节点B发送数据集合G的数据交换请求,所述数据集合G中包括若干数据D,其中数据D以树结构存储在节点B中,节点A为数据请求节点,节点B为数据发送节点;
(2)从其他节点中选择一个当前运行负载最低的节点C作为缓存节点,在缓存节点内存中划分一个区域作为共享数据交换的缓冲区;
(3)将数据集合G中的数据D的树结构分成N棵子树,依次写入内存的上述缓存区;
(4)对缓存区中的多个子树合并成数据D的完整树结构;
(5)重复上述步骤(3)(4),将数据集合G中的数据的树结构依次进行子树分解、写入缓存区和完整树合并;
(6)监控缓冲区中存储的数据量是否超过缓存阈值,如果超过缓存阈值,则将缓存区中存储的数据集合E传送给节点A,并将缓冲区中存储的数据量删除;
(7)节点A接收上述传送的数据集合E并存储在其内存中;
(8)如果数据集合E是数据集合G的子集,再继续执行上述步骤(5)-(7),如果数据集合E和数据集合G相同,则执行步骤(9)-(12);
(9)节点A为防止数据丢失,需要将数据存储在暂时持久化磁盘,在节点A硬盘中划分一块区域作为暂时持久化区域;
(10)将数据集合E中的数据F的树结构分成M棵子树,依次写入上述暂时持久化区域;
(11)对暂时持久化区域中的子树合并处理成数据F的完整树结构;
(12)重复上述步骤(10)(11),将数据集合E中的数据的树结构依次进行子树分解、写入缓存区和完整树合并。
2.根据权利要求1所述的多节点间的数据交换方法,其特征在于,所述多节点处于云***中。
3.根据权利要求1所述的多节点间的数据交换方法,其特征在于,所述多节点处于分布式***中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611208639.4A CN107066204A (zh) | 2016-12-23 | 2016-12-23 | 一种多节点间的数据交换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611208639.4A CN107066204A (zh) | 2016-12-23 | 2016-12-23 | 一种多节点间的数据交换方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107066204A true CN107066204A (zh) | 2017-08-18 |
Family
ID=59623138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611208639.4A Pending CN107066204A (zh) | 2016-12-23 | 2016-12-23 | 一种多节点间的数据交换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107066204A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109561128A (zh) * | 2017-09-27 | 2019-04-02 | 北京国双科技有限公司 | 数据传输方法和装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5852826A (en) * | 1996-01-26 | 1998-12-22 | Sequent Computer Systems, Inc. | Parallel merge sort method and apparatus |
CN102045388A (zh) * | 2010-11-25 | 2011-05-04 | 汉王科技股份有限公司 | 在线阅读装置及在线阅读方法 |
CN102682110A (zh) * | 2012-05-10 | 2012-09-19 | 北京大学 | 面向大规模空间信息的高性能缓存设计方法 |
CN103888419A (zh) * | 2012-12-21 | 2014-06-25 | 中国电信股份有限公司 | 虚拟桌面终端获取视频内容的方法、***与cdn子*** |
CN105224237A (zh) * | 2014-05-26 | 2016-01-06 | 华为技术有限公司 | 一种数据存储方法及装置 |
CN105897859A (zh) * | 2016-03-25 | 2016-08-24 | 天津书生云科技有限公司 | 一种存储*** |
CN105915600A (zh) * | 2016-04-13 | 2016-08-31 | 乐视控股(北京)有限公司 | 基于cdn网络***的数据写入方法及cdn网络*** |
CN106020713A (zh) * | 2015-09-16 | 2016-10-12 | 展视网(北京)科技有限公司 | 一种基于缓冲区的文件存储方法 |
-
2016
- 2016-12-23 CN CN201611208639.4A patent/CN107066204A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5852826A (en) * | 1996-01-26 | 1998-12-22 | Sequent Computer Systems, Inc. | Parallel merge sort method and apparatus |
CN102045388A (zh) * | 2010-11-25 | 2011-05-04 | 汉王科技股份有限公司 | 在线阅读装置及在线阅读方法 |
CN102682110A (zh) * | 2012-05-10 | 2012-09-19 | 北京大学 | 面向大规模空间信息的高性能缓存设计方法 |
CN103888419A (zh) * | 2012-12-21 | 2014-06-25 | 中国电信股份有限公司 | 虚拟桌面终端获取视频内容的方法、***与cdn子*** |
CN105224237A (zh) * | 2014-05-26 | 2016-01-06 | 华为技术有限公司 | 一种数据存储方法及装置 |
CN106020713A (zh) * | 2015-09-16 | 2016-10-12 | 展视网(北京)科技有限公司 | 一种基于缓冲区的文件存储方法 |
CN105897859A (zh) * | 2016-03-25 | 2016-08-24 | 天津书生云科技有限公司 | 一种存储*** |
CN105915600A (zh) * | 2016-04-13 | 2016-08-31 | 乐视控股(北京)有限公司 | 基于cdn网络***的数据写入方法及cdn网络*** |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109561128A (zh) * | 2017-09-27 | 2019-04-02 | 北京国双科技有限公司 | 数据传输方法和装置 |
CN109561128B (zh) * | 2017-09-27 | 2022-05-20 | 北京国双科技有限公司 | 数据传输方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9747318B2 (en) | Retrieving data in a storage system using thin provisioning | |
CN105574104B (zh) | 一种基于ObjectStore的LogStructure存储***及其数据写入方法 | |
US8521986B2 (en) | Allocating storage memory based on future file size or use estimates | |
US20150127649A1 (en) | Efficient implementations for mapreduce systems | |
US10698831B2 (en) | Method and apparatus for data access | |
US8799584B2 (en) | Method and apparatus for implementing multi-processor memory coherency | |
CN109388590B (zh) | 提升多通道dma访问性能的动态缓存块管理方法和装置 | |
CN110287160B (zh) | 一种缓存空间清理方法及装置 | |
CN105335513A (zh) | 一种分布式文件***及文件存储方法 | |
CN109766312A (zh) | 一种区块链存储方法、***、装置及计算机可读存储介质 | |
US20200019474A1 (en) | Consistency recovery method for seamless database duplication | |
CN107229415A (zh) | 一种数据写方法、数据读方法及相关设备、*** | |
CN105426321A (zh) | 采用远程位置信息的rdma友好缓存方法 | |
CN101800768B (zh) | 一种基于存储联盟子集划分的网格数据副本生成方法 | |
CN105589664A (zh) | 虚拟存储高速传输方法 | |
US20200059515A1 (en) | System and method for a database proxy | |
US11729268B2 (en) | Computer-implemented method, system, and storage medium for prefetching in a distributed graph architecture | |
CN100394404C (zh) | 用于管理元数据的方法和*** | |
CN104158863A (zh) | 基于事务级别全程高速缓冲的云存储机制 | |
CN107066204A (zh) | 一种多节点间的数据交换方法 | |
CN104331525B (zh) | 基于重复数据删除的共享方法 | |
CN108920095A (zh) | 一种基于crush的数据存储优化方法和装置 | |
CN108173974A (zh) | 一种基于分布式缓存Memcached的HC Model内部缓存数据淘汰方法 | |
US10097637B2 (en) | Grid distributed cache | |
US10067678B1 (en) | Probabilistic eviction of partial aggregation results from constrained results storage |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
CB02 | Change of applicant information |
Address after: 101399 No. 2 East Airport Road, Shunyi Airport Economic Core Area, Beijing (1st, 5th and 7th floors of Industrial Park 1A-4) Applicant after: Zhongke Star Map Co., Ltd. Address before: 101399 Building 1A-4, National Geographic Information Technology Industrial Park, Guomen Business District, Shunyi District, Beijing Applicant before: Space Star Technology (Beijing) Co., Ltd. |
|
CB02 | Change of applicant information | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |