CN108243203A - 一种云***中的数据共享方法 - Google Patents

一种云***中的数据共享方法 Download PDF

Info

Publication number
CN108243203A
CN108243203A CN201611208637.5A CN201611208637A CN108243203A CN 108243203 A CN108243203 A CN 108243203A CN 201611208637 A CN201611208637 A CN 201611208637A CN 108243203 A CN108243203 A CN 108243203A
Authority
CN
China
Prior art keywords
data
node
memory
cloud system
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611208637.5A
Other languages
English (en)
Inventor
刘斌
吴方才
楚涌泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Space Star Technology (beijing) Co Ltd
Original Assignee
Space Star Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Space Star Technology (beijing) Co Ltd filed Critical Space Star Technology (beijing) Co Ltd
Priority to CN201611208637.5A priority Critical patent/CN108243203A/zh
Publication of CN108243203A publication Critical patent/CN108243203A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种云***中的数据共享方法。将数据传输的负担从数据提供方的服务器中分离出来，选择运行负载最低的节点作为中转节点，减轻数据提供方的服务器的运行负载，加快***交换速度。

Description

一种云***中的数据共享方法
【技术领域】
本发明属于数据共享领域，尤其涉及云***中的数据共享方法。
【背景技术】
近年来随着网络技术的发展，分布式技术得到了深入的研究和广泛的应用，分布式***中的各个计算机都存储有数据，数据可以在各个计算机之间进行共享和交换。
现有的数据共享方式，通常是在数据请求方和数据提供方之间直接进行数据交换，这对作为数据提供方的服务器的读写和传输速度要求很高，但是对于硬盘读写速度通常比较慢，影响服务器自身的数据处理。
基于上述问题，现在亟需一种新的云***中的数据共享方法，减轻数据提供方服务器的处理负载，提高***数据交换速度。
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种云***中的数据共享方法。
本发明采用的技术方案如下：
一种云***中的数据共享方法，云***中有多个节点，所述数据以树结构存储，其特征在于，该方法包括如下步骤：
(1)节点A向节点B发送数据集合G的数据共享请求，所述数据集合G中包括若干数据D，其中数据D以树结构存储在节点B中，节点A为数据请求节点，节点B为数据发送节点；
(2)从其他节点中选择一个当前运行负载最低的节点C作为缓存节点，在缓存节点内存中划分一个区域作为共享数据交换的缓冲区；
(3)将数据集合G中的数据D依次写入内存的上述缓存区，缓存节点从内存中读取上述数据并依次传送给节点A；
(4)节点A接收上述传送的数据并存储在其内存中。
本发明的有益效果包括：将数据传输的负担从数据提供方的服务器中分离出来，选择其他节点作为中转节点，减轻数据提供方的服务器的运行负载，加快***交换速度。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明***的结构图。
图2是本发明云***中的数据共享方法的流程图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
参见附图1，是本发明所应用的***，在一个实施例中，***为分布式***，该***包括一个控制节点和多个计算节点。在其他实施方式中，也可以是云***等多节点***。
参见附图2，实施例1，一种云***中的数据共享方法，云***中有多个节点，所述数据以树结构存储，该方法包括如下步骤：
(1)节点A向节点B发送数据集合G的数据共享请求，所述数据集合G中包括若干数据D，其中数据D以树结构存储在节点B中，节点A为数据请求节点，节点B为数据发送节点；
(2)从其他节点中选择一个当前运行负载最低的节点C作为缓存节点，在缓存节点内存中划分一个区域作为共享数据交换的缓冲区；
(3)将数据集合G中的数据D依次写入内存的上述缓存区，缓存节点从内存中读取上述数据并依次传送给节点A；
(4)节点A接收上述传送的数据并存储在其内存中。
实施例2，该方法包括如下步骤：
(1)节点A向节点B发送数据集合G的数据交换请求。
在一个实施方式中，所述数据集合G中包括若干数据D，其中数据D以树结构存储在节点B中，节点A为数据请求节点，节点B为数据发送节点；
(2)从其他节点中选择一个节点C作为缓存节点，
在一个实施方式中，选择一个当前运行负载最低的一个节点作为缓存节点，以便最低限度降低对其他节点运行的影响，然后在缓存节点内存中划分一个区域作为共享数据交换的缓冲区；
(3)将数据集合G中的数据D的树结构分成N棵子树，依次写入内存的上述缓存区；
(4)对缓存区中的多个子树合并成数据D的完整树结构；
(5)重复上述步骤(3)(4)，将数据集合G中的数据的树结构依次进行子树分解、写入缓存区和完整树合并；
(6)监控缓冲区中存储的数据量是否超过缓存阈值，如果超过缓存阈值，则将缓存区中存储的数据集合E传送给节点A，并将缓冲区中存储的数据量删除；
(7)节点A接收上述传送的数据集合E并存储在其内存中；
(8)如果数据集合E是数据集合G的子集，再继续执行上述步骤(5)-(7)，如果数据集合E和数据集合G相同，则执行步骤(9)-(12)；
(9)节点A为防止数据丢失，需要将数据存储在暂时持久化磁盘，在节点A硬盘中划分一块区域作为暂时持久化区域；
(10)将数据集合E中的数据F的树结构分成M棵子树，依次写入上述暂时持久化区域；
(11)对暂时持久化区域中的子树合并处理成数据F的完整树结构；
(12)重复上述步骤(10)(11)，将数据集合E中的数据的树结构依次进行子树分解、写入缓存区和完整树合并。
通过上述方法，本发明将数据传输的负担从数据提供方的服务器中分离出来，选择运行负载最低的节点作为中转节点，减轻数据提供方的服务器的运行负载，加快***交换速度。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (1)

1.一种云***中的数据共享方法，云***中有多个节点，所述数据以树结构存储，其特征在于，该方法包括如下步骤：
(1)节点A向节点B发送数据集合G的数据共享请求，所述数据集合G中包括若干数据D，其中数据D以树结构存储在节点B中，节点A为数据请求节点，节点B为数据发送节点；
(2)从其他节点中选择一个当前运行负载最低的节点C作为缓存节点，在缓存节点内存中划分一个区域作为共享数据交换的缓冲区；
(3)将数据集合G中的数据D依次写入内存的上述缓存区，缓存节点从内存中读取上述数据并依次传送给节点A；
(4)节点A接收上述传送的数据并存储在其内存中。
CN201611208637.5A 2016-12-23 2016-12-23 一种云***中的数据共享方法 Pending CN108243203A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611208637.5A CN108243203A (zh) 2016-12-23 2016-12-23 一种云***中的数据共享方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611208637.5A CN108243203A (zh) 2016-12-23 2016-12-23 一种云***中的数据共享方法

Publications (1)

Publication Number Publication Date
CN108243203A true CN108243203A (zh) 2018-07-03

Family

ID=62704239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611208637.5A Pending CN108243203A (zh) 2016-12-23 2016-12-23 一种云***中的数据共享方法

Country Status (1)

Country Link
CN (1) CN108243203A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101047610A (zh) * 2007-04-30 2007-10-03 华为技术有限公司 数据存储、读取、传输方法和管理服务器及网络节点
CN102164160A (zh) * 2010-12-31 2011-08-24 青岛海信传媒网络技术有限公司 支持大并发量文件下载的方法、装置及***
CN102256163A (zh) * 2011-08-10 2011-11-23 中山大学深圳研究院 一种基于p2p的视频点播***
CN102404378A (zh) * 2010-09-07 2012-04-04 成都索贝数码科技股份有限公司 一种流媒体分发传输网络***
CN102546783A (zh) * 2011-12-28 2012-07-04 深圳市新为软件有限公司 课程资源下载方法和课程资源客户端、服务器和***
CN102710790A (zh) * 2012-06-20 2012-10-03 深圳市远行科技有限公司 一种基于元数据管理的分布式缓存实现方法及***
CN103812915A (zh) * 2012-11-15 2014-05-21 中兴通讯股份有限公司 资源共享方法、装置、***及终端、资源管理中心
CN103888419A (zh) * 2012-12-21 2014-06-25 中国电信股份有限公司 虚拟桌面终端获取视频内容的方法、***与cdn子***
CN104363244A (zh) * 2014-11-26 2015-02-18 上海金桥信息股份有限公司 多媒体信息共享***及方法
US20150381710A1 (en) * 2014-06-30 2015-12-31 Fortinet, Inc. Socket application program interface (api) for efficient data transactions

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101047610A (zh) * 2007-04-30 2007-10-03 华为技术有限公司 数据存储、读取、传输方法和管理服务器及网络节点
CN102404378A (zh) * 2010-09-07 2012-04-04 成都索贝数码科技股份有限公司 一种流媒体分发传输网络***
CN102164160A (zh) * 2010-12-31 2011-08-24 青岛海信传媒网络技术有限公司 支持大并发量文件下载的方法、装置及***
CN102256163A (zh) * 2011-08-10 2011-11-23 中山大学深圳研究院 一种基于p2p的视频点播***
CN102546783A (zh) * 2011-12-28 2012-07-04 深圳市新为软件有限公司 课程资源下载方法和课程资源客户端、服务器和***
CN102710790A (zh) * 2012-06-20 2012-10-03 深圳市远行科技有限公司 一种基于元数据管理的分布式缓存实现方法及***
CN103812915A (zh) * 2012-11-15 2014-05-21 中兴通讯股份有限公司 资源共享方法、装置、***及终端、资源管理中心
CN103888419A (zh) * 2012-12-21 2014-06-25 中国电信股份有限公司 虚拟桌面终端获取视频内容的方法、***与cdn子***
US20150381710A1 (en) * 2014-06-30 2015-12-31 Fortinet, Inc. Socket application program interface (api) for efficient data transactions
CN104363244A (zh) * 2014-11-26 2015-02-18 上海金桥信息股份有限公司 多媒体信息共享***及方法

Similar Documents

Publication Publication Date Title
CN105956166B (zh) 数据库读写方法和读写装置
US8521986B2 (en) Allocating storage memory based on future file size or use estimates
US10698831B2 (en) Method and apparatus for data access
JP6768928B2 (ja) アドレスを圧縮するための方法及び装置
US9992298B2 (en) Relationship-based WAN caching for object stores
CN103020255B (zh) 分级存储方法和装置
US8489555B2 (en) Method of managing storage and retrieval of data objects
CN110968423A (zh) 使用机器学习将工作负荷分配给加速器的方法和设备
US9720829B2 (en) Online learning based algorithms to increase retention and reuse of GPU-generated dynamic surfaces in outer-level caches
CN112346659B (zh) 一种分布式对象存储元数据的存储方法、设备及存储介质
US20170262508A1 (en) Infrastructure management system having scalable storage architecture
CN104636185A (zh) 业务上下文管理方法、物理主机、pcie设备及迁移管理设备
CN104391653A (zh) 一种基于数据块的高速缓存设计方法
CN104158863A (zh) 基于事务级别全程高速缓冲的云存储机制
EP3865992A3 (en) Distributed block storage system, method, apparatus and medium
CN106775775B (zh) 一种基于OpenResty的高性能MVC框架
CN104461929A (zh) 基于***的分布式数据缓存方法
CN107066204A (zh) 一种多节点间的数据交换方法
CN108243203A (zh) 一种云***中的数据共享方法
CN205899536U (zh) 一种基于瓦片地图的地理信息服务***
US10097637B2 (en) Grid distributed cache
US11080299B2 (en) Methods and apparatus to partition a database
CN108241655A (zh) 一种***数据转存方法
CN111208953A (zh) 一种分布式存储方法及其装置
CN108519860B (zh) 一种ssd读命中的处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 101399 No. 2 East Airport Road, Shunyi Airport Economic Core Area, Beijing (1st, 5th and 7th floors of Industrial Park 1A-4)

Applicant after: Zhongke Star Map Co.,Ltd.

Address before: 101399 Building 1A-4, National Geographic Information Technology Industrial Park, Guomen Business District, Shunyi District, Beijing

Applicant before: GEOVIS TECHNOLOGY (BEIJING) Co.,Ltd.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180703