CN109561128B

CN109561128B - 数据传输方法和装置

Info

Publication number: CN109561128B
Application number: CN201710895575.8A
Authority: CN
Inventors: 刘绍华
Original assignee: Beijing Gridsum Technology Co Ltd
Current assignee: Beijing Gridsum Technology Co Ltd
Priority date: 2017-09-27
Filing date: 2017-09-27
Publication date: 2022-05-20
Anticipated expiration: 2037-09-27
Also published as: CN109561128A

Abstract

本申请公开了一种数据传输方法和装置。该方法包括：第一节点将目标数据存储到第三节点的预设存储空间，其中，目标数据是第一节点与第二节点之间的待传输数据，第三节点是不同于第一节点、第二节点的服务器；第一节点向第二节点发送通知信息，通知信息用于通知第二节点目标数据已经被存储到第三节点的预设存储空间，以使第二节点根据通知信息从第三节点获取目标数据。通过本申请，解决了相关技术中分布式***中两个节点之间直接传输数据时设置大的传输容量导致的数据传输效率低的问题。

Description

数据传输方法和装置

技术领域

本申请涉及数据传输领域，具体而言，涉及一种数据传输方法和装置。

背景技术

分布式***中，常使用Akka搭建分布式传输***。Akka在每个节点启动一个工作节点，并共同构成一个完整的***。节点间通讯通过TCP实现。

为了提高节点间传输效率，在Akka的配置中需要指定最大的传输容量。对于一般的消息，占用资源小，对最大传输容量的参数不敏感。但某些场景，如一个大的查询请求，需要返回大量数据，此时对最大传输容量的参数非常敏感。但是一般无法预先知道最大的查询请求，因此有时会将传输容量设置得较大，而设置过大的传输容量会导致传输效率下降。

针对相关技术中分布式***中两个节点之间直接传输数据时设置大的传输容量导致的数据传输效率低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据传输方法和装置，以解决相关技术中分布式***中两个节点之间直接传输数据时设置大的传输容量导致的数据传输效率低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据传输方法，包括：第一节点将目标数据存储到第三节点的预设存储空间，其中，所述目标数据是所述第一节点与第二节点之间的待传输数据，所述第三节点是不同于所述第一节点、所述第二节点的服务器；所述第一节点向所述第二节点发送通知信息，所述通知信息用于通知所述第二节点所述目标数据已经被存储到所述第三节点的预设存储空间，以使所述第二节点根据所述通知信息从所述第三节点获取所述目标数据。

进一步地，第一节点将目标数据存储到第三节点的预设存储空间，包括：所述第一节点调用第一目标程序，以将所述目标数据发送到所述第三节点的预设存储空间进行存储。

为了实现上述目的，根据本申请的另一方面，提供了一种数据传输方法，包括：第二节点接收通知信息，其中，所述通知信息是第一节点将目标数据存储到第三节点的预设存储空间之后发送的，所述通知信息用于通知所述第二节点所述目标数据已经被存储到所述第三节点的预设存储空间，所述目标数据是所述第一节点与所述第二节点之间的待传输数据，所述第三节点是不同于所述第一节点、所述第二节点的服务器；所述第二节点根据所述通知信息从所述第三节点的预设存储空间获取所述目标数据。

进一步地，所述第二节点根据所述通知信息从所述第三节点的预设存储空间获取所述目标数据，包括：所述第二节点根据所述通知信息调用第二目标程序，以从所述第三节点的预设存储空间获取所述目标数据。

进一步地，在所述第二节点根据所述通知信息从所述第三节点的预设存储空间获取所述目标数据之后，所述方法还包括：所述第二节点向所述第三节点发送数据删除指令，其中，所述数据删除指令用于指示从所述第三节点的预设存储空间删除所述目标数据。

为了实现上述目的，根据本申请的另一方面，提供了一种数据传输装置，包括：存储单元，用于通过第一节点将目标数据存储到第三节点的预设存储空间，其中，所述目标数据是所述第一节点与第二节点之间的待传输数据，所述第三节点是不同于所述第一节点、所述第二节点的服务器；发送单元，用于通过所述第一节点向所述第二节点发送通知信息，所述通知信息用于通知所述第二节点所述目标数据已经被存储到所述第三节点的预设存储空间，以使所述第二节点根据所述通知信息从所述第三节点获取所述目标数据。

进一步地，所述存储单元用于：通过所述第一节点调用第一目标程序，以将所述目标数据发送到所述第三节点的预设存储空间进行存储。

为了实现上述目的，根据本申请的另一方面，提供了一种数据传输装置，包括：接收单元，用于通过第二节点接收通知信息，其中，所述通知信息是第一节点将目标数据存储到第三节点的预设存储空间之后发送的，所述通知信息用于通知所述第二节点所述目标数据已经被存储到所述第三节点的预设存储空间，所述目标数据是所述第一节点与所述第二节点之间的待传输数据，所述第三节点是不同于所述第一节点、所述第二节点的服务器；获取单元，用于通过所述第二节点根据所述通知信息从所述第三节点的预设存储空间获取所述目标数据。

进一步地，所述获取单元用于：通过所述第二节点根据所述通知信息调用第二目标程序，以从所述第三节点的预设存储空间获取所述目标数据。

进一步地，所述装置还包括：删除单元，用于在通过所述第二节点根据所述通知信息从所述第三节点的预设存储空间获取所述目标数据之后，通过所述第二节点向所述第三节点发送数据删除指令，其中，所述数据删除指令用于指示从所述第三节点的预设存储空间删除所述目标数据。

为了实现上述目的，根据本申请的另一方面，提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述的数据传输方法。

为了实现上述目的，根据本申请的另一方面，提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的数据传输方法。

在本申请实施例中，第一节点将数据写入第三节点的预设存储空间，并向第二节点发送通知信息，第二节点接收到通知信息之后，从第三节点的预设存储空间中读取数据，在这个过程中，数据不是直接从第一节点传输至第二节点，避免了第一节点和第二节点之间直接传输数据时设置大的传输容量导致的数据传输效率下降的问题，对于数据的容量大小不敏感，即使是第一节点和第二节点之间频繁传输大量数据也能够保持高传输效率，达到了提高数据传输效率的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种数据传输方法的流程图；

图2是根据本申请实施例的又一种数据传输方法的流程图；

图3是根据本申请实施例的一种数据传输装置的示意图；

图4是根据本申请实施例的又一种数据传输装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

技术术语：

Akka：一款分布应用框架，一般用于搭建分布式消息管理***。

分布式缓存：多个节点共用内存，构建共用缓存。

实施例1

根据本申请的实施例，提供了一种数据传输方法。该方法由第一节点执行。

图1是根据本申请实施例的一种数据传输方法的流程图。

如图1所示，该方法包括以下步骤：

步骤S102，第一节点将目标数据存储到第三节点的预设存储空间，其中，目标数据是第一节点与第二节点之间的待传输数据，第三节点是不同于第一节点、第二节点的服务器。

步骤S104，第一节点向第二节点发送通知信息，通知信息用于通知第二节点目标数据已经被存储到第三节点的预设存储空间，以使第二节点根据通知信息从第三节点获取目标数据。

第一节点和第二节点为不同的服务器。

可选地，第一节点将目标数据存储到第三节点的预设存储空间，包括：第一节点调用第一目标程序，以将目标数据发送到第三节点的预设存储空间进行存储。

第一目标程序可以嵌入到第一节点的其他程序中。

在现有技术中，在第一节点和第二节点之间直接传输数据，根据实际业务情况，预先设定最大的传输容量限制，需要根据实际情况，不断调整参数，这就增加了工作量，并且需要重启***，使得参数生效，影响对外服务。

而本申请实施例提供的数据传输方法解决了Akka消息传输时的消息大小限制的问题，尤其在节点之间需要频繁的传输大量数据时，本申请实施例所提供的数据传输方法的优势非常明显，没有数据量的限制，即使数据量很大，也能保持高的数据传输效率。

实施例2

本申请实施例还提供了一种数据传输方法。该方法由第二节点执行。

图2是根据本申请实施例的又一种数据传输方法的流程图。

如图2所示，该方法包括以下步骤：

步骤S202，第二节点接收通知信息，其中，通知信息是第一节点将目标数据存储到第三节点的预设存储空间之后发送的，通知信息用于通知第二节点目标数据已经被存储到第三节点的预设存储空间，目标数据是第一节点与第二节点之间的待传输数据，第三节点是不同于第一节点、第二节点的服务器；

步骤S204，第二节点根据通知信息从第三节点的预设存储空间获取目标数据。

第一节点和第二节点为不同的服务器。

可选地，第二节点根据通知信息从第三节点的预设存储空间获取目标数据，包括：第二节点根据通知信息调用第二目标程序，以从第三节点的预设存储空间获取目标数据。

第二目标程序可以嵌入到第二节点的其他程序中。

可选地，在第二节点根据通知信息从第三节点的预设存储空间获取目标数据之后，方法还包括：第二节点向第三节点发送数据删除指令，其中，数据删除指令用于指示从第三节点的预设存储空间删除目标数据。

第二节点从第三节点的预设存储空间获取目标数据之后，从预设存储空间删除目标数据，以节约存储资源，将第三节点的存储空间的利用率最大化。

实施例3

工作流程：

1.发送节点(即上述第一节点)将数据(即上述目标数据)写入分布式缓存中。

2.发送节点发送信息(即上述通知信息)，告知查询节点(即上述第二节点)数据已经写入分布式缓存。

3.查询节点接收信息，并从分布式缓存中获取数据。

4.将数据从分布式缓存中删除。

该***具有以下优点：1、各个节点缓存中数据一致且自动同步。2、没有数据量限制。

实施例4

本申请实施例还提供了一种数据传输装置，需要说明的是，本申请实施例4的数据传输装置可以用于执行本申请实施例1所提供的数据传输方法。以下对本申请实施例提供的数据传输装置进行介绍。

图3是根据本申请实施例的一种数据传输装置的示意图。如图3所示，该装置包括：存储单元10、发送单元20。

存储单元10，用于通过第一节点将目标数据存储到第三节点的预设存储空间，其中，目标数据是第一节点与第二节点之间的待传输数据，第三节点是不同于第一节点、第二节点的服务器。

发送单元20，用于通过第一节点向第二节点发送通知信息，通知信息用于通知第二节点目标数据已经被存储到第三节点的预设存储空间，以使第二节点根据通知信息从第三节点获取目标数据。

可选地，存储单元10用于：通过第一节点调用第一目标程序，以将目标数据发送到第三节点的预设存储空间进行存储。

数据传输装置包括处理器和存储器，上述存储单元10、发送单元20等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来执行上述数据传输方法。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flas RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现数据传输方法。

本发明实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时执行数据传输方法。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：

通过第一节点将目标数据存储到第三节点的预设存储空间，其中，目标数据是第一节点与第二节点之间的待传输数据，第三节点是不同于第一节点、第二节点的服务器；通过第一节点向第二节点发送通知信息，通知信息用于通知第二节点目标数据已经被存储到第三节点的预设存储空间，以使第二节点根据通知信息从第三节点获取目标数据。

通过第一节点调用第一目标程序，以将目标数据发送到第三节点的预设存储空间进行存储。

本文中的设备可以是服务器、PC、PAD、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

实施例5

本申请实施例还提供了一种数据传输装置，需要说明的是，本申请实施例5的数据传输装置可以用于执行本申请实施例2所提供的数据传输方法。以下对本申请实施例提供的数据传输装置进行介绍。

图4是根据本申请实施例的又一种数据传输装置的示意图。如图4所示，该装置包括：接收单元40、获取单元50。

接收单元40，用于通过第二节点接收通知信息，其中，通知信息是第一节点将目标数据存储到第三节点的预设存储空间之后发送的，通知信息用于通知第二节点目标数据已经被存储到第三节点的预设存储空间，目标数据是第一节点与第二节点之间的待传输数据，第三节点是不同于第一节点、第二节点的服务器。

获取单元50，用于通过第二节点根据通知信息从第三节点的预设存储空间获取目标数据。

可选地，获取单元50用于：通过第二节点根据通知信息调用第二目标程序，以从第三节点的预设存储空间获取目标数据。

可选地，装置还包括：删除单元，用于在通过第二节点根据通知信息从第三节点的预设存储空间获取目标数据之后，通过第二节点向第三节点发送数据删除指令，其中，数据删除指令用于指示从第三节点的预设存储空间删除目标数据。

数据传输装置包括处理器和存储器，上述接收单元40、获取单元50等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

通过第二节点接收通知信息，其中，通知信息是第一节点将目标数据存储到第三节点的预设存储空间之后发送的，通知信息用于通知第二节点目标数据已经被存储到第三节点的预设存储空间，目标数据是第一节点与第二节点之间的待传输数据，第三节点是不同于第一节点、第二节点的服务器；通过第二节点根据通知信息从第三节点的预设存储空间获取目标数据。

通过第二节点根据通知信息调用第二目标程序，以从第三节点的预设存储空间获取目标数据。

在通过第二节点根据通知信息从第三节点的预设存储空间获取目标数据之后，通过第二节点向第三节点发送数据删除指令，其中，数据删除指令用于指示从第三节点的预设存储空间删除目标数据。

本文中的设备可以是服务器、PC、PAD、手机等。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种数据传输方法，其特征在于，包括：

第一节点将目标数据存储到第三节点的预设存储空间，其中，所述目标数据是所述第一节点与第二节点之间的待传输数据，所述第三节点是不同于所述第一节点、所述第二节点的服务器，所述第一节点与所述第二节点为Akka中的服务器；

所述第一节点向所述第二节点发送通知信息，所述通知信息用于通知所述第二节点所述目标数据已经被存储到所述第三节点的预设存储空间，以使所述第二节点根据所述通知信息从所述第三节点获取所述目标数据；其中，在所述第二节点根据所述通知信息从所述第三节点的预设存储空间获取所述目标数据之后，所述第二节点向所述第三节点发送数据删除指令，其中，所述数据删除指令用于指示从所述第三节点的预设存储空间删除所述目标数据。

2.根据权利要求1所述的方法，其特征在于，第一节点将目标数据存储到第三节点的预设存储空间，包括：

所述第一节点调用第一目标程序，以将所述目标数据发送到所述第三节点的预设存储空间进行存储。

3.一种数据传输方法，其特征在于，包括：

第二节点接收通知信息，其中，所述通知信息是第一节点将目标数据存储到第三节点的预设存储空间之后发送的，所述通知信息用于通知所述第二节点所述目标数据已经被存储到所述第三节点的预设存储空间，所述目标数据是所述第一节点与所述第二节点之间的待传输数据，所述第三节点是不同于所述第一节点、所述第二节点的服务器，所述第一节点与所述第二节点为Akka中的服务器；

所述第二节点根据所述通知信息从所述第三节点的预设存储空间获取所述目标数据；

在所述第二节点根据所述通知信息从所述第三节点的预设存储空间获取所述目标数据之后，所述第二节点向所述第三节点发送数据删除指令，其中，所述数据删除指令用于指示从所述第三节点的预设存储空间删除所述目标数据。

4.根据权利要求3所述的方法，其特征在于，所述第二节点根据所述通知信息从所述第三节点的预设存储空间获取所述目标数据，包括：

所述第二节点根据所述通知信息调用第二目标程序，以从所述第三节点的预设存储空间获取所述目标数据。

5.一种数据传输装置，其特征在于，包括：

存储单元，用于通过第一节点将目标数据存储到第三节点的预设存储空间，其中，所述目标数据是所述第一节点与第二节点之间的待传输数据，所述第三节点是不同于所述第一节点、所述第二节点的服务器，所述第一节点与所述第二节点为Akka中的服务器；

发送单元，用于通过所述第一节点向所述第二节点发送通知信息，所述通知信息用于通知所述第二节点所述目标数据已经被存储到所述第三节点的预设存储空间，以使所述第二节点根据所述通知信息从所述第三节点获取所述目标数据；其中，在所述第二节点根据所述通知信息从所述第三节点的预设存储空间获取所述目标数据之后，所述第二节点向所述第三节点发送数据删除指令，其中，所述数据删除指令用于指示从所述第三节点的预设存储空间删除所述目标数据。

6.根据权利要求5所述的装置，其特征在于，所述存储单元用于：

通过所述第一节点调用第一目标程序，以将所述目标数据发送到所述第三节点的预设存储空间进行存储。

7.一种数据传输装置，其特征在于，包括：

接收单元，用于通过第二节点接收通知信息，其中，所述通知信息是第一节点将目标数据存储到第三节点的预设存储空间之后发送的，所述通知信息用于通知所述第二节点所述目标数据已经被存储到所述第三节点的预设存储空间，所述目标数据是所述第一节点与所述第二节点之间的待传输数据，所述第三节点是不同于所述第一节点、所述第二节点的服务器，所述第一节点与所述第二节点为Akka中的服务器；

获取单元，用于通过所述第二节点根据所述通知信息从所述第三节点的预设存储空间获取所述目标数据；

删除单元，用于在所述第二节点根据所述通知信息从所述第三节点的预设存储空间获取所述目标数据之后，通过所述第二节点向所述第三节点发送数据删除指令，其中，所述数据删除指令用于指示从所述第三节点的预设存储空间删除所述目标数据。

8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求3至4任一项所述的数据传输方法。

9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求3至4任一项所述的数据传输方法。