CN113259408A - 数据传输方法和*** - Google Patents

数据传输方法和*** Download PDF

Info

Publication number
CN113259408A
CN113259408A CN202110337532.4A CN202110337532A CN113259408A CN 113259408 A CN113259408 A CN 113259408A CN 202110337532 A CN202110337532 A CN 202110337532A CN 113259408 A CN113259408 A CN 113259408A
Authority
CN
China
Prior art keywords
service
file
data
request
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110337532.4A
Other languages
English (en)
Other versions
CN113259408B (zh
Inventor
蒲伟
张伟
王玮
叶华文
安振文
潘成鹏
孙义磊
赵歆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CNOOC Information Technology Co Ltd
Original Assignee
CNOOC Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CNOOC Information Technology Co Ltd filed Critical CNOOC Information Technology Co Ltd
Priority to CN202110337532.4A priority Critical patent/CN113259408B/zh
Publication of CN113259408A publication Critical patent/CN113259408A/zh
Application granted granted Critical
Publication of CN113259408B publication Critical patent/CN113259408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种数据传输方法和***,其中服务消费方将数据传输请求拆分为传输大数据的数据请求和请求通信的服务请求,将大数据以文件形式表达,并建立数据请求与服务请求的关联关系信息,将服务请求发送至服务网关,服务网关提取服务请求联的数据请求,将服务请求路由到服务提供方,将数据请求路由到分布式大文件传输服务器,服务提供方接收服务网关发送的服务请求,向服务网关反馈响应服务,使服务网关将所述响应服务传输至所述服务消费方,服务消费方通过分布式大文件传输服务器提供的文件传输服务向所述服务提供方传输包括大数据的文件,使包括大数据的文件能够完整快速传输至服务提供方,提升了包括大数据的文件等大数据量信息的传输效率。

Description

数据传输方法和***
技术领域
本申请涉及通信技术领域,特别是涉及一种数据传输方法和***。
背景技术
随着现代企业信息***复杂度的不断提高,以及各***需要与外部合作伙伴应用、企业自身公网应用、企业内网应用的频繁交互,无论在服务安全还是服务级别、流量控制上都需要服务网关起到核心枢纽和支撑作用。
伴随着数字经济的蓬勃发展,大数据时代的到来,大数据量的信息服务日渐繁重,传统的企业服务网关在响应大数据量服务时,还是以HTTP协议大报文携带数据的方式进行传输,服务网关采用同步方式进行响应,此种方式在面对现如今的频繁大数据量的形式下,服务质量和响应时间都无法保障。
发明内容
基于此,为有效缩短服务网关响应携带大数据量服务请求的响应时间,提供一种数据传输方法和***。其采用大数据量传输通过文件分片方式进行,服务网关将服务请求和大数据量传输采用异步方式进行响应,服务请求接入采用分阶段事件驱动架构来实现高并发请求的及时接入,采用分布式大文件传输架构作为文件传输服务,并应用分片传输机制、断点续传能力、面向块的I/O***NIO技术等来保证传输过程的可靠性的同时缩短服务网关的响应时间。
本申请在第一方面提供一种数据传输方法,包括:
S10,服务消费方在发送携带有大数据量的数据传输请求时,将所述数据传输请求拆分为传输大数据的数据请求和请求通信的服务请求,并获取所述数据请求对应的大数据,将所述大数据以文件形式表达,并建立包括大数据的文件和数据请分别与服务请求的关联关系信息,将所述服务请求发送至服务网关;
S20,所述服务网关接收所述服务消费方发送的服务请求,在识别到所述服务请求关联的数据请求时,提取所述服务请求关联的数据请求,将所述服务请求路由到服务提供方,将所述数据请求路由到分布式大文件传输服务器;
S30,所述服务提供方接收所述服务网关发送的服务请求,向所述服务网关反馈响应服务,使所述服务网关将所述响应服务传输至所述服务消费方;
S40,所述服务消费方接收所述响应服务,通过所述分布式大文件传输服务器提供的文件传输服务向所述服务提供方传输包括所述大数据的文件。
在一个实施例中,所述服务消费方通过文件传输服务向所述服务提供方传输包括所述大数据的文件包括:
所述分布式大文件传输服务器接收所述数据请求,设置文件传输服务,建立与所述服务消费方之间的传输通道;
所述服务消费方通过所述传输通道向所述分布式大文件传输服务器传输包括所述大数据的文件;
所述分布式大文件传输服务器将接收的文件传输至所述服务提供方。
作为一个实施例,所述分布式大文件传输服务器将接收的文件传输至所述服务提供方包括:
所述分布式大文件传输服务器存储接收的文件,通知所述服务提供方;
所述服务提供方在接收通知后,从所述分布式大文件传输服务器获取文件。
具体地,上述数据传输方法,还包括:
所述服务网关监测所述分布式大文件传输服务器向所述服务提供方传输文件的进度,在所述文件传输完成后,向所述服务提供方发送传输完成的通知信息。
具体地,上述数据传输方法,还包括:
所述服务提供方收到所述传输完成的通知信息后,解析所述文件,以获取所述文件携带的大数据。
在一个实施例中,所述服务提供方在接收通知后,从所述分布式大文件传输服务器获取文件包括:
所述服务提供方根据服务请求的关联关系信息确定文件存放位置,根据所述文件存放位置读取所述文件,以得到所述文件中表达的大数据。
在一个实施例中,所述服务消费方通过所述传输通道传输包括所述大数据的文件包括:
所述服务消费方将包括大数据的文件进行分片并编号,采用断点续传技术将全部分片文件通过所述传输通道传输至所述分布式大文件传输服务器。
具体地,所述分布式大文件传输服务器接收分片文件,将全部分片文件组装成完整的文件。
本申请在第二方面提供一种数据传输***,包括:服务消费方、服务网关和服务提供方;
所述服务消费方在发送携带有大数据量的数据传输请求时,将所述数据传输请求拆分为传输大数据的数据请求和请求通信的服务请求,并获取所述数据请求对应的大数据,将所述大数据以文件形式表达,并建立包括大数据的文件和数据请分别与服务请求的关联关系信息,将所述服务请求发送至服务网关;
所述服务网关接收所述服务消费方发送的服务请求,在识别到所述服务请求关联的数据请求时,提取所述服务请求关联的数据请求,将所述服务请求路由到服务提供方,将所述数据请求路由到分布式大文件传输服务器;
所述服务提供方接收所述服务网关发送的服务请求,向所述服务网关反馈响应服务,使所述服务网关将所述响应服务传输至所述服务消费方;
所述服务消费方接收所述响应服务,通过所述分布式大文件传输服务器提供的文件传输服务向所述服务提供方传输包括所述大数据的文件。
在一个实施例中,上述数据传输***,还包括分布式大文件传输服务器;
所述分布式大文件传输服务器接收所述数据请求,设置文件传输服务,建立与所述服务消费方之间的传输通道;并将接收的文件传输至所述服务提供方;
所述服务消费方通过所述传输通道向所述分布式大文件传输服务器传输包括所述大数据的文件。
上述数据传输方法和***中,服务消费方在发送携带有大数据量的数据传输请求时,将数据传输请求拆分为传输大数据的数据请求和请求通信的服务请求,并获取数据请求对应的大数据,将大数据以文件形式表达,并建立数据请求与服务请求的关联关系信息,将服务请求发送至服务网关,服务网关接收服务消费方发送的服务请求,识别到服务请求联的数据请求时,提取服务请求联的数据请求,将服务请求路由到服务提供方,将数据请求路由到分布式大文件传输服务器,服务提供方接收服务网关发送的服务请求,向服务网关反馈响应服务,使服务网关将所述响应服务传输至所述服务消费方,服务消费方通过分布式大文件传输服务器提供的文件传输服务向所述服务提供方传输包括大数据的文件,使包括大数据的文件能够完整快速传输至服务提供方,提升了包括大数据的文件等大数据量信息的传输效率,进而可以提升相应文件传输的服务质量和响应时间。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,并且相同或对应的标号表示相同或对应的部分,其中:
图1是一个实施例的数据传输方法流程图;
图2是一个实施例中携带大数据量请求时服务网关响应处理逻辑图;
图3是一个实施例中服务网关功能框架图;
图4是一个实施例中服务网关响应服务请求采用的分阶段事件驱动架构逻辑图;
图5是一个实施例中断点续传技术过程逻辑图;
图6是一个实施例中NIO技术读写数据过程逻辑图;
图7为一个实施例中大文件分片传输过程原理图。
具体实施方式
下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
下面结合附图来详细描述本公开的具体实施方式。
如图1所示,本申请一方面提供了一种数据传输方法,包括以下步骤:
S10,服务消费方在发送携带有大数据量的数据传输请求时,将所述数据传输请求拆分为传输大数据的数据请求和请求通信的服务请求,并获取所述数据请求对应的大数据,将所述大数据以文件形式表达,并建立包括大数据的文件和数据请分别与服务请求的关联关系信息,将所述服务请求发送至服务网关。
上述服务消费方可以为请求服务的各类第三方服务或客户端服务。服务消费方在获取所述数据请求对应的大数据后,将所述大数据以文件形式表达,还可以通过建立文件唯一标识作为与服务请求的关联关系信息,使服务请求与相应的文件和/或数据请求相关联,这样便可以从服务请求中获取文件的存储位置等文件描述信息,还可以获取服务请求关联的数据请求。
S20,所述服务网关接收所述服务消费方发送的服务请求,在识别到所述服务请求关联的数据请求时,提取所述服务请求关联的数据请求,将所述服务请求路由到服务提供方,将所述数据请求路由到分布式大文件传输服务器。
该步骤中,服务网关可以识别服务请求类型,拆解为大数据量传输对应的数据请求和服务请求响应,并且异步处理各个请求。
S30,所述服务提供方接收所述服务网关发送的服务请求,向所述服务网关反馈响应服务,使所述服务网关将所述响应服务传输至所述服务消费方。
上述服务提供方接收到服务网关发送的服务请求后,进行业务逻辑处理,并将处理结果(如响应服务)通知服务网关,服务网关将服务请求响应信息(响应服务)返回给服务消费方。
S40,所述服务消费方接收所述响应服务,通过所述分布式大文件传输服务器提供的文件传输服务向所述服务提供方传输包括所述大数据的文件。
上述文件传输服务为携带大数据量请求的分布式大文件传输服务,从服务消费方(如客户端)传输到分布式大文件传输服务器,可以采用断点续传、分片传输、面向块的NIO技术、消息优先级服务等来保障大数据量传输过程的可靠性和高效性。
本实施例可以将携带大数据量请求的数据请求和相应服务请求进行异步响应处理,拆分成服务请求和携带大数据量的数据请求,并采用异步实现方式,大数据量不进行传统的HTTP传输,改为以文件的方式通过分布式文件服务进行传输,并在传输协议报文里增加文件信息来进行关联,服务网关异步响应服务请求和携带大数据量请求。可以在服务网关响应携带大数据量请求时能够有效缩短服务请求的响应时间。
上述数据传输方法中,服务消费方在发送携带有大数据量的数据传输请求时,将数据传输请求拆分为传输大数据的数据请求和请求通信的服务请求,并获取数据请求对应的大数据,将大数据以文件形式表达,并建立数据请求与服务请求的关联关系信息,将服务请求发送至服务网关,服务网关接收服务消费方发送的服务请求,识别到服务请求联的数据请求时,提取服务请求联的数据请求,将服务请求路由到服务提供方,将数据请求路由到分布式大文件传输服务器,服务提供方接收服务网关发送的服务请求,向服务网关反馈响应服务,使服务网关将所述响应服务传输至所述服务消费方,服务消费方通过分布式大文件传输服务器提供的文件传输服务向所述服务提供方传输包括大数据的文件,使包括大数据的文件能够完整快速传输至服务提供方,提升了包括大数据的文件等大数据量信息的传输效率,进而可以提升相应文件传输的服务质量和响应时间。
在一个实施例中,所述服务消费方通过文件传输服务向所述服务提供方传输包括所述大数据的文件包括:
所述分布式大文件传输服务器接收所述数据请求,设置文件传输服务,建立与所述服务消费方之间的传输通道;
所述服务消费方通过所述传输通道向所述分布式大文件传输服务器传输包括所述大数据的文件;
所述分布式大文件传输服务器将接收的文件传输至所述服务提供方。
作为一个实施例,所述分布式大文件传输服务器将接收的文件传输至所述服务提供方包括:
所述分布式大文件传输服务器存储接收的文件,通知所述服务提供方;
所述服务提供方在接收通知后,从所述分布式大文件传输服务器获取文件。
具体地,上述数据传输方法,还包括:
所述服务网关监测所述分布式大文件传输服务器向所述服务提供方传输文件的进度,在所述文件传输完成后,向所述服务提供方发送传输完成的通知信息。
在实际传输过程中,服务网关采用分阶段事件驱动架构进行请求响应,此架构能够在高并发请求、合理分配***资源、保持吞吐量和响应时间之间保持平衡。在一个示例中,分阶段事件驱动架构组成和处理过程如下:分阶段事件驱动架构将请求划分为不同的阶段,每个阶段使用不同数量的线程进行逻辑处理并分配不同的***资源,不同阶段间使用事件驱动的异步通信模式。将一个请求分割成一系列的阶段,每个阶段由一个线程池,一个业务逻辑事件处理器,一个事件输入队列和一个多资源控制器组成。具体地,每个阶段由几个核心部分组成:
(1)资源控制器:负责资源消耗的管理,调度,线程分配和回收等;
(2)事件队列:不同阶段间通过事件队列来传递通信;
(3)事件***:对事件状态进行跟踪和监听;
(4)事件处理线程池:处理事件的一组线程,并对线程池内线程进行管理和维护;
(5)事件处理器:处理每一个事件,并输出0个或多个事件到其他的阶段的事件输入队列;
所述的分布式大文件传输服务采用分布式负载均衡大文件传输架构,能够保障传输会话的可靠性,应用断点续传、面向块的NIO技术、分片传输方式、消息优先级等来保障传输过程的可靠和高效。主要应用技术如下:
一、断点续传技术
大数据量在传输过程中可能由于网络故障等原因导致传输过程中断,利用断点续传技术可以从未传输完成的部分开始文件传输,无需从头开始传输,可以节约传输时间,提高传输速度和可靠性。如果因为网络等原因传输链路被断开或者会话中断,之后再恢复链路和会话时,发送方可以从上一次中断的文件块开始继续传输,不需要重新开始。文件传输的断点是按照接收方在文件***中实际存储的大小为准的,这样再次建立传输会话时,会由接收方将此信息提供给发送方,这样发送方可以准备定位断点位置,再进行文件续传。
二、面向块的NIO技术
NIO是一种同步非阻塞的I/O模型,是I/O多路复用的基础,成为解决高并发与多量连接、I/O处理问题的有效方式。NIO是一个以块的方式处理I/O的***,每一个操作产生或者消费一个数据块,按块处理要比按字节处理数据高效很多。NIO主要有三大核心部分:Channel(通道),Buffer(缓冲区),Selector。NIO基于Channel和Buffer(缓冲区)进行操作,数据总是从通道读取到缓冲区中,或者从缓冲区写入到通道中。Selector(选择区)用于监听多个通道的事件(比如:连接打开,数据到达)。因此,单个线程可以监听多个数据通道。NIO的非阻塞模式,使一个线程从某通道发送请求读取数据,但是它仅能得到目前可用的数据,如果目前没有数据可用时,就什么都不会获取。而不是保持线程阻塞,所以直至数据变得可以读取之前,该线程可以继续做其他的事情。非阻塞写也是如此,一个线程请求写入一些数据到某通道,但不需要等待它完全写入,这个线程同时可以去做别的事情。线程通常将非阻塞I/O的空闲时间用于在其它通道上执行I/O操作,所以一个单独的线程现在可以管理多个输入和输出通道(channel)。
三、大文件分片传输机制
在传输大文件时,由于数据量较大,很容易因为网络等原因导致传输故障。大文件分片传输的核心思想是将大文件分片为多个小片文件,将每个小片文件进行传输,之后在传输目的地进行组装,形成完整的大文件。在分片传输小片文件时,即使有小片文件传输失败,可以将其记录下来,进行重传或者其他处理,这样可以有效保障大文件传输的可靠性和时效性。
具体地,上述数据传输方法,还包括:
所述服务提供方收到所述传输完成的通知信息后,解析所述文件,以获取所述文件携带的大数据。
本实施例中,大数据量传输完成后服务网关负责通知服务提供方,所有数据全部传输完成,服务提供方可根据传输协议中文件关联关系信息从文件存放位置读取该文件中表达的大数据内容。
在一个实施例中,所述服务提供方在接收通知后,从所述分布式大文件传输服务器获取文件包括:
所述服务提供方根据服务请求的关联关系信息确定文件存放位置,根据所述文件存放位置读取所述文件,以得到所述文件中表达的大数据。
本实施例中,大数据传输完成后,服务网关负责通知服务提供方,所有数据全部传输完成,服务提供方可根据传输协议中文件关联关系信息(如文件存放位置)从文件存放位置读取该文件中表达的大数据量内容。
在一个实施例中,所述服务消费方通过所述传输通道传输包括所述大数据的文件包括:
所述服务消费方将包括大数据的文件进行分片并编号,采用断点续传技术将全部分片文件通过所述传输通道传输至所述分布式大文件传输服务器。
具体地,所述分布式大文件传输服务器接收分片文件,将全部分片文件组装成完整的文件。
本实施例中,携带大数据量的数据请求通过高效的分布式大文件传输服务传输大数据,可以采用断点续传、分片传输、面向块的NIO技术、消息优先级服务等来保障大数据量传输过程的可靠性和高效性;此时,具体过程包括:
1)大文件传输请求发送给分布式大文件传输服务;
2)建立文件传输会话和通道;
3)服务消费方将文件进行分片并编号;
4)采用断点续传技术,将全部分片文件传输完成;
5)在大文件传输服务器上将全部分片文件组装成完整目标文件。
在一个实施例中,上述数据传输方法可以参考图2所示,其服务网关功能框架如图3所示,相应的数据传输过程可以如下所述。
1、服务消费方发送携带有大数据量的服务请求。
2、携带大数据量请求(数据请求)与服务请求拆分,将大数据量以文件形式表达,并通过建立文件唯一标识作为与服务请求的关联关系信息。
3、服务请求在请求协议报文中将此关联关系信息加入。
4、服务网关接收服务消费方的服务请求,识别服务请求类型,拆解为大数据量传输和服务请求响应,并且异步进行。该步骤具体包括:
(1)服务消费方的服务请求接入服务网关;
(2)服务网关将请求拆解为大数据量传输和服务请求响应;
(3)服务网关将服务请求拆解为不同阶段,生成不同事件;
(4)将服务事件发送到事件队列中;
(5)事件***监听到事件后,调用对应的事件处理器进行事件处理。在一个示例中,服务网关响应服务请求采用的分阶段事件驱动架构逻辑图可以参考图4所示;
(6)将全部阶段处理完成后,输出请求到服务提供方;
5、服务网关将服务请求路由到服务提供方,将携带大数据量请求路由到分布式大文件传输服务器;具体包括:
(1)路由服务请求到服务提供方;
(2)将携带大数据量请求路由到分布式大文件传输服务器,建立文件传输服务。
6、服务提供方接收到服务网关发送的服务请求后,进行业务逻辑处理,并将处理结果(响应服务)通知服务网关。具体包括:
(1)服务提供方接收服务请求;
(2)根据服务请求进行对应的业务逻辑处理;
(3)将处理结果响应给服务网关。
7、服务网关将服务请求响应信息(响应服务)返回给服务消费方;包括:
(1)服务网关接收服务提供方的服务响应;
(2)服务网关将响应结果返回给服务消费方。
8、携带大数据量请求通过高效的分布式大文件传输服务,采用断点续传、分片传输、面向块的NIO技术、消息优先级服务等来保障大数据量传输过程的可靠性和高效性。在一个示例中,断点续传技术过程逻辑图可以参考图5所示,其中采用的NIO技术读写数据过程逻辑图可以参考图6所示,大文件分片传输过程原理图可以参考图7所示。该过程具体包括:
(1)大文件传输请求发送给分布式大文件传输服务;
(2)建立文件传输会话和通道;
(3)服务消费方将文件进行分片并编号;
(4)采用断点续传技术,将全部分片文件传输完成;
(5)在大文件传输服务器上将全部分片文件组装成完整目标文件;
9、大数据量传输完成后服务网关负责通知服务提供方,所有数据全部传输完成,服务提供方可根据传输协议中文件关联关系信息从文件存放位置读取该文件中表达的大数据量内容;具体包括:
(1)大文件传输服务通知服务提供方,大文件传输完成;
(2)服务提供方读取传输完成的大文件内容;
(3)服务提供方根据规则解析出大文件中的大数据量内容。
传统服务网关在响应携带大数据量请求时,是通过底层HTTP协议携带大报文的传输方式,以及服务网关采用同步方式进行服务请求响应,在响应时间和数据传输可靠性上都很难保障。上述在大数据的传输方案通过将大数据量请求和服务请求响应进行异步响应处理,拆分服务请求和携带大数据量请求,并采用异步实现方式,大数据量不进行传统的HTTP传输,改为以文件的方式通过分布式文件服务进行传输,并在传输协议报文里增加文件信息来进行关联,服务网关异步响应服务请求和携带大数据量请求。此方法描述的计算方法和流程描述不依赖特定编程语言和***运行环境,***架构原理清晰灵活,可采用不同的具体技术架构来实现此技术模型,因此该发明方法具备很好的可移植性和可扩展性。该方法能够增强各种类型服务网关的高并发性能、***吞吐量、缩短携带大数据量请求时的响应时间,适用范围较为广泛。采用本实施例提供的大数据量传输通过文件分片方式进行,服务网关将服务请求和大数据量传输采用异步方式进行响应,可以保障大数据量传输的可靠性已经缩短服务网关的响应时间,极大提升用户的使用体验。
本申请在另一方面提供了一种数据传输***,包括服务消费方、服务网关和服务提供方;
所述服务消费方在发送携带有大数据量的数据传输请求时,将所述数据传输请求拆分为传输大数据的数据请求和请求通信的服务请求,并获取所述数据请求对应的大数据,将所述大数据以文件形式表达,并建立包括大数据的文件和数据请分别与服务请求的关联关系信息,将所述服务请求发送至服务网关;
所述服务网关接收所述服务消费方发送的服务请求,在识别到所述服务请求关联的数据请求时,提取所述服务请求关联的数据请求,将所述服务请求路由到服务提供方,将所述数据请求路由到分布式大文件传输服务器;
所述服务提供方接收所述服务网关发送的服务请求,向所述服务网关反馈响应服务,使所述服务网关将所述响应服务传输至所述服务消费方;
所述服务消费方接收所述响应服务,通过所述分布式大文件传输服务器提供的文件传输服务向所述服务提供方传输包括所述大数据的文件。
在一个实施例中,上述数据传输***,还包括分布式大文件传输服务器;
所述分布式大文件传输服务器接收所述数据请求,设置文件传输服务,建立与所述服务消费方之间的传输通道;并将接收的文件传输至所述服务提供方;
所述服务消费方通过所述传输通道向所述分布式大文件传输服务器传输包括所述大数据的文件。
关于数据传输***的具体限定可以参见上文中对于数据传输方法的限定,数据传输***的工作过程与数据传输方法完全对应,上述数据传输***可以实现数据传输方法对应的所有实施例的全部技术效果,在此不再赘述。
在本说明书的上述描述中,除非另有明确的规定和限定,术语“固定”、“安装”、“相连”或“连接”等术语应该做广义的理解。例如,就术语“连接”来说,其可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,或者可以是两个元件内部的连通或两个元件的相互作用关系。因此,除非本说明书另有明确的限定,本领域技术人员可以根据具体情况理解上述术语在本发明中的具体含义。
根据本说明书的上述描述,本领域技术人员还可以理解如下使用的术语,例如“上”、“下”、“前”、“后”、“左”、“右”、“长度”、“宽度”、“厚度”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“轴向”、“径向”、“周向”、“中心”、“纵向”、“横向”、“顺时针”或“逆时针”等指示方位或位置关系的术语是基于本说明书的附图所示的方位或位置关系的,其仅是为了便于阐述本发明的方案和简化描述的目的,而不是明示或暗示所涉及的***或元件必须要具有所述特定的方位、以特定的方位来构造和进行操作,因此上述的方位或位置关系术语不能被理解或解释为对本发明方案的限制。
另外,本说明书中所使用的术语“第一”或“第二”等用于指代编号或序数的术语仅用于描述目的,而不能理解为明示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”或“第二”的特征可以明示或者隐含地包括至少一个该特征。在本说明书的描述中,“多个”的含义是至少两个,例如两个,三个或更多个等,除非另有明确具体的限定。
虽然本说明书已经示出和描述了本发明的多个实施例,但对于本领域技术人员显而易见的是,这样的实施例只是以示例的方式提供的。本领域技术人员会在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本发明的过程中,可以采用对本文所描述的本发明实施例的各种替代方案。所附权利要求书旨在限定本发明的保护范围,并因此覆盖这些权利要求范围内的模块组成、等同或替代方案。

Claims (10)

1.一种数据传输方法,其特征在于,包括:
服务消费方在发送携带有大数据量的数据传输请求时,将所述数据传输请求拆分为传输大数据的数据请求和请求通信的服务请求,并获取所述数据请求对应的大数据,将所述大数据以文件形式表达,并建立包括大数据的文件和数据请分别与服务请求的关联关系信息,将所述服务请求发送至服务网关;
所述服务网关接收所述服务消费方发送的服务请求,在识别到所述服务请求关联的数据请求时,提取所述服务请求关联的数据请求,将所述服务请求路由到服务提供方,将所述数据请求路由到分布式大文件传输服务器;
所述服务提供方接收所述服务网关发送的服务请求,向所述服务网关反馈响应服务,使所述服务网关将所述响应服务传输至所述服务消费方;
所述服务消费方接收所述响应服务,通过所述分布式大文件传输服务器提供的文件传输服务向所述服务提供方传输包括所述大数据的文件。
2.根据权利要求1所述的数据传输方法,其特征在于,所述服务消费方通过文件传输服务向所述服务提供方传输包括所述大数据的文件包括:
所述分布式大文件传输服务器接收所述数据请求,设置文件传输服务,建立与所述服务消费方之间的传输通道;
所述服务消费方通过所述传输通道向所述分布式大文件传输服务器传输包括所述大数据的文件;
所述分布式大文件传输服务器将接收的文件传输至所述服务提供方。
3.根据权利要求2所述的数据传输方法,其特征在于,所述分布式大文件传输服务器将接收的文件传输至所述服务提供方包括:
所述分布式大文件传输服务器存储接收的文件,通知所述服务提供方;
所述服务提供方在接收通知后,从所述分布式大文件传输服务器获取文件。
4.根据权利要求3所述的数据传输方法,其特征在于,还包括:
所述服务网关监测所述分布式大文件传输服务器向所述服务提供方传输文件的进度,在所述文件传输完成后,向所述服务提供方发送传输完成的通知信息。
5.根据权利要求4所述的数据传输方法,其特征在于,还包括:
所述服务提供方收到所述传输完成的通知信息后,解析所述文件,以获取所述文件携带的大数据。
6.根据权利要求3所述的数据传输方法,其特征在于,所述服务提供方在接收通知后,从所述分布式大文件传输服务器获取文件包括:
所述服务提供方根据服务请求的关联关系信息确定文件存放位置,根据所述文件存放位置读取所述文件,以得到所述文件中表达的大数据。
7.根据权利要求2所述的数据传输方法,其特征在于,所述服务消费方通过所述传输通道传输包括所述大数据的文件包括:
所述服务消费方将包括大数据的文件进行分片并编号,采用断点续传技术将全部分片文件通过所述传输通道传输至所述分布式大文件传输服务器。
8.根据权利要求7所述的数据传输方法,其特征在于,所述分布式大文件传输服务器接收分片文件,将全部分片文件组装成完整的文件。
9.一种数据传输***,其特征在于,包括服务消费方、服务网关和服务提供方;
所述服务消费方在发送携带有大数据量的数据传输请求时,将所述数据传输请求拆分为传输大数据的数据请求和请求通信的服务请求,并获取所述数据请求对应的大数据,将所述大数据以文件形式表达,并建立包括大数据的文件和数据请分别与服务请求的关联关系信息,将所述服务请求发送至服务网关;
所述服务网关接收所述服务消费方发送的服务请求,在识别到所述服务请求关联的数据请求时,提取所述服务请求关联的数据请求,将所述服务请求路由到服务提供方,将所述数据请求路由到分布式大文件传输服务器;
所述服务提供方接收所述服务网关发送的服务请求,向所述服务网关反馈响应服务,使所述服务网关将所述响应服务传输至所述服务消费方;
所述服务消费方接收所述响应服务,通过所述分布式大文件传输服务器提供的文件传输服务向所述服务提供方传输包括所述大数据的文件。
10.根据权利要求9所述的数据传输***,其特征在于,还包括分布式大文件传输服务器;
所述分布式大文件传输服务器接收所述数据请求,设置文件传输服务,建立与所述服务消费方之间的传输通道;并将接收的文件传输至所述服务提供方;
所述服务消费方通过所述传输通道向所述分布式大文件传输服务器传输包括所述大数据的文件。
CN202110337532.4A 2021-03-30 2021-03-30 数据传输方法和*** Active CN113259408B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110337532.4A CN113259408B (zh) 2021-03-30 2021-03-30 数据传输方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110337532.4A CN113259408B (zh) 2021-03-30 2021-03-30 数据传输方法和***

Publications (2)

Publication Number Publication Date
CN113259408A true CN113259408A (zh) 2021-08-13
CN113259408B CN113259408B (zh) 2023-06-20

Family

ID=77181211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110337532.4A Active CN113259408B (zh) 2021-03-30 2021-03-30 数据传输方法和***

Country Status (1)

Country Link
CN (1) CN113259408B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115242774A (zh) * 2022-06-24 2022-10-25 浪潮通信技术有限公司 边缘计算网关配置传输方法及装置
CN116132425A (zh) * 2022-12-27 2023-05-16 中国电子科技集团公司第三十研究所 一种大规模多路数据跨网单向导入方法及***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090228898A1 (en) * 2005-09-09 2009-09-10 Standard Life Employee Services Limited Service Oriented Architecture
CN101958916A (zh) * 2009-07-17 2011-01-26 华为技术有限公司 一种基于富客户端应用的数据处理方法及装置
CN103294754A (zh) * 2013-02-04 2013-09-11 税友软件集团股份有限公司 大数据量加载的拆分与合并方法及***
CN108881485A (zh) * 2018-07-30 2018-11-23 中国石油化工股份有限公司 保障大数据包下的高并发***响应时间的方法
CN111049673A (zh) * 2019-11-21 2020-04-21 山东健康医疗大数据有限公司 一种服务网关中api调用统计和监控的方法及***
CN111600920A (zh) * 2019-02-21 2020-08-28 北京京东尚科信息技术有限公司 基于js的数据请求代理方法、装置、设备及可读存储介质
CN111638972A (zh) * 2020-05-07 2020-09-08 北京仁科互动网络技术有限公司 基于微服务的请求响应方法、***、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090228898A1 (en) * 2005-09-09 2009-09-10 Standard Life Employee Services Limited Service Oriented Architecture
CN101958916A (zh) * 2009-07-17 2011-01-26 华为技术有限公司 一种基于富客户端应用的数据处理方法及装置
CN103294754A (zh) * 2013-02-04 2013-09-11 税友软件集团股份有限公司 大数据量加载的拆分与合并方法及***
CN108881485A (zh) * 2018-07-30 2018-11-23 中国石油化工股份有限公司 保障大数据包下的高并发***响应时间的方法
CN111600920A (zh) * 2019-02-21 2020-08-28 北京京东尚科信息技术有限公司 基于js的数据请求代理方法、装置、设备及可读存储介质
CN111049673A (zh) * 2019-11-21 2020-04-21 山东健康医疗大数据有限公司 一种服务网关中api调用统计和监控的方法及***
CN111638972A (zh) * 2020-05-07 2020-09-08 北京仁科互动网络技术有限公司 基于微服务的请求响应方法、***、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115242774A (zh) * 2022-06-24 2022-10-25 浪潮通信技术有限公司 边缘计算网关配置传输方法及装置
CN116132425A (zh) * 2022-12-27 2023-05-16 中国电子科技集团公司第三十研究所 一种大规模多路数据跨网单向导入方法及***
CN116132425B (zh) * 2022-12-27 2024-03-26 中国电子科技集团公司第三十研究所 一种大规模多路数据跨网单向导入方法及***

Also Published As

Publication number Publication date
CN113259408B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
JP4144897B2 (ja) 共通作業キュー環境における最適格サーバ
US10592464B2 (en) Methods for enabling direct memory access (DMA) capable devices for remote DMA (RDMA) usage and devices thereof
US9537786B2 (en) Method, device, and system for information processing based on distributed buses
CN108270676B (zh) 一种基于Intel DPDK的网络数据处理方法及装置
CN110134534B (zh) 基于nio针对大数据分布式***进行消息处理优化的***及方法
US10609125B2 (en) Method and system for transmitting communication data
CN105681462A (zh) 一种基于消息路由的集群***及数据通信中转方法
CN112631788B (zh) 数据传输方法及数据传输服务器
CN113259408B (zh) 数据传输方法和***
WO2022032984A1 (zh) 一种mqtt协议仿真方法及仿真设备
CN111404931B (zh) 一种基于持久性内存的远程数据传输方法
US20100198977A1 (en) Automatic live stream trees
WO2012155440A1 (zh) 一种基于超文本传输协议的业务请求处理方法及装置
US8832215B2 (en) Load-balancing in replication engine of directory server
AU777806B2 (en) Method and apparatus for anonymous subject-based addressing
CN112052104A (zh) 基于多机房实现的消息队列的管理方法及电子设备
JP2010086137A (ja) メッセージキューイング方法及びプログラム
CN111404842A (zh) 数据传输方法、装置及计算机存储介质
JP4415391B2 (ja) データをネットワークに送信する方法及び装置並びにデータをネットワークから受信する方法及び装置
CN108337285B (zh) 一种通信***及通信方法
CN113810264B (zh) 信息传输方法、装置、电子设备和存储介质
CN114051047B (zh) 一种会话消息的备份方法、装置、网络设备和存储介质
CN116760504B (zh) 会话同步方法、装置、服务节点、终端及可读存储介质
JP7424494B2 (ja) リクエスト配送装置、リクエスト配送方法、および、リクエスト配送プログラム
CN114584518B (zh) 基于资源池的websocket负载均衡方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant