CN110572478A - 基于分布式架构服务和ftp服务的数据传输方法及*** - Google Patents

Abstract

本发明提供一种基于分布式架构服务和FTP服务的数据传输方法及***，该数据传输方法通过第一缓冲共享介质对写入容器组接收的数据进行统一管理后再写入FTP服务器，每个读取容器组在计算本身的数据大小后加上第一缓冲共享介质中的数据大小，达到标准条件即可打包发送到FTP服务器，数据文件大小相对稳定，FTP服务器的网络连接数和网络传输更加平稳，数据传输即时性高；实时监控第一缓冲共享介质的写入速度和读取速度，并调整第一容器组的数量和第二容器组的数量，使第一缓冲共享介质的读取速度大于等于第一缓冲共享介质的写入速度，通过对写入的副本进行切换控制，在整个***健康运行的前提下，达到最优的写入效果，并最即时地将数据文件传输到FTP服务器。

Description

基于分布式架构服务和FTP服务的数据传输方法及***

技术领域

本发明涉及数据传输技术领域，特别是涉及一种基于分布式架构服务和FTP服务的数据传输方法及***。

背景技术

目前，在基于分布式架构***间使用FTP服务器进行数据交互的场景中，一般都是每个容器组(pod)向FTP服务器直接下发数据或者打包之后写入数据，按照每个容器组的单独计算规则，如数据量5MB打包传输一次，在数据下发量较小时每个容器组的数据传输时延较大，数据量下发较多时多个容器组在同一时段对FTP服务器的网络传输压力较大，使得FTP服务器的网络连接数和网络传输状态不稳定。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种全新结构的基于分布式架构服务和FTP服务的数据传输方案，用于解决上述技术问题。

为实现上述目的及其他相关目的，本发明提供一种基于分布式架构服务和FTP服务的数据传输方法，包括步骤：

利用第一容器组接收数据并写入第一缓冲共享介质，利用第二容器组将所述第一缓冲共享介质中的数据取出打包后通过第一连接池写入FTP服务器的指定目录中，通过所述第一缓冲共享介质对数据进行统一管理；

实时监控所述第一缓冲共享介质的写入速度和读取速度，并据此调整所述第一容器组的数量和所述第二容器组的数量，使所述第一缓冲共享介质的读取速度大于等于所述第一缓冲共享介质的写入速度。

可选地，所述实时监控所述第一缓冲共享介质的写入速度和读取速度，并据此调整所述第一容器组的数量和所述第二容器组的数量的步骤包括：

根据以下公式动态调整所述第一容器组的数量和所述第二容器组的数量，

X≥M*A，Y≥N*B，N*B≥M*A，Q＝M+N，M≥0，N≥0；

其中，X表示所述第一缓冲共享介质的写入速度，Y表示所述第一缓冲共享介质的读取速度，M表示所述第一容器组的个数，N表示所述第二容器组的个数，Q表示总的容器组的个数，A表示所述第一容器组的写入速度，B表示所述第二容器组的读取速度；M、N、Q为整数。

可选地，所述基于分布式架构服务和FTP服务的数据传输方法还包括步骤：

利用第三容器组接收数据并通过第二连接池写入所述FTP服务器；

调整所述第三容器组的数量，使所述FTP服务器的读取速度和写入速度达到平衡。

可选地，所述实时监控所述第一缓冲共享介质的写入速度和读取速度，并据此调整所述第一容器组的数量和所述第二容器组的数量的步骤包括：

根据以下公式动态调整所述第一容器组的数量和所述第二容器组的数量，

X≥M*A，Y≥N*B，N*B≥M*A，Q＝M+N+P，M≥0，N≥0，P≥0；

其中，X表示所述第一缓冲共享介质的写入速度，Y表示所述第一缓冲共享介质的读取速度，M表示所述第一容器组的个数，N表示所述第二容器组的个数，P表示所述第三容器组的个数，Q表示总的容器组的个数，A表示所述第一容器组的写入速度，B表示所述第二容器组的读取速度；M、N、Q、P为整数。

可选地，所述实时监控所述第一缓冲共享介质的写入速度和读取速度，并据此调整所述第一容器组的数量和所述第二容器组的数量的步骤包括：

根据所述第一缓冲共享介质的写入速度的峰值，自动或人工调整并固定所述第一容器组的数量。

可选地，所述基于分布式架构服务和FTP服务的数据传输方法还包括步骤：

横向扩展所述FTP服务器的数量，利用多个所述FTP服务器进行数据的传输。

可选地，所述基于分布式架构服务和FTP服务的数据传输方法还包括步骤：

利用第四容器组通过第三连接池读取所述指定目录，并将所述指定目录反馈给第二缓冲共享介质；

根据所述第二缓冲共享介质中的所述指定目录，利用第四容器组通过第三连接池读取所述FTP服务器中的数据，利用第五容器组通过第四连接池读取所述FTP服务器中的数据。

此外，为实现上述目的及其他相关目的，本发明还提供一种基于分布式架构服务和FTP服务的数据传输***，包括：

第一分布式子***，包括第一容器组、第二容器组、第三容器组、第一缓冲共享介质、第一连接池及第二连接池，所述第一容器组接收数据并将其写入所述第一缓冲共享介质，所述第二容器组从所述第一缓冲共享介质中取出数据并打包处理后送往所述第一连接池，所述第三容器组接收数据并将其打包处理后送往所述第二连接池；

FTP服务器，分别与所述第一连接池、第二连接池连接，接收数据并将其写入到指定目录中；

第二分布式子***，包括第四容器组、第五容器组、第二缓冲共享介质、第三连接池及第四连接池，所述FTP服务器分别与所述第三连接池、第四连接池连接，所述第四容器组通过所述第三连接池读取所述指定目录并将其反馈给所述第二缓冲共享介质，根据所述第二缓冲共享介质中的所述指定目录，所述第四容器组通过第三连接池读取所述FTP服务器中的数据，所述第五容器组通过第四连接池读取所述FTP服务器中的数据。

可选地，所述基于分布式架构服务和FTP服务的数据传输***包括至少一套所述第一分布式子***、至少一套所述FTP服务器和至少一套所述第二分布式子***。

可选地，所述第一缓冲共享介质与所述第二缓冲共享介质包括：Redis缓冲共享队列。

如上所述，本发明的基于分布式架构服务和FTP服务的数据传输方法，具有以下有益效果：加入第一缓冲共享介质之后，通过第一缓冲共享介质对容器组接受的数据进行统一管理后再写入FTP服务器，每个第二容器组在计算本身的数据大小后加上第一缓冲共享介质中的数据大小，达到标准即可打包发送到FTP服务器，数据文件大小会相对稳定，且FTP服务器的网络连接数和网络传输会更加平稳，数据传输的即时性也比较高；实时监控第一缓冲共享介质的写入速度和读取速度，并据此调整第一容器组的数量和第二容器组的数量，使第一缓冲共享介质的读取速度大于或者等于第一缓冲共享介质的写入速度，通过对写入的副本(第一容器组和第二容器组)进行切换控制，在整个***健康运行的前提下，达到最优的写入效果，并最即时地将数据文件传输到FTP服务器中。

附图说明

图1显示为本发明中基于分布式架构服务和FTP服务的数据传输方法的步骤示意图。

图2显示为本发明实施例一中基于分布式架构服务和FTP服务的数据传输***的结构示意图。

图3显示为本发明实施例二中基于分布式架构服务和FTP服务的数据传输***的结构示意图。

图4显示为本发明实施例三中基于分布式架构服务和FTP服务的数据传输***的结构示意图。

图5显示为本发明实施例四中基于分布式架构服务和FTP服务的数据传输***的结构示意图。

附图标号说明

pod11、pod12、pod13、pod14 第一容器组

pod21、pod22 第二容器组

pod31 第三容器组

pod41、pod42 第四容器组

pod51、pod52、pod53、pod54 第五容器组

CP11、CP12 第一连接池

CP21 第二连接池

CP31、CP32 第三连接池

CP41、CP42、CP43、CP44 第四连接池

R1 第一缓冲共享介质

R2 第二缓冲共享介质

F1、F2 FTP服务器

W 网络物理隔离设备

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。

请参阅图1至图5。需要说明的是，本发明实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。本说明书所附图式所绘示的结构、步骤顺序等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰或步骤顺序的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

如前述在背景技术中所提及的，目前，在基于分布式架构服务和FTP服务的数据传输方案中，一般都是每个容器组(pod)单独向FTP服务器直接下发数据或者打包之后写入数据，按照每个容器组的计算规则，在数据下发量较小时每个容器组的数据传输时延较大，数据量下发较多时多个容器组在同一时段对FTP服务器的网络传输压力较大，使得FTP服务器的网络连接数和网络传输状态不稳定。

基于此，如图1所示，本发明提供一种基于分布式架构服务和FTP服务的数据传输方法，包括步骤：

S1、利用第一容器组接收数据并写入第一缓冲共享介质，利用第二容器组将第一缓冲共享介质中的数据取出打包后通过第一连接池写入FTP服务器的指定目录中，通过第一缓冲共享介质对数据进行统一管理；

S2、实时监控第一缓冲共享介质的写入速度和读取速度，并据此调整第一容器组的数量和第二容器组的数量，使第一缓冲共享介质的读取速度大于等于第一缓冲共享介质的写入速度；

S3、利用第三容器组接收数据并通过第二连接池写入FTP服务器；调整第三容器组的数量，使FTP服务器的读取速度和写入速度达到平衡；

S4、横向扩展FTP服务器的数量，利用多个FTP服务器进行数据的传输；

S5、利用第四容器组通过第三连接池读取指定目录，并将指定目录反馈给第二缓冲共享介质；根据第二缓冲共享介质中的指定目录，利用第四容器组通过第三连接池读取FTP服务器中的数据，利用第五容器组通过第四连接池读取FTP服务器中的数据。

详细地，在步骤S1中，针对多副本的情况，将数据写入的容器组分为第一容器组和第二容器组共两类：第一容器组接收数据并将数据写入第一缓冲共享介质；第二容器组接收数据后计算本地数据大小再从第一缓冲共享介质中取出一定数据进行打包后，通过第一连接池连接FTP服务器并将数据快速写入FTP服务器。

其中，传统的不加入第一缓冲共享介质的传输方案会让每个容器组都有一套单独的计算规则，比如，数据量5MB打包一次，在20个副本的情况下，通过负载均衡，平均是整个***中有100MB，整个FTP服务器的网络连接数和网络传输会呈现出波形图，不利于FTP服务器的写入；在步骤S1中，加入第一缓冲共享介质之后，通过第一缓冲共享介质对容器组接受的数据进行统一管理后再写入FTP服务器，每个第二容器组在计算本身的数据大小后加上第一缓冲共享介质中的数据大小，达到标准(如5MB)即可打包发送到FTP服务器，数据文件大小会相对稳定并最大可能保持了数据的即时性，使得FTP服务器的网络连接数和网络传输会更加平稳。

详细地，在步骤S2中，实时监控第一缓冲共享介质的写入速度和读取速度，并据此调整第一容器组的数量和第二容器组的数量，使第一缓冲共享介质的读取速度略大于或者等于第一缓冲共享介质的写入速度，通过对写入的副本(第一容器组和第二容器组)进行切换控制，在整个***健康运行的前提下，达到最优的写入效果，并最即时地将数据文件传输到FTP服务器中。

更详细地，实时监控第一缓冲共享介质的写入速度和读取速度，并据此调整第一容器组的数量和第二容器组的数量的步骤S2可包括多种方案。

方案一：根据以下公式动态调整第一容器组的数量和第二容器组的数量，

X≥M*A，Y≥N*B，N*B≥M*A，Q＝M+N，M≥0，N≥0；

其中，X表示第一缓冲共享介质的写入速度，Y表示第一缓冲共享介质的读取速度，M表示第一容器组的个数，N表示第二容器组的个数，Q表示总的容器组的个数，A表示第一容器组的写入速度，B表示第二容器组的读取速度；M、N、Q为整数。

在方案一中，即使在第一缓冲共享介质损坏的情况下，依然能保持整个***的正常业务运行；公式组中M的取值越大，则即时性越高。详细地，在第一缓冲共享介质损坏时，第一容器组个数M和第二容器组个数N的取值均为0，***采用常规的第三容器组直接接收数据并通过第二连接池写入FTP服务器。

方案二：根据以下公式动态调整第一容器组的数量和第二容器组的数量，

X≥M*A，Y≥N*B，N*B≥M*A，Q＝M+N+P，M≥0，N≥0，P≥0；

其中，X表示第一缓冲共享介质的写入速度，Y表示第一缓冲共享介质的读取速度，M表示第一容器组的个数，N表示第二容器组的个数，P表示第三容器组的个数，Q表示总的容器组的个数，A表示第一容器组的写入速度，B表示第二容器组的读取速度；M、N、Q、P为整数。

在方案二中，即使在第一缓冲共享介质损坏的情况下，依然能保持整个***的正常业务运行，公式组中N的取值越小则即时性越高；方案二涉及接收数据后直接传输到FTP服务器的第三容器组，第三容器组个数P的取值越大即时性越低，P的取值越小即时性越高。

详细地，在第一缓冲共享介质损坏时，第一容器组个数M和第二容器组个数N的取值均为0，***采用常规的第三容器组直接接收数据并通过第二连接池写入FTP服务器，第三容器组个数P的取值达到最大，此时数据传输的及时性最低；在第一缓冲共享介质正常，且第一容器组个数M和第二容器组个数N的取值刚好使第一缓冲共享介质的写入速度与读取速度达到平衡时，***只采用第一容器组和第二容器组进行数据的传输，不采用第三容器组传输数据，第三容器组个数P的取值为0，此时数据传输的及时性最高。

方案三：根据第一缓冲共享介质的写入速度的峰值，自动或人工调整并固定第一容器组的数量，使第一缓冲共享介质的写入速度与读取速度达到平衡。

详细地，在步骤S3中，加入常规的直接接收数据并通过第二连接池写入FTP服务器的第三容器组；在第一容器组的数量和第二容器组的数量满足传输即时性的前提下，通过动态调整或人工调整等方式调整第三容器组的数量，使FTP服务器的读取速度和写入速度达到平衡，避免FTP服务器中的数据堆积，进而使得FTP服务器的运行更健康。

详细地，在步骤S4中，横向扩展FTP服务器的数量，利用多个FTP服务器进行数据的传输；考虑到每个FTP服务器都有写入速度和读取速度的瓶颈，利用多个FTP服务器并行进行数据的传输，能扩大数据传输的规模和能力。

以上步骤主要针对的是数据文件向FTP服务器写入的过程，数据写入FTP服务器时会存放到指定目录中，而步骤S5则涉及数据从FTP服务器中读取的过程。

详细地，在步骤S5中，先利用第四容器组通过第三连接池读取指定目录，并将指定目录反馈给第二缓冲共享介质；而后，根据第二缓冲共享介质中的指定目录，利用第四容器组通过第三连接池读取FTP服务器中的数据文件，利用第五容器组通过第四连接池读取FTP服务器中的数据文件，读取的数据文件在使用后会被删除。

此外，为实现上述传输方法，本发明还提供一种对应的基于分布式架构服务和FTP服务的数据传输***，包括：

第一分布式子***，包括第一容器组、第二容器组、第三容器组、第一缓冲共享介质、第一连接池及第二连接池，第一容器组接收数据并将其写入第一缓冲共享介质，第二容器组从第一缓冲共享介质中取出数据并打包处理后送往第一连接池，第三容器组接收数据并将其打包处理后送往第二连接池；

FTP服务器，分别与第一连接池、第二连接池连接，接收数据并将其写入到指定目录中；

第二分布式子***，包括第四容器组、第五容器组、第二缓冲共享介质、第三连接池及第四连接池，FTP服务器分别与第三连接池、第四连接池连接，第四容器组通过第三连接池读取指定目录并将其反馈给第二缓冲共享介质，根据第二缓冲共享介质中的指定目录，第四容器组通过第三连接池读取FTP服务器中的数据，第五容器组通过第四连接池读取FTP服务器中的数据。

详细地，该基于分布式架构服务和FTP服务的数据传输***包括至少一套第一分布式子***、至少一套FTP服务器和至少一套第二分布式子***。

可选地，第一缓冲共享介质与第二缓冲共享介质包括：Redis缓冲共享队列或其它支持高速缓存和高速读写的数据库。

其中，使用第一连接池、第二连接池、第三连接池及第四连接池的目的是为了快速连接到FTP服务器，避免频繁连接和释放，造成时间和成本的浪费。

下面针对本发明的传输技术方案，进行详细地实施例阐述。

实施例一

如图2所示，本实施例中的数据传输***包括一套第一分布式子***、一套FTP服务器和一套第二分布式子***，第一分布式子***和第二分布式子***分别包括5个容器组。

详细地，如图2所示，在第一分布式子***中，事先预制4个第一容器组pod11、pod12、pod13、pod14将数据写入第一缓冲共享介质R1，预制一个第二容器组pod21读取第一缓冲共享介质R1中的数据并通过第一连接池CP11将数据写入到FTP服务器F1的指定目录中，写入的数据文件的后缀全部标志为(.A)，也可用其他来进行标志；写入FTP服务器F1的指定目录后，在第二分布式子***中，预制一个第四容器组pod41通过第三连接池CP31去读取FTP服务器F1中指定文件夹下后缀为(.A)的文件，读取程序预制的数量文件的目录，如1000个，更改文件后缀为(.B)并将其反馈给第二缓冲共享介质R2；而后，第二分布式子***中的所有的容器组都将根据第二缓冲共享介质R2的文件目录对FTP服务器F1中的数据进行读取和使用，使用完成后删除，若文件读取后使用失败，则将文件后缀标志为(.C)，等待人工处理或通过进程将文件名更改为(.A)后继续读取到第二缓冲共享介质R2后使用。

更详细地，如图2所示，在第二分布式子***中，第四容器组pod41根据第二缓冲共享介质R2的文件目录通过第三连接池CP31去读取FTP服务器F1中的数据文件，第五容器组pod51根据第二缓冲共享介质R2的文件目录通过第四连接池CP41去读取FTP服务器F1中的数据文件，第五容器组pod52根据第二缓冲共享介质R2的文件目录通过第四连接池CP42去读取FTP服务器F1中的数据文件，第五容器组pod53根据第二缓冲共享介质R2的文件目录通过第四连接池CP43去读取FTP服务器F1中的数据文件，第五容器组pod54根据第二缓冲共享介质R2的文件目录通过第四连接池CP44去读取FTP服务器F1中的数据文件。

实施例二

实施例一中的仅示例性地介绍了通过第一缓冲共享介质进行数据统一管理的第一分布式子***结构，本实施例结合常规操作，在第一分布式子***中加入接受数据并直接写入FTP服务器的第三容器组。如图3所示，本实施例中的数据传输***包括一套第一分布式子***、一套FTP服务器和一套第二分布式子***，第一分布式子***包括6个容器组，第二分布式子***包括5个容器组。

详细地，如图3所示，在实施例一的基础上，本实施例中的第一分布式子***中还预制了第三容器组pod31将数据直接写入FTP服务器F1中，第三容器组pod31接收数据并通过第二连接池CP21将数据直接写入FTP服务器F1中，本实施例中的其他结构及数据传输流程同实施例一，在此不再赘述。

实施例三

本实施例以两套FTP服务器进行说明，如图4所示，本实施例中的数据传输***包括一套第一分布式子***、两套FTP服务器和一套第二分布式子***，第一分布式子***和第二分布式子***分别包括5个容器组。

详细地，如图4所示，在第一分布式子***中，事先预制3个第一容器组pod11、pod12、pod13将数据写入第一缓冲共享介质R1，预制1个第二容器组pod21读取第一缓冲共享介质R1中的数据并通过第一连接池CP11将数据写入到FTP服务器F1的指定目录中，预制1个第二容器组pod22读取第一缓冲共享介质R1中的数据并通过第一连接池CP12将数据写入到FTP服务器F2的指定目录中，写入的数据文件的后缀全部标志为(.A)；写入FTP服务器F1和F2的指定目录后，在第二分布式子***中，预制1个第四容器组pod41通过第三连接池CP31去读取FTP服务器F1中指定文件夹下后缀为(.A)的文件，读取程序预制的数量文件的目录，更改文件后缀为(.B)并将其反馈给第二缓冲共享介质R2；预制1个第四容器组pod42通过第三连接池CP32去读取FTP服务器F2中指定文件夹下后缀为(.A)的文件，读取程序预制的数量文件的目录，更改文件后缀为(.B)并将其反馈给第二缓冲共享介质R2；而后，第二分布式子***中的所有容器组都将根据第二缓冲共享介质R2的文件目录对FTP服务器F1和F2中的数据进行读取和使用，使用完成后删除，若文件读取后使用失败，则将文件后缀标志为(.C)，等待人工处理或通过进程将文件名更改为(.A)后继续读取到第二缓冲共享介质R2后使用。

更详细地，如图2所示，在第二分布式子***中，第四容器组pod41根据第二缓冲共享介质R2的文件目录通过第三连接池CP31去读取FTP服务器F1和F2中的数据文件，第五容器组pod51根据第二缓冲共享介质R2的文件目录通过第四连接池CP41去读取FTP服务器F1和F2中的数据文件，第五容器组pod52根据第二缓冲共享介质R2的文件目录通过第四连接池CP42去读取FTP服务器F1和F2中的数据文件，第五容器组pod53根据第二缓冲共享介质R2的文件目录通过第四连接池CP43去读取FTP服务器F1和F2中的数据文件，第四容器组pod42根据第二缓冲共享介质R2的文件目录通过第三连接池CP32去读取FTP服务器F1和F2中的数据文件。

实施例四

本实施例以两套可进行数据交互的FTP服务器进行说明，如图5所示，本实施例中的数据传输***包括一套第一分布式子***、两套FTP服务器、一套网络物理隔离设备和一套第二分布式子***，第一分布式子***和第二分布式子***分别包括5个容器组，两套FTP服务器之间可通过该网络物理隔离设备进行数据的交互。

详细地，如图5所示，在第一分布式子***中，事先预制4个第一容器组pod11、pod12、pod13、pod14将数据写入第一缓冲共享介质R1，预制一个第二容器组pod21读取第一缓冲共享介质R1中的数据并通过第一连接池CP11将数据写入到FTP服务器F1的指定目录中，写入的数据文件的后缀全部标志为(.A)，也可用其他来进行标志；写入FTP服务器F1的指定目录后，网络物理隔离设备W将FTP服务器F1指定目录中的全部数据传输到FTP服务器F2中，不更改文件；在第二分布式子***中，预制一个第四容器组pod41通过第三连接池CP31去读取FTP服务器F2中指定文件夹下后缀为(.A)的文件，读取程序预制的数量文件的目录，如1000个，更改文件后缀为(.B)并将其反馈给第二缓冲共享介质R2；而后，第二分布式子***中的所有的容器组都将根据第二缓冲共享介质R2的文件目录对FTP服务器F1中的数据进行读取和使用，使用完成后删除，若文件读取后使用失败，则将文件后缀标志为(.C)，等待人工处理或通过进程将文件名更改为(.A)后继续读取到第二缓冲共享介质R2后使用。

更详细地，如图2所示，在第二分布式子***中，第四容器组pod41根据第二缓冲共享介质R2的文件目录通过第三连接池CP31去读取FTP服务器F2中的数据文件，第五容器组pod51根据第二缓冲共享介质R2的文件目录通过第四连接池CP41去读取FTP服务器F2中的数据文件，第五容器组pod52根据第二缓冲共享介质R2的文件目录通过第四连接池CP42去读取FTP服务器F2中的数据文件，第五容器组pod53根据第二缓冲共享介质R2的文件目录通过第四连接池CP43去读取FTP服务器F2中的数据文件，第五容器组pod54根据第二缓冲共享介质R2的文件目录通过第四连接池CP44去读取FTP服务器F2中的数据文件。

此外，本说明书中仅示例性地阐述了数据文件从第一分布式子***通过FTP服务器向第二分布式子***进行传输的过程，可以理解的是，对上述实施例的传输***进行适应性调整也能实现数据文件的双向传输，在此不再赘述。

综上所述，在本发明所提供的基于分布式架构服务和FTP服务的数据传输方案中，加入第一缓冲共享介质，通过第一缓冲共享介质对容器组接受的数据进行统一管理后再写入FTP服务器，每个第二容器组在计算本身的数据大小后加上第一缓冲共享介质中的数据大小，达到标准即可打包发送到FTP服务器，数据文件大小会相对稳定并最大可能保持了数据的即时性，使得FTP服务器的网络连接数和网络传输会更加平稳；实时监控第一缓冲共享介质的写入速度和读取速度，并据此调整第一容器组的数量和第二容器组的数量，使第一缓冲共享介质的读取速度略大于或者等于第一缓冲共享介质的写入速度，通过对写入的副本进行切换控制，在整个***健康运行的前提下，达到最优的写入效果，并最即时地将数据文件传输到FTP服务器中；在第一容器组的数量和第二容器组的数量满足传输即时性的前提下，通过动态或人工调整等方式调整第三容器组的数量，使FTP服务器的读取速度和写入速度达到平衡，避免FTP服务器中的数据堆积，进而使得FTP服务器的运行更健康；横向扩展FTP服务器的数量，利用多个FTP服务器进行数据的传输，扩大了数据传输的规模和能力。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种基于分布式架构服务和FTP服务的数据传输方法，其特征在于，包括步骤：

利用第一容器组接收数据并写入第一缓冲共享介质，利用第二容器组将所述第一缓冲共享介质中的数据取出打包后通过第一连接池写入FTP服务器的指定目录中，通过所述第一缓冲共享介质对数据进行统一管理；

实时监控所述第一缓冲共享介质的写入速度和读取速度，并据此调整所述第一容器组的数量和所述第二容器组的数量，使所述第一缓冲共享介质的读取速度大于等于所述第一缓冲共享介质的写入速度。

2.根据权利要求1所述的基于分布式架构服务和FTP服务的数据传输方法，其特征在于，所述实时监控所述第一缓冲共享介质的写入速度和读取速度，并据此调整所述第一容器组的数量和所述第二容器组的数量的步骤包括：

根据以下公式动态调整所述第一容器组的数量和所述第二容器组的数量，

X≥M*A，Y≥N*B，N*B≥M*A，Q＝M+N，M≥0，N≥0；

其中，X表示所述第一缓冲共享介质的写入速度，Y表示所述第一缓冲共享介质的读取速度，M表示所述第一容器组的个数，N表示所述第二容器组的个数，Q表示总的容器组的个数，A表示所述第一容器组的写入速度，B表示所述第二容器组的读取速度；M、N、Q为整数。

3.根据权利要求1或2所述的基于分布式架构服务和FTP服务的数据传输方法，其特征在于，所述基于分布式架构服务和FTP服务的数据传输方法还包括步骤：

利用第三容器组接收数据并通过第二连接池写入所述FTP服务器；

调整所述第三容器组的数量，使所述FTP服务器的读取速度和写入速度达到平衡。

4.根据权利要求3所述的基于分布式架构服务和FTP服务的数据传输方法，其特征在于，所述实时监控所述第一缓冲共享介质的写入速度和读取速度，并据此调整所述第一容器组的数量和所述第二容器组的数量的步骤包括：

根据以下公式动态调整所述第一容器组的数量和所述第二容器组的数量，

X≥M*A，Y≥N*B，N*B≥M*A，Q＝M+N+P，M≥0，N≥0，P≥0；

其中，X表示所述第一缓冲共享介质的写入速度，Y表示所述第一缓冲共享介质的读取速度，M表示所述第一容器组的个数，N表示所述第二容器组的个数，P表示所述第三容器组的个数，Q表示总的容器组的个数，A表示所述第一容器组的写入速度，B表示所述第二容器组的读取速度；M、N、Q、P为整数。

5.根据权利要求1所述的基于分布式架构服务和FTP服务的数据传输方法，其特征在于，所述实时监控所述第一缓冲共享介质的写入速度和读取速度，并据此调整所述第一容器组的数量和所述第二容器组的数量的步骤包括：

根据所述第一缓冲共享介质的写入速度的峰值，自动或人工调整并固定所述第一容器组的数量。

6.根据权利要求1所述的基于分布式架构服务和FTP服务的数据传输方法，其特征在于，所述基于分布式架构服务和FTP服务的数据传输方法还包括步骤：

横向扩展所述FTP服务器的数量，利用多个所述FTP服务器进行数据的传输。

7.根据权利要求1或6所述的基于分布式架构服务和FTP服务的数据传输方法，其特征在于，所述基于分布式架构服务和FTP服务的数据传输方法还包括步骤：

利用第四容器组通过第三连接池读取所述指定目录，并将所述指定目录反馈给第二缓冲共享介质；

根据所述第二缓冲共享介质中的所述指定目录，利用第四容器组通过第三连接池读取所述FTP服务器中的数据，利用第五容器组通过第四连接池读取所述FTP服务器中的数据。

8.一种基于分布式架构服务和FTP服务的数据传输***，其特征在于，包括：

第一分布式子***，包括第一容器组、第二容器组、第三容器组、第一缓冲共享介质、第一连接池及第二连接池，所述第一容器组接收数据并将其写入所述第一缓冲共享介质，所述第二容器组从所述第一缓冲共享介质中取出数据并打包处理后送往所述第一连接池，所述第三容器组接收数据并将其打包处理后送往所述第二连接池；

FTP服务器，分别与所述第一连接池、第二连接池连接，接收数据并将其写入到指定目录中；

第二分布式子***，包括第四容器组、第五容器组、第二缓冲共享介质、第三连接池及第四连接池，所述FTP服务器分别与所述第三连接池、第四连接池连接，所述第四容器组通过所述第三连接池读取所述指定目录并将其反馈给所述第二缓冲共享介质，根据所述第二缓冲共享介质中的所述指定目录，所述第四容器组通过第三连接池读取所述FTP服务器中的数据，所述第五容器组通过第四连接池读取所述FTP服务器中的数据。

9.根据权利要求8所述的基于分布式架构服务和FTP服务的数据传输***，其特征在于，所述基于分布式架构服务和FTP服务的数据传输***包括至少一套所述第一分布式子***、至少一套所述FTP服务器和至少一套所述第二分布式子***。

10.根据权利要求8或9所述的基于分布式架构服务和FTP服务的数据传输方法，其特征在于，所述第一缓冲共享介质与所述第二缓冲共享介质包括：Redis缓冲共享队列。