CN101958919A

CN101958919A - 一种基于非ip数据隧道的多文件并行传输方法及***

Info

Publication number: CN101958919A
Application number: CN2010101527199A
Authority: CN
Inventors: 吕辉; 张大勇; 闫鹏; 王君; 李丹; 赵显臣; 王弋珵
Original assignee: China Digital Video Beijing Ltd
Current assignee: China Digital Video Beijing Ltd
Priority date: 2009-07-20
Filing date: 2010-04-22
Publication date: 2011-01-26

Abstract

本发明公开了一种基于非IP数据隧道的多文件并行传输方法及***，属于文件传输技术领域。现有技术中，通常采用TCP/IP协议进行计算机之间或计算机网络之间的单文件传输，存在安全性差、效率低的缺陷。本发明所述方法及***在计算机与计算机之间或计算机网络与计算机网络之间建立非IP数据隧道，并建立基于非IP数据隧道的多文件并行传输机制，通过非IP数据隧道实现计算机之间或计算机网络之间的多文件并行传输。由于本发明不是通过TCP/IP协议而是通过非IP数据隧道进行多文件并行传输，因此提高了文件传输的安全性和效率。

Description

一种基于非IP数据隧道的多文件并行传输方法及***

技术领域

本发明属于文件传输技术领域，具体涉及一种基于非IP数据隧道的多文件并行传输方法及***，特别适用于单机***或网络***需要高度安全的环境，但又需要与其他单机***或网络***互联互通的情况。

背景技术

现阶段主流的***级之间的数据交换大多基于TCP/IP网络协议，例如HTTP协议文件上传和下载，FTP协议文件传输等。

TCP/IP是一个两层的程序。高层为传输控制协议，它负责聚集信息或把文件拆分成更小的包。这些包通过网络传送到接收端的TCP层，接收端的TCP层把包还原为原始文件。低层是网际协议，它处理每个包的地址部分，使这些包正确的到达目的地。网络上的网关计算机根据信息的地址来进行路由选择。即使来自同一文件的分包路由也有可能不同，但最后会在目的地汇合。TCP/IP使用客户端/服务器(C/S)模式进行通信。TCP/IP通信是点对点的，意思是通信是在网络中的一台主机与另一台主机之间进行。

随着网络数据传输交换技术的发展，人们将更多的注意力转到文件的安全方面。现阶段企业为了保证数据高安全性，通常使用网络之间隔离的方法，将企业内网和外网进行隔离，以保证内网内部之间数据交换的安全，当数据需要从外网传入内网时，由专门的人员通过具体的措施例如查杀毒等，在确保数据安全的基础上，然后将数据传入内网，该方法虽然保证了数据的安全性，但是工作效率明显较低。

发明内容

针对现有技术中存在的缺陷，本发明的目的是提供一种基于非I P数据隧道的多文件并行传输方法及***，该方法及***能够提高文件传输的安全性和效率。

为了实现上述目的，本发明采用的技术方案如下：

一种基于非IP数据隧道的多文件并行传输方法，该方法在文件发送方和文件接收方之间建立非IP数据隧道，并约定基于非IP数据隧道的文件传输协议；当数据发送方有多个文件需要传输时，通过非IP数据隧道并行传输给文件接收方，具体的传输方法包括以下步骤：

(1)文件发送方首先将待传输文件分割成若干文件块，每一个文件块均包括其所属文件信息和文件块中文件数据在文件中的位置信息；

(2)文件发送方发起多个文件传输，将多个文件的文件块通过共享的非IP数据隧道并行传输给文件接收方；

(3)文件接收方接收到文件块后，根据该文件块所属文件信息和文件块中文件数据在文件中的位置信息将其写入到相应的文件中；

(4)当文件传输成功或者失败后，文件接收方向文件发送方发送文件传输成功或者失败命令，通知文件发送方。

如上所述的多文件并行传输方法，其中，非IP数据隧道为USB数据隧道或者ASI数据隧道。

如上所述的多文件并行传输方法，步骤(2)中，发起一个文件传输的过程包括以下步骤：

①文件发送方向文件接收方发起文件传输请求；

②文件接收方确定文件是否允许传输，并将结果返回给文件发送方；

③如果不允许传输，则文件发送方结束该文件传输；如果允许传输，则文件发送方向文件接收方传输该文件的文件块。

如上所述的多文件并行传输方法，其中，文件传输的顺序具有优先级，优先级高的文件的文件块优先使用非IP数据隧道。

如上所述的多文件并行传输方法，其中，在文件发送方设有发送文件夹，当文件发送方有文件需要发送时，将该文件存储到发送文件夹中。

如上所述的文件并行传输方法，其中，文件发送方实时检测发送文件夹，当发送文件夹存在文件时，文件发送方自动生成文件传输操作任务，发起文件传输。

如上所述的多文件并行传输方法，其中，所述文件接收方实时处于接收状态。

一种基于非IP数据隧道的多文件并行传输***，包括计算机A和通过非IP数据隧道与计算机A连接的计算机B，所述计算机A和计算机B均包括用于按照数据大小将文件分割成若干文件块的文件分割模块，用于发送数据和接收数据的数据传输模块，用于判断数据类型并根据数据类型调用相应的数据处理模块的数据类型判断模块，用于处理命令数据并返回处理结果的命令数据处理模块，以及用于处理文件数据的文件数据处理模块。

一种基于非IP数据隧道的多文件并行传输***，包括两个计算机网络***，每个计算机网络***均包括数据摆渡服务器和与数据摆渡服务器通过B/S模式或C/S模式连接的若干客户机，两个计算机网络***的数据摆渡服务器通过非IP数据隧道连接；所述数据摆渡服务器包括用于按照数据大小将文件分割成若干文件块的文件分割模块，用于发送数据和接收数据的数据传输模块，用于判断数据类型并根据数据类型调用相应的数据处理模块的数据类型判断模块，用于处理命令数据并返回处理结果的命令数据处理模块，以及用于处理文件数据的文件数据处理模块。

如上所述的一种基于非IP数据隧道的多文件并行传输***，其中，数据摆渡服务器还包括用于对数据摆渡服务器接收到的文件进行时效管理和空间管理的文件管理模块。

本发明所述的方法及***，在计算机之间或计算机网络之间的文件交互传输过程中，由于不是通过TCP/IP协议而是通过非IP数据隧道，因此提高了文件传输的安全性。而且，通过多文件并行传输的方式，提高了文件传输的效率。

附图说明

图1是实施例1中所述***的结构框图；

图2是实施例2中所述***的结构框图；

图3是实施例1和2中并行传输多文件的流程图；

图4是实施例1和2中发起文件传输的流程图；

图5是实施例1和2中传输一个文件过程中协议交互示意图。

具体实施方式

本发明的核心思想是：在计算机与计算机之间或计算机网络与计算机网络之间建立非IP数据隧道，并建立基于非IP数据隧道的多文件并行传输机制，通过非IP数据隧道实现计算机之间或计算机网络之间的文件传输。所述非IP数据隧道是指不是基于TCP/IP协议进行数据传输的隧道，可以采用USB数据隧道或ASI(Asynchronous Serial Interface，异步串行接口)数据隧道等。由于本发明不是通过TCP/IP协议进行文件传输，因此提高了文件传输的安全性。而且，本发明通过多文件并行传输的方式，提高了文件传输的效率。

下面结合实施例和附图，对本发明进行详细描述。

实施例1

本实施例是在两台计算机之间通过USB数据隧道(或ASI数据隧道)实现多文件的并行传输，***结构如图1所示。该***包括计算机A和计算机B，计算机A与B之间通过USB数据线11(或ASI数据线)连接。计算机A与B均包括文件分割模块12、数据传输模块13、数据类型判断模块14、命令数据处理模块15和文件数据处理模块16。

USB(Universal Serial BUS)为通用串行总线，是一个外部标准总线，用于规范电脑与外部设备的连接和通讯，USB接口支持设备的即插即用和热插拔功能。本发明中所选用的USB版本应在USB2.0以上，以支持较大的传输速率，接口可以选择通用的扁平A型口，包括4根连线。数据线两端均设有相同的USB接口，数据线中间不需要设置传统的USB Net-LinQ。在计算机A与B的数据传输模块中分别设置数据传输的命令协议和文件协议。

ASI(Asynchronous Serial Interface)为异步串行接口标准，是一种适用于广播电视***的MPEG-2视频传输接口标准。ASI传输流可以有不同数据速率，但传输速率恒定，为270Mbps，因此ASI可以发送和接收不同速率的MPEG-2数据。ASI传输***为分层结构，最高层、第2层使用MPEG-2标准ISO/IEC 13818-(Systems)，第0层和第1层是基于ISO/IEO CD 14165-1的FC纤维信道。本发明中所选用的ASI接口为标准的BNC结构，数据线为同轴电缆，数据线两端均设有相同的ASI接口。在计算机A与B中设有ASI卡，计算机A与B的数据传输模块中分别设置数据传输的命令协议和文件协议。

计算机***中的文件分割模块12用于按照数据大小将文件分割成若干个文件块，可以将一个文件分割成若干大小相同的等份，也可以分割成若干大小不同的不等份。当有多个文件需要同时分割时，文件分割模块可以采用多个线程同时对多个文件进行分割，一个线程分割一个文件。一个线程读取一个预设大小的部分文件数据，加上该部分文件数据所属的文件以及在文件中的位置等信息组成文件块。

数据传输模块13用于将数据发送到文件接收方，和接收从文件发送方发来的数据。

数据类型判断模块14用于判断数据传输模块13接收到的数据类型，并根据数据类型调用相应的数据处理模块。数据类型分为命令数据和文件数据等，文件数据是指传输的文件或者文件块的数据，命令数据是指传输命令的数据。

命令数据处理模块15用于处理命令数据，并将处理结果返回给文件发送方。

文件数据处理模块16用于处理文件数据，即将接收到的文件块按照其所属文件信息和文件块中文件数据在文件中的位置信息将其写入相应文件中。

将两台计算机用USB数据线11(或ASI数据线)连接后，便在两台计算机之间建立了USB数据隧道(或ASI数据隧道)，每台计算机均实时处于接收状态。每台计算机内各建立一个发送文件夹和一个接收文件夹，当有文件需要传送给对方时，将该文件存放至发送文件夹中；当有文件需要接收时，将该文件接收至接收文件夹中。数据传输模块13实时监控发送文件夹，如有文件存入，则自动生成文件传输操作任务，将其传给对方计算机。通过文件夹监控方式实现文件的自动传输。

现假设计算机A的发送文件夹中被存入两个文件，分别为文件1和文件2。将文件1和文件2并行传输到文件接收方的过程如图3所示。数据传输模块13监控到发送文件夹中存在文件后，文件分割模块12首先将文件1和文件2分割成若干个文件块。假设文件1被分割成文件块1至文件块10，文件2被分割成文件块1至文件块20，每个文件块均包括其所属文件信息和文件块中文件数据在文件中的位置等信息。数据传输模块13自动生成文件1和文件2传输操作任务，发起文件传输。发起一个文件传输的过程如图4所示，包括以下步骤：

(1)文件发送方(计算机A)的数据传输模块12向文件接收方(计算机B)发起文件传输请求。

(2)文件接收方接收到文件传输请求后，数据类型判断模块13判断该数据为命令数据，调用命令数据处理模块15进行处理。命令数据处理模块15确定文件是否允许传输，并将结果返回给文件发送方；

(3)如果不允许传输，则文件发送方结束该文件传输；如果允许传输，则文件发送方的数据传输模块12向文件接收方传输该文件的文件块。

按照上述过程发起文件1和文件2的传输后，文件1和文件2的30个文件块可以共享USB数据隧道，按照先到先传的原则并行将30个文件块传输给文件接收方。也可以对文件传输的顺序设置优先级，优先级高的文件的文件块优先使用USB数据隧道。

文件发送方不断的将文件1和文件2的文件块通过共享的USB数据隧道(或ASI数据隧道)并行传输给文件接收方，直到文件块全部传输完毕。文件接收方接收到文件块后，先由数据类型判断模块13判断该文件块为文件数据，调用文件数据处理模块16进行处理，文件数据处理模块16将收到的文件块按照文件块所属文件信息及文件块中文件数据在文件中的位置信息将其写入到所属文件中。当文件传输成功或者失败后，文件接收方向文件发送方发送文件传输成功或者失败命令，通知文件发送方。

在传输文件1和文件2的过程中，假设计算机A的发送文件夹中又被存入一个文件3。文件分割模块12对文件3进行分割后，可以与文件1和2的文件块共享USB数据隧道(或ASI数据隧道)，并行传输。

本实施例中，上述文件传输过程涉及到的协议包括命令协议和文件协议，命令包括请求命令和应答命令。两种协议的通用格式举例说明如下：

(1)命令协议格式。

请求命令：[BUFFER TYPE] [COMMAND] [SID] [COMMAND CONTENT]。

其中，BUFFER TYPE表示数据包类型，长度为1个字节；COMMAND表示命令名称，长度为1个字节；SID表示唯一标识(用于请求和应答相对应)，长度为4个字节；COMMAND CONTENT表示请求命令内容，长度不超过设定的请求命令总长度减去6字节。

应答命令：[BUFFER TYPE] [COMMAND] [SID] [COMMAND ANSWER CONTENT]。

其中，COMMAND ANSWER CONTENT表示应答命令内容，长度不超过设定的应答命令总长度减去6字节；其他符号代表的含义与请求命令相同。

(2)文件协议格式。

数据包：[BUFFER TYPE] [SID] [POSITION] [DATASIZE] [DATA BUFFER]

其中，POSITION表示文件数据传输起始位置，长度为8字节；DATASIZE表示文件数据大小，长度为4字节；DATA BUFFER表示文件数据内容，长度为DATASIZE指定长度，但不超过数据包长度减去17字节；其他符号代表的含义与命令协议相同。

基于上述的两种通用协议格式，传输文件的具体协议包括开始文件传输命令、开始文件传输响应命令、文件传输、文件传输完成命令和取消文件传输命令等，各协议的格式如下所述。

①开始文件传输命令：

[BUFFER TYPE] [BEGIN] [SID] [SIZE] [DESCRIPTION]。

②开始文件传输响应命令：

[BUFFER TYPE] [BEGIN] [SID] [RESULT TYPE] [DESCRIPTION]。

③文件传输：

[BUFFER TYPE] [SID] [POSITION] [DATASIZE] [DATA BUFFER]。

④文件传输完成命令：

[BUFFER TYPE] [END] [SID] [RESULT TYPE] [DESCRIPTION]。

⑤取消文件传输命令：

[BUFFER TYPE] [CANCEL] [SID] [DESCRIPTION]。

上述文件传输协议中所涉参数的枚举值定义如下：

BUFFER TYPE：

枚举值	具体含义
		0	文件数据信息
1	请求命令
		2	响应命令

COMMAND：

枚举值	具体含义
		100	BEGIN(开始文件传输)
200	END(文件传输完成)

300	CANCEL(取消文件传输)

RESULT TYPE：

枚举值	具体含义
		0	允许传输或传输成功
1	不允许传输或传输失败

假设计算机A向计算机B传输文件，上述协议的交互过程如图5所示。

发送方向接收方发送“开始文件传输”命令，命令的具体内容为：“1 100123456781234567812345678 1024d:\test.xml”。其中，“1”表示数据包类型为请求命令，“100”表示开始文件传输，“123456781234567812345678”为SID，“1024”表示文件大小为1024字节，“d:\test.xml”表示文件名称。

接收方接到命令后，向发送方发送“开始文件传输响应”命令，命令的具体内容为：“2 100 123456781234567812345678 0允许传输”。“2”表示数据包类型为响应命令，“0”表示允许文件传输。

发送方接到“开始文件传输响应”命令后，判断接收方是否允许文件传输。如果接收方不允许传输，则发送方结束该文件传输。本例中接收方允许传输，发送方向接收方发送该文件的文件块，直到发送完整个文件。第一次发送的文件块数据包内容为：“0 123456781234567812345678 0 255文件数据内容”。第一个“0”表示数据包类型为文件数据信息，第二个“0”表示文件数据的起始位置，“255”表示本次传输的文件数据大小。后续发送的文件块数据包内容除了文件数据的起始位置和文件数据内容不同、本次传输的文件数据大小也可能不同外，与第一次发送的文件块数据包内容相同。接收方接收到文件块数据包后，根据SID和文件数据起始位置，将文件数据内容写入文件中。

接收发向发送方发送“文件传输完成”命令，命令内容为：“1 200123456781234567812345678 0传输成功”。其中，“200”表示文件传输完成，“0”表示文件传输成功。

如果文件传输失败，则发送方主动终止文件传输，向接收方发送“取消文件传输”命令，命令内容为：“1 300 123456781234567812345678终止原因”。其中，“300”表示取消文件传输。

实施例2

本实施例是在两个计算机网络之间通过ASI数据隧道(或USB数据隧道)实现多文件并行传输，其结构如图2所示。该***包括两个计算机网络***，分别为网络***A和网络***B。每个网络***均包括数据摆渡服务器，以及若干与数据摆渡服务器连接的客户机。数据摆渡服务器包括用于按照数据大小将文件分割成若干文件块的文件分割模块22，用于发送数据和接收数据的数据传输模块23，用于判断数据类型并根据数据类型调用相应的数据处理模块的数据类型判断模块24，用于处理命令数据并返回处理结果的命令数据处理模块26，以及用于处理文件数据的文件数据处理模块25。两个数据摆渡服务器之间通过ASI卡和ASI数据线21连接，形成ASI数据隧道；或者通过USB数据线连接，形成USB数据隧道。客户机与数据摆渡服务器之间通过C/S模式或者B/S模式连接。

数据摆渡服务器内设有发送文件夹和接收文件夹，客户机可以通过C/S方式或者B/S方式登录数据摆渡服务器，将需要传送至另一个网络***的文件先上载到数据摆渡服务器的发送文件夹中。数据传输模块23实时检测发送文件夹中是否存在文件，如果存在文件，则先由文件分割模块22对该文件进行分割，然后数据传输模块23自动生成文件传输操作任务，将该文件传送至通过对方网络***的数据摆渡服务器的接收文件夹中，传输的过程与实施例1相同，此处不再赘述。当文件传输完成后，接收文件一方的客户机可以通过C/S方式或者B/S方式登录数据摆渡服务器，下载该文件。

为了对数据摆渡服务器中的接收文件夹进行自动管理，本***还包括文件管理模块27，用于自动对接收文件夹中的文件进行时效管理和空间管理。

(1)时效管理。

文件管理模块27可以设置文件在数据摆渡服务器的接收文件夹中保存的时间周期(按天/小时)。如果文件在数据摆渡服务器的接收文件夹中存留的时间超过了设置的时间周期而未作删除，则文件管理模块27自动将该文件删除或者剪切备份到其他文件夹。例如，假设设置的时间周期为7天/168小时，某文件在数据摆渡服务器的发送文件夹中存储的时间达到了7天/168小时，文件管理模块27自动将该文件删除或者剪切备份到其他文件夹。

(2)空间管理。

当数据摆渡服务器有多个用户或部门时，文件管理模块27可以分配每个用户或部门在数据摆渡服务器的接收文件夹上的存储空间，并设定存储空间的使用率阈值(按百分比，如95％)，如果某用户或部门存储空间的使用率超过该阈值，则文件管理模块27自动删除该用户或部门在接收文件夹上较早的文件(从所有文件中保留时间最长的开始删除)，或者将较早的文件剪切备份到其他文件夹，直到存储空间使用率达到预先设定的值(该值由管理员设定，可以为0％到95％的中间任意值)。

在实施例1和实施例2中：文件传输可以是单向的，如计算机A可以向计算机B传输文件，但计算机B不可以向计算机A传输文件；也可以是双向的，如计算机A可以向计算机B传输文件，计算机B也可以向计算机A传输文件；还可以是双向的交互传输，如在计算机A向计算机B传输文件的过程中，计算机B也可以向计算机A传输文件。双向的交互传输需要在计算机A或数据摆渡服务器A与计算机B或数据摆渡服务器B之间建立两条非IP数据隧道，一条用于A向B传输，一条用于B向A传输。

需要说明的是：上述实施例仅仅是对本发明的说明而非限制，本领域的技术人员根据实施例中的描述可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。例如，实施例1、2中也可以采用其他非I P数据隧道。因此，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种基于非IP数据隧道的多文件并行传输方法，其特征在于：所述方法在文件发送方和文件接收方之间建立非IP数据隧道，并约定基于非IP数据隧道的文件传输协议；当数据发送方有多个文件需要传输时，通过非IP数据隧道并行传输给文件接收方，具体的传输方法包括如下步骤：

2.如权利要求1所述的一种基于非IP数据隧道的多文件并行传输方法，其特征在于：所述非IP数据隧道为USB数据隧道或者ASI数据隧道。

3.如权利要求1所述的一种基于非IP数据隧道的多文件并行传输方法，其特征在于：步骤(2)中，文件发送方发起多个文件中的一个文件传输的过程包括以下步骤：

①文件发送方向文件接收方发起文件传输请求；

4.如权利要求3所述的一种基于非IP数据隧道的多文件并行传输方法，其特征在于：文件传输的顺序具有优先级，优先级高的文件的文件块优先使用非IP数据隧道。

5.如权利要求1至4之一所述的一种基于非IP数据隧道的多文件并行传输方法，其特征在于：在文件发送方设有发送文件夹，当文件发送方有文件需要发送时，将该文件存储到发送文件夹中。

6.如权利要求5所述的一种基于非IP数据隧道的多文件并行传输方法，其特征在于：文件发送方实时检测发送文件夹，当发送文件夹存在文件时，文件发送方自动生成文件传输操作任务，发起文件传输。

7.如权利要求1至4之一所述的一种基于非IP数据隧道的多文件并行传输方法，其特征在于：所述文件接收方实时处于接收状态。

8.一种基于非IP数据隧道的多文件并行传输***，其特征在于：包括计算机A和通过非IP数据隧道与计算机A连接的计算机B，所述计算机A和计算机B均包括用于按照数据大小将文件分割成若干文件块的文件分割模块，用于发送数据和接收数据的数据传输模块，用于判断数据类型并根据数据类型调用相应的数据处理模块的数据类型判断模块，用于处理命令数据并返回处理结果的命令数据处理模块，以及用于处理文件数据的文件数据处理模块。

9.一种基于非IP数据隧道的多文件并行传输***，其特征在于：包括两个计算机网络***，每个计算机网络***均包括数据摆渡服务器和与数据摆渡服务器通过B/S模式或C/S模式连接的若干客户机，两个计算机网络***的数据摆渡服务器通过非IP数据隧道连接；所述数据摆渡服务器包括用于按照数据大小将文件分割成若干文件块的文件分割模块，用于发送数据和接收数据的数据传输模块，用于判断数据类型并根据数据类型调用相应的数据处理模块的数据类型判断模块，用于处理命令数据并返回处理结果的命令数据处理模块，以及用于处理文件数据的文件数据处理模块。

10.如权利要求9所述的一种基于非IP数据隧道的多文件并行传输***，其特征在于：所述数据摆渡服务器还包括用于对数据摆渡服务器接收到的文件进行时效管理和空间管理的文件管理模块。