CN112055088A - 一种基于光闸的文件可靠传输***及其方法 - Google Patents
一种基于光闸的文件可靠传输***及其方法 Download PDFInfo
- Publication number
- CN112055088A CN112055088A CN202010953389.7A CN202010953389A CN112055088A CN 112055088 A CN112055088 A CN 112055088A CN 202010953389 A CN202010953389 A CN 202010953389A CN 112055088 A CN112055088 A CN 112055088A
- Authority
- CN
- China
- Prior art keywords
- file
- transmission
- service
- module
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种基于光闸的可靠文件传输***及其方法,属应用于文件发送端、单向光闸、文件接收端之间的文件传输,文件传输服务可以使用HTTP、FTP等通信协议获取文件,并生成文件摘要,使用光闸设备进行文件传输后,文件接收端可以根据文件摘要进行可靠性验证,并发送传输回执。文件发送端使用传输回执作为发送任务的结果验证,同时纠错服务提供文件重试策略,从而保证文件能够通过光闸设备正常投递到接收端,减少数据传输丢失对***的的影响,减少维护人员的工作量。
Description
技术领域
本发明涉及通信技术领域,特别是一种基于光闸的文件可靠传输***及其方法。
背景技术
随着信息化技术的发展,越来越多的信息通过网络进行传播。在网络通信环境中,为了实现对涉密信息的保护,很多单位或机构把内部网络和外部网络进行隔离,采用单向光闸,可以实现外部网络的数据传输到内部网络,而内部网络无法传输数据到外部网络。
虽然单向光闸可以保证内部网络免受来自外部网络的攻击,但是在光闸应用过程中,受限于设备的生产商、技术等差异,传递的文件并不能保证传输成功,传输过程中丢失的文件影响了***的稳定性,增加了***运维的复杂度和工作量。
发明内容
针对现有技术中存在的问题,本发明提供了一种可以解决现有***中因光闸传输丢失文件而导致的问题的基于光闸的文件可靠传输***及其方法。
本发明的目的通过以下技术方案实现。
一种基于光闸的文件可靠传输***,在文件发送端和文件接收端之间设有单向光闸,所述单向光闸设有传输服务模块、存储服务模块和纠错策略模块,所述传输服务模块分别与文件发送端和文件接收端相连接,所述存储服务模块与存储设备相连接。
所述传输服务模块包括文件传输接收模块、文件传输监听模块和传输任务订阅通知模块,所述文件传输接收模块与HTTP数据发送端相连接,所述文件传输监听模块与FTP/SFTP数据发送端相连接,所述传输任务订阅通知模块与HTTP文件接收端相连接。
所述存储服务模块包括文件摘要校验模块、文件存储模块和回执监听模块,所述文件存储模块分别与光闸存储设备和FTP/SFTP存储设备相连接。
所述纠错策略模块包括重试任务监听模块、操作日志模块、回执过期监听模块和重试策略定义模块。
一种基于光闸的文件可靠传输方法,步骤包括:
***将文件发送给传输服务,在发送文件时,***的文件传输选择有HTTP服务或FTP的共享目录方式;
***将文件的摘要信息保存在请求的头信息中或文件名中,存储服务在接收到文件时,发现携带了摘要信息,会进行摘要信息的对比,从而强制保证***传输的文件与预期一致;
或者***不携带摘要信息,相应的,传输服务会以接收后计算的摘要信息作为光闸传输的校验依据;
对于摘要校验通过的文件,传输服务将生成处理任务的序列号,此序列号的生成无业务意义,仅作为任务处理过程的唯一追溯,后续的处理流程交给与光闸设备交互的存储模块进行。
所述存储模块将文件交给光闸进行传输并进行响应确认的步骤包括:
光闸将文件搬运至接收端的文件传输服务,接收端的存储模块获取文件的摘要信息,并与文件携带的摘要值进行校验;
如果校验不通过,则接收端的服务放弃本次传输任务,并记录操作日志;
如果校验通过,存储服务会将文件转储至***设置的存储目录中;会使用携带的任务信息通知***文件到达***在收到达到通知后,异步的进行文件的下载;
完成的任务,存储服务需要对应的写入任务ACK响应文件,此文件交给光闸传输给发送端的存储服务。
设有文件传输服务的纠错策略执行过程,步骤如下:
纠错服务会对待响应的任务进行监听,对正常响应的任务,完成传输任务的状态变更,保证传输服务的完整性;
当任务的响应并不能正确送达传输服务的发送端,发送端的任务会使用最长响应时间的策略进行判断,如果超过响应时间,则纠错服务将此任务移至纠错队列;
在纠错服务中,对于需要进行重试纠错的文件发送任务,传输服务会设置一个重试策略,定义重试的频率、最大次数、最大队列数,从而保证纠错服务的稳定性。
当重试任务已经执行完纠错策略,依然无法收到任务的正确响应,传输服务会将此任务移至错误队列中,交给***完成确认处理;当错误队列达到设置的阈值,传输服务会进行告警处理。
相比于现有技术,本发明的优点在于:本发明在光闸设备的交互过程中,文件可靠传输服务提供文件的传输和纠错处理,***不与光闸设备交互,直接依赖传输服务完成传输。可以解决现有***中因光闸传输丢失文件而导致的问题。文件发送端使用传输回执作为发送任务的结果验证,同时纠错服务提供文件重试策略,从而保证文件能够通过光闸设备正常投递到接收端,减少数据传输丢失对***的的影响,减少维护人员的工作量。
附图说明
图1为本发明提供的传输场景。
图2为本发明提供的服务模块结构图。
图3为本发明提供的文件传输过程示意图。
图4为本发明提供的存储光闸搬运已经响应确认过程示意图。
图5为本发明提供的纠错过程示意图。
具体实施方式
下面结合说明书附图和具体的实施例,对本发明作详细描述。
以下对本发明实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
(1)FTP(File Transfer Protocol,文件传输协议):是用于在网络上进行文件传输的一套标准协议,使用客户端/服务器模式,无需通信双方进行握手即可实现文件传输。
(2)SFTP(Secure File Transfer Protocol,安全文件传输协议):除与FTP具有相同的语法和功能之外,还可以使用加密传输认证信息为传输的文件加密,为传输文件提供一种安全的网络加密方法,无需通信双方进行握手即可实现文件传输。
(3)HTTP(Hyper Text Transfer Protocol,超文本传输协议)是互联网上应用最为广泛的一种网络协议。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。
在一种可能的实现方式中,可以采用物理层的单向分光传输技术,从最底层切断通信双方的双向连接,形成无反馈的单向传输,保证内部网络免受外部网络的攻击,该方式也称为物理隔离方式。例如,国家政府部门均要求采用物理隔离方式实现数据的单向传输。
在现有的设计中,光闸设备的传输并不保证完全的可靠性,在***的数据传递中依然要考虑文件丢失的可能性,从而提高了***的设计复杂度和运维复杂度。
基于以上原因,本发明实施例中提供了基于光闸的文件可靠传输服务,在光闸设备的交互过程中,文件可靠传输服务提供文件的传输和纠错处理,***不与光闸设备交互,直接依赖传输服务完成传输。
一种基于光闸的文件可靠传输***,如图1所示,***应用在在文件发送端和文件接收端之间设有单向光闸,如图2所示,所述单向光闸设有传输服务模块、存储服务模块和纠错策略模块,所述传输服务模块分别与文件发送端和文件接收端相连接,所述存储服务模块与存储设备相连接。文件传输服务包含传输、存储、纠错的关键模块。传输模块面向***提供上传接收功能,存储模块面向光闸设备,纠错模块负责按照定义的策略进行文件传输的纠错处理。
所述传输服务模块包括文件传输接收模块、文件传输监听模块和传输任务订阅通知模块,所述文件传输接收模块与HTTP数据发送端相连接,所述文件传输监听模块与FTP/SFTP数据发送端相连接,所述传输任务订阅通知模块与HTTP文件接收端相连接。
所述存储服务模块包括文件摘要校验模块、文件存储模块和回执监听模块,所述文件存储模块分别与光闸存储设备和FTP/SFTP存储设备相连接。
所述纠错策略模块包括重试任务监听模块、操作日志模块、回执过期监听模块和重试策略定义模块。
本发明实施例中提供了一种文件传输方法,包括以下步骤:
文件发送端可以使用HTTP请求或FTP方式将文件传递给文件传输服务。
第一种传输方案,在请求协议中,文件发送端可以携带摘要信息,文件传输服务对携带的摘要信息进行强制的摘要校验。若文件发送端不携带文件摘要,文件传输服务会根据接收的文件生成摘要信息,此摘要信息为光闸搬运的校验依据。
在另一种实现方案中,文件传输服务监听传输目录,对于新增的文件进行摘要计算,并将摘要信息记录到文件中,同样的此摘要信息为光闸传输文件的校验依据。
新增文件会触发文件服务为当前传输生成一个传输任务,此任务的序列号为整个传输过程中的唯一查询追溯依据。后续的所有传输、校验、纠错等都使用此序列号。
传输服务中的存储模块,会将需要传输的文件搬运至光闸设备的传输目录。
完成搬运过程后,传输服务的发送端会将当前任务的状态设置为等待应答。
为了保证任务的执行稳定性,当等待应答的任务数量超过策略设定的阈值,会触发服务的告警机制。
传输服务的发送端对等待应答的任务有最大超时时间的阈值设置,在规定时间内,任务没有完成应答处理,则将任务转至纠错服务进行纠错处理。
传输服务的接收端服务会监听光闸的传输目录,新增的文件将触发接收端的存储服务进行文件处理。
接收端的存储服务接收到文件后,将文件中包含的摘要信息与计算的摘要进行对比校验,对于不一致的文件,存储服务丢弃本次任务。
对于校验一致的文件,接收端的存储服务会将任务的序列号信息写入ACK回执文件中,由光闸传递给外网的发送端服务。
外网的传输服务对ACK回执进行监听,如果正确收到回执信息,对应的任务的等待应答状态变更为已传输,完成本次文件传输。
纠错服务会使用预置的策略对响应超时的任务进行重试处理。
为了保证服务的稳定性,重试策略有对应的阈值,超出策略阈值的任务会进入失败队列,等待***的确认。
如图3所示,描述了本发明实施例的文件传输过程,该模块包含如下步骤:
步骤1,***将文件发送给传输服务,在发送文件时,***可选的有HTTP服务或FTP的共享目录方式。
步骤2,***可以将文件的摘要信息保存在请求的头信息中或文件名中,存储服务在接收到文件时,发现携带了摘要信息,会进行摘要信息的对比,从而强制保证***传输的文件与预期一致。
***也可以不携带摘要信息,相应的,传输服务会以接收后计算的摘要信息作为光闸传输的校验依据。
步骤3,对于摘要校验通过的文件,传输服务将生成处理任务的序列号,此序列号的生成无业务意义,仅作为任务处理过程的唯一追溯。后续的处理流程交给与光闸设备交互的存储模块进行。
如图4所示,描述了存储模块将文件交给光闸进行传输并进行响应确认的过程。
步骤1,光闸将文件搬运至接收端的文件传输服务,接收端的存储模块获取文件的摘要信息,并与文件携带的摘要值进行校验。
如果校验不通过,则接收端的服务放弃本次传输任务,并记录操作日志。
如果校验通过,存储服务会将文件转储至***设置的存储目录中。一种可行的设计方案,会使用携带的任务信息通知***文件到达。***在收到达到通知后,可以异步的进行文件的下载。
步骤2,完成的任务,存储服务需要对应的写入任务ACK响应文件,此文件交给光闸传输给发送端的存储服务。
如图5所示,描述了文件传输服务的纠错策略执行过程。文件传输服务依赖光闸设备的单向传输,为了保证文件传输的正确性,本发明实施例在存储模块设计了ACK响应机制,使用响应确认机制完成任务的传输验证。
步骤1,纠错服务会对待响应的任务进行监听,对正常响应的任务,完成传输任务的状态变更,保证传输服务的完整性。
另一种场景下,任务的响应并不能正确送达传输服务的发送端,发送端的任务会使用最长响应时间的策略进行判断,如果超过响应时间,则纠错服务将此任务移至纠错队列。
步骤2,在纠错服务中,另一个重要的服务为纠错任务监听,对于需要进行重试纠错的文件发送任务,传输服务会设置一个重试策略,定义重试的频率、最大次数、最大队列数,从而保证纠错服务的稳定性。
在一种极端的场景下,重试任务已经执行完纠错策略,依然无法收到任务的正确响应,传输服务会将此任务移至错误队列中,交给***完成确认处理。当错误队列达到设置的阈值,传输服务会进行告警处理。
以上是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (7)
1.一种基于光闸的文件可靠传输***,其特征在于在文件发送端和文件接收端之间设有单向光闸,所述单向光闸设有传输服务模块、存储服务模块和纠错策略模块,所述传输服务模块分别与文件发送端和文件接收端相连接,所述存储服务模块与存储设备相连接。
2.根据权利要求1所述的一种基于光闸的文件可靠传输***,其特征在于所述传输服务模块包括文件传输接收模块、文件传输监听模块和传输任务订阅通知模块,所述文件传输接收模块与HTTP数据发送端相连接,所述文件传输监听模块与FTP/SFTP数据发送端相连接,所述传输任务订阅通知模块与HTTP文件接收端相连接。
3.根据权利要求1所述的一种基于光闸的文件可靠传输***,其特征在于所述存储服务模块包括文件摘要校验模块、文件存储模块和回执监听模块,所述文件存储模块分别与光闸存储设备和FTP/SFTP存储设备相连接。
4.根据权利要求2或3所述的一种基于光闸的文件可靠传输***,其特征在于所述纠错策略模块包括重试任务监听模块、操作日志模块、回执过期监听模块和重试策略定义模块。
5.一种基于光闸的文件可靠传输方法,其特征在于步骤包括:
***将文件发送给传输服务,在发送文件时,***的文件传输选择有HTTP服务或FTP的共享目录方式;
***将文件的摘要信息保存在请求的头信息中或文件名中,存储服务在接收到文件时,发现携带了摘要信息,会进行摘要信息的对比,从而强制保证***传输的文件与预期一致;
或者***不携带摘要信息,相应的,传输服务会以接收后计算的摘要信息作为光闸传输的校验依据;
对于摘要校验通过的文件,传输服务将生成处理任务的序列号,此序列号的生成无业务意义,仅作为任务处理过程的唯一追溯,后续的处理流程交给与光闸设备交互的存储模块进行。
6.根据权利要求5所述的一种基于光闸的文件可靠传输方法,其特征在于所述存储模块将文件交给光闸进行传输并进行响应确认的步骤包括:
光闸将文件搬运至接收端的文件传输服务,接收端的存储模块获取文件的摘要信息,并与文件携带的摘要值进行校验;
如果校验不通过,则接收端的服务放弃本次传输任务,并记录操作日志;
如果校验通过,存储服务会将文件转储至***设置的存储目录中;会使用携带的任务信息通知***文件到达,***在收到达到通知后,异步的进行文件的下载;
完成的任务,存储服务需要对应的写入任务ACK响应文件,此文件交给光闸传输给发送端的存储服务。
7.根据权利要求5或6所述的一种基于光闸的文件可靠传输方法,其特征在于设有文件传输服务的纠错策略执行过程,步骤如下:
纠错服务会对待响应的任务进行监听,对正常响应的任务,完成传输任务的状态变更,保证传输服务的完整性;
当任务的响应并不能正确送达传输服务的发送端,发送端的任务会使用最长响应时间的策略进行判断,如果超过响应时间,则纠错服务将此任务移至纠错队列;
在纠错服务中,对于需要进行重试纠错的文件发送任务,传输服务会设置一个重试策略,定义重试的频率、最大次数、最大队列数,从而保证纠错服务的稳定性。
当重试任务已经执行完纠错策略,依然无法收到任务的正确响应,传输服务会将此任务移至错误队列中,交给***完成确认处理;当错误队列达到设置的阈值,传输服务会进行告警处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010953389.7A CN112055088B (zh) | 2020-09-11 | 2020-09-11 | 一种基于光闸的文件可靠传输***及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010953389.7A CN112055088B (zh) | 2020-09-11 | 2020-09-11 | 一种基于光闸的文件可靠传输***及其方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112055088A true CN112055088A (zh) | 2020-12-08 |
CN112055088B CN112055088B (zh) | 2023-02-14 |
Family
ID=73611704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010953389.7A Active CN112055088B (zh) | 2020-09-11 | 2020-09-11 | 一种基于光闸的文件可靠传输***及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112055088B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113242287A (zh) * | 2021-05-06 | 2021-08-10 | 江苏意源科技有限公司 | 一种能够自动纠错反馈的光学跨网通信设备及其使用方法 |
CN113992372A (zh) * | 2021-10-20 | 2022-01-28 | 国网辽宁省电力有限公司盘锦供电公司 | 光隔离单向网络数据传输装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101382982A (zh) * | 2008-10-06 | 2009-03-11 | 谢翔 | 一种物理单向传输装置 |
US20130262567A1 (en) * | 2012-03-30 | 2013-10-03 | Qualcomm Incorporated | Responding to hypertext transfer protocol (http) requests |
CN103856304A (zh) * | 2014-02-21 | 2014-06-11 | 北京神舟航天软件技术有限公司 | 一种可选安全等级的可靠文件传输协议 |
CN106230789A (zh) * | 2016-07-19 | 2016-12-14 | 杭州维尔信息技术有限公司 | 一种数据传输方法及设备 |
CN109714325A (zh) * | 2018-12-19 | 2019-05-03 | 北京奇安信科技有限公司 | 一种单向光闸数据传输方法、***、电子设备和介质 |
-
2020
- 2020-09-11 CN CN202010953389.7A patent/CN112055088B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101382982A (zh) * | 2008-10-06 | 2009-03-11 | 谢翔 | 一种物理单向传输装置 |
US20130262567A1 (en) * | 2012-03-30 | 2013-10-03 | Qualcomm Incorporated | Responding to hypertext transfer protocol (http) requests |
CN103856304A (zh) * | 2014-02-21 | 2014-06-11 | 北京神舟航天软件技术有限公司 | 一种可选安全等级的可靠文件传输协议 |
CN106230789A (zh) * | 2016-07-19 | 2016-12-14 | 杭州维尔信息技术有限公司 | 一种数据传输方法及设备 |
CN109714325A (zh) * | 2018-12-19 | 2019-05-03 | 北京奇安信科技有限公司 | 一种单向光闸数据传输方法、***、电子设备和介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113242287A (zh) * | 2021-05-06 | 2021-08-10 | 江苏意源科技有限公司 | 一种能够自动纠错反馈的光学跨网通信设备及其使用方法 |
CN113992372A (zh) * | 2021-10-20 | 2022-01-28 | 国网辽宁省电力有限公司盘锦供电公司 | 光隔离单向网络数据传输装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112055088B (zh) | 2023-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108701039B (zh) | 用于无线更新车辆的软件的方法和设备 | |
US6192410B1 (en) | Methods and structures for robust, reliable file exchange between secured systems | |
KR101224771B1 (ko) | 큐잉된 응용 메시지를 신뢰성있게 전송하는 방법 | |
US11251898B2 (en) | Device and method for the unidirectional transmission of data | |
CN104539690B (zh) | 一种基于反馈机制和md5码检测的服务器远程数据同步方法 | |
CN112055088B (zh) | 一种基于光闸的文件可靠传输***及其方法 | |
US20100058355A1 (en) | Firewall data transport broker | |
US8788576B2 (en) | High speed parallel data exchange with receiver side data handling | |
WO2004066650A1 (en) | Method for controlling a media message upload through a wireless communication network | |
CN109743135A (zh) | 一种断点续传文件传输的方法 | |
EP3313022B1 (en) | Resending method and device for hypertext transfer request, and client | |
CN114268991A (zh) | 数据传输方法、装置、电子设备、存储介质 | |
KR20140132063A (ko) | 캔 통신 장치 및 방법 | |
CN114612101A (zh) | 面向连接的可靠链间路由跨链方法及*** | |
CN101453479A (zh) | 一种快速的文件传输*** | |
CN113986501A (zh) | 实时数据库api无中断调用方法、***、存储介质及服务器 | |
CN110968899B (zh) | 一种基于区块链的数据分块确认方法、装置、设备和介质 | |
US11811738B2 (en) | Unidirectional gateway mediated multiplexing of concurrent data message streams | |
US7143313B2 (en) | Support interface module bug submitter | |
US9742819B2 (en) | System and method for reliable messaging between application sessions across volatile networking conditions | |
Yun et al. | Security validation for data diode with reverse channel | |
CN111552907A (zh) | 消息处理方法、装置、设备和存储介质 | |
CN113364880B (zh) | 信息交换方法、***、电子设备及存储介质 | |
US20230085632A1 (en) | Unidirectional gateway mediated delivery of data messages | |
CN117459190B (zh) | 一种异构中央计算架构的ota通信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |