CN110177154B - 一种文件交互处理方法、装置及*** - Google Patents

一种文件交互处理方法、装置及*** Download PDF

Info

Publication number
CN110177154B
CN110177154B CN201910520528.4A CN201910520528A CN110177154B CN 110177154 B CN110177154 B CN 110177154B CN 201910520528 A CN201910520528 A CN 201910520528A CN 110177154 B CN110177154 B CN 110177154B
Authority
CN
China
Prior art keywords
file
identifier
hash value
server
fps
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910520528.4A
Other languages
English (en)
Other versions
CN110177154A (zh
Inventor
于泽棋
江旻
王大飞
文海荣
旷波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201910520528.4A priority Critical patent/CN110177154B/zh
Publication of CN110177154A publication Critical patent/CN110177154A/zh
Priority to PCT/CN2020/091929 priority patent/WO2020253465A1/zh
Application granted granted Critical
Publication of CN110177154B publication Critical patent/CN110177154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H04L63/123—Applying verification of the received information received data contents, e.g. message integrity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种文件交互处理方法、装置及***，涉及文件传输领域，其中方法包括：获取第一渠道标识、第一文件的第一文件标识以及所述第一文件的第一哈希值；所述第一渠道标识用于指示第一文件接收方所对应的安全文件传输协议SFTP服务器；根据所述第一文件的第一文件标识以及所述第一文件的第一哈希值从文件传输协议FPS服务器中下载所述第一文件；根据所述第一渠道标识将所述第一文件存储至所述第一渠道标识对应的SFTP服务器。该方法可应用于金融科技(Fintech)。

Description

一种文件交互处理方法、装置及***
技术领域
本发明涉及金融科技(Fintech)的文件传输领域，尤其涉及一种文件交互处理方法、装置及***。
背景技术
随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链(Blockchain)、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变。目前，金融科技领域中，由于信息的处理愈发频繁，对各种文件的交叉分析、综合应用日益增多，文件之间的交互处理就显得越来越重要了。现有技术的文件交互开发流程中，文件交互的双方***先沟通对齐双方的文件格式，发送方对文件进行打包，提供文件摘要、消息摘要算法(Message-Digest Algorithm，MD5)等校验信息，再通过文件传输协议(File TransferProtocol，FTP)/安全文件传输协议(Secure File Transfer Protocol，SFTP)/超文本传输协议(Hypertext Transfer Protocol，HTTP)等协议将文件上传至SFTP服务器中，再由接收方通过SFTP协议将文件从SFTP服务器中取出。
现有技术的这种交互方式不但需要开发一套完整的文件打包、传输模块，也无法实现配置与业务分离，从而加大了开发难度和实际使用的复杂度。
发明内容
本申请实施例提供一种文件交互处理的方法、装置及***，用以提供一种文件交互处理方法。
本申请实施例提供一种文件交互处理方法，具体包括：
获取第一渠道标识、第一文件的第一文件标识以及所述第一文件的第一哈希值；所述第一渠道标识用于指示第一文件接收方所对应的安全文件传输协议SFTP服务器；
根据所述第一文件的第一文件标识以及所述第一文件的第一哈希值从文件传输协议FPS服务器中下载所述第一文件；
根据所述第一渠道标识将所述第一文件存储至所述第一渠道标识对应的SFTP服务器。
一种可能的实现方式，所述根据所述第一文件的第一文件标识以及所述第一文件的第一哈希值从文件传输协议FPS服务器中下载所述第一文件，包括：
获取所述FPS服务器中的第一文件的第二哈希值；
当所述第一哈希值等于所述第二哈希值时；
根据所述第一文件标识从文件传输协议FPS服务器中下载所述第一文件。
一种可能的实现方式，所述根据所述第一渠道标识将所述第一文件存储至所述第一渠道标识对应的SFTP服务器之后，还包括：
将推送完成消息反馈给所述第一文件发送方；所述推送完成消息用于通知所述第一文件发送方已完成将所述第一文件存储至所述第一渠道标识对应的SFTP服务器。
本申请实施例提供一种文件交互处理***，具体包括：
数据仓库，用于获取数据，对所述数据进行处理，将处理后的数据打包为第一文件，并将所述第一文件发送至FPS服务器；
所述FPS服务器，用于存储获取到的所述第一文件，并为所述第一文件分配第一文件标识，以及生成所述第一文件的第一哈希值；向所述数据仓库发送所述第一文件标识以及所述第一哈希值；
所述数据仓库，用于获取所述第一文件标识以及所述第一哈希值，确定第一文件接收方的第一渠道标识，并向批量文件交互***CAP发送所述第一渠道标识、所述第一文件标识以及所述第一哈希值；
CAP***，用于获取所述第一渠道标识、所述第一文件标识以及所述第一哈希值；所述第一渠道标识用于指示所述第一文件接收方所对应的SFTP服务器；根据所述第一文件标识以及所述第一哈希值从FPS服务器中下载所述第一文件；根据所述第一渠道标识将所述第一文件存储至所述第一渠道标识对应的SFTP服务器；
所述SFTP服务器，用于存储所述第一文件。
本申请实施例提供一种文件交互处理***，具体包括：
批量文件交互***CAP，用于获取第二渠道标识；所述第二渠道标识用于指示第二文件发送方所对应的SFTP服务器；根据所述第二渠道标识从所述SFTP服务器获取第二文件；将所述第二文件发送至FPS服务器；
所述FPS服务器，用于存储获取到的所述第二文件，并为所述第二文件分配第二文件标识，以及生成所述第二文件的第三哈希值；向所述CAP***发送所述第二文件标识以及所述第三哈希值；
所述CAP***，用于将所述第二文件标识以及所述第三哈希值传递给消息通信队列端口；
接收文件***，用于监听所述消息通信队列端口，从所述消息通信队列端口获取所述第二文件标识以及所述第三哈希值；根据所述第二文件标识以及所述第三哈希值从FPS服务器中下载所述第二文件。
本申请实施例提供一种文件交互处理装置，具体包括：
获取单元，用于获取第一渠道标识、第一文件的第一文件标识以及所述第一文件的第一哈希值；所述第一渠道标识用于指示第一文件接收方所对应的安全文件传输协议SFTP服务器；
处理单元，用于根据所述第一文件的第一文件标识以及所述第一文件的第一哈希值从文件传输协议FPS服务器中下载所述第一文件；根据所述第一渠道标识将所述第一文件存储至所述第一渠道标识对应的SFTP服务器。
一种可能的实现方式，所述处理单元，还用于：
获取所述FPS服务器中的第一文件的第二哈希值；
当所述第一哈希值等于所述第二哈希值时；
根据所述第一文件标识从文件传输协议FPS服务器中下载所述第一文件。
一种可能的实现方式，所述处理单元之后，还用于：
将推送完成消息反馈给所述第一文件发送方；所述推送完成消息用于通知所述第一文件发送方已完成将所述第一文件存储至所述第一渠道标识对应的SFTP服务器。
本申请实施例提供一种计算机设备，包括程序或指令，当所述程序或指令被执行时，使得计算机执行上述任一种可能的设计中的方法。
本申请实施例提供一种存储介质，包括程序或指令，当所述程序或指令被执行时，使得计算机执行上述任一种可能的设计中的方法。
利用本发明提供的文件交互处理方法、装置及***，具有以下有益效果：通过将环境信息映射为渠道标识，使得文件的开发方不需要关注具体的环境信息，即可实现配置与业务分离，降低了实际使用的复杂度。
附图说明
图1为现有技术的文件交互处理方法的技术架构示意图；
图2为本申请实施例提供的一种文件交互处理方法中的文件推送的技术架构示意图；
图3为本申请实施例提供的一种文件交互处理方法中的文件推送的流程示意图；
图4为本申请实施例提供的一种文件交互处理方法中的文件拉取的技术架构示意图；
图5为本申请实施例提供的一种文件交互处理方法中的文件拉取的流程示意图。
图6为本申请实施例提供的一种文件交互处理方法中的文件推送的替换方法的流程示意图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图及具体的实施方式对上述技术方案进行详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互结合。
随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链(Blockchain)、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变。现有技术中，在金融机构(银行机构、保险机构或证券机构)在进行业务(如银行的贷款业务、存款业务等)开发过程中，文件交互的开发流程主要利用程序打包文件提供文件摘要、MD5等校验信息，并通过FTP/SFTP/HTTP等协议进行文件传输的过程。
如图1所示，为现有技术的文件交互处理方法的技术架构示意图，当发送方A将文件传输给接收方B时，由双方先沟通对齐文件格式，再由发送方A对文件进行打包，提供MD5文件与摘要文件，之后发送方A将文件上传至SFTP服务器，接收方B通过SFTP协议将文件从SFTP服务器中取出。
这种文件交互处理方法需要开发一套完整的文件打包、传输模块，并需要开发FTP等协议的上传、下载功能，甚至需要提供完整的文件监控功能。同时对文件内容的控制能力不够，较难实现文件数据的灵活配置以及敏感数据的屏蔽功能。也无法实现配置与业务分离，导致环境信息与应用业务混杂在一起，从而增加了实际使用的复杂度。
面对愈来愈重要的文件交互流程，本申请实施例提供了一种文件交互处理方法，能够简化文件交互的开发流程，同时降低实际使用的复杂度，具体的技术方案如下。
图2为本申请实施例提供的一种文件交互处理方法中的文件推送的技术架构示意图。图2中所示的文件推送的技术架构包括应用***201、应用202、分布式数据库(TencentDistributed MySQL，TDSQL)203、大数据仓库204、数据仓库205、数据文件206、文件交互***207、批量文件交互***(CAP)208、文件存储***(FPS)209、SFTP服务器群210、SFTP服务器1 211和SFTP服务器2 212。
其中，应用***201包含应用202和分布式数据库203。
应用202是与分布式数据库203连接，用于将应用202中需传输的数据存储至分布式数据库203中。
分布式数据库203是与应用202、数据仓库205连接，用于将应用202中需传输的数据通过数据抽取、转换和装载(extract、transformation and loading，ETL)进程推送至数据仓库205中生成数据表。
大数据仓库204包含数据仓库205和数据文件206，是与文件交互***207连接，更具体的，是与批量文件交互***208和文件存储***209连接。
数据仓库205是与分布式数据库203、数据文件206和文件交互***207连接，用于对已生成的数据表按照业务层面需求进行数据的加工处理。
可选的，发送已加工数据的字段给批量文件交互***208，并接收批量文件交互***208根据自身配置的字段列表，根据字段列表对已加工数据的字段进行筛选，并将筛选后的字段对应的数据表打包生成数据文件206。
可选的，将数据文件206发送至文件存储***209，并接收文件存储***209返回的数据文件206对应的文件标识和哈希值。
可选的，在数据文件206对应的文件标识和哈希值的基础上，加上要传输至的SFTP服务器群210中的具体服务器的渠道标识，将这些信息一起发送给批量文件交互***208，其中，渠道标识包括合作方的SFTP地址、账号、密码等信息。
数据文件206是与数据仓库205连接，用于之后流程中生成的打包文件。
文件交互***207包含批量文件交互***208和文件存储***209，是与大数据仓库204连接。
批量文件交互***208是与大数据仓库204、文件存储***209、SFTP服务器群210连接，用于接收大数据仓库204中的数据仓库205发送的已加工数据的字段，根据自身配置的字段列表，反馈给数据仓库205，数据仓库205根据字段列表对已加工数据的字段进行筛选，并将筛选后的字段对应的数据表打包生成数据文件206。
可选的，接收数据仓库205发送的数据文件206对应的文件标识、哈希值和SFTP服务器群210中的具体服务器的渠道标识。
可选的，根据文件标识和哈希值从文件存储***209下载数据文件。
可选的，下载数据文件后，读取渠道标识中的具体信息，按照具体信息确定SFTP服务器群210中的具体SFTP服务器，再将数据文件推送至该服务器。
可选的，在将数据文件推送至SFTP服务器群210后，将推送完成消息反馈给应用***201。
文件存储***209是与大数据仓库204、批量文件交互***208连接，用于接收大数据仓库204中的数据文件206并存储，再发送数据文件206对应的文件标识和哈希值。
可选的，接收批量文件交互***208发送的文件标识和哈希值。
SFTP服务器群210包含SFTP服务器1 211、SFTP服务器2 212等。是与批量文件交互***208连接，用于接收批量文件交互***208推送的数据文件206，并存储至对应的具体SFTP服务器。
当有内部文件要传输至外部时，具体的推送过程，下面将详细描述。
如图3所示，为本申请实施例提供的一种文件交互处理方法中的文件推送的流程示意图，具体步骤下面将详细描述。
步骤301:数据仓库获取数据，对所述数据进行处理。
具体的，第一文件的数据一般存储在应用***的分布式数据库中，当需要传输第一文件时，先确定分布式数据库中第一文件的数据所在的数据表接口，再通过ETL进程将数据表推送至数据仓库中，在数据仓库中对数据表按照业务层面需求进行加工处理。
之后数据仓库发送已加工处理后的数据字段给批量文件交互***，由批量文件交互***将自身配置的字段列表返回给数据仓库，数据仓库根据字段列表对已加工处理后的数据字段进行筛选，并生成筛选后的字段对应的数据表。
其中，这里的批量文件交互***保存了每个渠道、每个业务的字段，通过这些字段信息，可控制文件打包过程中需要包含的字段列表。举例来说，例如待传输发送出数据仓库的数据表结构具有五个字段，包括：ID、NAME、ADDRESS、ID_NO和LAST_MODIFIED_DATETIME，其中，ID是数据表结构中的序号字段、NAME是数据表结构中的姓名字段、ADDRESS是数据表结构中的地址字段、ID_NO是数据表结构中的身份证号码字段，LAST_MODIFIED_DATETIME是数据表结构中的最后修改的时间字段。而在文件传输过程中，文件交互流程仅需要ID、NAME以及LAST_MODIFIED_DATETIME，这时就可以在批量文件交互***中配置ID、NAME以及LAST_MODIFIED_DATETIME作为筛选的字段列表，再返回给数据仓库。批量文件交互***以这种可灵活配置的方式实现了文件交互处理中对数据字段的调整、敏感字段的筛选等功能，从而保证了数据的可控性。
步骤302：将处理后的数据打包为第一文件，并将所述第一文件发送至FPS服务器。
具体的，数据仓库将筛选后的字段对应的数据表打包为第一文件，并将第一文件发送至FPS服务器。
由于内部文件的管理机制是统一存储在FPS服务器，之后再上传至SFTP服务器中，接下来阐述的内容即为如何将第一文件从FPS服务器中获取到再上传至SFTP服务器中。详细描述如下。
步骤303：所述FPS服务器存储获取到的所述第一文件，并为所述第一文件分配第一文件标识，以及生成所述第一文件的第一哈希值；向所述数据仓库发送所述第一文件标识以及所述第一哈希值。
具体的，FPS服务器接收第一文件并存储，并为第一文件分配第一文件标识，以及生成第一文件的第一哈希值。之后会发送第一文件标识以及第一哈希值给数据仓库。
其中，这里的FPS服务器有两个功能，包括：1、接收并存储第一文件；2、返回第一文件标识以及第一哈希值。在第2点功能中，第一文件标识是一个64位的字符串，具有唯一性；第一哈希值是一个32位的字符串，记录着第一文件的第一哈希值，若文件有一点改动，例如一比特的变动，都会引起第一哈希值的改变，从而能够识别第一文件是否损坏。
步骤304：所述数据仓库获取所述第一文件标识以及所述第一哈希值，确定第一文件接收方的第一渠道标识，并向批量文件交互***CAP发送所述第一渠道标识、所述第一文件标识以及所述第一哈希值。
具体的，数据仓库在接收到FPS服务器发送的第一文件标识和第一哈希值的基础上，根据第一文件的传输需求确定接收方所对应的SFTP服务器群中的具体服务器的第一渠道标识，将第一渠道标识、第一文件标识以及第一哈希值一起发送给批量文件交互***CAP。
步骤305：CAP***获取所述第一渠道标识、所述第一文件标识以及所述第一哈希值。
所述第一渠道标识用于指示所述第一文件接收方所对应的SFTP服务器；根据所述第一文件标识以及所述第一哈希值从FPS服务器中下载所述第一文件；根据所述第一渠道标识将所述第一文件存储至所述第一渠道标识对应的SFTP服务器。
具体的，CAP***接收到第一渠道标识、第一文件标识以及第一哈希值，根据第一文件标识以及第一哈希值从FPS服务器中下载第一文件；根据第一渠道标识获取到第一文件接收方所对应的SFTP服务器，从而将第一文件存储至第一渠道标识对应的SFTP服务器。
通过这种方式，将传统文件交互流程中的环境信息映射为渠道标识，使得文件的开发方不需要关注具体的环境信息，即传输第一文件的接收方情况，就能够解耦应用***与环境信息混合的问题；同时也实现了对环境信息的统一管理，当有环境信息发生变化时，能够做到及时更改。
进一步具体的，步骤305中根据所述第一文件标识以及所述第一哈希值从FPS服务器中下载所述第一文件的详细内容如下描述。
获取所述FPS服务器中的第一文件的第二哈希值；
当所述第一哈希值等于所述第二哈希值时；
根据所述第一文件标识从文件传输协议FPS服务器中下载所述第一文件。
可选的，获取所述FPS服务器中的第一文件的第二哈希值；
根据所述第一文件标识从文件传输协议FPS服务器中下载所述第一文件。
当所述第一哈希值等于所述第二哈希值时；
确认第一文件完好，否则说明下载过程中出现网络状况等问题导致文件有损坏，需要重新下载第一文件。
步骤306:所述SFTP服务器，用于存储所述第一文件。
具体的，SFTP服务器接收并存储第一文件，等待接收方从中取出。
步骤307：将推送完成消息反馈给所述第一文件发送方；所述推送完成消息用于通知所述第一文件发送方已完成将所述第一文件存储至所述第一渠道标识对应的SFTP服务器。
具体的，步骤306完成后，将推送完成消息反馈给第一文件发送方。这里的推送完成消息通知第一文件发送方已完成将第一文件存储至第一渠道标识对应的SFTP服务器中，从而使发送方获知第一文件的处理状态，对第一文件有监控的作用，也确保交互流程的闭环管理。
上述的详细步骤描述是从内部文件要传输给外部***的角度阐述的，本申请提供的是一种文件交互处理的方法，所以下面再从获取外部文件供内部***使用的角度来阐述。
如图4所示，图4为本申请实施例提供的一种文件交互处理方法中的文件拉取的技术架构示意图。图4中所示的文件拉取的技术架构包括调度***401、文件交互***207、批量文件交互***(CAP)208、文件存储***(FPS)209、SFTP服务器群210、SFTP服务器1 211、SFTP服务器2 212和接收文件***402。
其中，调度***401是与批量文件交互***208连接，用于在指定的配置时间内，将发送方的渠道标识发送给批量文件交互***208。
可选的，在成功拉取文件后，接收批量文件交互***208反馈的拉取成功消息。
文件交互***207包含批量文件交互***208和文件存储***209。
批量文件交互***208是与调度***401、文件存储***209、SFTP服务器群210和接收文件***402连接，用于接收调度***401发送的发送方的渠道标识，并读取其中的具体信息后，确定文件所在的SFTP服务器群210中的位置，从中获取发送方上传的文件。
可选的，因为一般文件是以压缩包形式传输，所以通过配置，能够按照对应格式的将文件包解开，得到文件。
可选的，将文件上传至文件存储***209，并接收文件存储***209返回的文件标识和哈希值。
可选的，将文件标识和哈希值传递给配置在拉取渠道管理中的消息通信队列端口。
可选的，在成功拉取文件后，将拉取成功消息反馈给调度***401。
文件存储***209是与批量文件交互***208、接收文件***202连接，用于接收批量文件交互***208上传的文件并存储，再发送文件标识和哈希值给批量文件交互***208。
SFTP服务器群210包含SFTP服务器1 211、SFTP服务器2 212等，是与批量文件交互***208连接，用于接受批量文件交互***208对SFTP服务器群210的搜索，再从中获取发送方上传的文件。
接收文件***402是与批量文件交互***208、文件存储***209连接，用于监听批量文件交互***配置的消息通信队列端口中的文件标识和哈希值，在收到文件标识和哈希值后，调用文件存储***的软件开发工具包(Software Development Kit，SDK)下载文件。
当需要获取外部文件供内部***使用时，具体的拉取过程，下面将详细描述。
如图5所示，为本申请实施例提供的一种文件交互处理方法中的文件拉取的流程示意图，具体步骤下面将详细描述。
步骤501：批量文件交互***CAP获取第二渠道标识；所述第二渠道标识用于指示第二文件发送方所对应的SFTP服务器；根据所述第二渠道标识从所述SFTP服务器获取第二文件；将所述第二文件发送至FPS服务器；
具体的，在步骤501之前，发送方会将第二文件上传至SFTP服务器，开发人员将发送方上传的第二文件的拉取时间、拉取频率配置在调度平台中，在配置的拉取时间内，调度平台会运行拉取脚本，将上述发送方的第二渠道标识发送给CAP***。
CAP***在获取第二渠道标识后，根据第二渠道标识确定第二文件发送方所对应的SFTP服务器，之后从中获取到发送方上传的第二文件。因为一般文件是以压缩包形式传输，所以CAP***通过配置，再按照对应格式将第二文件包解开，得到第二文件。之后将第二文件上传至FPS服务器。
由于内部文件的管理机制是统一存储在FPS服务器中，之后再由接收文件***按需求根据文件标识和哈希值从文件存储***中下载对应文件。接下来阐述的内容即为接收文件***如何从FPS服务器中获取到第二文件。详细描述如下。
步骤502：FPS服务器存储获取到的所述第二文件，并为所述第二文件分配第二文件标识，以及生成所述第二文件的第三哈希值；向所述CAP***发送所述第二文件标识以及所述第三哈希值。
具体的，FPS服务器接收第二文件并存储，为第二文件分配第二文件标识，以及生成第二文件的第三哈希值，再将第二文件标识和第三哈希值返回给CAP***。
步骤503：CAP***将所述第二文件标识以及所述第三哈希值传递给消息通信队列端口。
步骤504：接收文件***监听所述消息通信队列端口，从所述消息通信队列端口获取所述第二文件标识以及所述第三哈希值；根据所述第二文件标识以及所述第三哈希值从FPS服务器中下载所述第二文件。
具体的，获取所述FPS服务器中的第二文件的第四哈希值；
当所述第三哈希值等于所述第四哈希值时；
根据所述第二文件标识从文件传输协议FPS服务器中下载所述第二文件。
可选的，获取所述FPS服务器中的第二文件的第四哈希值；
根据所述第二文件标识从文件传输协议FPS服务器中下载所述第二文件。
当所述第三哈希值等于所述第四哈希值时；
确认第二文件完好，否则说明下载过程中出现网络状况等问题导致文件有损坏，需要重新下载第二文件。
进一步具体的，在步骤504之后，CAP***将拉取成功消息反馈给调度***，形成闭环管理。
图6是另一种文件交互处理方法中的文件推送的替换方法的流程示意图，如图所示，在替换方案中，可以利用java SDK代替ETL进程推送数据，即不需要将第一文件通过ETL进程推送到数据仓库中，而是通过引入CAP***的第三方java SDK包，将发送方的第一文件的数据和第一文件接收方的第一渠道标识传入SDK，之后的过程和图3中文件推送的流程示意图是相同的。通过这种方式，可以简化图3中通过ETL进程推送到数据仓库的环节。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种文件交互处理方法，其特征在于，包括：
获取第一渠道标识、第一文件的第一文件标识以及所述第一文件的第一哈希值；所述第一渠道标识用于指示第一文件接收方所对应的安全文件传输协议SFTP服务器；
根据所述第一文件的第一文件标识以及所述第一文件的第一哈希值从文件存储***FPS服务器中下载所述第一文件；
根据所述第一渠道标识将所述第一文件存储至所述第一渠道标识对应的SFTP服务器。
2.如权利要求1所述的方法，其特征在于，所述根据所述第一文件的第一文件标识以及所述第一文件的第一哈希值从文件存储***FPS服务器中下载所述第一文件，包括：
获取所述FPS服务器中的第一文件的第二哈希值；
当所述第一哈希值等于所述第二哈希值时，根据所述第一文件标识从文件存储***FPS服务器中下载所述第一文件。
3.如权利要求1所述的方法，其特征在于，所述根据所述第一渠道标识将所述第一文件存储至所述第一渠道标识对应的SFTP服务器之后，还包括：
将推送完成消息反馈给第一文件发送方；所述推送完成消息用于通知所述第一文件发送方已完成将所述第一文件存储至所述第一渠道标识对应的SFTP服务器。
4.一种文件交互处理***，其特征在于，包括：
数据仓库，用于获取数据，对所述数据进行处理，将处理后的数据打包为第一文件，并将所述第一文件发送至FPS服务器；
所述FPS服务器，用于存储获取到的所述第一文件，并为所述第一文件分配第一文件标识，以及生成所述第一文件的第一哈希值；向所述数据仓库发送所述第一文件标识以及所述第一哈希值；
所述数据仓库，用于获取所述第一文件标识以及所述第一哈希值，确定第一文件接收方的第一渠道标识，并向批量文件交互***CAP发送所述第一渠道标识、所述第一文件标识以及所述第一哈希值；
CAP***，用于获取所述第一渠道标识、所述第一文件标识以及所述第一哈希值；所述第一渠道标识用于指示所述第一文件接收方所对应的SFTP服务器；根据所述第一文件标识以及所述第一哈希值从FPS服务器中下载所述第一文件；根据所述第一渠道标识将所述第一文件存储至所述第一渠道标识对应的SFTP服务器；
所述SFTP服务器，用于存储所述第一文件。
5.一种文件交互处理***，其特征在于，包括：
批量文件交互***CAP，用于获取第二渠道标识；所述第二渠道标识用于指示第二文件发送方所对应的SFTP服务器；根据所述第二渠道标识从所述SFTP服务器获取第二文件；将所述第二文件发送至FPS服务器；
所述FPS服务器，用于存储获取到的所述第二文件，并为所述第二文件分配第二文件标识，以及生成所述第二文件的第三哈希值；向所述CAP***发送所述第二文件标识以及所述第三哈希值；
所述CAP***，用于将所述第二文件标识以及所述第三哈希值传递给消息通信队列端口；
接收文件***，用于监听所述消息通信队列端口，从所述消息通信队列端口获取所述第二文件标识以及所述第三哈希值；根据所述第二文件标识以及所述第三哈希值从FPS服务器中下载所述第二文件。
6.一种文件交互处理装置，其特征在于，包括：
通信单元，用于获取第一渠道标识、第一文件的第一文件标识以及所述第一文件的第一哈希值；所述第一渠道标识用于指示第一文件接收方所对应的安全文件传输协议SFTP服务器；
处理单元，用于根据所述第一文件的第一文件标识以及所述第一文件的第一哈希值从文件存储***FPS服务器中下载所述第一文件；根据所述第一渠道标识将所述第一文件存储至所述第一渠道标识对应的SFTP服务器。
7.如权利要求6所述的装置，其特征在于，所述处理单元还用于：
获取所述FPS服务器中的第一文件的第二哈希值；
当所述第一哈希值等于所述第二哈希值时，根据所述第一文件标识从文件存储***FPS服务器中下载所述第一文件。
8.如权利要求6所述的装置，其特征在于，所述通信单元还用于：
将推送完成消息反馈给第一文件发送方；所述推送完成消息用于通知所述第一文件发送方已完成将所述第一文件存储至所述第一渠道标识对应的SFTP服务器。
9.一种计算机设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行如权利要求1-3任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-3任一项所述的方法。
CN201910520528.4A 2019-06-17 2019-06-17 一种文件交互处理方法、装置及*** Active CN110177154B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910520528.4A CN110177154B (zh) 2019-06-17 2019-06-17 一种文件交互处理方法、装置及***
PCT/CN2020/091929 WO2020253465A1 (zh) 2019-06-17 2020-05-22 一种文件交互处理方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910520528.4A CN110177154B (zh) 2019-06-17 2019-06-17 一种文件交互处理方法、装置及***

Publications (2)

Publication Number Publication Date
CN110177154A CN110177154A (zh) 2019-08-27
CN110177154B true CN110177154B (zh) 2021-07-02

Family

ID=67698352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910520528.4A Active CN110177154B (zh) 2019-06-17 2019-06-17 一种文件交互处理方法、装置及***

Country Status (2)

Country Link
CN (1) CN110177154B (zh)
WO (1) WO2020253465A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110177154B (zh) * 2019-06-17 2021-07-02 深圳前海微众银行股份有限公司 一种文件交互处理方法、装置及***
CN110597764B (zh) * 2019-10-10 2024-05-07 深圳前海微众银行股份有限公司 一种文件下载、版本管理方法及装置
CN113726830B (zh) * 2020-05-25 2023-09-12 网联清算有限公司 一种报文标识生成方法及装置
CN112653757A (zh) * 2020-12-21 2021-04-13 深圳前海微众银行股份有限公司 文件管理***、方法及设备
CN112843674A (zh) * 2021-01-19 2021-05-28 杭州电魂网络科技股份有限公司 游戏出包方法和***
CN113037710A (zh) * 2021-02-03 2021-06-25 南京物通物语科技有限公司 一种工业物联网用对大数据传输的处理方法
CN113343312B (zh) * 2021-06-25 2024-06-14 工银科技有限公司 基于前端埋点技术的页面防篡改方法及***
CN114945020B (zh) * 2022-05-17 2023-08-08 宝信软件(武汉)有限公司 一种基于云平台的云边协同数据接入方法以及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231742A (zh) * 2011-06-27 2011-11-02 中国建设银行股份有限公司 基于sftp协议的文件上传与下载方法、***及相关设备
CN104184740A (zh) * 2014-09-04 2014-12-03 中电长城网际***应用有限公司 可信传输方法、可信第三方和可信传输***
CN108984560A (zh) * 2017-06-01 2018-12-11 杭州海康威视数字技术股份有限公司 文件存储方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9419801B2 (en) * 2009-05-12 2016-08-16 Infrascale Inc. System and method for transmitting needed portions of a data file between networked computers
CN104935586A (zh) * 2011-12-09 2015-09-23 丁雪强 金融网点柜面上安全传输文件的方法及传输***
US10069817B2 (en) * 2015-09-28 2018-09-04 Mastercard International Incorporated Secure file transfer with secure SSH key authentication
CN106162212B (zh) * 2016-07-01 2019-10-15 江苏省广播电视集团有限公司 一种基于云计算实现的新闻内容现场生产***
CN109240726B (zh) * 2018-09-30 2022-04-22 湖北华联博远科技有限公司 一种软件更新方法及***
CN109639819B (zh) * 2018-12-28 2022-01-14 腾讯科技（深圳）有限公司 文件传输方法、客户端、服务器及***
CN110177154B (zh) * 2019-06-17 2021-07-02 深圳前海微众银行股份有限公司 一种文件交互处理方法、装置及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231742A (zh) * 2011-06-27 2011-11-02 中国建设银行股份有限公司 基于sftp协议的文件上传与下载方法、***及相关设备
CN104184740A (zh) * 2014-09-04 2014-12-03 中电长城网际***应用有限公司 可信传输方法、可信第三方和可信传输***
CN108984560A (zh) * 2017-06-01 2018-12-11 杭州海康威视数字技术股份有限公司 文件存储方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于SFTP的GNSS数据采集软件的设计与实现;黄经国等;《震灾防御技术》;20170615(第02期);全文 *

Also Published As

Publication number Publication date
WO2020253465A1 (zh) 2020-12-24
CN110177154A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
CN110177154B (zh) 一种文件交互处理方法、装置及***
CN111163129B (zh) 一种基于跨链网络的资源处理方法及装置
CN109739523B (zh) 应用程序打包方法、装置、存储介质及终端
US20130263160A1 (en) Cross-platform web-based native device feature access
CN111400061A (zh) 一种数据处理方法和***
CN110532182B (zh) 一种虚拟化平台的自动化测试方法及装置
KR20100101170A (ko) 콘텐츠 분류 방법 및 시스템
WO2017124736A1 (zh) 一种升级异常信息的传输方法、设备和***
CN111339471B (zh) 动态加载页面埋点数据的方法及装置
CN111367685B (zh) 接口调用的方法及装置、计算机设备、存储介质
CN116382773A (zh) 一种部署PyFlink任务的方法
US20040139147A1 (en) System and method for the dynamic distribution of data and/or services
CN114816785A (zh) 业务数据处理方法、装置、电子设备及存储介质
CN110209344B (zh) 迁移对象存储的方法、装置和计算机可读存储介质
CN113179324B (zh) 一种区块链节点及其执行的业务处理方法
CN111736844B (zh) 一种数据库云服务标准接口及实现方法
CN105915613A (zh) 基于云服务的资源提供方法及装置
CN116048533B (zh) 一种运行Flink任务解决依赖隔离的实现方法及***
CN110417860A (zh) 文件传输管理方法、装置、设备及存储介质
US8335215B2 (en) Process data for a data packet
CN115617768A (zh) 日志管理方法、***、电子设备及存储介质
CN106649834A (zh) 日志数据的异步传输方法、装置及***
CN110007937B (zh) 一种***更新的方法和***
US10419368B1 (en) Dynamic scaling of computing message architecture
CN113254448A (zh) 一种数据记录方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant