CN114422504A - 数据传输方法及相关装置 - Google Patents

数据传输方法及相关装置 Download PDF

Info

Publication number
CN114422504A
CN114422504A CN202210082631.7A CN202210082631A CN114422504A CN 114422504 A CN114422504 A CN 114422504A CN 202210082631 A CN202210082631 A CN 202210082631A CN 114422504 A CN114422504 A CN 114422504A
Authority
CN
China
Prior art keywords
data
file
empty
data files
files
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210082631.7A
Other languages
English (en)
Inventor
莫享尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202210082631.7A priority Critical patent/CN114422504A/zh
Publication of CN114422504A publication Critical patent/CN114422504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/1607—Details of the supervisory signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1829—Arrangements specially adapted for the receiver end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1829—Arrangements specially adapted for the receiver end
    • H04L1/1864—ARQ related signaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
    • H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
    • H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
    • H04L1/1867—Arrangements specially adapted for the transmitter end

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开的一种数据传输方法及相关装置可用于大数据技术领域或其他领域。本申请提供的技术方案中，数据发送端生成标识文件，标识文件包括预设时段内生成的多个数据文件中每个数据文件的文件大小，并向数据接收端发送该标识文件和多个数据文件中的非空数据文件，不发送多个数据文件中的空数据文件；数据接收端接收来自数据发送端的标识文件和非空数据文件，并根据标识文件加载非空数据文件，提高了数据传输效率，节省了数据传输资源。另外，数据接收端根据标识文件中非空数据文件的文件大小对接收的非空数据文件进行校验，保证了非空数据文件在传输过程中的完整性。

Description

数据传输方法及相关装置
技术领域
本申请涉及大数据技术领域，尤其涉及一种数据传输方法及相关装置。
背景技术
***与***或应用与应用之间多存在定时批量数据的传输需求。数据发送端定时将上游***的业务数据以文件的形式传输至处于下游***的数据接收端。实际上，处于非业务区间时，上游***并无业务数据产生，但仍需按时发送数据文件到下游***。
针对上述情况，目前常用的方法是数据发送端向数据接收端发送一个文件大小为0的数据文件，数据接收端接收到该数据文件后加载该空文件，确定此时段无业务数据产生。但该方法使得数据发送端与数据接收端间的数据传输效率较低，同时造成了资源浪费。
因此，如何提高数据传输效率及节省数据传输资源成为了亟待解决的问题。
发明内容
本申请提供了一种数据传输方法及相关装置，提高了数据传输效率，节省了数据传输资源。
第一方面，本申请提供一种数据传输方法，所述方法应用于数据发送端，所述方法包括：生成标识文件，所述标识文件包括预设时段内生成的M个数据文件中每个数据文件的文件大小，M为正整数；向数据接收端发送所述标识文件和所述M个数据文件中的N个非空数据文件，所述非空数据文件为文件大小大于0的数据文件，N为小于或等于M的正整数，其中，不发送所述M个数据文件中的空数据文件，所述空数据文件为文件大小等于0的数据文件。
本方法中，数据发送端将在预设时段内生成的数据文件的文件大小记录在标识文件中，并向数据接收端发送该标识文件和在预设时段内生成的非空数据文件，但不发送在预设时段内生成的空数据文件，相比于将在预设时段内生成的非空数据文件和空数据文件全部发送给数据接收端，提高了数据传输效率，节省了数据传输资源。
在一种可能的实现方式中，所述方法还包括：接收来自所述数据接收端的第一请求消息，所述第一请求消息用于请求第一目标数据文件，所述第一目标数据文件包括所述M个数据文件中所述数据接收端接收到的数据不完整的非空数据文件；向所述数据接收端发送所述第一目标文件。
该实现方式中，数据发送端根据接收的来自数据接收端的第一请求消息，重新向数据接收端发送数据接收端接收到的数据不完整的非空数据文件，确保了数据接收端能够接收到数据完整的非空数据文件。
在一种可能的实现方式中，所述方法还包括：接收来自所述数据接收端的第二请求消息，所述第二请求消息用于请求第二目标数据文件，所述第二目标数据文件包括所述M个数据文件中没有被所述数据接收端接收到的非空数据文件；向所述数据接收端发送所述第二目标文件。
该实现方式中，数据发送端根据接收的来自数据接收端的第二请求消息，重新向数据接收端发送数据接收端未接收到的非空数据文件，确保了数据接收端能够接收到数据发送端发送的所有非空数据文件。
第二方面，本申请提供一种数据传输方法，所述方法应用于数据接收端，所述方法包括：接收来自数据发送端的标识文件和N个非空数据文件，所述标识文件包括所述数据发送端在预设时段内生成的M个数据文件中每个数据文件的文件大小，M为正整数，N为小于或等于M的正整数，所述非空数据文件为文件大小大于0的数据文件，其中，所述M个数据文件中的空数据文件没有被所述数据发送端发送，所述空数据文件为文件大小等于0的数据文件；根据所述标识文件加载所述N个非空数据文件。
本方法中，数据接收端接收来自数据发送端的标识文件和非空数据文件，并根据该标识文件加载非空数据文件，相比于数据接收端既加载非空数据文件，又加载空数据文件，提高了数据传输效率，节省了数据传输资源。
在一种可能的实现方式中，所述根据所述标识文件加载所述N个非空数据文件，包括：根据所述标识文件中所述N个非空数据文件中每个非空数据文件的文件大小确定所述N个非空数据文件中数据完整的非空数据文件；加载所述N个非空数据文件中数据完整的非空数据文件。
该实现方式中，数据接收端根据标识文件中非空数据文件的文件大小判断接收的非空数据文件中的数据是否完整，并对接收的数据完整的非空数据文件进行加载，保证了加载的非空数据文件的完整性。
在一种可能的实现方式中，所述方法还包括：根据所述标识文件中所述N个非空数据文件中每个非空数据文件的文件大小确定所述N个非空数据文件中数据不完整的非空数据文件；向所述数据发送端发送第一请求消息，所述第一请求消息用于请求第一目标文件，所述第一目标文件包括所述N个非空数据文件中数据不完整的非空数据文件。
该实现方式中，数据接收端根据标识文件中非空数据文件的文件大小确定接收的非空数据文件中数据不完整的非空数据文件，并向数据发送端发送第一请求消息，请求数据发送端重新发送数据接收端接收到的数据不完整的非空数据文件，确保了数据接收端能够接收到数据完整的非空数据文件。
在一种可能的实现方式中，所述标识文件还包括所述M个数据文件中非空数据文件的文件个数；相应地，所述方法还包括：根据所述标识文件中所述文件个数确定所述数据接收端没有接收到的非空数据文件；向所述数据发送端发送第二请求消息，所述第二请求消息用于请求第二目标文件，所述第二目标文件包括所述数据接收端没有接收到的非空数据文件。
该实现方式中，数据接收端根据标识文件中非空数据文件的文件个数判断是否有未接收到的非空数据文件，若确定存在未接收到的非空数据文件，则向数据发送端发送第二请求消息，请求数据发送端重新发送数据接收端未接收到的非空数据文件，确保了数据接收端能够接收到数据发送端发送的所有非空数据文件。
第三方面，本申请提供给一种数据传输装置，所述装置应用于数据发送端，所述装置包括：生成模块，用于生成标识文件，所述标识文件包括预设时段内生成的M个数据文件中每个数据文件的文件大小，M为正整数；发送模块，用于向数据接收端发送所述标识文件和所述M个数据文件中的N个非空数据文件，所述非空数据文件为文件大小大于0的数据文件，N为小于或等于M的正整数，其中，不发送所述M个数据文件中的空数据文件，所述空数据文件为文件大小等于0的数据文件。
在一种可能的实现方式中，所述装置还包括：接收模块，用于接收来自所述数据接收端的第一请求消息，所述第一请求消息用于请求第一目标数据文件，所述第一目标数据文件包括所述M个数据文件中所述数据接收端接收到的数据不完整的非空数据文件；所述发送模块，还用于向所述数据接收端发送所述第一目标文件。
在一种可能的实现方式中，所述接收模块还用于，接收来自所述数据接收端的第二请求消息，所述第二请求消息用于请求第二目标数据文件，所述第二目标数据文件包括所述M个数据文件中没有被所述数据接收端接收到的非空数据文件；所述发送模块，还用于向所述数据接收端发送所述第二目标文件。
第三方面及第三方面的各种可能的实现方式中的有益效果可参见第一方面及第一方面的各种可能的实现方式中的有益效果，此处不再赘述。
第四方面，本申请提供一种数据传输装置，所述装置应用于数据接收端，所述装置包括：接收模块，用于接收来自数据发送端的标识文件和N个非空数据文件，所述标识文件包括所述数据发送端在预设时段内生成的M个数据文件中每个数据文件的文件大小，M为正整数，N为小于或等于M的正整数，所述非空数据文件为文件大小大于0的数据文件，其中，所述M个数据文件中的空数据文件没有被所述数据发送端发送，所述空数据文件为文件大小等于0的数据文件；加载模块，用于根据所述标识文件加载所述N个非空数据文件。
在一种可能的实现方式中，所述加载模块还用于：根据所述标识文件中所述N个非空数据文件中每个非空数据文件的文件大小确定所述N个非空数据文件中数据完整的非空数据文件；加载所述N个非空数据文件中数据完整的非空数据文件。
在一种可能的实现方式中，所述装置还包括校验模块，所述校验模块用于：根据所述标识文件中所述N个非空数据文件中每个非空数据文件的文件大小确定所述N个非空数据文件中数据不完整的非空数据文件；向所述数据发送端发送第一请求消息，所述第一请求消息用于请求第一目标文件，所述第一目标文件包括所述N个非空数据文件中数据不完整的非空数据文件。
在一种可能的实现方式中，所述标识文件还包括所述M个数据文件中非空数据文件的文件个数；相应地，所述装置还包括校验模块，所述校验模块用于：根据所述标识文件中所述文件个数确定所述数据接收端没有接收到的非空数据文件；向所述数据发送端发送第二请求消息，所述第二请求消息用于请求第二目标文件，所述第二目标文件包括所述数据接收端没有接收到的非空数据文件。
第四方面及第四方面的各种可能的实现方式中的有益效果可参见第二方面及第二方面的各种可能的实现方式中的有益效果，此处不再赘述。
第五方面，本申请提供一种数据传输装置。该装置可以包括与存储器耦合的处理器。其中，该存储器用于存储程序代码，该处理器用于执行该存储器中的程序代码，以实现第一方面或第二方面或其中任意一种实现方式中的方法。
可选地，该装置还可以包括该存储器。
第六方面，本申请提供一种芯片，包括至少一个处理器和通信接口，所述通信接口和所述至少一个处理器通过线路互联，所述至少一个处理器用于运行计算机程序或指令，以执行如第一方面或第二方面或其中任意一种可能的实现方式所述的方法。
第七方面，本申请提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如第一方面或第二方面或其中任意一种可能的实现方式所述的方法。
第八方面，本申请提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行如第一方面或第二方面或其中任意一种可能的实现方式所述的方法。
第九方面，本申请提供一种计算设备，包括至少一个处理器和通信接口，所述通信接口和所述至少一个处理器通过线路互联，所述通信接口与目标***通信，所述至少一个处理器用于运行计算机程序或指令，以执行如第一方面或第二方面或其中任意一种可能的实现方式所述的方法。
第十方面，本申请提供一种计算***，包括至少一个处理器和通信接口，所述通信接口和所述至少一个处理器通过线路互联，所述通信接口与目标***通信，所述至少一个处理器用于运行计算机程序或指令，以执行如第一方面或第二方面或其中任意一种可能的实现方式所述的方法。
附图说明
图1为本申请的实施例的一种***架构的示意图；
图2为本申请的实施例的一种数据传输方法的流程示意图；
图3为本申请一个实施例的一种数据传输方法的流程示意图；
图4为本申请一个实施例的数据传输装置的示意性结构图；
图5为本申请另一个实施例的数据传输装置的示意性结构图；
图6为本申请一个实施例提供的数据传输装置的结构示意图。
具体实施方式
下面将结合本申请的实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请公开的数据传输方法及相关装置可用于大数据技术领域，也可用于除大数据技术领域以外的任意领域，本申请对应用领域不作限定。
图1为本申请的实施例的一种***架构的示意图。如图1所示，数据传输***100包括数据发送端110和数据接收端120。
数据发送端110用于根据业务处理逻辑和文件生成规则，将数据接收端120需要的数据生成为数据文件，并将该数据文件发送给数据接收端120。通常情况下，生成的数据文件为增量形式。其中，数据文件包括非空数据文件和空数据文件。非空数据文件中的数据内容不为空，文件大小大于0；空数据文件中的数据内容为空，文件大小为0。
数据接收端120用于接收来自数据发送端110的数据文件，并对接收的数据文件进行加载。
作为一种示例，数据发送端110按照预设的时间向数据接收端120发送数据文件。
作为另一种示例，数据发送端110接收到数据接收端120发送的请求消息后，根据请求消息向数据接收端120发送数据文件。
数据发送端110的一种示例可以为金融机构内部的各类业务***，相应地，数据接收端120的一种示例可以为金融机构内部的数据库服务器，各类业务***将预设时段内生成的业务数据以数据文件的形式发送给后端的数据库服务器，以供数据库服务器对各类业务***产生的业务数据进行汇总和分析。
可以理解的是，图1所示的***架构仅是本申请提供的数据传输***的一种示例，在本申请另一些实施例中，数据传输***100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现，本申请不作限定。
一种数据传输方法如下：数据发送端生成数据文件，生成的数据文件包括非空数据文件和空数据文件，通过网络或其他传输工具将生成的数据文件传输至数据接收端，数据接收端对接收的非空数据文件和空数据文件进行加载。
该方法中，产生了大量空数据文件的传输及加载，影响了数据发送端和数据接收端之间的数据传输效率，同时造成了大量传输资源的浪费。
针对上述问题，本申请提出了新的数据传输方法，以提高数据传输效率，同时避免了传输资源的浪费。
图2为本申请的实施例的一种数据传输方法的流程示意图。如图2所示，该方法至少包括S201至S203。
S201，数据发送端生成标识文件，标识文件包括预设时段内生成的M个数据文件中每个数据文件的文件大小，M为正整数。
在一种可能的实现方式中，数据发送端在生成数据文件的过程中，在标识文件中记录生成的数据文件的文件信息，其中，标识文件中包括预设时段内生成的M个数据文件中每个数据文件的文件大小，M为正整数。
作为一种示例，预设时段可以为数据发送端与数据接收端约定的时间段，数据发送端按照约定采集预设时段内的业务数据，并将采集到的业务数据生成为数据文件，同时在标识文件中记录生成的数据文件的文件信息。
作为一种示例，标识文件还可以包括预设时段内生成的数据文件中每个数据文件的文件名称、文件后缀、文件标识、生成的数据文件的总文件个数和非空数据文件的文件个数等，其中，文件标识与数据文件一一对应。
数据发送端的一种示例可以为图1中的数据发送端110。
S202，数据发送端向数据接收端发送标识文件和M个数据文件中的N个非空数据文件，不发送M个数据文件中的空数据文件，N为小于或等于M的正整数。
非空数据文件为文件大小大于0的数据文件，空数据文件为文件大小等于0的数据文件。
S203，数据接收端根据标识文件加载N个非空数据文件。
在一种可能的实现方式中，数据接收端根据标识文件中非空数据文件中每个非空数据文件的文件大小确定接收的非空数据文件是否数据完整，加载数据完整的非空数据文件；若存在数据不完整的非空数据文件，则向数据发送端发送第一请求消息，用于请求数据接收端接收的数据不完整的非空数据文件；数据发送端接收到第一请求消息后，重新向数据接收端发送数据接收端接收的数据不完整的非空数据文件。
作为一种示例，数据接收端将接收到的非空数据文件的实际文件大小与标识文件中非空数据文件的文件大小进行比较，若接收的非空数据文件的实际文件大小等于标识文件中该非空数据文件的文件大小，则该非空数据文件中的数据完整；若接收的非空数据文件的实际文件大小小于标识文件中该非空数据文件的文件大小，则该非空数据文件中的数据不完整。
作为一种示例，标识文件中包括每个非空数据文件的文件标识，在数据接收端确定存在数据不完整的非空数据文件的情况下，数据接收端向数据发送端发送第一请求消息，第一请求消息中包含数据接收端接收的数据不完整的非空数据文件的文件标识。
在另一种可能的实现方式中，标识文件中包括非空数据文件的文件个数。数据接收端根据标识文件中非空数据文件的文件个数确定是否存在未接收到的非空数据文件；若存在未接收到的非空数据文件，则向数据发送端发送第二请求消息，用于请求数据接收端未接收到的非空数据文件；数据发送端接收到第二请求消息后，重新向数据接收端发送数据接收端未接收到的非空数据文件。
作为一种示例，数据接收端将接收到的非空数据文件的文件个数与标识文件中非空数据文件的文件个数进行比较，若接收的非空数据文件的文件个数等于标识文件中非空数据文件的文件个数，则数据接收端不存在未接收的非空数据文件；若接收的非空数据文件的文件个数小于标识文件中非空数据文件的文件个数，则存在数据接收端未接收的非空数据文件。
作为一种示例，标识文件中包括每个非空数据文件的文件标识，在数据接收端确定存在未接收的非空数据文件的情况下，数据接收端向数据发送端发送第二请求消息，第二请求消息中包含数据接收端未接收的非空数据文件的文件标识。
在又一种可能的实现方式中，数据接收端根据标识文件中非空数据文件中每个非空数据文件的文件大小确定数据不完整的非空数据文件，根据标识文件中非空数据文件的文件个数确定未接收到的非空数据文件，向数据发送端发送请求消息，请求消息既可以请求数据接收端接收的数据不完整的非空数据文件，又可以请求数据接收端未接收到的非空数据文件。
作为一种示例，标识文件中包括每个非空数据文件的文件标识，在数据接收端确定既存在数据不完整的非空数据文件，又存在未接收的非空数据文件的情况下，数据接收端向数据发送端发送请求消息，请求消息中包含数据接收端接收的数据不完整的非空数据文件的文件标识和数据接收端未接收的非空数据文件的文件标识。
在一种可能的实现方式中，数据接收端可以根据实际需要对空数据文件进行空加载处理。
数据接收端的一种示例可以为图1中的数据接收端120。
本申请提供的技术方案中，数据发送端将在预设时段内生成的数据文件的文件大小记录在标识文件中，并向数据接收端发送该标识文件和在预设时段内生成的非空数据文件，但不发送在预设时段内生成的空数据文件；数据接收端接收来自数据发送端的标识文件和非空数据文件，并根据该标识文件加载非空数据文件，提高了数据传输效率，节省了数据传输资源。
图3为本申请一个实施例的一种数据传输方法的流程示意图。如图3所示，该方法至少包括S301至S306。
S301，数据发送端生成标识文件，标识文件包括预设时段内生成的数据文件中每个数据文件的文件大小，数据文件包括非空数据文件和空数据文件。
S302，数据发送端向数据接收端发送标识文件和预设时段内生成的非空数据文件，不发送空数据文件。
需要说明的是，S301至S302可以参考S201至S202，此处不再进行赘述。
S303，数据接收端根据标识文件对接收的非空数据文件进行完整性校验。
在一种可能的实现方式中，数据接收端根据标识文件中非空数据文件中每个非空数据文件的文件大小判断接收的非空数据文件是否数据完整。
作为一种示例，数据接收端将接收到的非空数据文件的实际文件大小与标识文件中非空数据文件的文件大小进行比较，若接收的非空数据文件的实际文件大小等于标识文件中该非空数据文件的文件大小，则该非空数据文件中的数据完整；若接收的非空数据文件的实际文件大小小于标识文件中该非空数据文件的文件大小，则该非空数据文件中的数据不完整。
在另一种可能的实现方式中，标识文件中包括非空数据文件的文件个数。数据接收端根据标识文件中非空数据文件的文件个数判断是否接收到数据发送端发送的全部非空数据文件。
作为一种示例，数据接收端将接收到的非空数据文件的文件个数与标识文件中非空数据文件的文件个数进行比较，若接收的非空数据文件的文件个数等于标识文件中非空数据文件的文件个数，则数据接收端接收到数据发送端发送的全部非空数据文件；若接收的非空数据文件的文件个数小于标识文件中非空数据文件的文件个数，则确定存在数据接收端未接收的非空数据文件。
在又一种可能的实现方式中，数据接收端既根据标识文件中非空数据文件中每个非空数据文件的文件大小判断接收的非空数据文件是否数据完整，又根据标识文件中非空数据文件的文件个数判断是否接收到数据发送端发送的全部非空数据文件。
数据接收端的一种示例可以为图1中的数据接收端120。
S304，在确定接收的非空数据文件不完整的情况下，数据接收端向数据发送端发送请求消息，请求消息用于请求目标非空数据文件。
在一种可能的实现方式中，若数据接收端确定接收的非空数据文件中存在数据不完整的非空数据文件，则向数据发送端发送请求消息，请求消息用于请求的目标非空数据文件包括数据接收端接收的数据不完整的非空数据文件。
作为一种示例，标识文件中包括每个非空数据文件的文件标识，文件标识与非空数据文件一一对应。在数据接收端确定接收的非空数据文件中存在数据不完整的非空数据文件的情况下，数据接收端向数据发送端发送请求消息，请求消息中包含数据接收端接收的数据不完整的非空数据文件的文件标识。
在另一种可能的实现方式中，若数据接收端确定存在未接收到的非空数据文件，则向数据发送端发送请求消息，请求消息用于请求的目标非空数据文件包括数据接收端未接收到的非空数据文件。
作为一种示例，标识文件中包括每个非空数据文件的文件标识，在数据接收端确定存在未接收的非空数据文件的情况下，数据接收端向数据发送端发送请求消息，请求消息中包含数据接收端未接收的非空数据文件的文件标识。
在又一种可能的实现方式中，若数据接收端确定既存在数据不完整的非空数据文件，又存在未接收到的非空数据文件，则向数据发送端发送请求消息，请求消息用于请求的目标非空数据文件中既包括数据接收端接收的数据不完整的非空数据文件，又包括数据接收端未接收到的非空数据文件。
作为一种示例，标识文件中包括每个非空数据文件的文件标识，在数据接收端确定既存在数据不完整的非空数据文件，又存在未接收的非空数据文件的情况下，数据接收端向数据发送端发送请求消息，请求消息中包含数据接收端接收的数据不完整的非空数据文件的文件标识和数据接收端未接收的非空数据文件的文件标识。
S305，数据发送端根据请求消息向数据接收端发送目标非空数据文件。
在一种可能的实现方式中，目标非空数据文件包括数据接收端接收的数据不完整的非空数据文件，则数据发送端向数据接收端重新发送数据接收端接收的数据不完整的非空数据文件。
作为一种示例，数据发送端根据请求消息中数据接收端接收的数据不完整的非空数据文件的文件标识，向数据接收端重新发送该文件标识对应的非空数据文件。
在另一种可能的实现方式中，目标非空数据文件包括数据接收端未接收到的非空数据文件，则数据发送端向数据接收端重新发送数据接收端未接收的非空数据文件。
作为一种示例，数据发送端根据请求消息中数据接收端未接收的非空数据文件的文件标识，向数据接收端重新发送该文件标识对应的非空数据文件。
在又一种可能的实现方式中，目标非空数据文件中既包括数据接收端接收的数据不完整的非空数据文件，又包括数据接收端未接收到的非空数据文件。
作为一种示例，数据发送端根据请求消息中数据接收端接收的数据不完整的非空数据文件的文件标识和数据接收端未接收的非空数据文件的文件标识，向数据接收端重新发送该文件标识对应的非空数据文件。
S306，数据接收端根据标识信息加载非空数据文件。
在一种可能实现方式中，数据接收端在接收到数据发送端发送的目标非空数据文件后，对目标非空数据文件进行完整性校验，完整性校验通过后，数据接收端根据标识信息对接收的所有的非空数据文件进行加载。
在一种可能的实现方式中，数据接收端可以根据实际需要对空数据文件进行空加载处理。
本申请提供的技术方案中，数据接收端在接收到数据发送端发送的非空数据文件后，根据标识文件对接收的非空数据文件进行完整性校验，若接收的非空数据文件不完整，则请求数据发送端进行重新发送，保证了非空数据文件在数据传输过程中的完整性。
图4为本申请一个实施例的数据传输装置的示意性结构图。如图4所示，装置400可以包括生成模块401和发送模块402。
本申请实施例中的生成模块和发送模块中任意模块可以全部或部分通过软件和/硬件方式实现。其中，通过软件实现的部分可以在处理器上运行以实现相应的功能，通过硬件方式实现的部分可以是处理器的构成部分。
装置400可以用于实现图2或图3所示的方法中由数据发送端执行的步骤。
图5为本申请另一个实施例的数据传输装置的示意性结构图。如图5所示，装置500可以包括接收模块501和加载模块502。
本申请实施例中的接收模块和加载模块中任意模块可以全部或部分通过软件和/硬件方式实现。其中，通过软件实现的部分可以在处理器上运行以实现相应的功能，通过硬件方式实现的部分可以是处理器的构成部分。
装置500可以用于实现图2或图3所示的方法中由数据接收端执行的步骤。
图6为本申请一个实施例提供的数据传输装置的结构示意图。图6所示的装置600可以用于执行前述任意一个实施例所述的方法。
如图6所示，本实施例的装置600包括：存储器601、处理器602、通信接口603以及总线604。其中，存储器601、处理器602、通信接口603通过总线604实现彼此之间的通信连接。
存储器601可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器601可以存储程序，当存储器601中存储的程序被处理器602执行时，处理器602可以用于执行图2或图3所示的方法的各个步骤。
处理器602可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现本申请方法实施例的数据传输方法。
处理器602还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请各个实施例的方法的各个步骤可以通过处理器602中的硬件的集成逻辑电路或者软件形式的指令完成。
上述处理器602还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器601，处理器602读取存储器601中的信息，结合其硬件完成本申请实施例中各个方法所需执行的功能，例如，可以执行图2或图3所示实施例的各个步骤/功能。
通信接口603可以使用但不限于收发器一类的收发装置，来实现装置600与其他设备或通信网络之间的通信。
总线604可以包括在装置600各个部件(例如，存储器601、处理器602、通信接口603)之间传送信息的通路。
应理解，本申请实施例所示的装置600可以是电子设备，或者，也可以是配置于电子设备中的芯片。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种数据传输方法，其特征在于，所述方法应用于数据发送端，所述方法包括：
生成标识文件，所述标识文件包括预设时段内生成的M个数据文件中每个数据文件的文件大小，M为正整数；
向数据接收端发送所述标识文件和所述M个数据文件中的N个非空数据文件，所述非空数据文件为文件大小大于0的数据文件，N为小于或等于M的正整数，其中，不发送所述M个数据文件中的空数据文件，所述空数据文件为文件大小等于0的数据文件。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收来自所述数据接收端的第一请求消息，所述第一请求消息用于请求第一目标数据文件，所述第一目标数据文件包括所述M个数据文件中所述数据接收端接收到的数据不完整的非空数据文件；
向所述数据接收端发送所述第一目标文件。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
接收来自所述数据接收端的第二请求消息，所述第二请求消息用于请求第二目标数据文件，所述第二目标数据文件包括所述M个数据文件中没有被所述数据接收端接收到的非空数据文件；
向所述数据接收端发送所述第二目标文件。
4.一种数据传输方法，其特征在于，所述方法应用于数据接收端，所述方法包括：
接收来自数据发送端的标识文件和N个非空数据文件，所述标识文件包括所述数据发送端在预设时段内生成的M个数据文件中每个数据文件的文件大小，M为正整数，N为小于或等于M的正整数，所述非空数据文件为文件大小大于0的数据文件，其中，所述M个数据文件中的空数据文件没有被所述数据发送端发送，所述空数据文件为文件大小等于0的数据文件；
根据所述标识文件加载所述N个非空数据文件。
5.根据权利要求4所述的方法，其特征在于，所述根据所述标识文件加载所述N个非空数据文件，包括：
根据所述标识文件中所述N个非空数据文件中每个非空数据文件的文件大小确定所述N个非空数据文件中数据完整的非空数据文件；
加载所述N个非空数据文件中数据完整的非空数据文件。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据所述标识文件中所述N个非空数据文件中每个非空数据文件的文件大小确定所述N个非空数据文件中数据不完整的非空数据文件；
向所述数据发送端发送第一请求消息，所述第一请求消息用于请求第一目标文件，所述第一目标文件包括所述N个非空数据文件中数据不完整的非空数据文件。
7.根据权利要求4所述的方法，其特征在于，所述标识文件还包括所述M个数据文件中非空数据文件的文件个数；
相应地，所述方法还包括：
根据所述标识文件中所述文件个数确定所述数据接收端没有接收到的非空数据文件；
向所述数据发送端发送第二请求消息，所述第二请求消息用于请求第二目标文件，所述第二目标文件包括所述数据接收端没有接收到的非空数据文件。
8.一种数据传输装置，其特征在于，所述装置应用于数据发送端，所述装置包括：
生成模块，用于生成标识文件，所述标识文件包括预设时段内生成的M个数据文件中每个数据文件的文件大小，M为正整数；
发送模块，用于向数据接收端发送所述标识文件和所述M个数据文件中的N个非空数据文件，所述非空数据文件为文件大小大于0的数据文件，N为小于或等于M的正整数，其中，不发送所述M个数据文件中的空数据文件，所述空数据文件为文件大小等于0的数据文件。
9.一种数据传输装置，其特征在于，所述装置应用于数据接收端，所述装置包括：
接收模块，用于接收来自数据发送端的标识文件和N个非空数据文件，所述标识文件包括所述数据发送端在预设时段内生成的M个数据文件中每个数据文件的文件大小，M为正整数，N为小于或等于M的正整数，所述非空数据文件为文件大小大于0的数据文件，其中，所述M个数据文件中的空数据文件没有被所述数据发送端发送，所述空数据文件为文件大小等于0的数据文件；
加载模块，用于根据所述标识文件加载所述N个非空数据文件。
10.一种数据传输装置，其特征在于，包括：存储器和处理器；
所述存储器用于存储程序指令；
所述处理器用于调用所述存储器中的程序指令执行如权利要求1至3中任一项所述的方法或权利要求4至7中任一项所述的方法。
11.一种芯片，其特征在于，包括至少一个处理器和通信接口，所述通信接口和所述至少一个处理器通过线路互联，所述至少一个处理器用于运行计算机程序或指令，以执行如权利要求1至3中任一项所述的方法或权利要求4至7中任一项所述的方法。
12.一种计算机可读介质，其特征在于，所述计算机可读介质存储用于计算机执行的程序代码，该程序代码包括用于执行如权利要求1至3中任一项所述的方法或权利要求4至7中任一项所述的方法的指令。
13.一种计算机程序产品，其特征在于，所述计算机程序产品包括指令，当所述指令被执行时，使得计算机执行权利要求1至3中任一项所述的方法或权利要求4至7中任一项所述的方法。
CN202210082631.7A 2022-01-24 2022-01-24 数据传输方法及相关装置 Pending CN114422504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210082631.7A CN114422504A (zh) 2022-01-24 2022-01-24 数据传输方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210082631.7A CN114422504A (zh) 2022-01-24 2022-01-24 数据传输方法及相关装置

Publications (1)

Publication Number Publication Date
CN114422504A true CN114422504A (zh) 2022-04-29

Family

ID=81277101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210082631.7A Pending CN114422504A (zh) 2022-01-24 2022-01-24 数据传输方法及相关装置

Country Status (1)

Country Link
CN (1) CN114422504A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103095795A (zh) * 2011-10-28 2013-05-08 三星Sds株式会社 用于传输数据的设备和方法
CN103841181A (zh) * 2014-01-24 2014-06-04 东蓝数码股份有限公司 一种局域网多线程文件传输方法
CN106790665A (zh) * 2017-01-21 2017-05-31 厦门天锐科技股份有限公司 一种c/s架构下的文件传输方法
CN106973050A (zh) * 2017-03-23 2017-07-21 山东中创软件商用中间件股份有限公司 一种跨网闸信息共享的方法及装置
CN109040201A (zh) * 2018-07-13 2018-12-18 北京明朝万达科技股份有限公司 一种文件传输方法、***及文件服务器
CN111147564A (zh) * 2019-12-20 2020-05-12 国久大数据有限公司 数据文件传输方法、***及通信终端
CN112367382A (zh) * 2020-10-29 2021-02-12 苏州浪潮智能科技有限公司 一种文件上传方法、装置、设备及存储介质
CN112463729A (zh) * 2020-11-27 2021-03-09 中国工商银行股份有限公司 数据文件的入库方法、装置、电子设备和介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103095795A (zh) * 2011-10-28 2013-05-08 三星Sds株式会社 用于传输数据的设备和方法
CN103841181A (zh) * 2014-01-24 2014-06-04 东蓝数码股份有限公司 一种局域网多线程文件传输方法
CN106790665A (zh) * 2017-01-21 2017-05-31 厦门天锐科技股份有限公司 一种c/s架构下的文件传输方法
CN106973050A (zh) * 2017-03-23 2017-07-21 山东中创软件商用中间件股份有限公司 一种跨网闸信息共享的方法及装置
CN109040201A (zh) * 2018-07-13 2018-12-18 北京明朝万达科技股份有限公司 一种文件传输方法、***及文件服务器
CN111147564A (zh) * 2019-12-20 2020-05-12 国久大数据有限公司 数据文件传输方法、***及通信终端
CN112367382A (zh) * 2020-10-29 2021-02-12 苏州浪潮智能科技有限公司 一种文件上传方法、装置、设备及存储介质
CN112463729A (zh) * 2020-11-27 2021-03-09 中国工商银行股份有限公司 数据文件的入库方法、装置、电子设备和介质

Similar Documents

Publication Publication Date Title
CN111371892A (zh) 高并发分布式消息推送***及方法
CN111614761B (zh) 区块链消息传输方法、装置、计算机以及可读存储介质
CN110750341B (zh) 任务调度方法、装置、***、终端设备及存储介质
CN110555079B (zh) 数据处理方法、装置、设备以及存储介质
CN104579905A (zh) 消息传递方法和***及mom服务器、接收端
CN112767151B (zh) 应用于区块链中验证节点的交易处理方法和装置
EP4030314A1 (en) Blockchain-based data processing method, apparatus and device, and readable storage medium
CN111880948A (zh) 数据刷新方法、装置、电子设备及计算机可读存储介质
WO2023040453A1 (zh) 一种交易信息处理方法及装置
US6581175B1 (en) Apparatus and method of requesting retransmission of a message across a network
CN113254767A (zh) 大数据搜索方法、装置、计算机设备及存储介质
CN112422485B (zh) 一种传输控制协议的通信方法及装置
CN116070285A (zh) 基于拜占庭容错的异步共识方法、装置、服务器和介质
CN111200653B (zh) 多平台通讯方法、多平台通讯装置及中间服务器
CN110619083B (zh) 数据过滤方法及装置
US10862908B2 (en) System and method for consensus ordering of broadcast messages
CN114422504A (zh) 数据传输方法及相关装置
CN111625373A (zh) 一种功能访问方法、装置、电子设备及存储介质
CN111652681A (zh) 一种单据处理方法、服务器及计算机可读存储介质
CN114897532A (zh) 操作日志处理方法、***、装置、设备和存储介质
CN114615325A (zh) 消息推送方法、装置、计算机设备及存储介质
CN112492019B (zh) 消息推送方法、装置、电子设备及存储介质
CN113779021A (zh) 数据处理方法、装置、计算机***及可读存储介质
CN111639936A (zh) 交易信息的获取方法、装置、电子设备及可读存储介质
CN113259108A (zh) 证书更新方法、物联网平台及物联网设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination