CN114124835A - 基于接口的数据传输方法、装置、设备及介质 - Google Patents
基于接口的数据传输方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN114124835A CN114124835A CN202111386955.1A CN202111386955A CN114124835A CN 114124835 A CN114124835 A CN 114124835A CN 202111386955 A CN202111386955 A CN 202111386955A CN 114124835 A CN114124835 A CN 114124835A
- Authority
- CN
- China
- Prior art keywords
- file
- interface
- files
- transmitted
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 140
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012544 monitoring process Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 6
- 230000009365 direct transmission Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000007726 management method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/31—Flow control; Congestion control by tagging of packets, e.g. using discard eligibility [DE] bits
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及数据传输技术，揭露了一种基于接口的数据传输方法，包括：将用户的数据获取指令发送至数据分发接口，并判断数据分发接口的稳定性；若稳定性高于指定阈值，则利用数据分发接口调取数据获取指令对应的待传输文件发送至目标端；若低于指定阈值，则利用接口配置规则，根据各个待传输文件的文件大小及类别，对数据分发接口进行线程配置得到多线程传输通道，利用多线程传输通道将待传输文件分发至所述目标端；监控数据传输过程，当传输过程失败时，查询传输过程中的分发日志，得到具体线程点，并根据具体线程点，继续分发所述传输失败文件。本发明还提出一种基于接口的数据传输装置、电子设备以及存储介质。本发明可以增加数据的传输效率。
Description
技术领域
本发明涉及数据传输技术领域，尤其涉及一种基于接口的数据传输方法、装置、电子设备及计算机可读存储介质。
背景技术
随着信息技术的发展，数据交互变得越来越频繁，当前常用的数据交互主要包括接口调用的形式。
但目前数据交互一般较为直接，主要是接收到数据获取指令后，直接从数据分发接口获取多个待传输文件并执行传输，虽然这种传输方法响应及时，但受限于网络不稳定、接口安全性及待传输文件的大小等因素，极其容易造成数据传输中断、延迟等现场发生。
发明内容
本发明提供一种基于接口的数据传输方法、装置及计算机可读存储介质，其主要目的在于解决数据传输中断、延迟等问题。
为实现上述目的，本发明提供的一种基于接口的数据传输方法，包括：
响应于用户发送的数据获取指令，将所述数据获取指令发送至数据分发接口，并判断所述数据分发接口的稳定性是否高于预设的指定阈值；
若所述数据分发接口的稳定性高于预设的指定阈值，则利用所述数据分发接口调取所述数据获取指令对应的各个待传输文件发送至目标端；
若所述数据分发接口的稳定性低于所述指定阈值，则利用预设的接口配置规则，根据各个所述待传输文件的文件大小及类别，对所述数据分发接口进行线程配置，得到多线程传输通道，并利用所述多线程传输通道将各个所述待传输文件分发至所述目标端；
利用预设埋点，监控所述待传输文件的数据传输过程，当所述数据传输过程失败时，查询所述数据传输过程中的分发日志，得到传输失败文件的具体线程点，并根据所述具体线程点，继续分发所述传输失败文件，直至各个所述待传输文件均传输至用户，完成数据分发。
可选的，所述将所述数据获取指令发送至数据分发接口，包括：
从所述数据获取指令中提取数据分发接口的IP地址；
将所述数据获取指令执行序列化，得到序列化获取指令；
利用所述IP地址将所述序列化获取指令发送至所述数据分发接口。
可选的，所述利用预设的接口配置规则，根据各个所述待传输文件的文件大小及类别，对所述数据分发接口进行线程配置，得到多线程传输通道，包括：
按照文件大小，对多个所述待传输文件执行分类，得到多组类别传输文件；
对每组类别传输文件执行种类拆分，得到多组待校验文件；
构建与每组所述待校验文件对应的网关校验程序，并利用所述网关校验程序校验每组所述待校验文件，得到多组已校验文件；
开启与所述多组已校验文件对应数量的线程，得到多个线程。
可选的，所述按照文件大小，对多个所述待传输文件执行分类，得到多组类别传输文件，包括：
计算每个所述待传输文件的内存，得到内存占用集；
对所述内存占用集进行排序，得到排列内存集；
根据预设的内存区间段，对所述排列内存集执行区间划分，得到内存区间集；
利用所述内存区间集对多个所述待传输文件执行归类，得到多组类别传输文件。
可选的，所述对每组类别传输文件执行种类拆分，得到多组待校验文件，包括：
依次从所述类别传输文件中提取文件后缀名；
将所述文件后缀名与预构建的文件种类比对表执行比对，得到文件种类；
根据所述文件种类对所述类别传输文件执行拆分，得到多组待校验文件。
可选的，所述构建与每组所述待校验文件对应的网关校验程序，包括：
接收用户根据所述待校验文件输入的校验脚本；
利用所述校验脚本及所述待校验文件，生成待编译校验程序；
编译所述待编译校验程序，得到所述网关校验程序。
可选的，所述开启与所述多组已校验文件对应数量的线程，得到多个线程，包括：
利用所述已校验文件构建线程开启类；
实例化所述线程开启类生成线程开启对象；
启动所述线程开启对象，得到多个所述线程。
为了解决上述问题，本发明还提供一种基于接口的数据传输装置，所述装置包括：
稳定性判断模块，用于响应于用户发送的数据获取指令，将所述数据获取指令发送至数据分发接口，并判断所述数据分发接口的稳定性是否高于预设的指定阈值；
数据直传模块，用于若所述数据分发接口的稳定性高于预设的指定阈值，则利用所述数据分发接口调取所述数据获取指令对应的各个待传输文件发送至目标端；
数据配置传输模块，用于若所述数据分发接口的稳定性低于所述指定阈值，则利用预设的接口配置规则，根据各个所述待传输文件的文件大小及类别，对所述数据分发接口进行线程配置，得到多线程传输通道，并利用所述多线程传输通道将各个所述待传输文件分发至所述目标端；
传输监控模块，用于利用预设埋点，监控所述待传输文件的数据传输过程，当所述数据传输过程失败时，查询所述数据传输过程中的分发日志，得到传输失败文件的具体线程点，并根据所述具体线程点，继续分发所述传输失败文件，直至各个所述待传输文件均传输至用户，完成数据分发。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于接口的数据传输方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于接口的数据传输方法。
本发明实施例先对数据执行大小分类，得到不同大小的分类文本，另外通过类别拆分得到不同类别的文件，可了解的是，通过大小及文件种类的拆分，可对待传输文件达到分类效果，对于不同的文件利用不同的网关校验程序执行校验，提高了安全性，另外，开启多个线程同时传输，进一步提高了数据传输的效率，同时均实施记录分类、拆分、网关校验程序或线程传输等过程，当某过程执行失败时，为了防止需重新分发，极其浪费资源与时间的现象，利用分发日志记录程序的运行轨迹，当失败重试时，从所述分发日志中忽略已成功运行的轨迹，只重新执行失败的流程，从而有效的控制资源，减少重复流程执行的动作。因此本发明提出的基于接口的数据传输方法、装置、电子设备及计算机可读存储介质，可以解决由于接口安全性及待传输文件的大小等因素，容易造成数据传输中断、延迟等问题。
附图说明
图1为本发明一实施例提供的基于接口的数据传输方法的流程示意图；
图2为本发明一实施例提供的基于接口的数据传输方法中其中一个步骤的流程示意图；
图3为本发明一实施例提供的基于接口的数据传输方法中另一个步骤的流程示意图；
图4为本发明一实施例提供的基于接口的数据传输装置的功能模块图；
图5为本发明一实施例提供的实现所述基于接口的数据传输方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种基于接口的数据传输方法。所述基于接口的数据传输方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于接口的数据传输方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
参照图1所示，为本发明一实施例提供的基于接口的数据传输方法的流程示意图。在本实施例中，所述基于接口的数据传输方法包括：
S1、响应于用户发送的数据获取指令，将所述数据获取指令发送至数据分发接口，并判断所述数据分发接口的稳定性是否高于预设的指定阈值。
详细的，参考图2所示，作为本发明的一个实施例，所述将所述数据获取指令发送至数据分发接口，包括：
S11、从所述数据获取指令中提取数据分发接口的IP地址；
S12、将所述数据获取指令执行序列化，得到序列化获取指令；
S13、利用所述IP地址将所述序列化获取指令发送至所述数据分发接口。
其中，所述序列化(Serialization)是将所述数据获取指令转换为可传输的形式，即所述序列化获取指令。另外，序列化获取指令的数据量更小，更方便传输。
本发明实施例中，可使用Json序列化、FastJson序列化、Protobuff序列化等方式来获取指令。
需解释的是，不同的数据分发接口的稳定性不尽相同，稳定性足够高的数据分发接口，不需要对待分发的接口执行大小拆分、种类分类及多线程分发，因其稳定性高，可直接传输即可。
但不可否认的是，同时有些数据分发接口的稳定性较差，若直接利用稳定性较差的数据分发接口执行数据分发，因其稳定性较差的原因，容易造成数据中断，进而导致重新分发，极其浪费时间，因此本发明实施中，先判断所述数据分发接口的稳定性。
S2、若所述数据分发接口的稳定性高于预设的指定阈值，则利用所述数据分发接口调取所述数据获取指令对应的各个待传输文件发送至目标端。
当所述数据分发接口的稳定性高于指定阈值，利用所述数据分发接口，根据所述数据获取指令，提取各个待传输文件直接分发数据至目标端。
本发明较佳实施例中，所述待传输文件是基于所述数据获取指令的目的及需求，从数据分发接口中获取的文件。其中，所述待传输文件包括文本数据、图像数据及计算机可执行程序等。
S3、若所述数据分发接口的稳定性低于所述指定阈值，则利用预设的接口配置规则，根据各个所述待传输文件的文件大小及类别，对所述数据分发接口进行线程配置，得到多线程传输通道，并利用所述多线程传输通道将各个所述待传输文件分发至所述目标端。
众所周知，不同文件的文件大小各不相同，大文件在数据传输会占用更多的传输资源，考虑到若直接传输多个文件容易发生带宽占用、网络拥塞的情况，因此本发明实施例中，当所述数据分发接口的稳定性低于所述指定阈值时，需按照文件大小及类别对所述待传输文件进行归类。
详细的，参考图3所示，本发明实施例中，所述利用预设的接口配置规则，根据各个所述待传输文件的文件大小及类别，对所述数据分发接口进行线程配置，得到多线程传输通道，包括：
S31、按照文件大小，对所述待传输文件执行分类，得到多组类别传输文件；
所述多组具体的，本发明实施例中，所述S31，包括：
计算每个所述待传输文件的内存，得到内存占用集；
对所述内存占用集进行排序，得到排列内存集；
根据预设的内存区间段，对所述排列内存集执行区间划分，得到内存区间集；
利用所述内存区间集对多个所述待传输文件执行归类，得到所述多组类别传输文件。
本发明其中一个实施例，所述内存区间段包括[0,1M],[1M,10M],[10M,20M],[20M,50M],[50M,100M]等，通过不同待传输文件的内存与内存区间段的对应关系，划分得到所述多组类别传输文件。
示例性的，如存在一个待传输文件为12.9M，则划分至[10M,20M]区间段，输入[10M,20M]类别传输文件。
S32、对每组类别传输文件执行种类拆分，得到多组待校验文件；
可以想象的是，即使在同一内存区间段，如上述[10M,20M]内存区间段内，也可能包括多种类型的类别传输文件，如文本数据、图像数据及计算机可执行程序等。
为方便用户对各文件具有显而易见的区分，在执行传输之前需要对不同类型的文件执行聚类，达到对文件的合理分类。
具体的，本发明其中一实施例，所述S32包括：
依次从所述类别传输文件中提取文件后缀名；
将所述文件后缀名与预构建的文件种类比对表执行比对，得到文件种类；
根据所述文件种类对所述类别传输文件执行拆分，得到所述多组待校验文件。
示例性的，在[10M,20M]的类别传输文件包括：牵牛花.jpg、春天盛开花朵简洁.pdf、春天踏青.avi等，通过提取文件后缀名得到.jpg、.pdf、.avi等，显而易见的，在所述文件种类比对表中可查到，.avi为视频数据、.jpg为图片数据、.pdf为文本数据，从而将牵牛花.jpg、春天盛开花朵简洁.pdf、春天踏青.avi划分为包括图片数据、文本数据及视频数据的待校验文件。
S33、构建与每组所述待校验文件对应的网关校验程序，并利用所述网关校验程序校验每组所述待校验文件，得到多组已校验文件；
应了解的是，为了规避所述数据分发接口因被黑客入侵，导致文件沾染病毒的风险，本发明实施例需构建网关校验程序。
详细地，所述构建与每组所述待校验文件对应的网关校验程序，包括：
接收用户根据所述待校验文件输入的校验脚本；
利用所述校验脚本及所述待校验文件，生成待编译校验程序；
编译所述待编译校验程序，得到所述网关校验程序。
进一步地，所述利用所述校验脚本及所述待校验文件，生成待编译校验程序，包括：从所述校验脚本中提取各校验函数的输入参数；根据所述输入参数拆分所述待校验文件，得到字段参数集；将所述字段参数集组合至各校验函数，生成所述待编译校验程序。
示例的，如.jpg类的图片文件一般不会小于5KB大于10M，若因此构建图片大小审核函数，将.jpg类的图片文件作为图片大小审核函数的输入参数，并组合得到网关校验程序，当运行该网关强校验程序时，会执行对图片类文件的校验操作，若存在图片文件小于5KB或大于10M时，表示为异常图片文件，可能由于数据分发接口被恶意篡改等原因，因此需将校验未通过的结果反馈至所述用户，并通知开发维护人员对数据分发接口等装置进行检测。
S34、开启与所述多组已校验文件对应数量的线程，得到多个线程。
详细地，本发明实施例中，所述S34，包括：
利用所述已校验文件构建线程开启类；
实例化所述线程开启类生成线程开启对象；
启动所述线程开启对象，得到多个所述线程。
应了解的是，所述类为编程语言面向对象的一种构建手段，可实现快速、可复制的目的。
详细地，所述利用所述已校验文件构建线程开启类，包括：
定义继承Thread类的空线程类，其中所述空线程类包括线程启动函数及待运行函数；
根据预构建的重写方法，重写所述待运行函数，得到可运行函数；
将所述已校验文件作为所述线程开启类的私有变量，得到待测试线程开启类；
利用预构建的测试脚本，测试所述待测试线程开启类实例化是否成功，当所述线程开启类实例化失败时，生成报错原因并反馈至用户；
当所述线程开启类实例化成功时，得到所述线程开启类。
应当解释的是，Thread类是位于java.lang包的线程类，已预先写好了方法及函数，可供使用者直接继承，提高了线程开发的速度。
另外，为了提高线程在传输已校验文件的安全性，本发明实施使用private修饰已校验文件的变量，得到私有变量。
进一步地，重写所述待运行函数，主要包括重写所述待运行函数的方法、线程传输地址等。
可理解的是，当得到多个所述线程后，将不同的已校验文件分别用每个线程传输至用户，提高了传输效率。
S4、利用预设埋点，监控所述待传输文件的数据传输过程，当所述数据传输过程失败时，查询所述数据传输过程中的分发日志，得到传输失败文件的具体线程点，并根据所述具体线程点，继续分发所述传输失败文件，直至各个所述待传输文件均传输至用户，完成数据分发。
应了解的是，因数据分发接口的稳定性较差，可能存在从数据分发接口中所获取的待传输文件，在执行分类、拆分、网关校验程序或线程传输时产生失败的现象，为了防止在执行数据分发时意外中断，进而导致重新分发，极其浪费资源与时间的现象。
在执行S3中的分类、拆分、网关校验程序或线程传输时，会通过分发日志来记录程序的运行轨迹，本发明实施例中利用预设埋点，可以对所述分发日志的更新过程进行实时监控，当失败重试时，分发日志停止更新，触发所述埋点中预设的协同规则，从而忽略已成功运行的轨迹，定位执行失败的线程，并将失败的线程中的传输失败文件重新启动，继续完成传输动作，从而有效的控制资源，减少重复流程执行的动作，直至将每个所述待传输文件均传输至用户，完成数据分发。
如图4所示，是本发明一实施例提供的基于接口的数据传输装置的功能模块图。
本发明所述基于接口的数据传输装置100可以安装于电子设备中。根据实现的功能，所述基于接口的数据传输装置100可以包括稳定性判断模块101、数据直传模块102、数据配置传输模块103以及传输监控模块104。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
所述稳定性判断模块101，用于响应于用户发送的数据获取指令，将所述数据获取指令发送至数据分发接口，并判断所述数据分发接口的稳定性是否高于预设的指定阈值；
所述数据直传模块102，用于若所述数据分发接口的稳定性高于预设的指定阈值，则利用所述数据分发接口调取所述数据获取指令对应的各个待传输文件发送至目标端；
所述数据配置传输模块103，用于若所述数据分发接口的稳定性低于所述指定阈值，则利用预设的接口配置规则，根据各个所述待传输文件的文件大小及类别，对所述数据分发接口进行线程配置，得到多线程传输通道，并利用所述多线程传输通道将各个所述待传输文件分发至所述目标端；
所述传输监控模块104，用于利用预设埋点，监控所述待传输文件的数据传输过程，当所述数据传输过程失败时，查询所述数据传输过程中的分发日志，得到传输失败文件的具体线程点，并根据所述具体线程点，继续分发所述传输失败文件，直至各个所述待传输文件均传输至用户，完成数据分发。
详细地，本发明实施例中所述基于接口的数据传输装置100中所述的各模块在使用时采用与上述图1至图3中所述的基于接口的数据传输方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
如图5所示，是本发明一实施例提供的实现基于接口的数据传输方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于接口的数据传输程序。
其中，所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(ControlUnit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如执行基于接口的数据传输程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备的各种功能和处理数据。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于接口的数据传输程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述通信总线12可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
所述通信接口13用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的基于接口的数据传输程序是多个指令的组合，在所述处理器10中运行时，可以实现：
响应于用户发送的数据获取指令，将所述数据获取指令发送至数据分发接口，并判断所述数据分发接口的稳定性是否高于预设的指定阈值；
若所述数据分发接口的稳定性高于预设的指定阈值，则利用所述数据分发接口调取所述数据获取指令对应的各个待传输文件发送至目标端；
若所述数据分发接口的稳定性低于所述指定阈值，则利用预设的接口配置规则，根据各个所述待传输文件的文件大小及类别，对所述数据分发接口进行线程配置，得到多线程传输通道，并利用所述多线程传输通道将各个所述待传输文件分发至所述目标端；
利用预设埋点，监控所述待传输文件的数据传输过程，当所述数据传输过程失败时，查询所述数据传输过程中的分发日志，得到传输失败文件的具体线程点，并根据所述具体线程点，继续分发所述传输失败文件，直至各个所述待传输文件均传输至用户，完成数据分发。
具体地，所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
响应于用户发送的数据获取指令，将所述数据获取指令发送至数据分发接口，并判断所述数据分发接口的稳定性是否高于预设的指定阈值；
若所述数据分发接口的稳定性高于预设的指定阈值，则利用所述数据分发接口调取所述数据获取指令对应的各个待传输文件发送至目标端；
若所述数据分发接口的稳定性低于所述指定阈值，则利用预设的接口配置规则，根据各个所述待传输文件的文件大小及类别，对所述数据分发接口进行线程配置，得到多线程传输通道，并利用所述多线程传输通道将各个所述待传输文件分发至所述目标端；
利用预设埋点，监控所述待传输文件的数据传输过程，当所述数据传输过程失败时，查询所述数据传输过程中的分发日志，得到传输失败文件的具体线程点，并根据所述具体线程点，继续分发所述传输失败文件，直至各个所述待传输文件均传输至用户，完成数据分发。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。
Claims (10)
1.一种基于接口的数据传输方法，其特征在于，所述方法包括：
响应于用户发送的数据获取指令，将所述数据获取指令发送至数据分发接口，并判断所述数据分发接口的稳定性是否高于预设的指定阈值；
若所述数据分发接口的稳定性高于预设的指定阈值，则利用所述数据分发接口调取所述数据获取指令对应的各个待传输文件发送至目标端；
若所述数据分发接口的稳定性低于所述指定阈值，则利用预设的接口配置规则，根据各个所述待传输文件的文件大小及类别，对所述数据分发接口进行线程配置，得到多线程传输通道，并利用所述多线程传输通道将各个所述待传输文件分发至所述目标端；
利用预设埋点，监控所述待传输文件的数据传输过程，当所述数据传输过程失败时，查询所述数据传输过程中的分发日志，得到传输失败文件的具体线程点，并根据所述具体线程点，继续分发所述传输失败文件，直至各个所述待传输文件均传输至用户，完成数据分发。
2.如权利要求1所述的基于接口的数据传输方法，其特征在于，所述将所述数据获取指令发送至数据分发接口，包括：
从所述数据获取指令中提取数据分发接口的IP地址；
将所述数据获取指令执行序列化，得到序列化获取指令；
利用所述IP地址将所述序列化获取指令发送至所述数据分发接口。
3.如权利要求1所述的基于接口的数据传输方法，其特征在于，所述利用预设的接口配置规则，根据各个所述待传输文件的文件大小及类别，对所述数据分发接口进行线程配置，得到多线程传输通道，包括：
按照文件大小，对多个所述待传输文件执行分类，得到多组类别传输文件；
对每组类别传输文件执行种类拆分，得到多组待校验文件；
构建与每组所述待校验文件对应的网关校验程序，并利用所述网关校验程序校验每组所述待校验文件，得到多组已校验文件；
开启与所述多组已校验文件对应数量的线程，得到多个线程。
4.如权利要求3所述的基于接口的数据传输方法，其特征在于，所述按照文件大小，对多个所述待传输文件执行分类，得到多组类别传输文件，包括：
计算每个所述待传输文件的内存，得到内存占用集；
对所述内存占用集进行排序，得到排列内存集；
根据预设的内存区间段，对所述排列内存集执行区间划分，得到内存区间集；
利用所述内存区间集对多个所述待传输文件执行归类，得到多组类别传输文件。
5.如权利要求3所述的基于接口的数据传输方法，其特征在于，所述对每组类别传输文件执行种类拆分，得到多组待校验文件，包括：
依次从所述类别传输文件中提取文件后缀名；
将所述文件后缀名与预构建的文件种类比对表执行比对，得到文件种类；
根据所述文件种类对所述类别传输文件执行拆分，得到多组待校验文件。
6.如权利要求3所述的基于接口的数据传输方法，其特征在于，所述构建与每组所述待校验文件对应的网关校验程序，包括：
接收用户根据所述待校验文件输入的校验脚本；
利用所述校验脚本及所述待校验文件，生成待编译校验程序；
编译所述待编译校验程序，得到所述网关校验程序。
7.如权利要求3所述的基于接口的数据传输方法，其特征在于，所述开启与所述多组已校验文件对应数量的线程，得到多个线程，包括：
利用所述已校验文件构建线程开启类；
实例化所述线程开启类生成线程开启对象；
启动所述线程开启对象，得到多个所述线程。
8.一种基于接口的数据传输装置，其特征在于，所述装置包括：
稳定性判断模块，用于响应于用户发送的数据获取指令，将所述数据获取指令发送至数据分发接口，并判断所述数据分发接口的稳定性是否高于预设的指定阈值；
数据直传模块，用于若所述数据分发接口的稳定性高于预设的指定阈值，则利用所述数据分发接口调取所述数据获取指令对应的各个待传输文件发送至目标端；
数据配置传输模块，用于若所述数据分发接口的稳定性低于所述指定阈值，则利用预设的接口配置规则，根据各个所述待传输文件的文件大小及类别，对所述数据分发接口进行线程配置，得到多线程传输通道，并利用所述多线程传输通道将各个所述待传输文件分发至所述目标端；
传输监控模块，用于利用预设埋点，监控所述待传输文件的数据传输过程，当所述数据传输过程失败时，查询所述数据传输过程中的分发日志，得到传输失败文件的具体线程点，并根据所述具体线程点，继续分发所述传输失败文件，直至各个所述待传输文件均传输至用户，完成数据分发。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的基于接口的数据传输方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于接口的数据传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111386955.1A CN114124835A (zh) | 2021-11-22 | 2021-11-22 | 基于接口的数据传输方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111386955.1A CN114124835A (zh) | 2021-11-22 | 2021-11-22 | 基于接口的数据传输方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114124835A true CN114124835A (zh) | 2022-03-01 |
Family
ID=80439393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111386955.1A Pending CN114124835A (zh) | 2021-11-22 | 2021-11-22 | 基于接口的数据传输方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114124835A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115623070A (zh) * | 2022-12-12 | 2023-01-17 | 南京芯驰半导体科技有限公司 | Idl消息的处理方法、装置、电子设备、存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100142368A1 (en) * | 2008-12-05 | 2010-06-10 | Naveen Gunukula | Failover and failback of communication between a router and a network switch |
| US20190028929A1 (en) * | 2016-01-08 | 2019-01-24 | Nubia Technology Co., Ltd. | Data-interface flow-splitting method, apparatus, terminal device, and computer storage medium |
| CN109756363A (zh) * | 2018-11-27 | 2019-05-14 | 平安科技（深圳）有限公司 | 数据传输稳定性控制方法、装置、计算机设备及存储介质 |
| CN109814994A (zh) * | 2019-01-03 | 2019-05-28 | 福建天泉教育科技有限公司 | 一种动态调度线程池的方法及终端 |
| CN110138867A (zh) * | 2019-05-17 | 2019-08-16 | 哈工大机器人（山东）智能装备研究院 | 文件传输和接收方法、计算机设备及存储介质 |
| CN112181931A (zh) * | 2020-10-20 | 2021-01-05 | 上海依图网络科技有限公司 | 一种大数据***链路追踪方法及电子设备 |
| CN112506779A (zh) * | 2020-12-10 | 2021-03-16 | 平安普惠企业管理有限公司 | 软件接口测试方法、装置、电子设备及存储介质 |
| CN112653760A (zh) * | 2020-12-22 | 2021-04-13 | 平安银行股份有限公司 | 跨服务器的文件传输方法、装置、电子设备及存储介质 |
-
2021
- 2021-11-22 CN CN202111386955.1A patent/CN114124835A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100142368A1 (en) * | 2008-12-05 | 2010-06-10 | Naveen Gunukula | Failover and failback of communication between a router and a network switch |
| US20190028929A1 (en) * | 2016-01-08 | 2019-01-24 | Nubia Technology Co., Ltd. | Data-interface flow-splitting method, apparatus, terminal device, and computer storage medium |
| CN109756363A (zh) * | 2018-11-27 | 2019-05-14 | 平安科技（深圳）有限公司 | 数据传输稳定性控制方法、装置、计算机设备及存储介质 |
| CN109814994A (zh) * | 2019-01-03 | 2019-05-28 | 福建天泉教育科技有限公司 | 一种动态调度线程池的方法及终端 |
| CN110138867A (zh) * | 2019-05-17 | 2019-08-16 | 哈工大机器人（山东）智能装备研究院 | 文件传输和接收方法、计算机设备及存储介质 |
| CN112181931A (zh) * | 2020-10-20 | 2021-01-05 | 上海依图网络科技有限公司 | 一种大数据***链路追踪方法及电子设备 |
| CN112506779A (zh) * | 2020-12-10 | 2021-03-16 | 平安普惠企业管理有限公司 | 软件接口测试方法、装置、电子设备及存储介质 |
| CN112653760A (zh) * | 2020-12-22 | 2021-04-13 | 平安银行股份有限公司 | 跨服务器的文件传输方法、装置、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115623070A (zh) * | 2022-12-12 | 2023-01-17 | 南京芯驰半导体科技有限公司 | Idl消息的处理方法、装置、电子设备、存储介质 |
| CN115623070B (zh) * | 2022-12-12 | 2023-03-10 | 南京芯驰半导体科技有限公司 | Idl消息的处理方法、装置、电子设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112015663B (zh) | 测试数据录制方法、装置、设备及介质 | |
| CN112506779A (zh) | 软件接口测试方法、装置、电子设备及存储介质 | |
| CN113806434B (zh) | 大数据处理方法、装置、设备及介质 | |
| CN113468049A (zh) | 基于可配置化接口的测试方法、装置、设备及介质 | |
| CN112084486A (zh) | 用户信息验证方法、装置、电子设备及存储介质 | |
| CN113890712A (zh) | 数据传输方法、装置、电子设备及可读存储介质 | |
| CN114827161A (zh) | 服务调用请求发送方法、装置、电子设备及可读存储介质 | |
| CN114116400A (zh) | 基于日志打印的应用异常处理方法、装置、设备及介质 | |
| CN114124835A (zh) | 基于接口的数据传输方法、装置、设备及介质 | |
| CN111277626B (zh) | 服务器升级方法、装置、电子设备及介质 | |
| CN114185502B (zh) | 基于产线环境的日志打印方法、装置、设备及介质 | |
| CN111913743A (zh) | 数据处理方法及装置 | |
| CN115022171A (zh) | 更新接口的优化方法、装置、电子设备及可读存储介质 | |
| CN114385497A (zh) | 测试环境生成方法、装置、电子设备及存储介质 | |
| CN114385453A (zh) | 数据库集群异常处理方法、装置、设备及介质 | |
| CN113051171A (zh) | 接口测试方法、装置、设备及存储介质 | |
| CN112667244A (zh) | 数据校验方法、装置、电子设备及计算机可读存储介质 | |
| CN111552631A (zh) | ***测试方法、装置及计算机可读存储介质 | |
| CN113542387B (zh) | ***发布方法、装置、电子设备及存储介质 | |
| CN115964307B (zh) | 交易数据自动化测试方法、装置、设备及介质 | |
| CN114138378A (zh) | 无侵入式限流熔断方法、装置、设备及介质 | |
| CN114579117A (zh) | 可视化配置方法、装置、电子设备及存储介质 | |
| CN114185777A (zh) | 基于场景链的测试方法、装置、设备及介质 | |
| CN117851506A (zh) | 基于git的跨库同步方法、装置、电子设备及存储介质 | |
| CN113934387A (zh) | 日志打印方法、装置、电子设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |