CN111049751B - 数据传输优化方法、装置、设备及可读存储介质 - Google Patents
数据传输优化方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN111049751B CN111049751B CN201911259524.1A CN201911259524A CN111049751B CN 111049751 B CN111049751 B CN 111049751B CN 201911259524 A CN201911259524 A CN 201911259524A CN 111049751 B CN111049751 B CN 111049751B
- Authority
- CN
- China
- Prior art keywords
- communication
- data
- communication channel
- request
- establishing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
- H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/50—Queue scheduling
- H04L47/62—Queue scheduling characterised by scheduling criteria
- H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
- H04L47/6275—Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及大数据技术领域,公开了一种数据传输优化方法,包括以下步骤:判断是否接收到建立通信关系的请求;若是,则建立通信关系,并根据通信关系生成对应的IP端口组合;基于IP端口组合,通过通信协议建立通信通道集;计算各个通信通道的最大负载值,通过轮询方式查找是否存在超出所述最大负载值的通信通道;若是,则通过其他通信通道传输预置压缩数据,若否,则根据预置策略从通信通道集中获取通信通道以及通过所述通信通道传输预置压缩数据。本发明还公开了一种数据传输优化装置、设备及计算机可读存储介质。本发明提供的数据传输优化方法解决现有技术中存储空间利用率低的技术问题,提高了存储空间利用率。
Description
技术领域
本发明涉及大数据技术领域,尤其涉及一种数据传输优化方法、装置、设备及计算机可读存储介质。
背景技术
目前,随着计算机技术的快速发展,人类已经进入了信息时代,信息和数据存储成为人们日常生活中很重要的一部分。企业和个人用户的数据存储量大量增长,极大占用了存储空间资源,对数据采集过程进行优化,以解决存储空间资源利用率低的技术问题,是目前本领域技术人员亟待解决的问题。
发明内容
本发明的主要目的在于提供一种数据传输优化方法、装置、设备及计算机可读存储介质,旨在解决存储空间资源利用率低的技术问题。
为实现上述目的,本发明提供一种数据传输优化方法,所述数据传输优化方法包括以下步骤:
判断是否接收到建立通信关系的请求;
若接收到建立通信关系的请求,则根据所述请求在请求端与目标设备端建立通信关系,并根据所述通信关系生成对应的IP端口组合,若否,则不处理;
基于所述IP端口组合,通过通信协议建立通信通道集,其中,所述通信协议包括:TCP协议和UDP协议;
通过以下公式计算所述通信通道集中各个通信通道的最大负载值;
其中,d为每个通信通道可用于数据传输的空间资源为d维向量,F为通信通道集中的通信通道的均衡负载方差的最大值,Di为i维向量的方差,i为向量的维数,通过以下公式对Di进行表示:
根据通信通道预置获取策略,从所述通信通道集中获取通信通道以及通过所述通信通道传输预置压缩数据,通过轮询方式查找所述通信通道集中是否存在超出所述最大负载值的通信通道;
若存在超出所述最大负载值的通信通道,则通过优先级队列调度方法调度所述通信通道集中除所述通信通道之外的其他通信通道,并通过所述其他通信通道传输预置压缩数据,若不存在超出所述最大负载值的通信通道,则根据通信通道预置获取策略,从所述通信通道集中获取通信通道以及通过所述通信通道传输预置压缩数据,通过轮询方式查找所述通信通道集中是否存在超出所述最大负载值的通信通道。
可选地,所述若接收到建立通信关系的请求,则根据所述请求在请求端与目标设备端建立通信关系,并根据所述通信关系生成对应的IP端口组合,若否,则不处理包括以下步骤:
若接收到建立通信关系的请求,则判断是否接收到以穿透的方式建立第一通信关系的请求;
若接收到建立第一通信关系的请求,则根据所述请求在请求端与目标设备端建立第一通信关系,并根据所述第一通信关系生成对应的IP端口组合;若未接收到建立第一通信关系的请求,则判断是否接收到以中继转发的方式建立第二通信关系的请求;
若接收到以中继转发的方式建立第二通信关系的请求,则根据所述请求在请求端与目标设备端建立第二通信关系,并根据所述第二通信关系生成对应的IP端口组合,若否,则不处理。
可选地,在所述若接收到建立通信关系的请求,则判断是否接收到以穿透的方式建立第一通信关系的请求的步骤之前,还包括以下步骤:
根据不同时刻接收到的建立通信关系的请求,为所述请求设置不同的标识;
通过哈希算法根据所述标识,建立预置通信关系与IP端口组合之间的匹配关系,所述预置通信关系包括:第一通信关系和第二通信关系。
可选地,在所述通过以下公式计算所述通信通道集中各个通信通道的最大负载值的步骤之前,还包括以下步骤:
将业务数据存储于云存储空间;
根据优先队列为不同的业务数据设置不同的优先级别。
可选地,在所述根据通信通道预置获取策略,从所述通信通道集中获取通信通道以及通过所述通信通道传输预置压缩数据,通过轮询方式查找所述通信通道集中是否存在超出所述最大负载值的通信通道的步骤之前,还包括以下步骤:
判断当前是否存在待传输数据的传输请求,其中,所述待传输数据由业务数据和页面数据组成;
若当前存在待传输数据的传输请求,则通过预置压缩算法对所述待传输数据进行压缩,得到压缩数据,若否,则不处理。
可选地,在所述判断当前是否存在待传输数据的传输请求,其中,所述待传输数据由业务数据和页面数据组成的步骤之前,还包括以下步骤:
通过核函数将待传输数据与非待传输数据映射在多维空间内的不同节点内;
通过预先设置在所述节点内的杂凑算法计算所述待传输数据的坐标;
以所述坐标为中心,通过贪婪算法计算与所述坐标最近的节点的坐标;
判断是否接收到建立通信关系的请求;
若接收到建立通信关系的请求,则根据所述节点的坐标查找待传输数据,若未接收到建立通信关系的请求,则不处理。
可选地,所述若当前存在待传输数据的传输请求,则通过预置压缩算法对所述待传输数据进行压缩,得到压缩数据包括以下步骤:
若当前存在待传输数据的传输请求,则通过预先部署在分布式并行计算框架内的霍夫曼编码算法和算数编码算法分别对所述待传输数据进行压缩,得到第一压缩数据和第二压缩数据以及压缩数据的数值大小;
通过公式p=N/M,计算所述第一压缩数据的数值大小和所述第二压缩数据的数值大小之间的压缩率,根据所述压缩率确定最优压缩数据,其中,N为压缩数据的大小,M为待传输数据的大小。
进一步地,为实现上述目的,本发明还提供第一种数据传输优化装置,所述数据传输优化装置包括:
第一判断模块,用于判断是否接收到建立通信关系的请求;
第一建立模块,用于若接收到建立通信关系的请求,则根据所述请求在请求端与目标设备端建立通信关系,并根据所述通信关系生成对应的IP端口组合,若否,则不处理;
第二建立模块,用于基于所述IP端口组合,通过通信协议建立通信通道集,其中,所述通信协议包括:TCP协议和UDP协议;
第一计算模块,用于通过以下公式计算所述通信通道集中各个通信通道的最大负载值;
其中,d为每个通信通道可用于数据传输的空间资源为d维向量,F为通信通道集中的通信通道的均衡负载方差的最大值,Di为i维向量的方差,i为向量的维数,通过以下公式对Di进行表示:
查找模块,用于根据通信通道预置获取策略,从所述通信通道集中获取通信通道以及通过所述通信通道传输预置压缩数据,通过轮询方式查找所述通信通道集中是否存在超出所述最大负载值的通信通道;
传输模块,用于若存在超出所述最大负载值的通信通道,则通过优先级队列调度方法调度所述通信通道集中除所述通信通道之外的其他通信通道,并通过所述其他通信通道传输预置压缩数据,若不存在超出所述最大负载值的通信通道,则根据通信通道预置获取策略,从所述通信通道集中获取通信通道以及通过所述通信通道传输预置压缩数据,通过轮询方式查找所述通信通道集中是否存在超出所述最大负载值的通信通道。
可选地,所述第一建立模块包括以下单元:
第一判断单元,用于若接收到建立通信关系的请求,则判断是否接收到以穿透的方式建立第一通信关系的请求;
第一建立单元,用于若接收到建立第一通信关系的请求,则根据所述请求在请求端与目标设备端建立第一通信关系,并根据所述第一通信关系生成对应的IP端口组合;
第二判断单元,用于若未接收到建立第一通信关系的请求,则判断是否接收到以中继转发的方式建立第二通信关系的请求;
第二建立单元,用于若接收到以中继转发的方式建立第二通信关系的请求,则根据所述请求在请求端与目标设备端建立第二通信关系,并根据所述第二通信关系生成对应的IP端口组合,若否,则不处理。
可选地,所述数据传输优化装置还包括以下模块:
第一设置模块,用于根据不同时刻接收到的建立通信关系的请求,为所述请求设置不同的标识;
第三建立模块,用于通过哈希算法根据所述标识,建立预置通信关系与IP端口组合之间的匹配关系,所述预置通信关系包括:第一通信关系和第二通信关系。
可选地,所述数据传输优化装置还包括以下模块:
存储模块,用于将业务数据存储于云存储空间;
第二设置模块,用于根据优先队列为不同的业务数据设置不同的优先级别。
可选地,所述数据传输优化装置还包括以下模块:
第二判断模块,用于判断当前是否存在待传输数据的传输请求,其中,所述待传输数据由业务数据和页面数据组成;
压缩模块,用于若当前存在待传输数据的传输请求,则通过预置压缩算法对所述待传输数据进行压缩,得到压缩数据,若否,则不处理。
可选地,所述数据传输优化装置还包括以下模块:
映射模块,用于通过核函数将待传输数据与非待传输数据映射在多维空间内的不同节点内;
第二计算模块,用于通过预先设置在所述节点内的杂凑算法计算所述待传输数据的坐标;
第三计算模块,用于以所述坐标为中心,通过贪婪算法计算与所述坐标最近的节点的坐标;
第三判断模块,用于判断是否接收到建立通信关系的请求;
查找模块,用于若接收到建立通信关系的请求,则根据所述节点的坐标查找待传输数据,若未接收到建立通信关系的请求,则不处理。
可选地,所述压缩模块包括以下单元:
压缩单元,用于若当前存在待传输数据的传输请求,则通过预先部署在分布式并行计算框架内的霍夫曼编码算法和算数编码算法分别对所述待传输数据进行压缩,得到第一压缩数据和第二压缩数据以及压缩数据的数值大小;
计算单元,用于通过公式p=N/M,计算所述第一压缩数据的数值大小和所述第二压缩数据的数值大小之间的压缩率,根据所述压缩率确定最优压缩数据,其中,N为压缩数据的大小,M为待传输数据的大小。
进一步地,为实现上述目的,本发明还提供一种数据传输优化方法设备,所述数据传输优化方法设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的数据传输优化方法程序,所述数据传输优化方法程序被所述处理器执行时实现如上述任一项所述的数据传输优化方法方法的步骤。
进一步地,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据传输优化方法程序,所述数据传输优化方法程序被处理器执行时实现如上述任一项所述的数据传输优化方法方法的步骤。
本发明的有益效果:通过轮询方式查找所述通信通道集中是否存在超出所述最大负载值的通信通道,若存在超出所述最大负载值的通信通道,则通过优先级队列调度方法调度所述通信通道集中除所述通信通道之外的其他通信通道,并通过所述其他通信通道传输预置压缩数据,实现了各个通信通道之间传输数据的负载均衡,节约了通信通道的空间资源,避免了数据拥塞现象的发生,提高了数据传输的质量。
附图说明
图1为本发明实施例方案涉及的数据传输优化设备运行环境的结构示意图;
图2为本发明数据传输优化方法第一实施例的流程示意图;
图3为图2中步骤S20的细化流程示意图;
图4为本发明数据传输优化方法第二实施例的流程示意图;
图5为本发明数据传输优化方法第三实施例的流程示意图;
图6为本发明数据传输优化方法第四实施例的流程示意图;
图7为本发明数据传输优化方法第五实施例的流程示意图;
图8为图6中步骤S120的细化流程示意图;
图9为本发明数据传输优化装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明提供一种数据传输优化设备。
参照图1,图1为本发明实施例方案涉及的数据传输优化设备运行环境的结构示意图。
如图1所示,该数据传输优化设备包括:处理器1001,例如CPU,通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的数据传输优化设备的硬件结构并不构成对数据传输优化设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机可读存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及数据传输优化程序。其中,操作***是管理和控制数据传输优化设备和软件资源的程序,支持数据传输优化程序以及其它软件和/或程序的运行。
在图1所示的数据传输优化设备的硬件结构中,网络接口1004主要用于接入网络;用户接口1003主要用于侦测确认指令和编辑指令等。而处理器1001可以用于调用存储器1005中存储的数据传输优化程序,并执行以下数据传输优化方法的各实施例的操作。
基于上述数据传输优化设备硬件结构,提出本发明数据传输优化方法的各个实施例。
参照图2,图2为本发明数据传输优化方法第一实施例的流程示意图。本实施例中,所述数据传输优化方法包括以下步骤:
步骤S10,判断是否接收到建立通信关系的请求;
本实施例中,涉及信息交互,交互过程主要涉及到请求设备端、P2P服务器和目标设备端,在请求设备端发起获取目标设备端的页面数据时,需要通过穿透技术或者是中继转发技术对页面数据进行传输,为了节省建立通信关系的时间,一般优先使用穿透技术,穿透技术指的是,请求设备端发起获取目标设备端的页面数据时,先将该请求信息发送至P2P服务器,由P2P服务器发起查找目标设备端的IP地址的指令,若能查找到目标设备端,则请求设备端直接穿透P2P服务器与目标设备端直接建立通信关系,中继转发技术指的是,若请求设备端无法直接穿透P2P服务器,则需要通过中继服务器将请求进行转发至P2P服务器,再由P2P服务器发起查找目标设备端的IP地址的指令,若能查找到目标设备端,则目标设备端通过中继服务器与请求设备端建立通信关系。
步骤S20,若接收到建立通信关系的请求,则根据所述请求在请求端与目标设备端建立通信关系,并根据所述通信关系生成对应的IP端口组合,若否,则不处理;
本实施例中,若P2P服务器接收到建立通信关系的请求,则P2P服务器根据所述请求建立所述请求设备端与所述目标设备端的通信关系,并根据所述通信关系生成对应的IP端口组合反馈给请求设备端和目标设备端。
步骤S30,基于所述IP端口组合,通过通信协议建立通信通道集,其中,所述通信协议包括:TCP协议和UDP协议;
本实施例中,请求设备端和目标设备端基于各自接收的IP端口组合,通过通信协议建立通信通道集,其中,所述通信协议至少包括:TCP协议和/或UDP协议。
步骤S40,通过以下公式计算所述通信通道集中各个通信通道的最大负载值;
其中,d为每个通信通道可用于数据传输的空间资源为d维向量,F为通信通道集中的通信通道的均衡负载方差的最大值,Di为i维向量的方差,i为向量的维数,通过以下公式对Di进行表示:
本实施例中,计算通信通道的最大负载值的目的是,防止由于通信通道内传输的数据超过通信通道的最大负载值,而出现数据拥塞现象,导致传输不通畅,甚至出现数据丢失的现象,只有计算出通信通道的最大负载值,这样才能设置规则,避免超出通信通道的最大负载值。
通过以下公式计算所述通信通道集中各个通信通道的最大负载值;
上述公式中,F为通信通道集中的通信通道的均衡负载方差的最大值,d为每个通信通道可用于数据传输的空间资源为d维向量,F为通信通道集中的通信通道的均衡负载方差的最大值,Di为i维向量的方差,i为向量的维数,n为通信通道集中通信通道的数量,Xi为可传输i维向量的通信通道,Xi为通信通道集中所有可传输i维向量的通信通道的平均值。
步骤S50,根据通信通道预置获取策略,从所述通信通道集中获取通信通道以及通过所述通信通道传输预置压缩数据,通过轮询方式查找所述通信通道集中是否存在超出所述最大负载值的通信通道;
本实施例中,通信通道预置获取策略指的是,预先对通信通道集中的各个通信通道设置不同的级别,例如,所述不同的级别分别为一级、二级、三级和四级,其中一级为最优先的通信通道,四级为最不优先的通信通道,当在轮询的时候,按照一级、二级、三级、四级再到一级、二级......的顺序依次进行查找,直至查找到通信通道集中存在的超出所述最大负载值的通信通道。
步骤S60,若存在超出所述最大负载值的通信通道,则通过优先级队列调度方法调度所述通信通道集中除所述通信通道之外的其他通信通道,并通过所述其他通信通道传输预置压缩数据,若否,则返回步骤S50。
本实施例中,优先队列不是按照普通对象先进先出原则进行数据操作,而是为不同的数据设置不同的优先属性,例如,若页面数据优先于业务数据,则页面数据优先通过通信通道进行传输。
若通信通道集中存在超出所述最大负载值的通信通道,则通过优先级队列调度方法,即PQ调度方法调度所述通信通道集中的下一级通信通道,例如,通信通道集中一级通信通道超出最大负载值,则可通过优先级队列调度方法从所述通信通道集中调用二级通信通道。并通过所述二级通信通道传输所述页面数据,若否,通过轮询方式根据通信通道预置获取策略,查找通信通道集中是否存在超出所述最大负载值的通信通道。
本方案先建立通信通道集,对通信通道集中不同的通信通道设置不同的用于传输数据的优先级,计算通信通道集中各个通信通道的最大负载值,通过轮询方式查找所述通信通道集中是否存在超出所述最大负载值的通信通道,若存在,则采用通信通道集中除当前通信通道以外的其他通信通道继续进行数据传输。实现了各个通信通道之间传输数据的负载均衡,节约了通信通道的空间资源,避免了数据拥塞现象的发生,提高了数据传输的质量。
参照图3,图3为图2中步骤S20的细化流程示意图。本实施例中,所述步骤S20包括以下步骤:
步骤S201,若接收到建立通信关系的请求,则判断是否接收到以穿透的方式建立第一通信关系的请求;
本实施例中,判断P2P服务器是否接收到以穿透的方式建立第一通信关系的请求。P2P(点对点,Peer-to-Peer)技术是一种对等互联网络技术,在P2P网络中每个节点的地位都是对等的,既是服务器又是客户端,每个节点在享受其它节点提供的服务的同时,也在为其它节点提供服务,例如,A设备请求与B设备建立联系,A设备需要先向P2P服务器发起与B设备建立联系的请求,P2P服务器的节点实时判断是否接收到以穿透的方式与B设备建立第一通信关系的请求。
步骤S202,若接收到建立第一通信关系的请求,则根据所述请求在请求端与目标设备端建立第一通信关系,并根据所述第一通信关系生成对应的IP端口组合;
本实施例中,若接收到建立第一通信关系的请求,则根据所述请求在请求端与目标设备端建立第一通信关系,并根据所述第一通信关系生成对应的IP端口组合。
步骤S203,若未接收到建立第一通信关系的请求,则判断是否接收到以中继转发的方式建立第二通信关系的请求;
本实施例中,若P2P服务器接收到以穿透的方式建立第一通信关系的请求,则P2P服务器生成与所述第一通信关系相匹配的IP端口组合,并反馈给请求设备端和目标设备端,若未接收到建立第一通信关系的请求,则判断P2P服务器是否接收到以中继转发的方式建立第二通信关系。
步骤S204,若接收到以中继转发的方式建立第二通信关系的请求,则根据所述请求在请求端与目标设备端建立第二通信关系,并根据所述第二通信关系生成对应的IP端口组合,若否,则不处理。
本实施例中,若P2P服务器接收到以中继转发的方式建立第二通信关系,则生成与所述第二通信关系相匹配的IP端口组合,并反馈给请求设备端和目标设备端。
参照图4,图4为本发明数据传输优化方法第二实施例的流程示意图。本实施例中,在图3的步骤S201之前,还包括以下步骤:
步骤S70,根据不同时刻接收到的建立通信关系的请求,为所述请求设置不同的标识;
本实施例中,根据不同时刻接收到的建立通信关系的请求,为所述请求设置不同的标识。设置不同的标识目的是,方便对在不同时刻接收到的建立通信关系进行标识,以便根据不同标识调用不同的IP端口,例如,9:00-12:00调用1号IP端口,12:00-18:00调用2号IP端口与2号IP端口。
步骤S80,通过哈希算法根据所述标识,建立预置通信关系与IP端口组合之间的匹配关系,所述预置通信关系包括:第一通信关系和第二通信关系。
本实施例中,通过哈希算法根据所述标识,建立预置通信关系与IP端口组合之间的匹配关系,所述预置通信关系包括:第一通信关系和第二通信关系。例如,在9:00接接收到的是建立第一通信关系的请求,则为该时刻的请求设置标识1,通过哈希算法建立标识1与不同IP端口标号之间的匹配关系,建立与A端的1号IP端口或B端的2号IP端口的匹配关系。
参照图5,图5为本发明数据传输优化方法第三实施例的流程示意图。本实施例中,在图2的步骤S40之前,还包括以下步骤:
步骤S90,将业务数据存储于云存储空间;
本实施例中,将业务数据存储于云存储空间,云存储空间又称云盘,是一种互联网存储工具,它通过互联网为企业和个人提供文件的储存、读取、下载等服务。云存储空间相对于传统的实体磁盘来说,更方便,用户不需要把储存重要资料的实体磁盘带在身上,却一样可以通过互联网,从云端读取自己所存储的信息。
步骤S100,根据优先队列为不同的业务数据设置不同的优先级别。
本实施例中,目前,对于云服务商来说,对于分配到每个用户的云存储空间,初期是没有有效数据去支撑云存储空间的分配的,分配过多,容易导致资源浪费,分配过少,容易导致用户体验较差。因此在本实施例中,根据优先队列为不同的业务数据设置不同的优先级别。优先队列可以是完全二叉树,若是以队列的形式从云存储空间中获取数据并传输所述数据,则遵循的是先进先出的原则,而在实际业务场景中数据所占的重要性是不相同的,例如,数字型的优先于文本型,若有了优先队列则可以很好的解决这个问题,只要预选将数字型的数据存储于根节点,文本型数据存储于叶子节点,则可以实现在传输的过程中数字型的排列在文本型的前面。将业务数据存储于云存储空间的目的是,业务数据数量较多,在本方案中,采用分而治之的手段,即业务数据与页面数据是互相隔离的,不同的数据在不同的通信通道内传输,例如,甲通信通道仅传输业务数据,乙通信通道仅传输页面数据,所述页面数据包括页面图像数据、鼠标位置数据,所述业务数据指的是目标设备端的应用程序数据,业务数据存储于云存储空间,页面数据展示于目标设备端的可视化界面。
参照图6,图6为本发明数据传输优化方法第四实施例的流程示意图。本实施例中,在图2的步骤S50之前,还包括以下步骤:
步骤S110,判断当前是否存在待传输数据的传输请求,其中,所述待传输数据由业务数据和页面数据组成;
本实施例中,所述页面数据至少包括页面图像数据、鼠标位置数据,所述业务数据指的是目标设备端的应用程序数据,业务数据存储于云存储空间,页面数据展示于目标设备端的可视化界面,这样布局的目的是,便于对不同的数据进行分类管理,例如,不同的数据仅能按照预设规则在特定的通信通道内进行传输,可提高交互的质量与数据传输的质量。
步骤S120,若当前存在待传输数据的传输请求,则通过预置压缩算法对所述待传输数据进行压缩,得到压缩数据,若否,则不处理。
本实施例中,由于请求设备端与目标设备端之间存在数据交互行为的情形,若数据数量比较多,则影响交互的速度,例如页面数据在通过通信通道向请求设备端进行传输时,会出现数据传输不流畅的现象,因此需要先通过预置压缩算法对页面数据进行压缩,得到压缩结果,以及通过所述通信通道集中的一个或多个通信通道获取所述压缩结果,将所述压缩结果以可视化的形式进行展示,得到可视化页面。通过所述可视化页面调用所述目标设备端的端口,并通过调用所述端口控制所述目标设备端执行相应任务。
参照图7,图7为本发明数据传输优化方法第五实施例的流程示意图。本实施例中,在图5的步骤S110之前,还包括以下步骤:
步骤S130,通过核函数将待传输数据与非待传输数据映射在多维空间内的不同节点内;
本实施例中,通过核函数将待传输数据与非待传输数据映射在多维空间内的不同节点内。核函数包括线性核函数、多项式核函数、高斯核函数等,其中,高斯核函数最常用,可以将数据映射到无穷维,本实施例中通过核函数将待传输数据与非待传输数据映射在多维空间的目的是,实现更为快速地传输数据。
步骤S140,通过预先设置在所述节点内的杂凑算法计算所述待传输数据的坐标;
本实施例中,杂凑算法的作用的是将原有的体积很大的文件信息用若干个字符来记录,在本实施例中,为了更清晰地表示不同的数据,我们将字符转化为了坐标的形式,转化为坐标的过程通过杂凑算法来实现,杂凑算法是一种从任意文件中创造小的数字“指纹”的方法。与指纹一样,杂凑算法就是一种以较短的信息来保证文件唯一性的标志,这种标志与文件的每一个字节都相关,而且难以找到逆向规律。因此,当原有文件发生改变时,其标志值也会发生改变,从而告诉文件使用者当前的文件已经不是你所需求的文件。
步骤S150,以所述坐标为中心,通过贪婪算法计算与所述坐标最近的节点的坐标;
本实施例中,贪婪算法是指在对问题进行求解时,在每一步选择中都采取最好或者最优的选择,从而希望能够导致结果最优的算法。利用贪婪算法这一特性,计算与所述坐标最近的节点的坐标,其路径的起始点是通信通道的起始端口。
本实施例中,在具有多个远程设备或者是数据数量庞大的情况下,在需要重复获取远端设备的数据时,需要通过p2p服务器重复查询目标数据,因此需要花费较多的时间,因此,在本实施例中,将数据映射到多维空间的不同节点内,然后通过预先在节点内设置的算法实现对数据的计算,例如,根据数据请求端的请求从各个远程设备端获取目标数据的过程中,会遍历到各个远程设备端的数据的不同节点,遍历到节点数目越少,说明在获取数据时需要花费的时间会越少,例如,通过预先设置节点内的贪婪算法,根据目标数据的坐标,在目标数据的周围依次查找其周围的节点,直至数据请求端,就可得到最少数目的节点,当数据请求设备端再次发起获取该数据的请求时,则可以直接通所述最少数目的节点查询到目标数据,极大减少了数据传输的时间。
步骤S160,判断是否接收到建立通信关系的请求;
本实施例中,判断是否接收到建立通信关系的请求。
步骤S170,若接收到建立通信关系的请求,则根据所述节点的坐标查找待传输数据。
本实施例中,在对等网络中,可能存在多个数据请求端也可能存在多个远程设备端,在第一请求端向p2p服务器发送获取数据的请求时,p2p服务器需要依次查询对等网络的各个节点,若通过查询对等网络节点找到请求端所请求的数据,则将远端设备的数据,则通过传输通道传输至数据请求端,并通过虚拟化技术远程控制远端的设备,但是这里出现一个有待解决的问题,即若第二数据请求端再次要获取上述数据时,则需要通过p2p服务器重新执行上述步骤,本方案为解决该问题,在第一次获取到数据时,通过杂凑函数计算所述数据所处的坐标,并以此坐标为中心寻找其周边的的节点的坐标,这样在再次获取所述数据时,就可以直接根据所述节点的坐标获取所述数据,从而加快了数据传输的速度。根据所述节点的坐标查找待传输数据。
参照图8,图8为图6中步骤S120的细化流程示意图。本实施例中,步骤S120,包括以下步骤:
步骤S1201,若当前存在待传输数据的传输请求,则通过预先部署在分布式并行计算框架内的霍夫曼编码算法和算数编码算法分别对所述待传输数据进行压缩,得到第一压缩数据和第二压缩数据以及压缩数据的数值大小;
本实施例中,将霍夫曼编码算法和算数编码算法部署在分布式并行计算框架内,以用于对待传输数据进行压缩。其中,霍夫曼编码算法和算数编码算法的数量以及处理数据的顺序不限。采用霍夫曼编码算法和算数编码算法分别对同一对待传输数据进行压缩,可得到第一压缩数据和第二压缩数据,此时我们并不知道,两个压缩结果之间的大小关系。因此需要比较两者之中哪个压缩效果会更好。
步骤S1202,通过公式p=N/M,计算所述第一压缩数据的数值大小和所述第二压缩数据的数值大小之间的压缩率,根据所述压缩率确定最优压缩数据,其中,N为压缩数据的大小,M为待传输数据的大小。
本实施例中,通过公式p=N/M,计算所述所述第一压缩数据和第二压缩数据的压缩率,根据所述压缩率确定最优压缩率,其中,N为压缩数据的大小,M为待传输数据的大小。例如,压缩率存在大于1、小于1或等于1的情况,若大于1,则说明第二压缩数据的数值更小,即说明算数编码算法的压缩效果更好,因此采用算数编码算法压缩后的数据,若小于1,则说明采用霍夫曼编码算法的压缩效果更好,因此采用霍夫曼编码算法压缩后的数据,若等于1,则说明两个算法之间的压缩效果是一致的,因此可以采用任意一个算法压缩后的数据。
参照图9,图9为本发明数据传输优化装置一实施例的功能模块示意图。本实施例中,所述数据传输优化装置包括:
判断模块10,用于判断是否接收到建立通信关系的请求;
第一建立模块20,用于若接收到建立通信关系的请求,则根据所述请求在请求端与目标设备端建立通信关系,并根据所述通信关系生成对应的IP端口组合,若否,则不处理;
第二建立模块30,用于基于所述IP端口组合,通过通信协议建立通信通道集,其中,所述通信协议包括:TCP协议和UDP协议;
计算模块40,用于通过以下公式计算所述通信通道集中各个通信通道的最大负载值;
其中,d为每个通信通道可用于数据传输的空间资源为d维向量,F为通信通道集中的通信通道的均衡负载方差的最大值,Di为i维向量的方差,i为向量的维数,通过以下公式对Di进行表示:
查找模块50,用于根据通信通道预置获取策略,从所述通信通道集中获取通信通道以及通过所述通信通道传输预置压缩数据,通过轮询方式查找所述通信通道集中是否存在超出所述最大负载值的通信通道;
传输模块60,用于若存在超出所述最大负载值的通信通道,则通过优先级队列调度方法调度所述通信通道集中除所述通信通道之外的其他通信通道,并通过所述其他通信通道传输预置压缩数据,若不存在超出所述最大负载值的通信通道,则根据通信通道预置获取策略,从所述通信通道集中获取通信通道以及通过所述通信通道传输预置压缩数据,通过轮询方式查找所述通信通道集中是否存在超出所述最大负载值的通信通道。
本实施例中,通过所述数据传输优化装置的所述模块,可实现通信通道的负载均衡。
本发明还提供一种计算机可读存储介质。
本实施例中,所述计算机可读存储介质上存储有数据传输优化程序,所述数据传输优化程序被处理器执行时实现如上述任一项实施例中所述的数据传输优化方法的步骤。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,这些均属于本发明的保护之内。
Claims (10)
1.一种数据传输优化方法,其特征在于,所述数据传输优化方法包括以下步骤:
判断是否接收到建立通信关系的请求;
若接收到建立通信关系的请求,则根据所述请求在请求端与目标设备端建立通信关系,并根据所述通信关系生成对应的IP端口组合;
基于所述IP端口组合,通过通信协议建立通信通道集,其中,所述通信协议包括:TCP协议和UDP协议;
通过以下公式计算所述通信通道集中各个通信通道的最大负载值;
其中,d为每个通信通道可用于数据传输的空间资源为d维向量,F为通信通道集中的通信通道的均衡负载方差的最大值,Di为i维向量的方差,i为向量的维数,通过以下公式对Di进行表示:
根据通信通道预置获取策略,从所述通信通道集中获取通信通道以及通过所述通信通道传输预置压缩数据,通过轮询方式查找所述通信通道集中是否存在超出所述最大负载值的通信通道;
若是,则通过优先级队列调度方法调度所述通信通道集中除所述通信通道之外的其他通信通道,并通过所述其他通信通道传输预置压缩数据,若否,则根据通信通道预置获取策略,从所述通信通道集中获取通信通道以及通过所述通信通道传输预置压缩数据,通过轮询方式查找所述通信通道集中是否存在超出所述最大负载值的通信通道。
2.如权利要求1所述的数据传输优化方法,其特征在于,所述若接收到建立通信关系的请求,则根据所述请求在请求端与目标设备端建立通信关系,并根据所述通信关系生成对应的IP端口组合包括以下步骤:
若接收到建立通信关系的请求,则判断是否接收到以穿透的方式建立第一通信关系的请求;
若接收到建立第一通信关系的请求,则根据所述请求在请求端与目标设备端建立第一通信关系,并根据所述第一通信关系生成对应的IP端口组合;若未接收到建立第一通信关系的请求,则判断是否接收到以中继转发的方式建立第二通信关系的请求;
若接收到以中继转发的方式建立第二通信关系的请求,则根据所述请求在请求端与目标设备端建立第二通信关系,并根据所述第二通信关系生成对应的IP端口组合。
3.如权利要求2所述的数据传输优化方法,其特征在于,在所述若接收到建立通信关系的请求,则判断是否接收到以穿透的方式建立第一通信关系的请求的请求的步骤之前,还包括以下步骤:
根据不同时刻接收到的建立通信关系的请求,为所述请求设置不同的标识;
通过哈希算法根据所述标识,建立预置通信关系与IP端口组合之间的匹配关系,所述预置通信关系包括:第一通信关系和第二通信关系。
4.如权利要求1所述的数据传输优化方法,其特征在于,在所述通过以下公式计算所述通信通道集中各个通信通道的最大负载值的步骤之前,还包括以下步骤:
将业务数据存储于云存储空间;
根据优先队列为不同的业务数据设置不同的优先级别。
5.如权利要求1所述的数据传输优化方法,其特征在于,在所述根据通信通道预置获取策略,从所述通信通道集中获取通信通道以及通过所述通信通道传输预置压缩数据,通过轮询方式查找所述通信通道集中是否存在超出所述最大负载值的通信通道的步骤之前,还包括以下步骤:
判断当前是否存在待传输数据的传输请求,其中,所述待传输数据由业务数据和页面数据组成;
若当前存在待传输数据的传输请求,则通过预置压缩算法对所述待传输数据进行压缩,得到压缩数据。
6.如权利要求5所述的数据传输优化方法,其特征在于,在所述判断当前是否存在待传输数据的传输请求的步骤之前,还包括以下步骤:
通过核函数将待传输数据与非待传输数据映射在多维空间内的不同节点内;
通过预先设置在所述节点内的杂凑算法计算所述待传输数据的坐标;
以所述坐标为中心,通过贪婪算法计算与所述坐标最近的节点的坐标;
判断是否接收到建立通信关系的请求;
若是,则根据所述节点的坐标查找待传输数据。
7.如权利要求5所述的数据传输优化方法,其特征在于,所述若当前存在待传输数据的传输请求,则通过预置压缩算法对所述待传输数据进行压缩,得到压缩数据包括以下步骤:
若当前存在待传输数据的传输请求,则通过预先部署在分布式并行计算框架内的霍夫曼编码算法和算数编码算法分别对所述待传输数据进行压缩,得到第一压缩数据和第二压缩数据以及压缩数据的数值大小;
通过公式p=N/M,计算所述第一压缩数据的数值大小和所述第二压缩数据的数值大小之间的压缩率,根据所述压缩率确定最优压缩数据,其中,N为压缩数据的大小,M为待传输数据的大小。
8.一种数据传输优化装置,其特征在于,所述数据传输优化装置包括:
判断模块,用于判断是否接收到建立通信关系的请求;
第一建立模块,用于若接收到建立通信关系的请求,则根据所述请求在请求端与目标设备端建立通信关系,并根据所述通信关系生成对应的IP端口组合,若否,则不处理;
第二建立模块,用于基于所述IP端口组合,通过通信协议建立通信通道集,其中,所述通信协议包括:TCP协议和UDP协议;
计算模块,用于通过以下公式计算所述通信通道集中各个通信通道的最大负载值;
其中,d为每个通信通道可用于数据传输的空间资源为d维向量,F为通信通道集中的通信通道的均衡负载方差的最大值,Di为i维向量的方差,i为向量的维数,通过以下公式对Di进行表示:
查找模块,用于根据通信通道预置获取策略,从所述通信通道集中获取通信通道以及通过所述通信通道传输预置压缩数据,通过轮询方式查找所述通信通道集中是否存在超出所述最大负载值的通信通道;
传输模块,用于若存在超出所述最大负载值的通信通道,则通过优先级队列调度方法调度所述通信通道集中除所述通信通道之外的其他通信通道,并通过所述其他通信通道传输预置压缩数据,若不存在超出所述最大负载值的通信通道,则根据通信通道预置获取策略,从所述通信通道集中获取通信通道以及通过所述通信通道传输预置压缩数据,通过轮询方式查找所述通信通道集中是否存在超出所述最大负载值的通信通道。
9.一种数据传输优化设备,其特征在于,所述数据传输优化设备包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的数据传输优化程序,所述数据传输优化程序被所述处理器执行时实现如权利要求1-7中任一项所述的数据传输优化方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据传输优化程序,所述数据传输优化程序被处理器执行时实现如权利要求1-7中任一项所述的数据传输优化方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911259524.1A CN111049751B (zh) | 2019-12-10 | 2019-12-10 | 数据传输优化方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911259524.1A CN111049751B (zh) | 2019-12-10 | 2019-12-10 | 数据传输优化方法、装置、设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111049751A CN111049751A (zh) | 2020-04-21 |
CN111049751B true CN111049751B (zh) | 2022-12-13 |
Family
ID=70235610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911259524.1A Active CN111049751B (zh) | 2019-12-10 | 2019-12-10 | 数据传输优化方法、装置、设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111049751B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114124845B (zh) * | 2021-11-30 | 2024-03-19 | 新华三半导体技术有限公司 | 一种bd调度方法及装置 |
CN115065725B (zh) * | 2022-05-12 | 2024-01-12 | 北京奇艺世纪科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105323183A (zh) * | 2014-08-01 | 2016-02-10 | 中国电信股份有限公司 | 网络服务器之间的数据传输处理方法与*** |
CN105872042A (zh) * | 2016-03-29 | 2016-08-17 | 国家电网公司 | 基于http协议的双边加速*** |
WO2017206576A1 (zh) * | 2016-06-01 | 2017-12-07 | 中兴通讯股份有限公司 | 一种网关业务的处理方法及装置 |
WO2019075978A1 (zh) * | 2017-10-16 | 2019-04-25 | 平安科技(深圳)有限公司 | 数据传输方法、装置、计算机设备和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8631149B2 (en) * | 2008-11-25 | 2014-01-14 | Citrix Systems, Inc. | Systems and methods for object rate limiting |
-
2019
- 2019-12-10 CN CN201911259524.1A patent/CN111049751B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105323183A (zh) * | 2014-08-01 | 2016-02-10 | 中国电信股份有限公司 | 网络服务器之间的数据传输处理方法与*** |
CN105872042A (zh) * | 2016-03-29 | 2016-08-17 | 国家电网公司 | 基于http协议的双边加速*** |
WO2017206576A1 (zh) * | 2016-06-01 | 2017-12-07 | 中兴通讯股份有限公司 | 一种网关业务的处理方法及装置 |
WO2019075978A1 (zh) * | 2017-10-16 | 2019-04-25 | 平安科技(深圳)有限公司 | 数据传输方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111049751A (zh) | 2020-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110300050B (zh) | 消息推送方法、装置、计算机设备及存储介质 | |
CN108009028B (zh) | 消息处理方法、装置、设备及计算机可读存储介质 | |
US20150227496A1 (en) | Method and system for microblog resource sharing | |
CN111049751B (zh) | 数据传输优化方法、装置、设备及可读存储介质 | |
CN107666474B (zh) | 一种网络报文处理方法、装置及网络服务器 | |
US20140280818A1 (en) | Distributed data center technology | |
WO2016177191A1 (zh) | 一种报文的处理方法及装置 | |
US20150172389A1 (en) | Session management system, session management apparatus, and non-transitory computer readable medium | |
CN108965359B (zh) | 通信方法、通信装置、可读介质和电子设备 | |
CN112104679B (zh) | 处理超文本传输协议请求的方法、装置、设备和介质 | |
US10154116B1 (en) | Efficient synchronization of locally-available content | |
US9762516B2 (en) | Variable image acquisition and processing techniques based on image data type | |
US8180857B2 (en) | Method for downloading file in parallel | |
CN109150720B (zh) | 业务链报文转发方法、装置、设备及计算机可读存储介质 | |
CN114490100B (zh) | 一种消息队列遥测传输负载均衡方法、装置及服务器 | |
WO2022057131A1 (zh) | 数据拥塞处理方法、装置、计算机设备和存储介质 | |
CN111614726A (zh) | 一种数据转发方法、集群***及存储介质 | |
CN114268667B (zh) | 数据转发方法、装置、计算机设备及存储介质 | |
CN108924773B (zh) | 消息处理方法及装置 | |
CN112104682A (zh) | 云桌面服务器智能分配方法及***、存储介质及中控服务器 | |
CN112395070A (zh) | 数据处理***及方法 | |
US10728291B1 (en) | Persistent duplex connections and communication protocol for content distribution | |
CN112559134B (zh) | 一种分布式WebSocket集群构建方法、装置、***及存储介质 | |
CN111049927B (zh) | 一种文件存储方法、装置、电子设备和存储介质 | |
CN110266814B (zh) | 传输方法及传输装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210209 Address after: Room 201, building a, No.1 Qianwan 1st Road, Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong Province (settled in Shenzhen Qianhai business secretary Co., Ltd.) Applicant after: Shenzhen saiante Technology Service Co.,Ltd. Address before: 1-34 / F, Qianhai free trade building, 3048 Xinghai Avenue, Mawan, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong 518000 Applicant before: Ping An International Smart City Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |