CN111865326A - 数据压缩方法、装置、设备及存储介质 - Google Patents

数据压缩方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111865326A
CN111865326A CN202010674720.1A CN202010674720A CN111865326A CN 111865326 A CN111865326 A CN 111865326A CN 202010674720 A CN202010674720 A CN 202010674720A CN 111865326 A CN111865326 A CN 111865326A
Authority
CN
China
Prior art keywords
transmission
cost
data packet
compression
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010674720.1A
Other languages
English (en)
Other versions
CN111865326B (zh
Inventor
吴臻志
何伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lynxi Technology Co Ltd
Original Assignee
Beijing Lynxi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lynxi Technology Co Ltd filed Critical Beijing Lynxi Technology Co Ltd
Priority to CN202010674720.1A priority Critical patent/CN111865326B/zh
Publication of CN111865326A publication Critical patent/CN111865326A/zh
Priority to PCT/CN2021/106218 priority patent/WO2022012581A1/zh
Application granted granted Critical
Publication of CN111865326B publication Critical patent/CN111865326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60General implementation details not specific to a particular type of compression
    • H03M7/6047Power optimization with respect to the encoder, decoder, storage or transmission
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开实施例公开了一种数据压缩方法、装置、设备及存储介质。该方法包括:获取数据包发送的起始地与目的地;根据起始地与目的地确定数据包发送的传输代价;根据传输代价确定数据包的压缩模式,按照压缩模式对数据包进行压缩,并将压缩模式保存于数据包压缩后的压缩包中。本公开实施例的技术方案,解决了传统数据通信中采用统一压缩模式进行压缩导致的采用低压缩比的压缩模式在远距离传输中传输代价高,而采用高压缩比的压缩模式对数据包压缩和解压缩时运算量大、耗时长的问题,降低了数据包压缩与解压缩的运算时间,提高了数据包的传输效率,实现了传输速率与传输代价的双优化。

Description

数据压缩方法、装置、设备及存储介质
技术领域
本公开实施例涉及数据压缩技术领域,尤其涉及一种数据压缩方法、装置、设备及存储介质。
背景技术
众核***由一枚或多枚多核处理器组成,以解决单核芯片在进行大数据量计算时速度慢,产生热量高的问题,其中多核处理器是指在一枚处理器上集成有多个完整的计算引擎(内核),一枚处理器芯片内或多枚处理器芯片间的内核可以相互协同工作。对众核***来说,数据需要在多核、多芯片之间进行通信交互。
传统方法中,对于芯片间的数据通信常采用统一的压缩编码方案,即对进行数据通信的数据包以统一的压缩模式进行压缩并发送。然而采用统一压缩模式进行压缩并发送的数据通信方法,并未考虑到随发送介质的不同及发送距离远近的不同,数据在传输过程中的传输代价也会发生变化,无法达到传输效率与传输代价的双优化。
发明内容
本公开提供一种数据压缩方法、装置、设备及存储介质,以实现对数据压缩模式的选择,实现传输速率与传输代价的双优化。
第一方面,本公开实施例提供了一种数据压缩方法,包括:
获取数据包发送的起始地与目的地;
根据起始地与目的地确定数据包发送的传输代价;
根据传输代价确定数据包的压缩模式,按照压缩模式对数据包进行压缩,并将压缩模式保存于数据包压缩后的压缩包中。
进一步地,根据起始地与目的地确定数据包发送的传输代价,包括:
获取起始地与目的地间的传输路径信息;
根据传输路径信息确定起始地与目的地间的各通信介质,各通信介质上的传输次数以及各通信介质上传输的单次代价;
根据各通信介质,各传输次数与各单次代价确定数据包发送的传输代价。
进一步地,根据各通信介质,各传输次数与各单次代价确定数据包发送的传输代价,包括:
确定传输路径信息中各通信介质中传输次数与单次代价的乘积;
将各通信介质中所述传输次数与所述单次代价的乘积的和作为数据包发送的传输代价。
进一步地,根据传输代价确定数据包的压缩模式,包括:
将传输代价与参考单次代价的比值确定为归一化代价;
根据归一化代价查找对应的压缩方案,并根据压缩方案确定数据包的压缩模式。
进一步地,通信介质包括:同板芯片间通信介质,同机板间通信介质,同集群机间通信介质及远距离通信介质中的至少一种。
进一步地,当数据报个数为多个时,按照压缩模式对数据包进行压缩,并将压缩模式保存于数据包压缩后的压缩包中,包括:
获取起始地相同且目的地相同的一组数据包;
将一组数据包按照压缩模式压缩至同一个压缩包;
将压缩模式保存至压缩包中。
第二方面,本公开实施例还提供了一种数据压缩装置,该数据压缩装置包括:
获取模块,用于获取数据包发送的起始地与目的地;
传输代价确定模块,用于根据起始地与目的地确定数据包发送的传输代价;
压缩模块,用于根据传输代价确定数据包的压缩模式,按照压缩模式对数据包进行压缩,并将压缩模式保存于数据包压缩后的压缩包中。
进一步地,传输代价确定模块,包括:
路径信息获取单元,用于获取起始地与目的地间的传输路径信息;
路径信息确定单元,用于根据传输路径信息确定起始地与目的地间的各通信介质,各通信介质上的传输次数以及各通信介质上传输的单次代价;
传输代价确定单元,用于根据各通信介质,各传输次数与各单次代价确定数据包发送的传输代价。
第三方面,本公开实施例还提供了一种设备,设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如本公开任意实施例中提供的数据压缩方法。
第四方面,本公开实施例还提供了一种包含计算机可执行指令的存储介质,计算机可执行指令由计算机处理器执行时用于执行如本公开任意实施例提供的数据压缩方法。
本公开实施例通过获取数据包发送的起始地与目的地;根据起始地与目的地确定数据包发送的传输代价;根据传输代价确定数据包的压缩模式,按照压缩模式对数据包进行压缩,并将压缩模式保存于数据包压缩后的压缩包中。获取数据包发送的起始地与目的地,可以根据起始地与目的地确定数据包发送过程中所需要经过的传输距离和传输介质,进而确定出数据包由起始地发送至目的地所需的传输代价,根据传输代价选择合适的数据包压缩模式对数据包进行压缩,解决了传统数据通信中采用统一压缩模式进行压缩导致的采用低压缩比的压缩模式在远距离传输中传输代价高,而采用高压缩比的压缩模式对数据包压缩和解压缩时运算量大、耗时长的问题,降低了数据包压缩与解压缩的运算时间,提高了数据包的传输效率,实现了传输速率与传输代价的双优化。
附图说明
图1是本公开一示例性实施例中的一种数据压缩方法的流程图;
图2是本公开一示例性实施例中的一种数据压缩方法的流程图;
图3是本公开一示例性实施例中的一种根据各通信介质,各传输次数与各单次代价确定数据包发送的传输代价的流程图;
图4是本公开一示例性实施例中的一种数据包传输过程的示例图;
图5是本公开一示例性实施例中的一种数据压缩装置的结构示意图;
图6是本公开一示例性实施例中的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本公开,而非对本公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开相关的部分而非全部结构。此外,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
图1为本公开一示例性实施例提供的一种数据压缩方法的流程图,本实施例可适用于数据在同个芯片的多个不同计算引擎间,或多个芯片的不同计算引擎间传输前进行压缩的情况,该方法可以由数据压缩装置来执行,方法包括如下步骤:
S101、获取数据包发送的起始地与目的地。
其中,数据包可理解为通信传输中的数据单位,当一个计算引擎需要将一条消息或一组数据传输至另一个计算引擎时,该消息或该组数据可被划分为多个数据块,这些数据块被称为数据包,其包含有接收者的地址信息,各数据包根据地址信息的不同沿不同路径传输至接收者的地址。
一种可能的实现方式,在路由包的起始地,通过读取数据包中接收者的地址信息,确定数据包中与接收者地址信息相对应的计算引擎为目的地。为明确数据包的发送路线,可以通过读取数据包中的接收者地址信息,实现数据包起始地与目的地的确定,以根据起始地与目的地确定数据包的发送路线。
S102、根据起始地与目的地确定数据包的传输代价。
其中,传输代价可理解为数据在由一个计算引擎传输至另一个计算引擎,或由一个计算引擎所在芯片传输至另一个计算引擎所在芯片过程中的传输延迟和传输能耗,即传输所花费的时间和传输所导致的电能消耗。传输代价的高低与传输的数据量及传输的距离相关,传输的数据量越大传输代价越高,同时,传输代价的高低与传输过程中经历的介质相关,传输的距离越远,传输过程中经历的高能耗或高延迟介质越多,传输代价越高。
一种可能的实现方式,根据获取的起始地与目的地,确定数据包由起始计算引擎传输至目的计算引擎过程中所经历的传输节点,获取各相邻传输节点间进行单次数据传输的单次传输代价,将传输过程中各传输节点间单次传输代价之和作为数据包的传输代价,其中,传输节点可理解为传输过程中经历的路由节点,用于计算传输代价的传输节点包括起始地对应的起始计算引擎和目的地对应的目的计算引擎。
根据起始地与目的地确定数据包的传输路线,并根据传输路线中的传输节点确定数据包的传输代价,以便于根据确定好的传输代价选取适合的压缩方式。
S103、根据传输代价确定数据包的压缩模式,按照压缩模式对数据包进行压缩,并将压缩模式保存于数据包压缩后的压缩包中。
其中,压缩模式可理解为压缩的方案名称及参数列表,可以用于衡量数据压缩的压缩效率,可根据所需的压缩比确定压缩模式,一种压缩模式对应一个压缩比。
一种可能的实施方式,根据传输代价可确定数据包由起始地发至目的地所经历的传输类型,当传输代价很低时,数据包传输过程中时延和能耗均很低,若采用较大压缩比的压缩模式对数据包进行压缩反而会增加数据压缩和解压缩时间,故在传输代价很低时,可采用较低的压缩比例或不压缩即进行传输。同时,随传输代价升高,数据包传输过程中时延和能耗均增高,此时需选择较高压缩比的压缩模式以降低传输的数据量,从而降低传输代价。故可以根据传输代价确定出传输时延与压缩时间之和最短的压缩比作为确定的压缩比信息,根据确定的压缩比信息选择对应的压缩模式对数据包进行压缩,并将压缩模式保存于数据包压缩后的压缩包中以便在目的地对压缩包进行解压缩操作。
本公开实施例通过获取数据包发送的起始地与目的地;根据起始地与目的地确定数据包发送的传输代价;根据传输代价确定数据包的压缩模式,按照压缩模式对数据包进行压缩,并将压缩模式保存于数据包压缩后的压缩包中。获取数据包发送的起始地与目的地,可以根据起始地与目的地确定数据包发送过程中所需要经过的传输距离和传输介质,进而确定出数据包由起始地发送至目的地所需的传输代价,根据传输代价选择合适的数据包压缩模式对数据包进行压缩,解决了传统数据通信中采用统一压缩模式进行压缩导致的采用低压缩比的压缩模式在远距离传输中传输代价高,而采用高压缩比的压缩模式对数据包压缩和解压缩时运算量大、耗时长的问题,降低了数据包压缩与解压缩的运算时间,提高了数据包的传输效率,实现了传输速率与传输代价的双优化。
图2为本公开一示例性实施例提供的一种数据压缩方法的流程图。本实施例的技术方案在上述技术方案的基础上进一步细化,可以包括如下步骤:
S201、获取数据包发送的起始地与目的地。
S202、获取起始地与目的地间的传输路径信息。
其中,传输路径信息可理解为数据包由起始地发送至目的地传输过程中所经历的传输节点信息。传输路径信息可以用于确定传输过程中所经历的通信介质信息及在各通信介质上的传输次数信息等,其中,传输节点可包括传输过程中起始地与目的地对应的芯片,传输过程中经过的芯片,以及当数据需要进行跨主板传播时主板上的数据传输接口。
一种可能的实现方式,当各芯片间位置关系与通信连接关系确定时,各芯片间的逻辑位置关系也是确定的,由一个芯片向另一个芯片发送数据时其所需经过芯片和/或数据传输接口构成的路径也是确定的,即起始地对应芯片与目的地对应芯片的逻辑位置关系以及进行数据传输时所需经过芯片和/或数据传输接口构成的路径是确定的。确定上述路径上各相邻芯片间的通信介质信息可得到一次数据传输所需经过的通信介质类型,以及在各类型通信介质上进行数据传输的次数,将上述通信介质类型及次数信息作为起始地与目的地间的传输路径信息。
可选的,传输路径信息的确定可通过对预设地址信息表的查找确定,也可通过配置预设路由进行确定,本公开实施例对此不进行限制。
S203、根据传输路径信息确定起始地与目的地间的各通信介质,各通信介质上的传输次数以及各通信介质上传输的单次代价。
其中,通信介质可理解为数据包在传输过程中经过的传输介质,其可包括有线介质和无线介质。在本公开实施例中,通信介质可包括:同板芯片间通信介质,同机板间通信介质,同集群机间通信介质及远距离通信介质中的至少一种。
其中,单次代价可理解为在一种介质上进行一次数据传输所需耗费的传输时间和传输消耗,为从设备中采集得到或由设计估算得到的一个已知常量。
一种可能的实现方式,计算引擎所在的芯片可安装于不同的主板上,多个主板进行组合后可形成一个计算机设备,多个计算机设备进行集成后可得到一个计算机集群。根据传输路径信息确定起始地与目的地间的通信介质可包括:位于同一主板上各芯片及数据传输接口进行通信的通信介质为同板芯片间通信介质;位于同一计算机设备上不同主板间数据传输接口进行通信的通信介质为同机板间通信介质;位于同一计算机集群的不同计算机设备间的数据通信的通信介质为同集群机间通信介质;而除此外向更远处设备进行数据通信的通信介质为远距离通信介质。根据传输路径信息可确定数据在由起始地传输至目的地过程中所经历的通信介质,以及在同种通信介质上的传输次数,以及在各通信介质上进行一次传播所需的传输代价。
根据传输路径信息确定起始地与目的地间的各通信介质及各通信介质上传输的单次代价,可明确数据包在不同介质上传输所需要的传输代价,进而实现对数据包在不同传输路径上传播时传输代价的确定。
S204、根据各通信介质,各传输次数与各单次代价确定数据包发送的传输代价。
一种可能的实现方式,根据各传输次数与各单次代价可确定在同种通信介质上的传输代价,并根据各通信介质上对应的传输代价可确定数据包在整个传输过程中的传输代价。
进一步地,图3为本公开一示例性实施例提供的根据各通信介质,各传输次数与各单次代价确定数据包发送的传输代价的流程图,可以包括如下步骤:
S2041、确定传输路径信息中各通信介质中传输次数与单次代价的乘积。
一种可能的实现方式,在进行一次数据传输的过程中,在同一种通信介质上的传输可能不是连续的,但由于在同一种通信介质上进行单次传输所需的单次代价相同,故将传输路径信息中同一种通信介质中的传输次数与单次代价的乘积,作为该种通信介质在对应传输路径上进行数据传输所需要的传输代价,分别针对传输路径信息中每一种通信介质计算其在本传输路径上进行数据传输所需的传输代价。
S2042、将各通信介质中所述传输次数与所述单次代价的乘积的和作为数据包发送的传输代价。
一种可能的实现方式,若在一次数据传输过程中,在同板芯片间通信介质上进行数据传输的次数为Nb,传输的单次代价为Cb;在同机板间通信介质上进行数据传输的次数为Nm,传输的单次代价为Cm;在同集群机间通信介质上进行数据传输的次数为Nc,传输的单次代价为Cc;在远距离通信介质上进行数据传输的次数为Nr,传输的单次代价为Cr。则在上述数据传输过程中数据包发送的传输代价可表示为:
C=Nb*Cb+Nm*Cm+Nc*Cc+Nr*Cr
示例性的,图4为本公开一示例性实施例提供的一种数据包传输过程的示例图,由图4可知,数据包由芯片1传输至芯片12的过程中,其传输路径为:芯片1->芯片2->芯片3->数据传输接口1->数据传输接口2->芯片10->芯片11->芯片12。由于同一主板上芯片与芯片间信息传输的传输代价与芯片与数据传输接口间信息传输的传输代价基本相同,故上述传输路径中包括6次同板芯片间通信介质的传输以及1次同机板间通信介质的传输,由起始地芯片1到目的地芯片12的传输代价可表示为
C=6Cb+Cm
S205、将传输代价与参考单次代价的比值确定为归一化代价。
其中,参考单次代价可以是用于对传输代价进行归一化的任意常量,举例来说,可以是任意通信介质上进行数据传输的单次代价。
一种可能的实现方式,由于在同板芯片间通信介质上进行数据传输的单次代价最小,故可以以同板芯片间通信介质的单次代价为标准,对数据包在确定好的传输路径上的传输代价进行归一化处理,以确定该传输路径上的整体数据传输的通信介质类型,以便于对压缩方案进行选择。其中,归一化代价可表示为传输代价与同板芯片间通信介质的单次代价的比值,例如,可以表示为:
NC=C/Cb。
为便于对不同传输路径间的传输代价进行比对,对传输代价进行归一化处理,使得不同传输路径的传输代价可在同一标准下进行比对,以便于对适合压缩模式的选择。
S206、根据归一化代价查找对应的压缩方案,并根据压缩方案确定数据包的压缩模式。
其中,压缩方案可理解为与归一化代价范围进行对应的,包含压缩模式的压缩方式。
一种可能的实现方式,以在将传输代价与同板芯片间通信介质的单次代价的比值确定为归一化代价为例,当归一化代价NC≤1时,可认为本次传输为在芯片内的通信,由于芯片内通信所需传输代价极低,无需进行压缩,故NC≤1时对应的压缩方案为不压缩;当归一化代价1<NC≤10时,可认为本次传输为在同一主板上的芯片间的通信,此时通信所需传输代价较低,进行高压缩比压缩模式的数据压缩反而会导致压缩与解压缩时间的增加,使得总延迟时间增加,此时仅需要以较低压缩比的压缩模式对数据包进行压缩即可使得得到的传输延迟最小,故1<NC≤10时对应的压缩方案为采用低圧缩比率压缩;当归一化代价10<NC≤100时,可认为本次传输为跨主板的传输,由于跨板传输的传输代价较高,故需要相对较大压缩比例的压缩模式使得总延迟时间最小,故10<NC≤100时对应的压缩方案为采用中圧缩比率压缩;当归一化代价NC>100时,可认为本次传输为远程跨板,跨计算机设备或跨集群通信,此时通信所需传输代价极高,相对大数据量传输造成的传输延迟,以较高压缩比的压缩模式对数据包进行压缩与解压缩耗时较少,因此需以较高的压缩比对数据包压缩以使得得到的传输延迟最小,故NC>100时对应的压缩方案为采用高压缩比率压缩。
可选的,压缩方案中的低圧缩比率、中压缩比率和高压缩比率可进行预先设置,同一种压缩比率可为固定数值也可为一组与归一化代价一一对应的数值集合,本公开实施例对此不进行限制。
根据不同的归一化代价选取对应的压缩方案下的压缩模式,使得不同传输路径的数据包可采用不同的压缩比例进行压缩后发送,降低了数据包压缩与解压缩的运算时间,实现传输效率与代价的优化。应理解,还可以是将传输代价与其他通信介质的单次代价的比值确定为归一化代价,本公开对此不做限制。
S207、按照压缩模式对数据包进行压缩,并将压缩模式保存于数据包压缩后的压缩包中。
一种可能的实现方式,根据确定出的压缩模式调节压缩过程中的系数,以对数据包进行压缩,并在数据包压缩后得到的压缩包中写入对应的压缩模式,以便于该压缩包在发送至目的地后的解压缩工作。其中,对数据包进行压缩的方法可包括基于对差错冗余控制编码后的数据进行打孔的压缩方法、信源压缩方法及霍夫曼压缩方法等,本公开实施例对此不进行限制。
进一步地,当数据包的个数为多个时,获取起始地相同且目的地相同的一组数据包;将一组数据包按照压缩模式压缩至同一个压缩包;将压缩模式保存至压缩包中。
一种可能的实现方式,当数据包的个数为多个时,针对其中起始地与目的地皆相同的数据包,为节省运算资源,没有必要对每一个数据包均进行压缩操作。由于起始地与目的地均相同的数据包在传输过程中的传输路径均相同,故其对应的传输代价均相同,相应的,压缩模式也相同。此时,对多个数据包进行分组操作,将起始地与目的地皆相同的数据包分为一组,获取一组数据包中一个数据包对应的压缩模式,并以该压缩模式对该组数据包进行统一压缩,使之压缩至同一个压缩包中,并将该压缩模式保存至上述压缩包中,实现同传输路径的数据包的统一压缩和传输。
本公开实施例的技术方案,通过确定数据包发送起始地与目的地间的路径信息,确定其传输经过的不同通信介质,及在不同通信介质上的传输次数,根据不同通信介质上不同的单次传输代价确定数据包在整个发送过程中的传输代价,进而根据传输代价确定适合的压缩模式,使得传输的总延迟时间减少,提高了数据包的传输效率,实现了传输速率与传输代价的双优化。
图5为本公开一示例性实施例提供的一种数据压缩装置的结构示意图,该数据压缩装置包括:地址获取模块31,传输代价确定模块32和数据压缩模块33。
其中,地址获取模块31,用于获取数据包发送的起始地和目的地;传输代价确定模块32,用于根据起始地与目的地确定数据包发送的传输代价;数据压缩模块33,用于根据传输代价确定数据包的压缩模式,按照压缩模式对数据包进行压缩,并将压缩模式保存于数据包压缩后的压缩包中。
本实施例的技术方案,解决了传统数据通信中采用统一压缩模式进行压缩导致的采用低压缩比的压缩模式在远距离传输中传输代价高,而采用高压缩比的压缩模式对数据包压缩和解压缩时运算量大、耗时长的问题,降低了数据包压缩与解压缩的运算时间,提高了数据包的传输效率,实现了传输速率与传输代价的双优化。
可选的,传输代价确定模块32包括:
路径信息获取单元,用于获取起始地与目的地间的传输路径信息。
路径信息确定单元,用于根据传输路径信息确定起始地与目的地间的各通信介质,各通信介质上的传输次数以及各通信介质上传输的单次代价。
传输代价确定单元,用于根据各通信介质,各传输次数与各单次代价确定数据包发送的传输代价。
可选的,数据压缩模块33包括:
压缩模式确定单元,用于将传输代价与同板芯片间通信介质的单次代价的比值确定为归一化代价;根据归一化代价查找对应的压缩方案,并根据压缩方案确定数据包的压缩模式。
压缩单元,用于按照压缩模式对数据包进行压缩,并将压缩模式保存于数据包压缩后的压缩包中。
进一步地,当数据包个数为多个时,压缩单元还用于:获取起始地相同且目的地相同的一组数据包;将一组数据包按照压缩模式压缩至同一个压缩包;将压缩模式保存至压缩包中。
本公开实施例所提供的数据压缩装置可执行本公开任意实施例所提供的数据压缩方法,具备执行方法相应的功能模块和有益效果。
图6为本公开一示例性实施例提供的一种设备的结构示意图,如图6所示,该设备包括处理器41、存储装置42、输入装置43和输出装置44;设备中处理器41的数量可以是一个或多个,图6中以一个处理器41为例;设备中的处理器41、存储装置42、输入装置43和输出装置44可以通过总线或其他方式连接,图6中以通过总线连接为例。
存储装置42作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本公开实施例中的数据压缩方法对应的程序指令/模块(例如,地址获取模块31,传输代价确定模块32和数据压缩模块33)。处理器41通过运行存储至存储装置42中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的数据压缩方法。
存储装置42可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储装置42可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置42可进一步包括相对于处理器41远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可用于接收输入的数字或字符信息,以及产生与设备的用户设置以及功能控制有关的键信号输入,可以包括触屏、键盘和鼠标等。输出装置44可包括显示屏等显示设备。
本公开一示例性实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种数据压缩方法,该方法包括:
获取数据包发送的起始地与目的地;
根据起始地与目的地确定数据包发送的传输代价;
根据传输代价确定数据包的压缩模式,按照压缩模式对数据包进行压缩,并将压缩模式保存于数据包压缩后的压缩包中。
当然,本公开实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本公开任意实施例所提供的数据压缩方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本公开可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述的方法。
值得注意的是,上述搜索装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本公开的保护范围。
注意,上述仅为本公开的较佳实施例及所运用技术原理。本领域技术人员会理解,本公开不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本公开的保护范围。因此,虽然通过以上实施例对本公开进行了较为详细的说明,但是本公开不仅仅限于以上实施例,在不脱离本公开构思的情况下,还可以包括更多其他等效实施例,而本公开的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据压缩方法,其特征在于,包括:
获取数据包发送的起始地与目的地;
根据所述起始地与所述目的地确定所述数据包发送的传输代价;
根据所述传输代价确定所述数据包的压缩模式,按照所述压缩模式对所述数据包进行压缩,并将所述压缩模式保存于所述数据包压缩后的压缩包中。
2.根据权利要求1所述的方法,其特征在于,所述根据所述起始地与所述目的地确定所述数据包发送的传输代价,包括:
获取所述起始地与所述目的地间的传输路径信息;
根据所述传输路径信息确定所述起始地与所述目的地间的各通信介质,各所述通信介质上的传输次数以及各所述通信介质上传输的单次代价;
根据各所述通信介质,各所述传输次数与各所述单次代价确定所述数据包发送的传输代价。
3.根据权利要求2所述的方法,其特征在于,所述根据各所述通信介质,各所述传输次数与各所述单次代价确定所述数据包发送的传输代价,包括:
确定所述传输路径信息中各所述通信介质中所述传输次数与所述单次代价的乘积;
将各所述通信介质中所述传输次数与所述单次代价的乘积的和作为所述数据包发送的传输代价。
4.根据权利要求1所述的方法,其特征在于,所述根据所述传输代价确定所述数据包的压缩模式,包括:
将所述传输代价与参考单次代价的比值确定为归一化代价;
根据所述归一化代价查找对应的压缩方案,并根据所述压缩方案确定所述数据包的压缩模式。
5.根据权利要求1至4任一所述的方法,其特征在于,所述通信介质包括:同板芯片间通信介质,同机板间通信介质,同集群机间通信介质及远距离通信介质中的至少一种。
6.根据权利要求1所述的方法,其特征在于,当所述数据包个数为多个时,所述按照所述压缩模式对所述数据包进行压缩,并将所述压缩模式保存于所述数据包压缩后的压缩包中,包括:
获取所述起始地相同且所述目的地相同的一组数据包;
将所述一组数据包按照所述压缩模式压缩至同一个压缩包;
将所述压缩模式保存至所述压缩包中。
7.一种数据压缩装置,其特征在于,包括:
获取模块,用于获取数据包发送的起始地与目的地;
传输代价确定模块,用于根据所述起始地与所述目的地确定所述数据包发送的传输代价;
压缩模块,用于根据所述传输代价确定所述数据包的压缩模式,按照所述压缩模式对所述数据包进行压缩,并将所述压缩模式保存于所述数据包压缩后的压缩包中。
8.根据权利要求7所述的装置,其特征在于,所述传输代价确定模块,包括:
路径信息获取单元,用于获取所述起始地与所述目的地间的传输路径信息;
路径信息确定单元,用于根据所述传输路径信息确定所述起始地与所述目的地间的各通信介质,各所述通信介质上的传输次数以及各所述通信介质上传输的单次代价;
传输代价确定单元,用于根据各所述通信介质,各所述传输次数与各所述单次代价确定所述数据包发送的传输代价。
9.一种设备,其特征在于,所述设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的数据压缩方法。
10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令由计算机处理器执行时用于执行如权利要求1-6中任一所述的数据压缩方法。
CN202010674720.1A 2020-07-14 2020-07-14 数据压缩方法、装置、设备及存储介质 Active CN111865326B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010674720.1A CN111865326B (zh) 2020-07-14 2020-07-14 数据压缩方法、装置、设备及存储介质
PCT/CN2021/106218 WO2022012581A1 (zh) 2020-07-14 2021-07-14 数据压缩及传输方法、装置、设备、众核***、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010674720.1A CN111865326B (zh) 2020-07-14 2020-07-14 数据压缩方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111865326A true CN111865326A (zh) 2020-10-30
CN111865326B CN111865326B (zh) 2023-06-23

Family

ID=72984227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010674720.1A Active CN111865326B (zh) 2020-07-14 2020-07-14 数据压缩方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111865326B (zh)
WO (1) WO2022012581A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113067674A (zh) * 2021-03-17 2021-07-02 北京智慧星光信息技术有限公司 网络文本数据的传输方法、***、电子设备及存储介质
WO2022012581A1 (zh) * 2020-07-14 2022-01-20 北京灵汐科技有限公司 数据压缩及传输方法、装置、设备、众核***、介质
WO2023246190A1 (zh) * 2022-06-24 2023-12-28 中兴通讯股份有限公司 数据流压缩方法、网络设备、存储介质

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805932A (en) * 1994-04-22 1998-09-08 Sony Corporation System for transmitting compressed data if compression ratio is at least preset ratio and pre-compressed data if compression ratio is less than preset ratio
US20060077412A1 (en) * 2004-10-11 2006-04-13 Vikram Phogat Method and apparatus for optimizing data transmission costs
CN101383616A (zh) * 2007-09-07 2009-03-11 三星电子株式会社 数据压缩设备和方法
US20100020682A1 (en) * 2006-09-12 2010-01-28 Yamaha Corporation Communication device, communication method, and recording medium
US20100103183A1 (en) * 2008-10-23 2010-04-29 Hung-Ming Lin Remote multiple image processing apparatus
US20130088373A1 (en) * 2011-10-07 2013-04-11 Fujitsu Limited Data compression apparatus and data compression method
CN103957582A (zh) * 2014-05-17 2014-07-30 浙江大学宁波理工学院 无线传感器网络自适应压缩方法
CN104168603A (zh) * 2013-05-15 2014-11-26 上海交通大学 基于压缩感知技术的具有高能效的数据采集树的构造方法
CN104866381A (zh) * 2014-02-20 2015-08-26 联想(北京)有限公司 一种信息处理方法及第一电子设备
WO2015173889A1 (ja) * 2014-05-13 2015-11-19 株式会社日立製作所 ストレージ装置
US9521218B1 (en) * 2016-01-21 2016-12-13 International Business Machines Corporation Adaptive compression and transmission for big data migration
CN109783033A (zh) * 2019-01-31 2019-05-21 上海赜睿信息科技有限公司 一种适用于异构***的数据存储方法和电子设备
CN109921801A (zh) * 2019-03-01 2019-06-21 迅雷计算机(深圳)有限公司 一种数据压缩及解压缩方法、装置、***及数据处理***
CN110769453A (zh) * 2019-10-31 2020-02-07 重庆大学 非稳定网络环境下的多模态监测数据动态压缩控制方法
CN110891092A (zh) * 2019-12-09 2020-03-17 北京布袋森林科技有限责任公司 一种数据压缩传输方法及装置
CN111178540A (zh) * 2019-12-29 2020-05-19 浪潮(北京)电子信息产业有限公司 一种训练数据的传输方法、装置、设备及介质
CN111210481A (zh) * 2020-01-10 2020-05-29 大连理工大学 多波段立体相机的深度估计加速方法
CN111262876A (zh) * 2020-01-22 2020-06-09 腾讯科技(深圳)有限公司 基于区块链的数据处理方法、装置、设备以及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3539219B1 (en) * 2016-11-08 2020-09-30 Koninklijke Philips N.V. Method for wireless data transmission range extension
CN106452920B (zh) * 2016-11-24 2019-07-19 广东电网有限责任公司电力调度控制中心 基于成本最优化布局电网数据节点的方法和装置
CN110391873B (zh) * 2018-04-20 2022-02-11 伊姆西Ip控股有限责任公司 用于确定数据传送方式的方法、装置以及计算机程序产品
CN111865326B (zh) * 2020-07-14 2023-06-23 北京灵汐科技有限公司 数据压缩方法、装置、设备及存储介质

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805932A (en) * 1994-04-22 1998-09-08 Sony Corporation System for transmitting compressed data if compression ratio is at least preset ratio and pre-compressed data if compression ratio is less than preset ratio
US20060077412A1 (en) * 2004-10-11 2006-04-13 Vikram Phogat Method and apparatus for optimizing data transmission costs
US20100020682A1 (en) * 2006-09-12 2010-01-28 Yamaha Corporation Communication device, communication method, and recording medium
CN101383616A (zh) * 2007-09-07 2009-03-11 三星电子株式会社 数据压缩设备和方法
US20100103183A1 (en) * 2008-10-23 2010-04-29 Hung-Ming Lin Remote multiple image processing apparatus
US20130088373A1 (en) * 2011-10-07 2013-04-11 Fujitsu Limited Data compression apparatus and data compression method
CN104168603A (zh) * 2013-05-15 2014-11-26 上海交通大学 基于压缩感知技术的具有高能效的数据采集树的构造方法
CN104866381A (zh) * 2014-02-20 2015-08-26 联想(北京)有限公司 一种信息处理方法及第一电子设备
WO2015173889A1 (ja) * 2014-05-13 2015-11-19 株式会社日立製作所 ストレージ装置
CN103957582A (zh) * 2014-05-17 2014-07-30 浙江大学宁波理工学院 无线传感器网络自适应压缩方法
US9521218B1 (en) * 2016-01-21 2016-12-13 International Business Machines Corporation Adaptive compression and transmission for big data migration
CN109783033A (zh) * 2019-01-31 2019-05-21 上海赜睿信息科技有限公司 一种适用于异构***的数据存储方法和电子设备
CN109921801A (zh) * 2019-03-01 2019-06-21 迅雷计算机(深圳)有限公司 一种数据压缩及解压缩方法、装置、***及数据处理***
CN110769453A (zh) * 2019-10-31 2020-02-07 重庆大学 非稳定网络环境下的多模态监测数据动态压缩控制方法
CN110891092A (zh) * 2019-12-09 2020-03-17 北京布袋森林科技有限责任公司 一种数据压缩传输方法及装置
CN111178540A (zh) * 2019-12-29 2020-05-19 浪潮(北京)电子信息产业有限公司 一种训练数据的传输方法、装置、设备及介质
CN111210481A (zh) * 2020-01-10 2020-05-29 大连理工大学 多波段立体相机的深度估计加速方法
CN111262876A (zh) * 2020-01-22 2020-06-09 腾讯科技(深圳)有限公司 基于区块链的数据处理方法、装置、设备以及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YUHUA BAI: "An improved method for lossless data compression", 《DATA COMPRESSION CONFERENCE》 *
刘慧: "面向大数据的列存储数据库关键技术研究", 《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》 *
樊宽刚: "《数据感知优化技术及其应用》", 31 August 2018 *
黄金: "无线传感器网络中能量有效的压缩算法及性能评估研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022012581A1 (zh) * 2020-07-14 2022-01-20 北京灵汐科技有限公司 数据压缩及传输方法、装置、设备、众核***、介质
CN113067674A (zh) * 2021-03-17 2021-07-02 北京智慧星光信息技术有限公司 网络文本数据的传输方法、***、电子设备及存储介质
WO2023246190A1 (zh) * 2022-06-24 2023-12-28 中兴通讯股份有限公司 数据流压缩方法、网络设备、存储介质

Also Published As

Publication number Publication date
WO2022012581A1 (zh) 2022-01-20
CN111865326B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111865326B (zh) 数据压缩方法、装置、设备及存储介质
CN114880346B (zh) 一种数据处理方法及相关组件、加速处理器
US9904577B2 (en) Hybrid heterogeneous host system, resource configuration method and task scheduling method
CN108595483B (zh) 数据处理方法及相关装置
CN114916033B (zh) 一种数据传输方法、***、电子设备和存储介质
CN111262921B (zh) 基于区块链网络的应用请求处理方法、装置、设备和介质
CN108965333A (zh) 一种数据压缩、解压缩方法、***及电子设备
CN104025520A (zh) 查找表的创建方法、查询方法、控制器、转发设备和***
CN103475584A (zh) 三态内容寻址存储器(tcam)查询方法和装置
CN113961510A (zh) 一种文件处理方法、装置、设备及存储介质
CN114564509A (zh) 序列化方法、反序列化方法、设备、芯片以及介质
CN104063501A (zh) 基于hdfs的副本平衡方法
CN115567589A (zh) Json数据的压缩传输方法、装置、设备及存储介质
US20210399986A1 (en) Data communication method, server device, client device and medium
CN113220651B (zh) 运行数据压缩方法、装置、终端设备以及存储介质
CN114742000A (zh) 基于FPGA集群的SoC芯片验证***、验证方法、装置
WO2023061180A1 (zh) 基于多频率的数据发送和接收方法、装置和设备
WO2020024392A1 (zh) 节点处理方法及装置、存储介质和电子设备
CN116185578A (zh) 计算任务的调度方法和计算任务的执行方法
CN104636432A (zh) 一种日志文件压缩和解压的方法及装置
CN112770358B (zh) 基于业务数据的多速率模式数据发送控制方法及装置
CN114707651A (zh) 一种规约运算的拓扑选择方法、装置、设备及介质
CN105025042A (zh) 一种确定数据信息的方法及***、代理服务器
CN114297238A (zh) 基于分布式数据库***的数据查询方法、装置及***
CN111857534A (zh) 一种数据传输方法、数据存储服务器及数据存储***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant