CN1968254A - 确定是否要压缩通过网络传送的数据的方法和*** - Google Patents

确定是否要压缩通过网络传送的数据的方法和*** Download PDF

Info

Publication number
CN1968254A
CN1968254A CNA2006101439717A CN200610143971A CN1968254A CN 1968254 A CN1968254 A CN 1968254A CN A2006101439717 A CNA2006101439717 A CN A2006101439717A CN 200610143971 A CN200610143971 A CN 200610143971A CN 1968254 A CN1968254 A CN 1968254A
Authority
CN
China
Prior art keywords
compression
performance
network
data
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006101439717A
Other languages
English (en)
Other versions
CN1968254B (zh
Inventor
卡塔尔多·梅加
桑达·维里亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN1968254A publication Critical patent/CN1968254A/zh
Application granted granted Critical
Publication of CN1968254B publication Critical patent/CN1968254B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/508—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement
    • H04L41/509—Network service management, e.g. ensuring proper service fulfilment according to agreements based on type of value added network service under agreement wherein the managed service relates to media content delivery, e.g. audio, video or TV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0888—Throughput
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

所提供的是一种确定是否要压缩通过网络传送的数据的方法、***和程序。确定用来压缩要通过网络传送给目标节点的数据的压缩算法的压缩性能，并且确定网络的网络性能。确定的压缩性能和网络性能被用来确定是否压要缩数据。响应于确定要压缩数据，压缩数据，并响应于压缩数据，将压缩的数据通过网络传送给目标节点。响应于确定不要压缩数据，将数据未经压缩地传送到目标节点。

Description

确定是否要压缩通过网络传送的数据的方法和***
技术领域
本发明涉及确定是否要压缩通过网络传送的数据的方法、***和程序。
背景技术
企业将大量信息收集和存档在也称为内容管理***的内容存储库内。这样的内容管理***为将内容可缩放和有效地递送到客户机工作站的用户创造条件。这样的***有利于来自诸如web服务器、资料库之类的共享网络文件***的数据传送。
内容管理***可压缩通过网络传送的数据，以减少网络传输时间和提高递送速度。典型的是，内容递送策略包括取决于集中管理的压缩设置，以压缩方式或未压缩方式传送所有数据的静态***配置。这样的静态压缩设置应用于数据所发送到的所有客户机工作站，无论在运行期间网络状况和压缩计算处理能力如何。此外，不同的压缩技术可能要求不同的计算资源量并具有不同的压缩效益，即压缩比。
因此，在本领域内需要一种得到改善的技术，用来确定在通过网络传送数据时如何配置压缩技术。
发明内容
所提供的是一种确定是否要压缩通过网络传送的数据的方法、***和程序。确定用来压缩要通过网络传送给目标节点的数据的压缩算法的压缩性能，并且确定网络的网络性能。确定的压缩性能和网络性能被用来确定是否压要缩数据。响应于确定要压缩数据，压缩数据，并响应于压缩数据，将压缩的数据通过网络传送给目标节点。响应于确定不要压缩数据，将数据未经压缩地传送到目标节点。
在另一个实施例中，数据在网络上传送到目标节点以确定网络性能，并为不同的压缩算法和节点保持压缩性能。确定的压缩性能基于在目标节点和压缩并传送数据到目标节点的源节点使用压缩算法时的压缩性能。
在另一个实施例中，目标节点的压缩性能包括解压缩性能，确定的压缩性能包括源节点的压缩性能和解压缩计算成本的平均值。
在另一个实施例中，确定的压缩性能包括在目标节点和源节点执行的压缩算法的压缩性能的最小值。
在另一个实施例中，不同压缩算法的压缩性能由节点在节点操作期间计算，以提供节点特有的压缩性能。源节点向网络内其他节点广播计算的不同压缩算法的压缩性能，以供所述其他节点在确定是否要压缩数据时使用。
在另一个实施例中，使用确定的压缩性能和网络性能确定是否要压缩数据包括：将压缩性能与包括网络性能的公式相比较。压缩性能必须超过包括网络性能的公式的结果以表明要压缩数据，其中公式的量级与网络性能相关地增大。
在另一个实施例中，确定在压缩算法压缩要传送的数据时得到的压缩比(CR)。使用确定的CR以及确定的压缩性能和网络性能确定是否要压缩数据。
在另一个实施例中，使用确定的压缩性能、网络性能和CR确定是否要压缩数据包括：将压缩性能与包括网络性能和CR的公式相比较。压缩性能必须超过包括网络性能和CR的公式的结果以表明要压缩数据。
在另一个实施例中，公式的结果的量级与网络性能的量级正向相关而与压缩比的量级反向相关。
在另一个实施例中，公式包括2*NTR/(1-CR)。
在另一个实施例中，源节点保持表明到网络内不同节点的网络性能的第一数据结构、包括网络内节点对于不同压缩算法的压缩性能的第二数据结构、保持不同压缩算法的压缩比的第三数据结构和表明用于不同数据类型的压缩算法的第四数据结构。确定要传送的数据的数据类型。压缩算法包括对于确定的数据类型在第四数据结构内表明的压缩算法，网络性能包括在第一数据结构内表明的目标节点的网络性能，压缩性能包括在第二数据结构内表明的目标节点和压缩算法的压缩性能，压缩比包括对于压缩算法在第三数据结构内表明的压缩比。
在另一个实施例中，压缩性能包括以每秒字节表示的压缩吞吐率(throughput rate)，而网络性能包括以每秒字节表示的网络吞吐率。
附图说明
图1例示了网络计算环境的实施例。
图2例示了在网络计算环境的一个节点内的各个组件的实施例。
图3例示了为网络节点维护的网络性能信息的实施例。
图4例示了为网络节点维护的压缩性能信息的实施例。
图5例示了所保持的压缩算法的压缩比信息的实施例。
图6例示了数据类型信息的实施例。
图7例示了在网络节点收集和发布网络和压缩性能信息的操作的实施例。
图8例示了确定是否压缩要传送给网络节点的数据的操作的实施例。
具体实施方式
图1例示了一个网络计算环境，它包括通过网络4进行通信的多个节点2a、2b、2c...、2n。其中的一些节点，例如节点2a和2c，可提供对存储***6a、6b内的文件的访问。可提供对文件的访问的节点2a、2c可包括服务器、内容管理器等，它们接收来自诸如节点2b和2n之类的其他节点的对数据的请求。提供对存储6a、6b内的文件的访问的节点2a、2c可包括能够处理对数据的请求的服务器类机器。其他节点，例如节点2b和2n，可包括在本领域内已知的计算设备，如服务器、大型机、台式计算机、手持式计算机、便携式计算机、电话设备等。网络4可包括局域网(LAN)、存储区域网(SAN)、对等网、广域网(WAN)、无线网等。此外，还可以有多个网络，节点可通过这些网络进行通信。存储***6a、6b可在本领域内已知的存储设备中实现，如硬盘驱动器、配置成直接存取存储设备(DASD)、独立磁盘冗余阵列(RAID)、简单磁盘捆绑(JBOD)等的多个互连硬盘驱动器、磁带设备、光盘设备、非易失电子存储设备(例如快擦写盘)、磁带库等。节点所请求的包括在存储***6a、6b内的文件可包括多介质文件(例如，视频、音频等)、数据库文件、文本文件、结构化文档(例如，可扩展标记语言(XML)文档))等。
图2例示了提供对存储***6a、6b内的数据的访问的节点2(如节点2a、2c)内的各个组件。节点2包括处理器10、可包括一个或多个物理存储器或存储设备的存储器12、一个或多个使得能够通过网络4与节点通信的网络适配器14(所示出的只是一个)。存储器12包括确定是否在将数据传送给网络4上的另一个节点之前先对数据进行压缩的数据传送程序16。执行校准(calibration)程序18来确定节点2相对于执行对测试数据进行压缩和解压缩的压缩算法20的计算性能。压缩算法20可包括在本领域内已知的数据压缩算法，如GNU zip(gzip)、Tar、LZOP、SZIP、JAR、PPMD、PKZIP、LHARK之类。一旦校准程序18确定节点对于不同的可用压缩算法20的计算性能，即压缩性能，校准程序18就可将压缩性能信息广播给网络4内的其他节点。
在确定是否要压缩数据以传送给另一个节点时，数据传送程序16可能用到存储器12内的以下各表，包括提供有关相对于网络4内不同节点的网络性能(例如，以每秒兆字节(MBps)表示的网络吞吐率)的信息的网络性能表22；提供网络4内各节点的压缩和解压缩计算性能(例如，以MBps表示的压缩/解压缩吞吐率)的压缩性能表24；提供不同的可用压缩算法20所实现的不同压缩比的压缩比(CR)表26，其中压缩比包括经压缩的对象大小除以原始对象大小；以及指出压缩算法20用于不同数据类型的数据类型表28。
图3例示了网络性能表22中的网络性能条目50的例子，对于节点2可用于传送数据的到目标节点的每条路线有一个条目50，如用来与目标节点通信的节点中的每个网络适配器的一个条目。一个网络性能条目50包括目标节点标识符(ID)52和与所标识的目标节点52通信的网络性能，如可以以每秒兆字节(MBps)表示的网络吞吐量或传输率。在节点具有多个适配器的情况下，条目50还将指出提供网络吞吐量54的网络适配器。校准程序18可测量不同网络节点的网络性能。网络吞吐率可以受到源节点与目标节点之间的中继段(hop)数、网络拥塞等的影响。
图4例示了为网络4内每个压缩算法20节点和要传送数据的当前节点2维护的压缩性能条目70的例子。条目70包括：节点ID 72，其标识使用信息的节点或者说通过网络4可访问的、可将数据发送到的节点2a、2b...、2n；标识条目70信息适用的压缩算法的压缩算法74；由于应用压缩算法74而得到的压缩比(CR)76；在使用所标识的压缩算法74压缩数据时实现的压缩性能78；以及在使用所标识的压缩算法74解压缩数据时实现的解压缩性能80。CTR表26的条目70内的压缩78和解压缩80性能值可初始化为某个已知值，而后在从另一个节点的校准程序18接收到动态确定的性能数据时更新。压缩(解压缩)性能可包括以MBps表示的压缩数据的压缩(解压缩)吞吐率。
图5例示了标识压缩算法92和由于应用压缩算法92压缩数据而得到的压缩比(CR)94的CR条目90的例子，其中CR为经压缩的对象大小除以原始对象大小。CR表26为对数据传送程序16可用的每个压缩算法20具有一个条目90。
图6例示了数据类型表28内数据类型条目100的例子，它包括数据类型102和可用于所标识的数据类型102的压缩算法104。数据类型表28可为在存储***6a、6b内维护保持的、可由节点2a、2b...、2n返回给请求的每个数据类型维护一个条目。
图7例示了由一个节点2内的校准程序18执行的操作，其中节点2a、2b、2c...、2n各包括执行这些操作的校准程序18。在方框150，校准程序18在节点初始化(例如冷或热启动)期间或者在节点运行期间启动校准操作。校准程序18可周期性地或响应事件在方框150启动操作。在被调用时，校准程序18确定网络内的其他节点(方框152)。网络内其他节点的身份可能已在节点初始化期间作为发现程序的一部分被确定。在一些实施例中，校准程序可能不确定网络内每个可能的节点，而只是按照预先规定的准则确定可能节点的子集。对于每个确定的网络节点，校准程序18确定到该网络节点的网络性能(方框154)。校准程序18可通过将测试分组通过网络4传送到目标节点来确定到该节点的网络性能。用确定的网络节点的网络性能更新网络性能表22(方框156)。
对于每个可用的压缩算法20，校准程序18对测试数据进行压缩和解压缩(方框158)，以分别确定压缩算法20的压缩和解压缩性能。更新受测试的节点和压缩算法78的压缩性能条目70(方框160)，以分别在字段78和80内包括新确定的压缩和解压缩性能。校准程序18向网络节点广播测试的压缩算法20的所确定的压缩和解压缩性能(方框162)。提供对存储的访问的网络节点，例如节点6a、6c，可以是保存该数据的节点。这样，通过在运行期间动态地确定压缩算法的计算性能，性能数据基于节点的当前负荷和情况，因此更为精确。
图8例示了由数据传送程序16执行的确定是否要压缩传送给另一节点的数据的操作的实施例。一旦启动确定是否压缩要传送给目标节点2a、2b...、2n的数据的操作(方框200)，数据传送程序16确定要传送的数据的数据类型(方框202)和确定对于在字段102内指出的所确定的数据类型在数据类型条目100内指出的压缩算法104(图6)(方框204)。从压缩表条目90对在字段92内指出的确定的压缩算法确定压缩比94(图5)(方框206)。数据传送程序16还从网络性能表22确定对于在字段52内指出的目标节点的网络性能(图3)(方框208)，并从压缩性能表26确定对于在节点字段72中标识的源节点的压缩性能78以及在压缩性能条目70内标识的目标节点的压缩性能78或解压缩性能80(方框210)。
数据传送程序16还根据在压缩性能表24内确定的源和目标节点的压缩性能信息确定压缩性能值(方框212)。例如，压缩性能值可分别包括针对源和目标节点的确定的压缩性能的最小值、源和目标节点的压缩性能的平均值或源和目标节点的压缩和解压缩性能的平均值。数据传送程序16然后用确定的网络性能和压缩比确定公式的结果(方框214)。在一个实施例中，公式结果的量级(magnitude)可能是与网络性能的量级正向相关而与压缩比的量级反向相关。例如，在一个实施例中，公式可为2*NTR/(1-CR)，其中NTR为以MBps表示的网络吞吐率，而CR为压缩比。在另一个实施例中，公式可基于网络吞吐率，其中公式的结果分别随着网络吞吐率的提高或降低而增大和减小。
如果(在方框216)对于受压缩的数据确定的压缩性能大于公式的结果，数据传送程序16就用确定的压缩算法压缩要传送给目标节点的数据(方框218)，并将经压缩的数据传送给目标节点(方框220)。如果(在方框216)确定压缩性能值小于公式的结果，就将未经压缩的数据传送给目标节点(方框222)。
这样，随着网络性能降低，因为压缩性能要求阈值较低，将更可能使用压缩，也就是说，在网络环境恶化的情况下压缩更可能是最佳的。此外，随着压缩比增大，由于较高的压缩比带来的压缩效益增加，压缩性能要求降低。
额外的实施细节
所说明的操作可用标准编程和/或工程技术实现为方法、设备或产品，形成软件、固件、硬件或任何它们的组合。所说明的操作可实现为保存在“计算机可读介质”内的代码，处理器可从计算机可读介质读出该代码予以执行。计算机可读介质可包括诸如磁存储介质(例如，硬盘驱动器、软盘、磁带等)、光存储介质(CD-ROM、DVD、光盘等)、易失和非易失性存储器件(例如，EEPROM、ROM、PROM、RAM、DRAM、SRAM、快镲写存储器、固件、可编程序逻辑等)之类的介质。实现所说明的操作的代码还可用硬件逻辑(例如，集成电路片、可编程门阵列(PGA)、专用集成电路(ASIC)等)实现。此外，实现所说明的操作的代码可用“传输信号”的方式实现，传输信号可通过空间或通过诸如光纤、铜线之类的传输介质传播。其中代码或逻辑经编码的传输信号还可包括无线信号、卫星传输、无线电波、红外信号、蓝牙等。其中代码或逻辑经编码的传输信号能由发送站发送而被接收站接收，传输信号内经编码的代码或逻辑可解码后存储在接收站和发送站或设备的硬件或计算机可读介质内。“产品”包括可提供代码的计算机可读介质、硬件逻辑和/或传输信号。当然，本领域技术人员可看到，可在不背离本发明的范围的情况下对这种配置进行许多修改，而产品可包括在本领域内已知的适当的信息承载介质。
术语“实施例”、“一个或多个实施例”、意味着“本发明的一个或多个(但不是所有的)实施例”，除非另有明确规定。
所谓“包括”、“具有”意味着“包括但并不局限于”，除非另有明确规定。
对一些项的列举并不意味着任何或所有的项是互斥的，除非另有明确规定。
所谓“一个”和“该”意味着“一个或多个”，除非另有明确规定。
对实施例的说明中使用了一些相互通信的组件，但这并不意味着所有这样的组件都是必需的。相反，还可有各种按需要任选的组件，这说明本发明有很多种可能的实现方式。
此外，虽然过程步骤、方法步骤、算法之类是按顺序说明的，但这样的过程、方法和算法可配置成按可替代的其他次序执行。也就是说，所说明的任何顺序或次序并不表示要求步骤必须按这个次序执行。在这里所说明的过程的这些步骤可按任何实用的次序执行。此外，有些步骤也可同时执行。
在这里所叙述的是单个设备或产品时，显然可用多个设备/产品(无论它们是否相配合)来代替单个设备/产品。类似，如果在这里所叙述的是多个器件或产品(无论它们是否相配合)，显然可用单个器件/产品或不同数量的器件/产品来代替所说明的多个器件/产品。
一个器件的功能和/或特性也可用一个或多个没有明确地表示为具有这样的功能/特性的其他器件体现。因此，本发明的其他实现方式不需要包括器件本身。
图3、4、5和6示出了数据传送程序用以确定什么时候压缩数据的信息的结构。在这些图中所示的信息可以与所示的不同的格式和结构保持，也可提供不同的或附加的信息。
图7和8中例示的操作示出了按特定顺序发生的特定事件。在另一些实施例中，特定操作可按不同的次序执行，加以修改或者撤除。此外，一些步骤可添加到以上所说明的逻辑，而仍然适合所说明的实施例。此外，在这里所说明的操作可相继出现，或者某些操作可并行处理。还有，操作可用单个处理单元或者用分布式处理单元执行。
以上给出了对本发明的各个实施例的例示性和说明性的说明。这说明不是穷举性的，也不是要将本发明局限于所揭示的确切形式。根据以上所述，许多修改和变动都是可行的。应指出的是，本发明的专利保护范围不是由以上的详细说明而是由所附权利要求书限定。以上说明、实例和数据提供了对本发明的组成和使用的完整说明。由于在不背离本发明的精神实质和专利保护范围的情况下可用许多实现方式来实现本发明，因此本发明的专利保护范围由以下所附权利要求书给出。

Claims (25)

1.一种方法，包括：
确定用来压缩要通过网络传送给目标节点的数据的压缩算法的压缩性能；
确定网络的网络性能；
使用确定的压缩性能和网络性能确定是否要压缩数据；
响应于确定要压缩数据，压缩数据，
响应于压缩数据，通过网络将经压缩的数据传送到目标节点；以及
响应于确定不要压缩数据，将数据未经压缩地传送到目标节点。
2.权利要求1的方法，还包括：
在网络上将数据传送到目标节点，以确定网络性能；以及
为不同的压缩算法和节点保持压缩性能，其中确定的压缩性能基于在目标节点和压缩并传送数据到目标节点的源节点使用压缩算法时的压缩性能。
3.权利要求2的方法，其中目标节点的压缩性能包括解压缩性能，并且其中确定的压缩性能包括源节点的压缩性能和解压缩计算成本的平均值。
4.权利要求2的方法，其中确定的压缩性能包括在目标节点和源节点执行的压缩算法的压缩性能的最小值。
5.权利要求2的方法，其中不同压缩算法的压缩性能由节点在节点操作期间计算，以提供节点特有的压缩性能，所述方法还包括：
由源节点向网络内其他节点广播计算的不同压缩算法的压缩性能，以供所述其他节点在确定是否要压缩数据时使用。
6.权利要求1的方法，其中使用确定的压缩性能和网络性能确定是否要压缩数据包括：将压缩性能与包括网络性能的公式相比较，从而压缩性能必须超过包括网络性能的公式的结果以表明要压缩数据，其中公式的量级与网络性能相关地增大。
7.权利要求1的方法，所述方法还包括：
确定在压缩算法压缩要传送的数据时得到的压缩比(CR)；以及
使用确定的CR以及确定的压缩性能和网络性能确定是否要压缩数据。
8.权利要求7的方法，其中使用确定的压缩性能、网络性能和CR确定是否要压缩数据包括：将压缩性能与包括网络性能和CR的公式相比较，从而压缩性能必须超过包括网络性能和CR的公式的结果以表明要压缩数据。
9.权利要求8的方法，其中公式的结果的量级与网络性能的量级正向相关而与压缩比的量级反向相关。
10.权利要求9的方法，其中公式包括：
2*NTR/(1-CR)。
11.权利要求7的方法，所述方法还包括：
在源节点保持表明到网络内不同节点的网络性能的第一数据结构、包括网络内节点对于不同压缩算法的压缩性能的第二数据结构、保持不同压缩算法的压缩比的第三数据结构和表明用于不同数据类型的压缩算法的第四数据结构；以及
确定要传送的数据的数据类型，其中压缩算法包括对于确定的数据类型在第四数据结构内表明的压缩算法，其中网络性能包括在第一数据结构内表明的目标节点的网络性能，其中压缩性能包括在第二数据结构内表明的目标节点和压缩算法的压缩性能，并且其中压缩比包括对于压缩算法在第三数据结构内表明的压缩比。
12.权利要求1的方法，其中压缩性能包括以每秒字节表示的压缩吞吐率，并且其中网络性能包括以每秒字节表示的网络吞吐率。
13.一种通过网络与目标节点通信的***，包括：
处理器；以及
计算机可读介质，包括由处理器执行以导致下列操作的代码：
确定用来压缩要传送的数据的压缩算法的压缩性能；
确定网络的网络性能；
使用确定的压缩性能和网络性能确定是否要压缩数据；
响应于确定要压缩数据，压缩数据，
响应于压缩数据，通过网络将经压缩的数据传送到目标节点；
以及
响应于确定不要压缩数据，将数据未经压缩地传送到目标节点。
14.权利要求13的***，其中所述操作还包括：
在网络上将数据传送到目标节点，以确定网络性能；以及
为不同的压缩算法和节点保持压缩性能，其中确定的压缩性能基于在处理器和目标节点使用压缩算法时的压缩性能。
15.权利要求14的***，其中目标节点的压缩性能包括解压缩性能，其中确定的压缩性能包括处理器的压缩性能和解压缩计算成本的平均值。
16.权利要求14的***，其中确定的压缩性能包括在目标节点和处理器执行的压缩算法的压缩性能的最小值。
17.权利要求14的***，其中不同的压缩算法的压缩性能由处理器和目标节点在节点操作期间计算，以提供节点特有的压缩性能，其中操作还包括：
向网络内其他节点广播计算的不同压缩算法的压缩性能，以供所述其他节点在确定是否要压缩数据时使用。
18.权利要求13的***，其中使用确定的压缩性能和网络性能确定是否要压缩数据包括：将压缩性能与包括网络性能的公式相比较，从而压缩性能必须超过包括网络性能的公式的结果以表明要压缩数据，其中公式的量级与网络性能相关地增大。
19.权利要求13的***，其中所述操作还包括：
确定在压缩算法压缩要传送的数据时得到的压缩比(CR)；以及
使用确定的CR以及确定的压缩性能和网络性能确定是否要压缩数据。
20.权利要求19的***，其中使用确定的压缩性能、网络性能和CR确定是否要压缩数据包括：将压缩性能与包括网络性能和CR的公式相比较，从而压缩性能必须超过包括网络性能和CR的公式的结果以表明要压缩数据。
21.权利要求20的***，其中公式的结果的量级与网络性能的量级正向相关而与压缩比的量级反向相关。
22.权利要求21的***，其中公式包括：
2*NTR/(1-CR)。
23.权利要求19的***，其中操作还包括：
提供表明到网络内不同节点的网络性能的第一数据结构、包括网络内节点对于不同压缩算法的压缩性能的第二数据结构、保持不同压缩算法的压缩比的第三数据结构和表明用于不同数据类型的压缩算法的第四数据结构；以及
确定要传送的数据的数据类型，其中压缩算法包括对于确定的数据类型在第四数据结构内表明的压缩算法，其中网络性能包括在第一数据结构内表明的目标节点的网络性能，其中压缩性能包括在第二数据结构内表明的目标节点和压缩算法的压缩性能，并且其中压缩比包括对于压缩算法在第三数据结构内表明的压缩比。
24.权利要求13的***，其中压缩性能包括以每秒字节表示的压缩吞吐率，并且其中网络性能包括以每秒字节表示的网络吞吐率。
25.一种产品，所述产品包括在要通过网络向目标节点传送数据的源节点执行的代码，其中所述代码导致在源节点执行操作，所述操作包括如权利要求1-12中任一项所述的方法的步骤。
CN2006101439717A 2005-11-09 2006-11-08 确定是否要压缩通过网络传送的数据的方法和*** Expired - Fee Related CN1968254B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/270,007 US7877517B2 (en) 2005-11-09 2005-11-09 Determining whether to compress data transmitted over a network
US11/270,007 2005-11-09

Publications (2)

Publication Number Publication Date
CN1968254A true CN1968254A (zh) 2007-05-23
CN1968254B CN1968254B (zh) 2010-09-08

Family

ID=38003663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006101439717A Expired - Fee Related CN1968254B (zh) 2005-11-09 2006-11-08 确定是否要压缩通过网络传送的数据的方法和***

Country Status (3)

Country Link
US (2) US7877517B2 (zh)
KR (1) KR100968324B1 (zh)
CN (1) CN1968254B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101821696B (zh) * 2007-08-28 2013-02-20 Commvault***公司 如数据存储操作的自适应能耗管理的数据处理资源的能耗管理
CN105659560A (zh) * 2013-10-23 2016-06-08 谷歌公司 使用自适应数据压缩的安全通信
US9571579B2 (en) 2012-03-30 2017-02-14 Commvault Systems, Inc. Information management of data associated with multiple cloud services
CN107534615A (zh) * 2015-05-21 2018-01-02 英特尔公司 用于自适应数据压缩的装置和方法
US9959333B2 (en) 2012-03-30 2018-05-01 Commvault Systems, Inc. Unified access to personal data
US10248657B2 (en) 2009-06-30 2019-04-02 Commvault Systems, Inc. Data object store and server for a cloud storage environment, including data deduplication and data management across multiple cloud storage sites
US10891198B2 (en) 2018-07-30 2021-01-12 Commvault Systems, Inc. Storing data to cloud libraries in cloud native formats
US11074138B2 (en) 2017-03-29 2021-07-27 Commvault Systems, Inc. Multi-streaming backup operations for mailboxes
US11099944B2 (en) 2012-12-28 2021-08-24 Commvault Systems, Inc. Storing metadata at a cloud-based data recovery center for disaster recovery testing and recovery of backup data stored remotely from the cloud-based data recovery center
US11108858B2 (en) 2017-03-28 2021-08-31 Commvault Systems, Inc. Archiving mail servers via a simple mail transfer protocol (SMTP) server
US11221939B2 (en) 2017-03-31 2022-01-11 Commvault Systems, Inc. Managing data from internet of things devices in a vehicle
US11294786B2 (en) 2017-03-31 2022-04-05 Commvault Systems, Inc. Management of internet of things devices
US11314618B2 (en) 2017-03-31 2022-04-26 Commvault Systems, Inc. Management of internet of things devices
US11604706B2 (en) 2021-02-02 2023-03-14 Commvault Systems, Inc. Back up and restore related data on different cloud storage tiers

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2002577B1 (fr) * 2006-04-06 2013-03-13 Wavecom Procédé d'initialisation d'un module électronique de radiocommunication, procédé de compression et de décompression de paramètres de calibrage, produit programme d'ordinateur et moyen de stockage correspondants
US8156241B1 (en) * 2007-05-17 2012-04-10 Netapp, Inc. System and method for compressing data transferred over a network for storage purposes
KR100874674B1 (ko) 2007-05-30 2008-12-18 주식회사 서화정보통신 이동통신 시스템에서 실시간 데이터 압축 및 압축해제 시스템 및 방법
US8307177B2 (en) 2008-09-05 2012-11-06 Commvault Systems, Inc. Systems and methods for management of virtualization data
US20120102086A1 (en) * 2009-06-22 2012-04-26 Michitaro Miyata Processing node selection system, information processing node, processing execution method and program
US8254389B2 (en) * 2009-06-29 2012-08-28 Alcatel Lucent Apparatus and method for inter-office compression
US11449394B2 (en) 2010-06-04 2022-09-20 Commvault Systems, Inc. Failover systems and methods for performing backup operations, including heterogeneous indexing and load balancing of backup and indexing resources
KR20130030640A (ko) * 2011-09-19 2013-03-27 삼성전자주식회사 저장 매체에 데이터를 저장하는 방법 및 그것을 포함하는 데이터 저장 장치
US9461881B2 (en) 2011-09-30 2016-10-04 Commvault Systems, Inc. Migration of existing computing systems to cloud computing sites or virtual machines
US8984166B2 (en) 2012-04-05 2015-03-17 Cloudflare, Inc. Method and apparatus for reducing network resource transmission size using delta compression
US9659060B2 (en) * 2012-04-30 2017-05-23 International Business Machines Corporation Enhancing performance-cost ratio of a primary storage adaptive data reduction system
US9311121B2 (en) 2012-12-21 2016-04-12 Commvault Systems, Inc. Archiving virtual machines in a data storage system
US20140181044A1 (en) 2012-12-21 2014-06-26 Commvault Systems, Inc. Systems and methods to identify uncharacterized and unprotected virtual machines
US9378035B2 (en) 2012-12-28 2016-06-28 Commvault Systems, Inc. Systems and methods for repurposing virtual machines
US20140196038A1 (en) 2013-01-08 2014-07-10 Commvault Systems, Inc. Virtual machine management in a data storage system
US20140201151A1 (en) 2013-01-11 2014-07-17 Commvault Systems, Inc. Systems and methods to select files for restoration from block-level backup for virtual machines
US9286110B2 (en) 2013-01-14 2016-03-15 Commvault Systems, Inc. Seamless virtual machine recall in a data storage system
EP2809041A1 (en) * 2013-05-31 2014-12-03 Alcatel Lucent Method, apparatus and computer program for optimizing a communication characteristic of an application comprising multiple processing components
US9939981B2 (en) 2013-09-12 2018-04-10 Commvault Systems, Inc. File manager integration with virtualization in an information management system with an enhanced storage manager, including user control and storage management of virtual machines
US9563518B2 (en) 2014-04-02 2017-02-07 Commvault Systems, Inc. Information management by a media agent in the absence of communications with a storage manager
US9606769B2 (en) * 2014-04-05 2017-03-28 Qualcomm Incorporated System and method for adaptive compression mode selection for buffers in a portable computing device
US20160019317A1 (en) 2014-07-16 2016-01-21 Commvault Systems, Inc. Volume or virtual machine level backup and generating placeholders for virtual machine files
US20160037366A1 (en) * 2014-08-01 2016-02-04 Cox Communications, Inc. Detection and reporting of network impairments
US9417968B2 (en) 2014-09-22 2016-08-16 Commvault Systems, Inc. Efficiently restoring execution of a backed up virtual machine based on coordination with virtual-machine-file-relocation operations
US9436555B2 (en) 2014-09-22 2016-09-06 Commvault Systems, Inc. Efficient live-mount of a backed up virtual machine in a storage management system
US9710465B2 (en) 2014-09-22 2017-07-18 Commvault Systems, Inc. Efficiently restoring execution of a backed up virtual machine based on coordination with virtual-machine-file-relocation operations
US9836473B2 (en) * 2014-10-03 2017-12-05 International Business Machines Corporation Hardware acceleration for a compressed computation database
US10776209B2 (en) 2014-11-10 2020-09-15 Commvault Systems, Inc. Cross-platform virtual machine backup and replication
US9983936B2 (en) 2014-11-20 2018-05-29 Commvault Systems, Inc. Virtual machine change block tracking
US10148584B2 (en) * 2014-12-15 2018-12-04 Ca, Inc. Adaptive compression
TWI558740B (zh) 2015-12-07 2016-11-21 財團法人工業技術研究院 導熱樹脂及包含該導熱樹脂之熱界面材料
KR102592611B1 (ko) * 2016-02-18 2023-10-23 한국전자통신연구원 맵 리듀스 장치, 맵 리듀스 제어장치 및 그 방법
US10565067B2 (en) 2016-03-09 2020-02-18 Commvault Systems, Inc. Virtual server cloud file system for virtual machine backup from cloud operations
US10044826B2 (en) * 2016-08-10 2018-08-07 Cloudflare, Inc. Method and apparatus for reducing network resource transmission size using delta compression
US10747630B2 (en) 2016-09-30 2020-08-18 Commvault Systems, Inc. Heartbeat monitoring of virtual machines for initiating failover operations in a data storage management system, including operations by a master monitor node
US10152251B2 (en) 2016-10-25 2018-12-11 Commvault Systems, Inc. Targeted backup of virtual machine
US10162528B2 (en) 2016-10-25 2018-12-25 Commvault Systems, Inc. Targeted snapshot based on virtual machine location
US10678758B2 (en) 2016-11-21 2020-06-09 Commvault Systems, Inc. Cross-platform virtual machine data and memory backup and replication
US10949308B2 (en) 2017-03-15 2021-03-16 Commvault Systems, Inc. Application aware backup of virtual machines
US10877851B2 (en) 2017-03-24 2020-12-29 Commvault Systems, Inc. Virtual machine recovery point selection
US10387073B2 (en) 2017-03-29 2019-08-20 Commvault Systems, Inc. External dynamic virtual machine synchronization
US10972569B2 (en) 2017-04-24 2021-04-06 International Business Machines Corporation Apparatus, method, and computer program product for heterogenous compression of data streams
US10877928B2 (en) 2018-03-07 2020-12-29 Commvault Systems, Inc. Using utilities injected into cloud-based virtual machines for speeding up virtual machine backup operations
US11200124B2 (en) 2018-12-06 2021-12-14 Commvault Systems, Inc. Assigning backup resources based on failover of partnered data storage servers in a data storage management system
US10768971B2 (en) 2019-01-30 2020-09-08 Commvault Systems, Inc. Cross-hypervisor live mount of backed up virtual machine data
US10996974B2 (en) 2019-01-30 2021-05-04 Commvault Systems, Inc. Cross-hypervisor live mount of backed up virtual machine data, including management of cache storage for virtual machine data
US11366723B2 (en) 2019-04-30 2022-06-21 Commvault Systems, Inc. Data storage management system for holistic protection and migration of serverless applications across multi-cloud computing environments
DE102019206923B3 (de) * 2019-05-13 2020-08-13 Volkswagen Aktiengesellschaft Verfahren zum Ausführen einer Anwendung auf einer verteilten Systemarchitektur
US11461184B2 (en) 2019-06-17 2022-10-04 Commvault Systems, Inc. Data storage management system for protecting cloud-based data including on-demand protection, recovery, and migration of databases-as-a-service and/or serverless database management systems
US20210011816A1 (en) 2019-07-10 2021-01-14 Commvault Systems, Inc. Preparing containerized applications for backup using a backup services container in a container-orchestration pod
US11249987B2 (en) * 2019-08-14 2022-02-15 Advanced New Technologies Co., Ltd. Data storage in blockchain-type ledger
US11467753B2 (en) 2020-02-14 2022-10-11 Commvault Systems, Inc. On-demand restore of virtual machine data
US11321188B2 (en) 2020-03-02 2022-05-03 Commvault Systems, Inc. Platform-agnostic containerized application data protection
US11422900B2 (en) 2020-03-02 2022-08-23 Commvault Systems, Inc. Platform-agnostic containerized application data protection
US11442768B2 (en) 2020-03-12 2022-09-13 Commvault Systems, Inc. Cross-hypervisor live recovery of virtual machines
US11099956B1 (en) 2020-03-26 2021-08-24 Commvault Systems, Inc. Snapshot-based disaster recovery orchestration of virtual machine failover and failback operations
US11500669B2 (en) 2020-05-15 2022-11-15 Commvault Systems, Inc. Live recovery of virtual machines in a public cloud computing environment
US11314687B2 (en) 2020-09-24 2022-04-26 Commvault Systems, Inc. Container data mover for migrating data between distributed data storage systems integrated with application orchestrators
US11656951B2 (en) 2020-10-28 2023-05-23 Commvault Systems, Inc. Data loss vulnerability detection

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4905233A (en) * 1987-11-23 1990-02-27 Harris Corporation Multiple path routing mechanism for packet communications network
US5506844A (en) 1994-05-20 1996-04-09 Compression Labs, Inc. Method for configuring a statistical multiplexer to dynamically allocate communication channel bandwidth
US6339787B1 (en) * 1995-11-30 2002-01-15 Stampede Technologies, Inc. Apparatus and method for increasing speed in a network file/object oriented server/client system
KR100369514B1 (ko) 1996-04-24 2003-03-28 주식회사 엘지이아이 데이타압축장치
US5864678A (en) * 1996-05-08 1999-01-26 Apple Computer, Inc. System for detecting and reporting data flow imbalance between computers using grab rate outflow rate arrival rate and play rate
US6014694A (en) 1997-06-26 2000-01-11 Citrix Systems, Inc. System for adaptive video/audio transport over a network
US6216157B1 (en) * 1997-11-14 2001-04-10 Yahoo! Inc. Method and apparatus for a client-server system with heterogeneous clients
KR100601615B1 (ko) * 1999-08-20 2006-07-14 삼성전자주식회사 네트워크 대역폭에 적응적인 영상 압축 장치
AU7552200A (en) 1999-09-27 2001-04-30 Cti Squared Ltd. Method and device for unified messaging
US6804401B2 (en) 2000-05-12 2004-10-12 Xerox Corporation Method for compressing digital documents with control of image quality subject to multiple compression rate constraints
DE60042965D1 (de) 2000-05-24 2009-10-29 Sony Deutschland Gmbh Dienstqualitätsunterhandlung
JP3600567B2 (ja) 2001-09-21 2004-12-15 株式会社東芝 映像配信装置
EP1445734B1 (en) 2003-02-06 2007-08-08 STMicroelectronics S.r.l. Method and apparatus for texture compression
GB2415335B (en) * 2004-06-15 2007-09-26 Toshiba Res Europ Ltd Wireless terminal dynamically programmable proxies

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10379598B2 (en) 2007-08-28 2019-08-13 Commvault Systems, Inc. Power management of data processing resources, such as power adaptive management of data storage operations
CN103279181A (zh) * 2007-08-28 2013-09-04 Commvault***公司 如数据存储操作的自适应能耗管理的数据处理资源的能耗管理
CN103176881B (zh) * 2007-08-28 2016-08-10 Commvault***公司 如数据存储操作的自适应能耗管理的数据处理资源的能耗管理
CN103176881A (zh) * 2007-08-28 2013-06-26 Commvault***公司 如数据存储操作的自适应能耗管理的数据处理资源的能耗管理
CN101821696B (zh) * 2007-08-28 2013-02-20 Commvault***公司 如数据存储操作的自适应能耗管理的数据处理资源的能耗管理
US11308035B2 (en) 2009-06-30 2022-04-19 Commvault Systems, Inc. Data object store and server for a cloud storage environment, including data deduplication and data management across multiple cloud storage sites
US10248657B2 (en) 2009-06-30 2019-04-02 Commvault Systems, Inc. Data object store and server for a cloud storage environment, including data deduplication and data management across multiple cloud storage sites
US11907168B2 (en) 2009-06-30 2024-02-20 Commvault Systems, Inc. Data object store and server for a cloud storage environment, including data deduplication and data management across multiple cloud storage sites
US9571579B2 (en) 2012-03-30 2017-02-14 Commvault Systems, Inc. Information management of data associated with multiple cloud services
US10264074B2 (en) 2012-03-30 2019-04-16 Commvault Systems, Inc. Information management of data associated with multiple cloud services
US11956310B2 (en) 2012-03-30 2024-04-09 Commvault Systems, Inc. Information management of data associated with multiple cloud services
US10547684B2 (en) 2012-03-30 2020-01-28 Commvault Systems, Inc. Information management of data associated with multiple cloud services
US10999373B2 (en) 2012-03-30 2021-05-04 Commvault Systems, Inc. Information management of data associated with multiple cloud services
US10075527B2 (en) 2012-03-30 2018-09-11 Commvault Systems, Inc. Information management of data associated with multiple cloud services
US9959333B2 (en) 2012-03-30 2018-05-01 Commvault Systems, Inc. Unified access to personal data
US11099944B2 (en) 2012-12-28 2021-08-24 Commvault Systems, Inc. Storing metadata at a cloud-based data recovery center for disaster recovery testing and recovery of backup data stored remotely from the cloud-based data recovery center
CN105659560A (zh) * 2013-10-23 2016-06-08 谷歌公司 使用自适应数据压缩的安全通信
CN105659560B (zh) * 2013-10-23 2017-11-24 谷歌公司 使用自适应数据压缩的安全通信
CN107534615B (zh) * 2015-05-21 2022-04-12 英特尔公司 用于自适应数据压缩的装置和方法
CN107534615A (zh) * 2015-05-21 2018-01-02 英特尔公司 用于自适应数据压缩的装置和方法
US11108858B2 (en) 2017-03-28 2021-08-31 Commvault Systems, Inc. Archiving mail servers via a simple mail transfer protocol (SMTP) server
US11074138B2 (en) 2017-03-29 2021-07-27 Commvault Systems, Inc. Multi-streaming backup operations for mailboxes
US11221939B2 (en) 2017-03-31 2022-01-11 Commvault Systems, Inc. Managing data from internet of things devices in a vehicle
US11294786B2 (en) 2017-03-31 2022-04-05 Commvault Systems, Inc. Management of internet of things devices
US11314618B2 (en) 2017-03-31 2022-04-26 Commvault Systems, Inc. Management of internet of things devices
US11704223B2 (en) 2017-03-31 2023-07-18 Commvault Systems, Inc. Managing data from internet of things (IoT) devices in a vehicle
US10891198B2 (en) 2018-07-30 2021-01-12 Commvault Systems, Inc. Storing data to cloud libraries in cloud native formats
US11604706B2 (en) 2021-02-02 2023-03-14 Commvault Systems, Inc. Back up and restore related data on different cloud storage tiers

Also Published As

Publication number Publication date
KR100968324B1 (ko) 2010-07-08
US8001277B2 (en) 2011-08-16
US20070104118A1 (en) 2007-05-10
US20070104113A1 (en) 2007-05-10
KR20070049961A (ko) 2007-05-14
CN1968254B (zh) 2010-09-08
US7877517B2 (en) 2011-01-25

Similar Documents

Publication Publication Date Title
CN1968254A (zh) 确定是否要压缩通过网络传送的数据的方法和***
US7213075B2 (en) Application server and streaming server streaming multimedia file in a client specific format
US7872597B2 (en) Systems and methods of using application and protocol specific parsing for compression
US7453379B2 (en) Systems and methods for identifying long matches of data in a compression history
US8063799B2 (en) Systems and methods for sharing compression histories between multiple devices
EP2651091B1 (en) System and method for synchronizing compression histories
US8542695B1 (en) System and method for storing/caching, searching for, and accessing data
US7865585B2 (en) Systems and methods for providing dynamic ad hoc proxy-cache hierarchies
US20100254580A1 (en) Systems and methods for identifying long matches of data in a compression history
US9083708B2 (en) Asymmetric end host redundancy elimination for networks
CN1755676A (zh) 用于网络文档批处理索引的***和方法
US20070239881A1 (en) Multiplexing binary encoding to facilitate compression
EP2198522A2 (en) Optimized data stream compression using data-dependent chunking
US20040221059A1 (en) Shared socket connections for efficient data transmission
Cai et al. A comparison of alternative encoding mechanisms for web services
CA2703577A1 (en) Encoding a hierarchical multi-layer data package
CN1467656A (zh) 在即时通信工具中的信息推送方法和***
US20120257622A1 (en) Decoding a Hierarchical Multi-Layer Data Package
WO2011106007A1 (en) Updating computer files
Bedekar et al. Energy Conserving Techniques of Data Mining for Wireless Sensor Networks—A Review
US11758022B2 (en) Compression of machine-generated data
CN1519743A (zh) 利用广播机制均衡负载的文件预装***及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100908

Termination date: 20151108

EXPY Termination of patent right or utility model