CN102404564B - 利用相对和绝对增量值的数据压缩和解压缩 - Google Patents

利用相对和绝对增量值的数据压缩和解压缩 Download PDF

Info

Publication number
CN102404564B
CN102404564B CN201110264956.9A CN201110264956A CN102404564B CN 102404564 B CN102404564 B CN 102404564B CN 201110264956 A CN201110264956 A CN 201110264956A CN 102404564 B CN102404564 B CN 102404564B
Authority
CN
China
Prior art keywords
data
packet
items
increment size
warehouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110264956.9A
Other languages
English (en)
Other versions
CN102404564A (zh
Inventor
乔·多米尼克·迈克尔·塔帕利
埃万德·利兰
斯恩·特里斯拉姆·艾利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARM Ltd
Original Assignee
Advanced Risc Machines Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Risc Machines Ltd filed Critical Advanced Risc Machines Ltd
Publication of CN102404564A publication Critical patent/CN102404564A/zh
Application granted granted Critical
Publication of CN102404564B publication Critical patent/CN102404564B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

利用相对和绝对增量值的数据压缩和解压缩。数据压缩器包括:接收数据流的数据输入端;生成已压缩数据值的增量值计算器,其接收多个数据项目,访问数据仓库以确定数据项目的相关数据项目是否存储在数据仓库中,响应于存储了,从数据仓库获取相关数据项目并从接收的数据项目和相关数据项目计算并输出增量值,响应于未存储,从接收的数据项目和预定值计算并输出增量值;数据仓库;控制数据项目存储的数据仓库控制器,其访问数据仓库,确定是否对数据项目分配了存储位置,如果是,则在该位置存储数据项目;如果否,则分配存储位置,收回并丢弃存储在该存储位置的数据,在分配的存储位置中存储数据项目。还公开了用于解压缩已压缩数据的数据解压缩器。

Description

利用相对和绝对增量值的数据压缩和解压缩
技术领域
本发明涉及数据处理中的数据压缩和解压缩领域。
背景技术
随着现代处理器的处理功率的增加,它们可处理的数据量也增加。对这种增加的数据量在不同设备间的传输表现出了其自身的问题,并且,已利用各种不同的压缩机制来处理这些问题。这些压缩机制允许在发送之前将数据压缩成更加紧密的形式,然后,在需要数据的地方在接收时将其解压缩。
一种压缩数据的方法是增量(delta)压缩。已经发现,在代表如将要显示的图像的数据流中,一般而言,两个邻接数据项目之间的差异是相当小的,因此,仅发送第一数据项目然后发送代表与之前的值的差异的值而非发送每个数据项目是更加高效的。如果值是类似的,则很明显,通过这种方式可发送更少的数据。
但是,例如带有以任意次序来自屏幕的不同贴图(tile)的数据的图形数据正在流中发送时可出现问题。就其本性而言,如果计算增量的数据项目是类似的,增量压缩才高效。因此,在图形数据流中,应当在相关的数据项目(例如,在数据集中邻接的那些数据)之间计算增量。这些值可能不出现在彼此靠近的数据流汇总,因此,为了计算增量值,需要用以存储之前所接收的数据项目的数据仓库。存在可以任意次序访问的成千上万的数据集,可能未存储所需要的相关值,除非存储了非常大量的之前所接收的数据。
发明内容
从第一方面来看,本发明提供了一种用于接收包括多个数据项目并用于输出压缩数据流的数据压缩器,所述数据压缩器包括:用于接收所述数据流的数据输入端;用于生成压缩增量值的增量值计算器,所述增量值计算器被配置为从所述数据输入端接收所述多个数据项目,并被配置为针对接收的数据项目中的至少一些数据项目来访问数据仓库,以确定所述接收的数据项目的相关数据项目是否存储在所述数据仓库中,以及:响应于所述相关数据项目被存储了,从所述数据仓库获取所述相关数据项目,并且,从所述接收的数据项目和所述相关数据项目计算增量值并输出所述增量值;并且响应于所述相关数据项目未被存储在所述数据仓库中,从所述接收的数据项目和预定值计算增量值并输出所述增量值;所述数据仓库,用于存储在所述数据输入端接收的所述多个数据项目;所述数据压缩器还包括:数据仓库控制器,用于控制所述多个数项目在所述数据仓库中的存储,所述数据仓库控制器配置为响应于在所述数据输入端接收到数据项目而访问所述数据仓库,并确定是否给所述数据项目分配了存储位置,以及:如果是,则在所述分配的存储位置中存储所述数据项目;并且如果否,则给所述数据项目分配存储位置,收回并丢弃在所述分配的存储位置中存储的任何数据,并在所述分配的存储位置中存储所述数据项目。
本发明认识到利用某些数据流,可存在以任意次序接收的数据项目,使得在数据集或对象中,相邻值并不彼此相关。在数据项目之间形成增量值仅适用于压缩两个数据项目彼此类似的接收数据流,并且,一般出现为它们彼此相关,可能在数据集中邻接。但是,如果数据流包括以任意次序接收的数据项目,则在数据流中的相邻数据项目将是不相关的。为了能够在数据集中彼此相关的数据项目之间形成增量值,需要数据仓库,以存储之前所接收的值,使得当接收新值时,可从数据仓库获取相关值,并且,计算对应的增量值。但是,如果数据流包括以任意次序接收的许多数据项目,则数据仓库需要很大,以便确保存在所存储的相关值。
如果数据仓库是诸如缓存器之类的可很快访问的数据仓库,则从面积上讲是很昂贵的,并且,具有非常大的数据仓库不是有优势的。如果使用较小的数据仓库和更便宜的存储器,则***的延迟将取决于是否需要从存储器中获取相关数据项目,并且,这将意味着***的延迟不是恒定的,而是取决于所获取的实际数据项目,因此,不能存在输入数据的恒定吞吐量。
本发明通过允许从没有存储相关数据项目的预定值来计算“增量值”从而解决该问题。因此,当接收新数据项目时,确定是否存储了相关数据项目,并且,如果是,则从该相关值计算增量值。但是,如果不是,则仅关于预定的存储值来计算增量值。该值可以是零(在该情形中,实际数据项目是输出)或可以是对数据项目所计算的统计平均。这允许以相同的延迟来计算增量值,而不管是否存在已存储的相关值。因此,可存在数据的恒定吞吐量,仅在某些情况中(其中,没有存储相关数据项目),将不压缩数据,或者,将不很好地压缩该数据。
数据仓库是健忘型仓库,因此,当接收新的数据项目时,确定是否给其分配了存储位置。如果是,则将值存储在该位置中,如果不是,则收回另一存储位置、丢弃数据并将新值存储在那里。这样做是可能的,因为***能够处理未被存储的相关数据项目,因此,覆盖所存储的值将不生成错误,其可仅导致对未来值的压缩未被如此高效地执行。
应当注意,一般而言,增量值作为在所接收的数据项目和其相关值或预定值之间的差异而计算。该差异可以是简单的减法,或者,其可以是确定两个值之间的不同的其他方法。
在某些实施例中,在所述数据流中的所述多个数据项目中的每一个被分类为属于多个数据对象中的一个,所述数据对象中的每一个包括多个数据项目,所述数据项目存储在包括与之相关联的标识了所述数据对象的标识符的所述数据仓库中,其中,所述数据仓库控制器配置为在所述数据仓库中将所述存储位置分配给所述数据对象。
本发明的实施例特别适用于具有若干个数据对象的数据流。当存在多个数据对象时,在相同数据对象内的数据项目将彼此相关,而在其他数据对象中的那些数据项目将一般不彼此相关。因此,如果在数据流中的相邻数据项目来自不同数据对象,则在它们之间形成增量值将不压缩数据。因此,如果可将数据项目标识为属于数据对象并且数据仓库将存储位置分配给数据对象,则这是很方便的。因此,可从这些标识符来标识在数据仓库中的相关值,并且,计算对应的增量。如果数据流具有已很好定义的格式,则在数据流中的数据项目中的每一个将不必具有标识符比特,而是可从在数据流中的位置和可能从该数据对象的单个标识符比特而被标识为属于具体数据对象。
在某些实施例中,所述数据项目和所述相关数据项目属于相同的数据对象,使得所述数据控制器配置为响应于确定所述相关数据项目存储在所述数据仓库中并获取所述相关数据项目以用于计算所述增量值,将所述数据项目存储在分配给所述相同数据对象的所述存储位置中,并且,收回并丢弃所述相关数据项目。
在某些实施例中,将存储位置分配给数据对象,因此,当接收数据项目时,如果在数据仓库中的存储位置已被分配给该数据对象,则相关数据项目将被存储在数据仓库中,并且,可从该相关数据项目来计算增量,当这已完成时,所接收的数据项目可被存储在该已分配的存储位置中,并且,所存储的数据项目可被收回并丢弃。一旦相关值已拥有计算增量,则其不再被需要,因此,其被所相关的值所覆盖,其将与从相同数据对象所接收的下一数据项目相关。
在某些实施例中,所述数据对象的每一个包括多个数据部分,所述数据部分中的每一个包括在所述数据流中的多个相邻数据项目,所述数据仓库控制器配置为将数据部分存储在分配给所述对应数据对象的所述存储位置中的一个。
在某些实施例中,所述数据仓库控制器被配置为响应于接收到所述数据部分中的一个的第一数据项目,确定来自相同数据对象的数据部分是否存储在所述数据仓库的存储位置中,使得所述存储位置被分配给所述数据对象,以及:如果是,则利用所述增量值计算器从在所述所接收数据部分中的至少一个数据项目和在所述所存储的数据部分中的至少一个相关数据项目计算增量值,然后,从所述所分配的存储位置收回所述所存储的数据部分,并且,将所述所接收的数据部分存储在所述所分配的存储位置中;以及,如果不是,则从所述存储位置中的一个收回并丢弃数据,并且,将所述存储位置分配给所述数据对象,并且,将所述数据部分存储在所述所分配的存储位置中。
当接收到新的数据部分时,数据仓库控制器查看来自相同的数据对象的数据部分是否存储在数据参考中,如果是,则数据部分中的数据项目中的至少一个将被用来利用所接收的数据部分中对应的数据项目来形成增量,并且,所接收的数据部分将覆盖之前所存储的数据部分。
在某些实施例中,数据流包括具有相邻数据项目的数据部分,并且,数据仓库控制器将整个数据部分存储在分配给该具体数据对象的每个存储位置中。
在某些实施例中,针对所述数据项目中的至少一个,所述相关数据项目包括在相同数据部分中的数据项目。
从在不同数据部分但在相同数据对象中的相关数据项目计算增量。还可在数据部分内计算增量,使得在数据部分内的数据项目可以是相关的,并且,它们之间的增量值将是其压缩版。
在某些实施例中,针对所述数据项目中的至少一个,所述相关数据项目包括来自属于相同数据对象的之前所接收的数据部分中的对应位置的数据项目。
相关数据项目还可以是来自相同数据对象但是来自不同数据部分的对应数据项目。通过这种方式,可彼此链接数据部分,并且,可通过这些增量值来链接在数据部分中的不同数据项目。然后,可以合适地压缩数据,并且,可从所接收的值中将其解压缩。
在某些实施例中,属于相同的数据对象并通过所述标识符所标识的所述数据项目被指定到相同的目的地。
虽然数据对象可以是所提供的多个不同数据集,该数据集包括以某种方式彼此相关的数据,但是,在某些实施例中,其为被指定到具体的目的地的数据集。
在某些实施例中,所述至少一个数据流包括至少一个图形数据流,所述数据对象包括用于在图形显示器中绘制贴图的图形命令列表,所述数据部分包括所述图形命令中的一个,并且,所述数据项目包括在所述图像命令内的字段。
通过本发明的实施例,图形数据流特别适于压缩。图形显示从贴图形成,利用图形命令列表来绘制每个贴图。因此,用于绘制贴图的图形命令列表彼此相关,并且,可在相同贴图的列表之间和在命令内的字段之间形成增量值。但是,在不同贴图的列表之间形成增量值一般将不提供对数据的压缩。因此,这种图形数据流将具有很多彼此相关的数据项目和许多彼此不相关的数据项目,并且,将以任意次序来布置数据项目。本发明的实施例利用健忘型数据仓库,并且,允许利用绝对值来压缩,这允许在即便没有存储相关数据项目的情形中也具有对这种不同数据的恒定吞吐量。
虽然数据仓库可以是许多东西,但是,在某些实施例中,其包括数据缓存器。缓存器是存储数据的一种方便的方式,其可快速并简易地访问。在面积上而言它是昂贵的,因此,具有有限的大小,但是,利用健忘型缓存器并与允许不论是否存储了相关值都计算数据项目意味着可使用具有合理大小的缓存器,并且,压缩器将仍旧正确地工作。
如果缓存器是数据仓库,则数据仓库的每行具有用于标识数据对象的标识值,该行被分配以存储数据对象。
在某些实施示例中,所述数据对象包括用于在图形屏幕中绘制贴图的等级层的图形命令列表,其中,所述数据仓库控制器配置为响应于接收到所述数据部分中的一个的第一数据项目,确定来自相同的数据对象的数据部分是否存储在所述数据仓库的存储位置中,并且,响应于确定相同的数据对象并未存储在所述数据仓库的存储位置中,标识来自相同的贴图但是不同等级级别的数据对象,并且,利用所述增量值计算器从所述所接收数据部分中的至少一个数据项目和在所述所存储数据部分中的至少一个相关数据项目计算至少一个增量值,并且,与标识所述相关数据项目的源的指示一起输出所述增量值。
如果数据流包括用于等级图形显示的数据,则用于形成增量的相关值可来自相同贴图的不同等级层。这将导致压缩,但是,也将允许解压缩,因为,当接收增量值时,之前的层将总在解压缩器处被接收。
本发明的第二方面提供了一种数据格式化器,包括:输入端,用于接收数据压缩器输出的值;格式化电路,被配置为将所述输出值封装到固定大小的数据分组中,所述数据分组具有多个格式中的一个,所述格式中的每一个通过在所述数据分组内的标识符比特来标识;以及输出端,用于输出所述数据分组;其中,所述多个格式中的一个包括用于通过存储太大以至于难以在数据分组中存储的输出值的一部分而扩展所述数据分组的容量的扩展格式,所述格式化电路响应于接收所述太大以至于难以在所述数据分组中存储的所述输出值,以在所述数据分组和至少一个具有所述扩展格式的进一步分组之间分割所述输出值,并且,在所述输出端输出所述数据分组和所述至少一个扩展数据分组。
某些数据压缩器,特别是本发明的第一方面的数据压缩器,能够特别高效地压缩某些数据项目,而其他未被很好地压缩,并且,有时确实根本未压缩。当格式化该数据以进一步发送它时,很难高效地这样做,因为代表这些数据项目的数据的大小可能非常不同。如果使用具有不同长度的数据分组,需要编码以指示每个数据分组的开始和结束。可替换地,可使用恒定长度的数据分组,但是,这可导致由于所发送的任意数据的可变长度所带来的对数据的低效封装。当发送未高效压缩的数据时,足够大以容纳未压缩的数据的分组将具有许多空的空间。本发明通过提供恒定的数据分组长度以便无需使用比特来指示分组的长度、或开始和结束来解决该问题。这些数据分组具有多个格式中的一个,该格式通过标识符比特来标识。格式中的一个是扩展格式,使得如果数据分组的存储容量太小以至于无法存储输出值,则该值的一部分可被布置在一个或多个扩展格式分组中。通过这种方式,可使用具有适于存储一个或多个未压缩数据项目的大小的数据分组,则如果需要发送未被高效压缩的更大值,利用这些扩展数据分组,仍旧可发送它。
在某些实施例中,所述所接收值包括至少某些通过增量压缩器压缩的数据,以形成增量值,并且,所述多个格式包括:第一格式,该第一格式包括指示值,该指示值用于指示后续分组是否包括与预定值相关的增量值,或者,是否包括包含与之前所接收的数据项目相关的数据的增量值以及所述增量值中的至少一个的至少一部分;第二格式,该第二格式包括所述增量值中的至少一个的至少一部分;以及所述扩展格式用于将太大以至于难以存储的所述至少一个增量值的一部分存储在所述第二格式中。
本发明的第二方面的实施例特别适于格式化来自本发明的第一方面的压缩器的数据。因此,数据格式分组能够处理与其他数据项目相关的增量值以及通过减去预定值所得的增量值。通过这种方式,通过本发明的第一方面的压缩器所输出的已压缩数据可被存储在恒定长度的数据分组中,并且,可被标识为与另一数据项目相关的增量值或与预定值相关的增量值,并且,通过这种方式,已压缩数据可稍后被解压缩器所识别,并且,可被再现。
在某些实施例中,用于所述第一格式的所述指示值提供了对所述增量值是关于哪些之前所接收的数据项目计算的的指示。
在某些实施例中,所述格式中的每一个包括专用于存储所述指示值的指示比特和专用于存储至少一个数据字段的比特,所述所接收的值中的每一个包括所述至少一个数据字段中的一个的数据。
格式包括指示具体格式和随后的至少一个数据字段的指示符。每个数据字段用于存储增量值的至少一部分。
在某些实施例中,所述数据格式化器配置为在紧接其所扩展的所述数据分组之前输出具有所述扩展格式的数据分组。
一般在其所扩展的分组之前输出扩展格式分组。因此,可输出多个扩展分组,并且,当接收另一格式分组时,理解为这些扩展分组属于该分组,而无需任何额外的信息。因此,无需开始或结束指示符。
本发明的第三方面包括一种包括根据本发明的第一方面的数据压缩器的数据压缩***,该数据压缩器与根据本发明的第二方面的数据格式化器相耦合。
本发明的第四方面提供了一种数据解压缩器,包括:输入端,用于接收包括固定大小的多个数据分组的已压缩数据流,每个数据分组存储多个值,所述数据分组具有多个格式中的一个,所述多个格式中的每一个通过在所述数据分组内的标识符比特所标识,所述多个格式中的一个包括用于存储太大以至于难以在相关的数据分组中存储的至少一个输出值的一部分的扩展格式;数据解格式化器,用于从所述标识符比特识别所述数据分组的所述格式,并且用于将存储在所述扩展分组中的至少一个扩展分组中的数据和存储在所述相关数据分组中的数据相组合;数据解压缩器,用于解压缩所述数据。
本发明的第五方面提供了一种压缩数据的方法,包括如下步骤:在数据输入端接收包括多个数据项目的数据流;访问数据仓库,并确定与所接收的数据项目相关的数据项目是否存储在所述数据仓库中,以及:响应于存储了所述相关数据项目,从所述数据仓库获取所述相关数据项目,并且计算包括所述接收的数据项目和所述相关数据项目之间的差异的增量值,并输出所述增量值;响应于在所述数据仓库中未存储所述相关数据项目,计算包括所述接收的数据项目和预定值之间的差异的增量值,并输出所述增量值;访问所述数据仓库,以确定是否给所述接收的数据项目分配了存储位置,以及:如果否,则将在所述数据仓库中的存储位置分配给所述数据项目,并且收回并丢弃存储在所述存储位置的数据;将所述数据项目存储在所述分配的存储位置中。
本发明的第六方面提供了一种格式化已压缩数据的方法,包括:接收数据压缩器输出的值;将所述输出值封装到固定大小的数据分组中,所述数据分组具有多个格式中的一个,所述格式中的每一个通过在所述数据分组内的标识符比特来标识;以及输出所述数据分组;其中,所述多个格式中的一个包括用于通过存储太大以至于难以在数据分组中存储的输出值的一部分而扩展所述数据分组的容量的扩展格式,所述格式化电路响应于接收所述太大以至于难以在所述数据分组中存储的所述输出值,以在所述数据分组和至少一个具有所述扩展格式的进一步分组之间分割所述输出值,并且,在所述输出端输出所述数据分组和所述至少一个扩展数据分组。
本发明的第七方面提供了一种压缩和格式化已压缩数据的方法,包括本发明的第五方面的方法,其后是根据本发明的第六方面的方法。
本发明的第八方面提供了一种解压缩已压缩数据的方法,包括:接收包括固定大小的多个数据分组的已压缩数据流,每个数据分组存储多个值,所述数据分组具有多个格式中的一个,所述多个格式中的每一个通过在所述数据分组内的标识符比特所标识,所述多个格式中的一个包括用于存储太大以至于难以在相关的数据分组中存储的至少一个输出值的一部分的扩展格式;从所述标识符比特识别所述数据分组的所述格式;并且将存储在所述扩展分组中的至少一个扩展分组中的数据和存储在所述相关数据分组中的数据相组合;并且解压缩所述数据。
本发明的第九方面提供了一种计算机程序产品,当运行在数据处理器上时,可操作用于控制所述数据处理器执行根据本发明的第六、第七或第八方面的方法的步骤。
附图说明
将仅通过示例,参照附图和所说明的实施例来描述本发明,其中:
图1示出了根据本发明的实施例的数据压缩***;
图2示出了根据本发明的实施例的数据解压缩***;
图3示出了根据本发明的实施例的健忘型缓存器;
图4示出了通过本发明的实施例所压缩的图形命令;
图5和图6示出了根据本发明的实施例的已格式化压缩数据分组的示例;
图7示出了根据本发明的实施例的示出了压缩数据的方法的流程图;
图8示出了根据本发明的实施例的示出了在等级式图形化图像显示器中压缩图形数据的方法的流程图;
图9示出了根据本发明的实施例的格式化数据的方法;以及
图10示出了根据本发明的实施例的解压缩数据的方法。
具体实施方式
图1示出了根据本发明的实施例的数据压缩***10。在***10的输入端接收数据流5,然后,将其发送到健忘型(forgetful)缓存器20,该健忘型缓存器具有控制缓存器20内的存储的缓存控制器22。当接收到数据项目时,缓存控制器22检查在缓存器20中是否存储了与所接收的数据项目相关的值,并且,如果已存储,则该值将被输出到增量压缩器30。然后,缓存控制器22将查看是否给该具体数据项目分配了在缓存器20内的任意存储位置。如果已分配,则其将数据项目存储在所分配的位置中,并且,如果未分配,则其将给数据项目分配位置,并且,将把数据项目存储在那里,很可能在该过程中覆盖另一数据项目。可通过多种已知方式(例如,循环方式)来完成对用于覆盖的数据项目的选择。
以并行方式将数据项目发送到增量压缩器30和缓存器20。因此,如果已在缓存器20中存储了数据,则增量压缩器30接收数据项目和(很可能地)相关的数据项目。通过计算所接收的数据项目和其相关值之间的差异或者所接收的项目数据和存储在寄存器32中的预定值之间的差异(如果未存储相关数据),增量压缩器30压缩所接收的数据项目。寄存器32可存储任意值。其可存储0,在该情形中,关于该值所计算的增量值将实际上是未压缩的所接收数据项目,或者,更加通畅地,其将存储所接收的数据项目的统计平均值。因此,一般通过从所接收的数据项目值中减去平均值,输出将更小,由此占用更少比特。然后,将输出数据发送到数据格式化器40。
数据格式化器40具有格式化电路42,该格式化电路查看所接收的已压缩数据项目,并且,将其封装成恒定大小的数据分组。这些数据分组具有不同的格式。存在通用命令或分组,其对若干个大的但并不频繁变更的数据字段进行编码,并且,其具有指示比特,该指示比特可用于指示后续数据项目是处于绝对模式还是相对模式。该指示比特用于指示下一分组包括相对于存储在寄存器32中的预定值的增量值,或者,指示下一分组包括相对于相关数据项目的增量值。默认所有命令都与之前的命令相关,但是,在通用命令中的指示比特可用于使剩余的当前命令重新偏置(re-bias),以与预定恒定值相关。通过这种方式,格式化器可输出在恒定大小的数据分组中所接收的被不同压缩的数据项目。为了能够处理这些被不同压缩的值的不同大小,还存在原语(primitive)分组,该原语分组能够对整个数据项目集和这些原语的扩展进行编码,其允许存储额外的值,其中,未特别压缩该值,并且,需要额外的空间。通过这种方式,数据分组的大小不必足够大以包括最差情形中的未压缩数据项目,而是可以是将包括一般已压缩数据项目的大小,并且,扩展分组可用于发送一个或多个值的剩余部分。在图5中更详细地描述了这些不同的格式。
图2以示意性的形式示出了根据本发明的实施例的解压缩***50。从压缩***10接收恒定大小的数据分组45,并且,解格式化器60从分组内的标识符识别每个分组的格式,然后,组合扩展分组和它们所属于的分组,并且,重新形成已压缩的数据项目。然后,将这些放入解压缩器70中,该解压缩器执行用以生成原始输入压缩***10的数据流5所必须的计算。
虽然上述解压缩***可用于所有类型的数据流,但是,对于图形数据而言,它特别有用,其中,存在形成为用于绘制具体贴图的命令列表的数据贴图。因此,每个贴图具有用于绘制该具体贴图的命令列表,并且,每个命令作为带有标识符的多个相邻数据项目发送,该标识符标识与多个数据项目相关的贴图。
图3更详细地示出了图1的存储这种命令数据的健忘型缓存器20。缓存器的每一行存储图形命令。存在与在流中的每个命令相关联的数据对象/列表标识符,该标识符标识与该命令相关的贴图和命令列表,并且,这些标识符作为与数据项目相关联的标志存储在缓存器中。这些列表标识符用于确认之前的数据项目是否已在缓存器中。在该示例中,每个列表或贴图具有分配给它的行,其通过在标志(未示出)中的标识符所标识。因此,当接收来自该列表的新命令时,获取值以用于合适的增量计算,然后,将新近接收的值存储在分配给该具体列表的缓存器的该行中。
在这方面,等级级别可作为标志的一部分被明确存储,或者,可数学地将贴图位置和等级级别组合成单个标识符字段。保持等级级别分离使得执行在用于相同贴图但属于不同等级级别的列表之间的增量更加容易。
图4更加详细地示出了这种命令的性质,因此,可存在输入字段、提供应当先执行哪个命令的信息的时间戳,并且,存在在图中被标识为索引1、索引2和索引3的不同字段,并且,这些索引与不同的原语命令相关,原语命令可以是用于绘制具体原语的命令。还存在标识命令与哪个贴图相关的标识符。图4还示出了如何组合不同字段以形成增量。在该实施例中,在每个命令内的两个字段之间以及在来自相同贴图的命令的对应字段之间形成增量。这是一种压缩数据的有效方法,因为在命令的每个列表中,对应字段很可能参照类似的顶点索引(vertex indices),因此,在命令内的对应字段将是类似的。另外,一起绘制的原语可能具有类似的大小,并且,处于类似的屏幕坐标,因此,很可能最终在相同的列表中。还通常通过软件工具来优化原语数据集,因此,一起提交的用于绘制的原语很可能具有相对不经常变更的类似顶点索引和全局状态。
因此,在所示出的示例中,使用命令间压缩和命令内压缩。从获取自缓存器20的相关命令的索引3来计算用于索引3的增量,并且,关于索引3来计算用于索引2的增量,并且,从索引2来计算用于索引1的增量。在启动时,或者,如果没有存储相关值,将关于存储在图1的寄存器32中的预定值来计算用于索引3的增量。
图5示出了通过数据格式化器30输出的数据分组的某些格式的示例。数据分组具有标识它们是哪种格式的标识符。因此,在该具体示例中,存在扩展标识符、原语标识符和通用标识符,该分组用于建立某些不频繁变更的全局状态,并且,用于指示何时以下的分组是关于预定值的增量值。
图6示出了带有三个正被输出的数据项目(字段A、字段B和字段C)的示例已压缩数据流。字段C还未被很好压缩,而字段A和B已被适度压缩,但未被很好压缩。如果所有三个值都已被很好压缩,则它们将刚好放入单个原语分组80中。但是,因为并非这种情况,所以已使用扩展分组82来容纳这些字段的额外比特。这些扩展分组具有公共的扩展分组格式,因此,需要较少的标识符比特。首先接收扩展分组,然后在接收到原语时,将值组合在一起。
因此,该可变长度编码机制利用少量固定长度的已压缩分组来同时对多个数据字段的可变长度数据项目进行编码。具体地,在发明的实施例中,其使用四种类型的32比特分组来编码每原语最多198比特。不同的格式包括通用格式,该通用格式建立某些不频繁变更的全局状态,并且,允许在解压缩器中的增量值被可选地重置,以处理在压缩器中的缓存器的健忘性,即,其能够识别在紧随其后的分组中的增量是相对增量还是关于绝对值的增量。
还存在专用格式(未示出),该专用格式提供极少变更的广数据项目的高比特,并且,存在如果已压缩值足够小则能够在单个命令中编码整个原语的原语格式。
还存在原语扩展格式,该原语扩展格式用于扩展在原语格式中的所有数据字段的范围。
很少使用通用格式和专用格式,到那好似,它们确实允许对非常广的数据项目的高效设置,并且,还允许在中间流中任意重置增量压缩。
原语格式和原语扩展格式提供了对数据流的最频繁变更部分的高效编码的新颖方式。分配给在格式中的每个字段的比特数量是固定的,但并不必是可用比特的等同分割。通过对多个测试数据集的统计分析来确定比特的精确比例。
在压缩期间,计算增量值,并且,确定对每个字段编码所需要的最小比特数。如果任意字段无法在单个原语格式中表达,则将每个字段尽可能多的比特布置到随后被输出的扩展格式中。在增量值中的剩余比特被右移所输出的比特数,然后,重复该处理,直到所有剩余比特将刚好放入随后被输出的原语命令格式中为止。
通过该处理,所有增量字段的可变长度增量值被分割成优先于单个原语格式的零个或多个这种扩展格式。通过首先输出最重要的比特,我们无需对用于这些扩展格式的序列终结标记进行编码,或指定组成第四命令的扩展格式的数量。这节约了存储带宽,因此,节约了功率,并且,允许在压缩器和解压缩器二者中有非常简单的硬件。
应当注意,未在已压缩的命令中输出立标标识符,而是格式化器将命令列表分割成不同的存储地址区域,其避免了需要去压缩列表标识符。
图7示出了流程图,该流程图示出了根据本发明的实施例的压缩数据的方法。在数据压缩器处接收数据流,并且,依次考虑包括若干个数据项目的每个数据部分。计算在数据部分内的不同数据项目之间的增量值,并且,确定来自相同数据对象的数据部件是否存储在数据仓库中。如果是,则计算所存储的数据项目中的至少一个和在所接收的数据部分中的对应的数据项目之间的增量值。然后,将所接收的数据部分存储在数据仓库中用于相同数据对象的数据部分当前所存储的位置处。该存储位置已被分配该数据对象,因此,其被正确地分配给该数据部分。另外,如果该数据对象的数据项目需要计算来自相同数据对象的数据部分的增量值,则该新近存储的部分将包括所需要的数据项目。
如果来自相同数据对象的数据部分未存储在数据仓库中,则计算在数据部分中的数据项目中的至少一个和所存储的常量之间的增量值。该步骤允许数据仓库不必存储所有之前所接收的数据项目。用所存储的常量来计算增量值一般而言将不提供对值的高效压缩,但是,其确实意味着总可计算增量值,而无需存储每个所接收的数据项目。然后,所接收的数据部分被存储在数据仓库中的存储位置中。由于不存在分配给该具体数据对象的存储位置,其覆盖已存储在数据仓库中的数据部分中的一个,然后,将该存储位置分配给该新的数据对象。当选择覆盖哪个数据部分时,缓存控制器利用若干个已知例程中的一个,诸如,确定哪个是存储在数据仓库中的最老的数据部分。
应当注意,虽然在流程图中示出步骤以该具体次序执行,但是,它们可以以不同的次序执行,使得在数据部分之间的增量值或关于常量的增量值之后计算数据部分中的增量值。
图8示出了流程图,该流程图示出了用于等级式图形显示的压缩数据的方法。在数据流中接收用于绘制贴图部分的以图形命令形式存在的数据部分。计算在所接收的数据项目中的至少两个之间的增量值,并且,确定是否在数据仓库中存储了来自相同数据对象和相同数据等级的数据部分。换言之,是否存在来自相同的命令列表和图形贴图的相同等级的另一命令。如果存在,则计算在所存储的数据项目和在所接收的数据部分中的对应数据项目之间的增量值。如果不存在来自相同等级和所存储的贴图的数据部分,则确定是否存在来自相同的贴图但来自不同的等级级别的数据部分。如果存在,则从该所存储的部分计算增量值。已发现,计算在来自相同的贴图但来自不同的等级级别的对应数据项目之间的增量值一般而言确实提供好的压缩,并且,找到可与之形成增量的之前值的机率增加了。但是,需要与已压缩值一起输出某些指示,其指示其与另一等级级别相关。如果在数据仓库中根本不存在用于该贴图的所存储的命令,则计算在所接收的数据项目和所存储的常量之间的增量值,并且,将所接收的命令存储在数据仓库中的存储位置中,该存储位置通过某些已知方法被选择。在来自相同数据等级级别的贴图的命令出现在数据仓库中的情形中,该命令被新近接收的命令所覆盖。在来自不同数据等级级别的贴图的命令出现在数据仓库中的情形中,如果存在空间或存在当已计算增量时许多新近未被分配的行,一行被分配给该命令。
与图7一样,在合适时,可以不同的次序执行方法的步骤。
图9示出了流程图,该流程图示出了根据本发明的实施例的将已压缩数据格式化成数据分组的方法。接收已压缩数据,并且,确定一个或多个值是否是关于另一数据项目的增量值。如果不是,则使用通用分组来向***指示该增量值是关于常量而形成的,并且,包括所接收的已压缩值,该值和指示被封装在该通用分组中,并且,如果在通用分组中不存在足够的空间,则还将其封装到通用扩展分组中。然后,将与其相关的其他增量值封装成原语,并且,必要时,封装成原语的扩展分组。这些增量值可以是与其他数据值相关的增量值,或者,它们中的某些是关于常量的绝对值,在后一种情形中,在通用分组中的指示符将指示之。然后,分组作为通用分组、通用分组的扩展(如果需要扩展)、对原语分组的一个或多个扩展(如果需要扩展)以及指示与之相关的命令包的结束的原语分组输出。
如果值是关于另一数据值所形成的增量值,则确定这些值是否将刚好放入原语数据分组中。如果可以,则将其封装到该原语数据分组中,并且,将其输出。如果不可以,将其封装到至少一个原语数据分组扩展、原语数据分组和一个或多个扩展分组中,然后,将原语数据分组输出。原语分组的输出指示命令包的数据的结束。然后,考虑所接收的进一步的值。
因此,通用分组提供了增量值关于常量而形成的指示,并且,在没有这种分组的情形中,假定所有增量值是关于另一数据值的增量值。
图10示出了流程图,该流程图示出了根据本发明的实施例的解压缩数据的方法。首先,接收包括固定大小的多个数据分组的已压缩数据流。分析每个分组,并且,从在分组中的格式标识符来识别分组的格式,然后,准确确定哪些数据项目存储在数据分组中。数据项目的不同部分可存储在多个分组中,并且,组合这些以形成已压缩的数据项目。然后,确定它们与之相关的其他增量值或绝对值,然后,将其解压缩以生成原书数据项目。
在所附权利要求中定义了本发明的各种进一步的方面和特征。可对此处所描述之前的实施例进行各种修改,只要不偏离本发明的范围即可。
虽然此处已参照附图描述了发明的说明性实施例,但是,应当理解,发明并不限于那些准确的实施例,并且,对本领域技术人员而言,可实施各种变更和修改,只要不偏离由所附权利要求所定义的发明的范围和精神即可。

Claims (22)

1.一种用于接收包括多个数据项目并用于输出压缩数据流的数据压缩器,所述数据压缩器包括:
用于接收所述数据流的数据输入端;
用于生成压缩增量值的增量值计算器,所述增量值计算器被配置为从所述数据输入端接收所述多个数据项目,并被配置为针对接收的数据项目中的至少一些数据项目来访问数据仓库,以确定所述接收的数据项目的相关数据项目是否存储在所述数据仓库中,以及:
响应于所述相关数据项目被存储了,从所述数据仓库获取所述相关数据项目,并且,从所述接收的数据项目和所述相关数据项目计算增量值并输出所述增量值;并且
响应于所述相关数据项目未被存储在所述数据仓库中,从所述接收的数据项目和预定值计算增量值并输出所述增量值;
所述数据仓库,用于存储在所述数据输入端接收的所述多个数据项目;
所述数据压缩器还包括:
数据仓库控制器,用于控制所述多个数项目在所述数据仓库中的存储,所述数据仓库控制器配置为响应于在所述数据输入端接收到数据项目而访问所述数据仓库,并确定是否给所述数据项目分配了存储位置,以及:
如果是,则在所述分配的存储位置中存储所述数据项目;并且
如果否,则给所述数据项目分配存储位置,收回并丢弃在所述分配的存储位置中存储的任何数据,并在所述分配的存储位置中存储所述数据项目;其中:
所述数据流中的所述多个数据项目每个被分类为属于多个数据对象中的一个数据对象,所述数据对象每个包括多个数据项目,所述数据项目存储在包括与之相关联的标识了所述数据对象的标识符的所述数据仓库中;
所述数据仓库控制器配置为将所述数据仓库中的所述存储位置分配给所述数据对象;并且
所述数据项目和所述相关数据项目属于相同数据对象,使得响应于确定出所述相关数据项目存储在所述数据仓库中并获取所述相关数据项目用于计算所述增量值,所述数据仓库控制器配置为将所述数据项目存储在分配给所述相同数据对象的所述存储位置中,并且收回并丢弃所述相关数据项目。
2.根据权利要求1所述的数据压缩器,其中,所述数据对象中的每一个包括多个数据部分,每个所述数据部分包括在所述数据流中的多个相邻数据项目,所述数据仓库控制器配置为将一个数据部分存储在分配给所述对应数据对象的所述存储位置中的一个存储位置中。
3.根据权利要求2所述的数据压缩器,其中,针对所述数据项目中的至少一个,所述相关数据项目包括在相同数据部分内的数据项目。
4.根据权利要求2所述的数据压缩器,其中,针对所述数据项目中的至少一个,所述相关数据项目包括来自属于相同数据对象的之前所接收的数据部分中的对应位置的数据项目。
5.根据权利要求4所述的数据压缩器,其中,所述数据仓库控制器配置为响应于接收到所述数据部分中的一个数据部分的第一数据项目,确定来自相同数据对象的数据部分是否存储在所述数据仓库的存储位置中使得所述存储位置被分配给所述数据对象,并且:
如果是,则利用所述增量值计算器从所述接收的数据部分中的至少一个数据项目和所述存储的数据部分中的至少一个相关数据项目计算增量值,然后从所述分配的存储位置收回所述存储的数据部分,并且将所述接收的数据部分存储在所述分配的存储位置中;并且
如果否,则从所述存储位置中的一个存储位置收回并丢弃数据,将所述存储位置分配给所述数据对象,并将所述数据部分存储在所述分配的存储位置中。
6.根据权利要求1所述的数据压缩器,其中,属于相同数据对象并由所述标识符标识的所述数据项目被指定到相同目的地。
7.根据权利要求1所述的数据压缩器,其中,所述至少一个数据流包括至少一个图形数据流,所述数据对象包括用于在图形显示器中绘制贴图的图形命令列表,所述数据部分包括所述图形命令中的一个,并且,所述数据项目包括在所述图形命令内的字段。
8.根据权利要求1所述的数据压缩器,其中,所述数据仓库包括数据缓存器。
9.根据权利要求8所述的数据压缩器,其中,所述数据缓存器的每行包括用于存储标识值的仓库,该标识值用于标识所述行被分配用以存储的所述数据对象。
10.根据权利要求9所述的数据压缩器,其中,所述数据对象中的每个包括多个数据部分,每个所述数据部分包括在所述数据流中的多个相邻数据项目,所述数据仓库控制器被配置为在分配给所述对应数据对象的所述存储位置中的一个存储位置中存储数据部分;并且
针对所述数据项目中的至少一个,所述相关数据项目包括来自属于相同数据对象的之前接收的数据部分中的对应位置的数据项目;并且
所述数据对象包括用于在图形屏幕中绘制贴图的等级层的图形命令列表,其中,所述数据仓库控制器被配置为响应于接收到所述数据部分中的一个数据部分的第一数据项目,确定来自相同数据对象的数据部分是否存储在所述数据仓库的存储位置中,并且,响应于确定出相同数据对象并未存储在所述数据仓库的存储位置中,识别来自相同贴图但是不同等级级别的数据对象,并且,利用所述增量值计算器所述接收的数据部分中的至少一个数据项目和所述存储的数据部分中的至少一个相关数据项目计算至少一个增量值,并且,与识别所述相关数据项目的源的指示一起输出所述增量值。
11.—种数据格式化器,包括:
输入端,用于接收数据压缩器输出的值;
格式化电路,被配置为将所述输出值封装到固定大小的数据分组中,所述数据分组具有多个格式中的一个,所述格式中的每一个通过在所述数据分组内的标识符比特来标识;以及
输出端,用于输出所述数据分组;其中,
所述多个格式中的一个包括用于通过存储太大以至于难以在数据分组中存储的输出值的一部分而扩展所述数据分组的容量的扩展格式,所述格式化电路响应于接收所述太大以至于难以在所述数据分组中存储的所述输出值,以在所述数据分组和至少一个具有所述扩展格式的进一步分组之间分割所述输出值,并且,在所述输出端输出所述数据分组和所述至少一个扩展数据分组,其中,所述数据格式化器被配置为在紧接其所扩展的所述数据分组之前输出具有所述扩展格式的数据分组。
12.根据权利要求11所述的数据格式化器,其中,所述接收的值包括至少一些通过增量压缩器压缩以形成增量值的数据,并且,所述多个格式包括:
第一格式,该第一格式包括指示值,所述指示值用于指示后续分组是否包括与预定值相关的增量值或者包括包含与之前接收的数据项目相关的数据的增量值,以及所述增量值中的至少一个增量值的至少一部分;
第二格式,该第二格式包括所述增量值中的至少一个增量值的至少一部分;并且
所述扩展格式用于将太大以至于难以存储的所述至少一个增量值的一部分存储在所述第二格式中。
13.根据权利要求12所述的数据格式化器,其中,用于所述第一格式的所述指示值提供了对所述增量值是关于之前接收的哪个数据项目而计算的指示。
14.根据权利要求12所述的数据格式化器,其中,所述格式中的每一个格式包括专用于存储所述指示值的指示比特和专用于存储至少一个数据字段的比特,所述接收的值中的每一个包括所述至少一个数据字段中的一个的数据。
15.—种包括根据权利要求1所述的数据压缩器的数据压缩***,该数据压缩器与数据格式化器相耦合,所述数据格式化器包括:
输入端,用于接收数据压缩器输出的值;
格式化电路,被配置为将所述输出值封装到固定大小的数据分组中,所述数据分组具有多个格式中的一个,所述格式中的每一个通过在所述数据分组内的标识符比特来标识;以及
输出端,用于输出所述数据分组;其中,
所述多个格式中的一个包括用于通过存储太大以至于难以在数据分组中存储的输出值的一部分而扩展所述数据分组的容量的扩展格式,所述格式化电路响应于接收所述太大以至于难以在所述数据分组中存储的所述输出值,以在所述数据分组和至少一个具有所述扩展格式的进一步分组之间分割所述输出值,并且,在所述输出端输出所述数据分组和所述至少一个扩展数据分组;其中,
所述接收的值包括至少一些通过增量压缩器压缩以形成增量值的数据,并且,所述多个格式包括:
第一格式,该第一格式包括指示值,所述指示值用于指示后续分组是否包括与预定值相关的增量值或者包括包含与之前接收的数据项目相关的数据的增量值,以及所述增量值中的至少一个增量值的至少一部分;
第二格式,该第二格式包括所述增量值中的至少一个增量值的至少一部分;并且
所述扩展格式用于将太大以至于难以存储的所述至少一个增量值的一部分存储在所述第二格式中。
16.一种数据解压缩器,包括:
输入端,用于接收包括固定大小的多个数据分组的已压缩数据流,每个数据分组存储多个值,所述数据分组具有多个格式中的一个,所述多个格式中的每一个通过在所述数据分组内的标识符比特所标识,所述多个格式中的一个包括用于存储太大以至于难以在相关的数据分组中存储的至少一个输出值的一部分的扩展格式,其中,具有所述扩展格式的数据分组在紧接其所扩展的所述相关的数据分组之前;
数据解格式化器,用于从所述标识符比特识别所述数据分组的所述格式,并且用于将存储在所述扩展分组中的至少一个扩展分组中的数据和存储在所述相关数据分组中的数据相组合;
数据解压缩器,用于解压缩所述数据。
17.根据权利要求16所述的数据解压缩器,其中,至少一些所述数据分组包括通过增量压缩器压缩以形成增量值的数据,并且,所述多个格式包括:
第一格式,该第一格式包括指示值,所述指示值用于指示后续分组是否包括与预定值相关的增量值或者包括包含与之前接收的数据项目相关的数据的增量值,以及所述增量值中的至少一个增量值的至少一部分;
第二格式,该第二格式包括所述增量值中的至少一个增量值的至少一部分;并且
所述扩展格式用于将太大以至于难以存储的所述增量值的一部分存储在所述第二格式中;其中,
所述格式中的每一个格式包括专用于存储所述指示值的比特和专用于存储至少一个数据字段的比特;
所述数据解格式化器被配置为从所述第一格式、所述第二格式和所述扩展格式的分组提取增量值,并且
所述数据解压缩器被配置为从所述所提取的增量值和所述预定值来形成原始数据项目。
18.—种压缩数据的方法,包括如下步骤:
在数据输入端接收包括多个数据项目的数据流;
访问数据仓库,并确定与所接收的数据项目相关的数据项目是否存储在所述数据仓库中,以及:
响应于存储了所述相关数据项目,从所述数据仓库获取所述相关数据项目,并且计算包括所述接收的数据项目和所述相关数据项目之间的差异的增量值,并输出所述增量值;
响应于在所述数据仓库中未存储所述相关数据项目,计算包括所述接收的数据项目和预定值之间的差异的增量值,并输出所述增量值;
访问所述数据仓库,以确定是否给所述接收的数据项目分配了存储位置,以及:
如果否,则将在所述数据仓库中的存储位置分配给所述数据项目,并且收回并丢弃存储在所述存储位置的数据;
将所述数据项目存储在所述分配的存储位置中;其中:
所述数据流中的所述多个数据项目每个被分类为属于多个数据对象中的一个数据对象,所述数据对象每个包括多个数据项目,所述数据项目存储在包括与之相关联的标识了所述数据对象的标识符的所述数据仓库中;
所述数据仓库中的所述存储位置被分配给所述数据对象;并且
所述数据项目和所述相关数据项目属于相同数据对象,使得响应于确定出所述相关数据项目存储在所述数据仓库中并获取所述相关数据项目用于计算所述增量值,将所述数据项目存储在所述分配的存储位置中包括将所述数据项目存储在分配给所述相同数据对象的所述存储位置中,并且收回并丢弃所述相关数据项目。
19.根据权利要求18所述的压缩数据的方法,其中,在所述数据流中的所述多个数据项目中的每个被分类为属于多个数据对象中的一个数据对象,所述数据对象中的每个包括多个数据项目,所述数据仓库中的每个存储位置被分配给所述数据对象中的一个并且包括标识所述数据对象的标识符,使得响应于所述相关数据项目被存储在所述数据仓库中,所述数据项目被存储在被分配给所述相关数据项目的所述存储位置中,并且所述相关数据项目被收回并丢弃。
20.—种格式化已压缩数据的方法,包括:
接收数据压缩器输出的值;
将所述输出值封装到固定大小的数据分组中,所述数据分组具有多个格式中的一个,所述格式中的每一个通过在所述数据分组内的标识符比特来标识;以及
输出所述数据分组;其中,
所述多个格式中的一个包括用于通过存储太大以至于难以在数据分组中存储的输出值的一部分而扩展所述数据分组的容量的扩展格式,格式化电路响应于接收所述太大以至于难以在所述数据分组中存储的所述输出值,以在所述数据分组和至少一个具有所述扩展格式的进一步分组之间分割所述输出值,并且,在输出端输出所述数据分组和所述至少一个扩展数据分组,其中,在紧接其所扩展的所述数据分组之前输出具有所述扩展格式的数据分组。
21.一种压缩和格式化已压缩数据的方法,包括根据权利要求19所述的方法,其后是一种格式化已压缩数据的方法,所述格式化已压缩数据的方法包括:
接收数据压缩器输出的值;
将所述输出值封装到固定大小的数据分组中,所述数据分组具有多个格式中的一个,所述格式中的每一个通过在所述数据分组内的标识符比特来标识;以及
输出所述数据分组;其中,
所述多个格式中的一个包括用于通过存储太大以至于难以在数据分组中存储的输出值的一部分而扩展所述数据分组的容量的扩展格式,格式化电路响应于接收所述太大以至于难以在所述数据分组中存储的所述输出值,以在所述数据分组和至少一个具有所述扩展格式的进一步分组之间分割所述输出值,并且,在输出端输出所述数据分组和所述至少一个扩展数据分组。
22.—种解压缩已压缩数据的方法,包括:
接收包括固定大小的多个数据分组的已压缩数据流,每个数据分组存储多个值,所述数据分组具有多个格式中的一个,所述多个格式中的每一个通过在所述数据分组内的标识符比特所标识,所述多个格式中的一个包括用于存储太大以至于难以在相关的数据分组中存储的至少一个输出值的一部分的扩展格式,其中,具有所述扩展格式的数据分组在紧接其所扩展的所述数据分组之前;
从所述标识符比特识别所述数据分组的所述格式;并且
将存储在所述扩展分组中的至少一个扩展分组中的数据和存储在所述相关数据分组中的数据相组合;并且
解压缩所述数据。
CN201110264956.9A 2010-09-03 2011-09-05 利用相对和绝对增量值的数据压缩和解压缩 Active CN102404564B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB1014625.6A GB2483282B (en) 2010-09-03 2010-09-03 Data compression and decompression using relative and absolute delta values
GB1014625.6 2010-09-03

Publications (2)

Publication Number Publication Date
CN102404564A CN102404564A (zh) 2012-04-04
CN102404564B true CN102404564B (zh) 2016-08-17

Family

ID=43013600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110264956.9A Active CN102404564B (zh) 2010-09-03 2011-09-05 利用相对和绝对增量值的数据压缩和解压缩

Country Status (4)

Country Link
US (1) US8548962B2 (zh)
JP (1) JP5781867B2 (zh)
CN (1) CN102404564B (zh)
GB (1) GB2483282B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8032714B2 (en) * 2007-09-28 2011-10-04 Aggregate Knowledge Inc. Methods and systems for caching data using behavioral event correlations
US20120185612A1 (en) * 2011-01-19 2012-07-19 Exar Corporation Apparatus and method of delta compression
US11336295B2 (en) * 2011-09-13 2022-05-17 Exagrid Systems, Inc. Systems and methods for version chain clustering
US9146870B2 (en) 2013-07-24 2015-09-29 Arm Limited Performance of accesses from multiple processors to a same memory location
US10063422B1 (en) * 2015-12-29 2018-08-28 Amazon Technologies, Inc. Controlled bandwidth expansion in compressed disaggregated storage systems
CN107193642A (zh) * 2016-03-14 2017-09-22 阿里巴巴集团控股有限公司 任务数据压缩切换方法、宜压缩程度评价方法及相关装置
US10055135B2 (en) * 2016-08-18 2018-08-21 Intel Corporation Method and apparatus for compressing a data set using incremental deltas and a variable reference value
US10411730B2 (en) 2017-04-18 2019-09-10 Delphi Technologies Ip Limited Data compression system for storing data from an automated vehicle
US10419022B2 (en) 2017-11-30 2019-09-17 International Business Machines Corporation Run-length base-delta encoding for high-speed compression
US11614889B2 (en) * 2018-11-29 2023-03-28 Advanced Micro Devices, Inc. Aggregating commands in a stream based on cache line addresses

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2683648B1 (fr) * 1991-11-12 1996-12-13 Apple Computer Procede de choix d'objets dans une sequence d'images mobiles et piste d'essai de reussite correspondante.
TW224553B (en) * 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
JP2830750B2 (ja) * 1994-02-24 1998-12-02 日本電気株式会社 画像多地点通信制御装置と画像通信端末および画像通信システム
JP3495800B2 (ja) * 1994-12-28 2004-02-09 キヤノン株式会社 符号化装置及び方法
JPH08307860A (ja) * 1995-04-28 1996-11-22 Toshiba Corp シーン再エンコード装置
JPH0993592A (ja) * 1995-07-13 1997-04-04 Matsushita Electric Ind Co Ltd 画像符号化装置
US5793371A (en) * 1995-08-04 1998-08-11 Sun Microsystems, Inc. Method and apparatus for geometric compression of three-dimensional graphics data
US5832490A (en) * 1996-05-31 1998-11-03 Siemens Medical Systems, Inc. Lossless data compression technique that also facilitates signal analysis
US5724033A (en) * 1996-08-09 1998-03-03 Digital Equipment Corporation Method for encoding delta values
WO2000068946A1 (fr) * 1999-05-07 2000-11-16 Kabushiki Kaisha Toshiba Structure de donnees pour donnees en continu, et procede d'enregistrement et de reproduction de donnees en continu
JP2000331421A (ja) * 1999-05-17 2000-11-30 Victor Co Of Japan Ltd 情報記録装置及び情報再生装置
US6879634B1 (en) * 1999-05-26 2005-04-12 Bigband Networks Inc. Method and system for transmitting media streams over a variable bandwidth network
JP2001127644A (ja) * 1999-10-29 2001-05-11 Toshiba Corp 転送データ変換装置及びプログラムを記録したコンピュータ読み取り可能な記録媒体
US6678417B1 (en) * 1999-11-30 2004-01-13 International Business Machines Corporation Dictionary based video compression
US7587467B2 (en) * 1999-12-02 2009-09-08 Western Digital Technologies, Inc. Managed peer-to-peer applications, systems and methods for distributed data access and storage
US7116717B1 (en) * 1999-12-15 2006-10-03 Bigband Networks, Inc. Method and system for scalable representation, storage, transmission and reconstruction of media streams
EP1146713B1 (en) * 2000-03-03 2005-04-27 NTT DoCoMo, Inc. Method and apparatus for packet transmission with header compression
US6523102B1 (en) * 2000-04-14 2003-02-18 Interactive Silicon, Inc. Parallel compression/decompression system and method for implementation of in-memory compressed cache improving storage density and access speed for industry standard memory subsystems and in-line memory modules
US6748520B1 (en) * 2000-05-02 2004-06-08 3Com Corporation System and method for compressing and decompressing a binary code image
US7471298B1 (en) * 2000-06-26 2008-12-30 S3 Graphics Co., Ltd. Fetching pixel data with reduced memory bandwidth requirement
US6961927B1 (en) * 2000-11-27 2005-11-01 Microsoft Corporation Lossless, context-free compression system and method
JP3737705B2 (ja) * 2001-02-20 2006-01-25 インターナショナル・ビジネス・マシーンズ・コーポレーション ネットワークシステム、サーバ、クライアント、通信方法、及び通信プログラム
JP2004531925A (ja) * 2001-03-05 2004-10-14 インタービデオインコーポレイテッド 圧縮されたビデオビットストリームにおける冗長な動きベクトルを符号化し復号するシステム及び方法
US6719689B2 (en) * 2001-04-30 2004-04-13 Medtronic, Inc. Method and system for compressing and storing data in a medical device having limited storage
US7379472B2 (en) * 2001-09-27 2008-05-27 Broadcom Corporation Hardware filtering of unsolicited grant service extended headers
US7231456B1 (en) * 2001-10-10 2007-06-12 Cisco Technology, Inc. 32-bit vendor-extended-type vendor specific attribute
US7283265B2 (en) * 2001-11-14 2007-10-16 Infoprint Solutions Company Raster data compression apparatus and method
US7085020B2 (en) * 2001-11-14 2006-08-01 International Business Machines Corporation Raster data compression apparatus and method
AUPR890201A0 (en) * 2001-11-16 2001-12-06 Silverbrook Research Pty. Ltd. Methods and systems (npw005)
US7130072B2 (en) * 2002-02-08 2006-10-31 Canon Kabushiki Kaisha Multifunction system, image processing method, computer program and memory medium
US20040005005A1 (en) * 2002-04-22 2004-01-08 Mcintyre Kristen A. Method and apparatus to facilitate image difference transmission while maintaining image salience
AU2003280513A1 (en) * 2002-07-01 2004-01-19 Microsoft Corporation A system and method for providing user control over repeating objects embedded in a stream
FR2842683B1 (fr) * 2002-07-22 2005-01-14 Cit Alcatel Dispositif de multiplexage, dispositif de multiplexage et systeme de multiplexage/demultiplexage
GB0218961D0 (en) * 2002-08-15 2002-09-25 Koninkl Philips Electronics Nv Transmission method and system
AU2003272037A1 (en) * 2002-09-24 2004-04-19 Rad Data Communications A system and method for low bit-rate compression of combined speech and music
KR101083100B1 (ko) * 2003-07-18 2011-11-16 코닌클리케 필립스 일렉트로닉스 엔.브이. 디지털 비디오 스트림 내의 컨텐트 아이템 검출
US20050047504A1 (en) * 2003-09-03 2005-03-03 Sung Chih-Ta Star Data stream encoding method and apparatus for digital video compression
US8085273B2 (en) * 2003-11-19 2011-12-27 Lucid Information Technology, Ltd Multi-mode parallel graphics rendering system employing real-time automatic scene profiling and mode control
US7657533B2 (en) * 2003-11-26 2010-02-02 Hewlett-Packard Development Company, L.P. Data management systems, data management system storage devices, articles of manufacture, and data management methods
JP2005234687A (ja) * 2004-02-17 2005-09-02 Sony Corp メモリ管理方法、画像処理装置およびメモリ管理プログラム
US7983493B2 (en) * 2004-10-05 2011-07-19 Vectormax Corporation Adaptive overlapped block matching for accurate motion compensation
WO2006063057A2 (en) * 2004-12-06 2006-06-15 Agilix Labs Applying multiple compression algorithms in a database system
KR100598119B1 (ko) * 2005-01-17 2006-07-10 삼성전자주식회사 디스플레이장치 및 그 제어방법
US7921078B2 (en) * 2005-04-20 2011-04-05 Sony Online Entertainment Llc System for negotiated differential compression
CN101300781A (zh) * 2005-10-06 2008-11-05 株式会社Egc&C 控制运动图像数据在网络上的传输的***和方法
US8718147B2 (en) * 2006-02-17 2014-05-06 Avocent Huntsville Corporation Video compression algorithm
JP4576350B2 (ja) * 2006-03-24 2010-11-04 富士通株式会社 通信制御装置および通信制御方法
JP5309015B2 (ja) * 2006-04-07 2013-10-09 データ ストレージ グループ データ圧縮技術およびデータ格納技術
CN101094171B (zh) * 2006-06-22 2011-02-16 华为技术有限公司 实现媒体流交互方法和***及媒体网关控制器和媒体网关
US7885988B2 (en) * 2006-08-24 2011-02-08 Dell Products L.P. Methods and apparatus for reducing storage size
US20080162922A1 (en) * 2006-12-27 2008-07-03 Swartz Troy A Fragmenting security encapsulated ethernet frames
US8068654B2 (en) * 2007-02-02 2011-11-29 Siemens Akteingesellschaft Method and system for detection and registration of 3D objects using incremental parameter learning
US8768895B2 (en) * 2007-04-11 2014-07-01 Emc Corporation Subsegmenting for efficient storage, resemblance determination, and transmission
US8014614B2 (en) * 2008-04-14 2011-09-06 General Electric Company Method and system for compressing data
US20090290855A1 (en) * 2008-05-20 2009-11-26 Francois-Xavier Kowalski Apparatus And Method For Recording Video Data
JP2010062792A (ja) * 2008-09-03 2010-03-18 Weigang Xu 画像圧縮装置、画像伸張装置、画像圧縮プログラムおよび画像伸張プログラム
US8751462B2 (en) * 2008-11-14 2014-06-10 Emc Corporation Delta compression after identity deduplication
US8447740B1 (en) * 2008-11-14 2013-05-21 Emc Corporation Stream locality delta compression
US8412848B2 (en) * 2009-05-29 2013-04-02 Exagrid Systems, Inc. Method and apparatus for content-aware and adaptive deduplication
CN101674315B (zh) * 2009-10-20 2014-12-10 中兴通讯股份有限公司 一种时间戳压缩、解压缩的方法及装置
US8396954B2 (en) * 2010-06-24 2013-03-12 Aryaka Networks, Inc. Routing and service performance management in an application acceleration environment
US8362931B2 (en) * 2010-11-30 2013-01-29 Microsoft Corporation Compression and decompression of mass spectrometry data
US20120185612A1 (en) * 2011-01-19 2012-07-19 Exar Corporation Apparatus and method of delta compression

Also Published As

Publication number Publication date
GB2483282B (en) 2017-09-13
CN102404564A (zh) 2012-04-04
JP5781867B2 (ja) 2015-09-24
GB2483282A (en) 2012-03-07
US20120059804A1 (en) 2012-03-08
GB201014625D0 (en) 2010-10-13
US8548962B2 (en) 2013-10-01
JP2012074026A (ja) 2012-04-12

Similar Documents

Publication Publication Date Title
CN102404564B (zh) 利用相对和绝对增量值的数据压缩和解压缩
CN103177062B (zh) 用于高速内存在线分析处理查询和操作的加速查询操作器
US8019166B2 (en) Image data compression method and apparatuses, image display method and apparatuses
CN109416702A (zh) 基于掩码的稀疏矩阵压缩的方法、***以及程序产品
US9245383B2 (en) Accelerated three-dimensional intersection testing using compressed volumes
CN110399104A (zh) 数据存储方法、数据存储装置、电子设备、存储介质
CN103218427B (zh) 局部描述子的提取方法、图像检索方法及图像匹配方法
CN104348490A (zh) 一种基于效果优选的组合数据压缩算法
JP2012074026A5 (zh)
CN108197168A (zh) 一种数据压缩方法、设备和计算机可读存储介质
CN107748794B (zh) 一种空间数据存储方法
CN108122189A (zh) 硬件中的顶点属性压缩和解压缩
CN112463784A (zh) 数据去重方法、装置、设备及计算机可读存储介质
CN108702160A (zh) 用于压缩和解压缩数据的方法、设备和***
CN115880133B (zh) 图形处理单元及终端设备
KR102589299B1 (ko) 하드웨어에서 버텍스 속성 압축 및 압축 해제 방법 및 장치
WO2014176182A1 (en) Auto-completion of partial line pattern
CN111596772A (zh) 一种kvm的分布式***、操控方法及介质
CN104718706B (zh) 用于分段图像数据的格式识别的方法和***
CN105975498A (zh) 数据查询的方法、装置和***
CN109088636A (zh) 一种数据处理方法、***及电子设备和存储介质
CN108664579A (zh) 海量数据实时筛选分析方法、***及存储介质
CN104636432B (zh) 一种日志文件压缩和解压的方法及装置
CN106296759B (zh) 一种三维骨骼动画压缩方法及装置
CN110120819A (zh) 一种布尔电路编码方法、装置及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant