CN110798222A - 一种数据压缩方法及装置 - Google Patents

Abstract

本申请实施例提供了一种数据压缩方法及装置。所述方法包括：对索引库数据进行分析，从中选择目标数据；根据所述目标数据生成压缩配置文件；根据所述压缩配置文件对所述目标数据进行压缩。可以从索引库中选择冷数据或者规律业务数据作为目标数据。并根据目标数据的特点生成包括时间节点和压缩算法的压缩配置文件。同时本申请进一步包括了一种解压方法，针对规律业务数据可以提前进行解压，提高集群索引效率。通过高压缩率的压缩算法对这些数据进行压缩并有规律地解压缩，在保证索引集合可用性的同时尽可能大的降低了数据的磁盘占用，提高了数据的存储效率。

Description

一种数据压缩方法及装置

技术领域

本申请涉及数据处理领域，尤其涉及一种数据压缩方法及装置。

背景技术

当前，随着计算机技术的发展，数据搜索的要求也越来越高。其中，solr云是一种分布式搜索方案，是一个高性能，采用Java开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。，可以实现企业级的数据搜索。可以处理大索引量，高并发的搜索请求。

现有的solr集群***中，可以将数据存储至服务器本地的数据库中。由于存储的数据量较大，因此solr数据存储可以自带LZ4压缩算法，将存储的本地数据压缩后进行存储，以节省存储空间。LZ4压缩算法具有压缩/解压速率较快的特点，在进行索引查询时可以快速响应查询请求。

但是LZ4算法为了提高压缩速率，降低了算法的压缩率。即压缩后的数据依旧会占用较大的存储空间。

发明内容

有鉴于此，本申请实施例提供了一种数据压缩方法及装置，旨在对solr集群中的部分数据进行二次压缩，进一步节省存储空间。

为了实现上述目的，本发明提供了以下技术方案：

一种数据压缩方法，所述方法包括：

对索引库数据进行分析，从中选择目标数据；其中，所述目标数据包括冷数据和/或规律业务数据；冷数据为使用频率低于阈值的数据，所述规律业务数据的处理具有明确的时间规律。

根据所述目标数据生成压缩配置文件；其中，所述压缩配置文件包括具有高压缩率的压缩算法；

根据所述压缩配置文件对所述目标数据进行压缩。

可选地，所述压缩配置文件包括高压缩率的压缩算法压缩设定参数；所述压缩设定参数包括目标数据存储位置和压缩配置文件

可选地，所述根据压缩配置文件对所述目标数据进行压缩包括：

在所述压缩时间节点触发压缩启动指令；

在所述压缩启动指令触发后，根据所述目标数据存储位置查找目标数据；

根据所述压缩算法对所述目标数据进行压缩。

可选地，所述压缩配置文件还包括解压时间节点。

可选地，所述方法还包括：

在所述解压时间节点触发解压启动指令；

在所述解压启动指令触发后，根据所述目标数据存储位置查找目标数据；

根据所述压缩算法对所述目标数据进行解压缩。

可选地，所述压缩算法包括具有高压速率的gzip、lzo压缩算法。

可选地，所述方法应用于solr存储集群。

一种数据压缩装置，所述装置包括：

数据选择模块，用于选择所述目标数据；

压缩控制模块，用于生成所述压缩配置文件并在所述压缩时间节点启动压缩模块；

压缩模块，用于对所述目标数据进行压缩。

可选地，所述压缩控制模块包括：

参数生成模块，用于生成所述压缩配置文件；

指令触发模块，用于在所述压缩时间节点向所述压缩模块发送所述压缩启动指令。

可选地，所述装置进一步包括：

解压控制模块，用于在所述解压时间节点向所述解压模块发送所述解压启动指令；

解压模块，用于接收到所述解压启动指令后对实时目标数据进行解压。本申请实施例提供了一种数据压缩方法及装置。可以从索引库中选择目标数据。并根据目标数据的特点生成压缩配置文件。其中目标数据可以是不经常访问的冷数据或者有明显业务规律的数据。同时本申请进一步包括了一种解压方法，针对规律业务数据可以提前进行解压，提高集群索引效率。通过高压缩率的压缩算法对这些数据进行压缩并有规律地解压缩，在保证索引集合可用性的同时尽可能大的降低了数据的磁盘占用，提高了数据的存储效率。

附图说明

为更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的数据压缩方法图。

图2为本申请一实施例提供的数据压缩方法流程图。

图3为本申请一实施例提供的数据预解压方法流程图。

图4为本申请一实施例提供的数据压缩执行流程图。

图5为本申请一实施例提供的数据压缩装置图。

具体实施方式

对于集群中的数据，可以根据使用频率分为冷数据、温数据和热数据三种。其中热数据一般为实时数据，在索引过程中经常需要对其进行访问，这部分数据的访问频次需求大，也就是经常接收到搜索、调用等指令。对于热数据而言，其访问频率可以从毫秒级到小时级。由于其使用频率较高，solr集群自带的压缩算法可以在提高查询速度的前提下获得较小的存储空间，不需要对其进行二次压缩。

冷数据则是指访问频率较低的数据，可以为较长时间之前的数据，常见的冷数据可以包括银行凭证、税务凭证、医疗档案、影视资料等。冷数据一般为离线数据，可以是用于灾难恢复的备份或者法律规定必须保留一段时间的数据。冷数据由于其访问频率较低(>1天)，因此可以对其进行二次压缩，通过一些高压缩率的压缩算法对其进行压缩，实现最大的存储空间利用效率。而且由于其不经常被访问的特性，无需考虑压缩算法的压缩/解压特性。

温数据则是指介于冷数据和热数据二者之间的数据，访问频率相对较低但是高于冷数据。

另外，在集群存储中，往往还有一些具有明显业务规律的数据。这些数据可以在特定的时间进行访问已完成相应的任务。比如集群中存储的一些配置或者网络信息等，可能需要固定一段时间进行配置更新检测等操作。对于这类数据，一般只有在固定的时间才会对其发起访问请求。因此可以在完成搜索后对其进行压缩，在即将使用时进行解压。

在现有技术中，对于冷数据、温数据、热数据均采用统一的压缩算法对其进行压缩。这种压缩算法速度快但是压缩率低，压缩后仍然会占用大量空间磁盘。降低了集群存储的效率。

为了给出进一步提升集群存储效率的实现方案，本申请实施例提供了一种数据压缩方法及装置，以下结合说明书附图对本申请的优选实施例进行说明。

图1为本申请一实施例提供的数据压缩方法图，包括：

101：对索引库数据进行分析，从中选择目标数据。

本实施例中，在进行数据压缩前可以先对索引库中的数据进行分析，从中选择目标数据。这里的索引库类似于查字典时候的检索表，或者是图书馆的书目检索目录，从索引库中可以直接查询到集群中的全部数据。索引库中可以和数据相关联，可以存储数据的具***置、近期访问频率及时间、数据类型等相关信息。同时，索引库还可以不存储相应的数据，只存储数据相关信息，降低存储空间占用，提升查询效率。由于索引库中可以不包含全部数据，因此分析效率较高，服务器可以快速对其中存储的数据信息进行分析，选择目标数据。

本实施例中选择目标数据的过程可以包括对索引库中的数据信息进行分析，从中选择近期访问频率较低的冷数据或者具有明显业务规律的数据作为目标数据。具体地址，服务器可以在某个时间对索引库中的数据信息结合当前业务场景进行分析，选择如每天固定时间进行更新和索引的日增量数据或使用频率较低的数据作为目标数据。

本实施例中分析索引库数据并选择目标数据的操作可以有效地从集群存储的大量数据中选择适合进行二次压缩的冷数据以及具有明确业务规律的数据。对于这部分数据进行二次压缩可以进一步地提升集群的存储空间使用效率，减少存储空间的使用。同时，选择目标数据这一步还可以筛选出不需要进行压缩的热数据，这部分数据访问频率较高，可能经常收到检索指令。如果对其进行二次压缩，在访问时就需要对这部分数据进行二次解压，不但可能占用服务器的运算能力，更可能增加检索指令的响应时间，从而导致集群的检索功能受到影响。因此，本实施例中对索引库数据进行分析并选择目标数据可以确保后续操作不会影响到集群的可用性及查询检索效率。

102：根据所述目标数据生成压缩配置文件。

本实施例在对索引库数据进行分析后，服务器可以进一步对目标数据进行分析，生成压缩配置文件。本实施例中压缩配置文件可以包括压缩时间节点和压缩设定参数。其中压缩启时间节点为压缩任务启动的时间。当服务器检测到当前时间到达压缩时间节点时，可以发出压缩启动指令，启动数据压缩进程。

压缩设定参数可以包括目标数据的存储位置和采用的压缩算法。其中，目标数据的存储位置是指目标数据在集群中具体的存储位置，是步骤101对索引库进行分析后得到的数据地址。而压缩算法是后续进行压缩采用的算法，由于本实施例中是对冷数据和规律业务数据进行二次压缩，因此本实施例可以采用一些具有高压缩率的压缩算法，如gzip、lzo等压缩算法。由于针对的目标数据为冷数据或规律业务数据，调用次数较少，因此可以一定程度上牺牲压缩/解压速率，获得最大的存储空间利用效率。进一步地，对于冷数据，可以采用压缩率更高的压缩算法。对于规律业务数据，由于其在执行业务室需要进行解压，可以采用压缩速率相对较快的压缩算法。

103：根据所述压缩配置文件对所述目标数据进行压缩。

在获得和目标数据对应的压缩配置文件后，可以对目标数据进行压缩。

本实施例提供的一种数据压缩方法可以从索引库中选择目标数据。并根据目标数据的特点生成压缩配置文件。其中目标数据可以是不经常访问的冷数据或者有明显业务规律的数据。通过高压缩率的压缩算法对这些数据进行压缩并有规律地解压缩，在保证索引集合可用性的同时尽可能大的降低了数据的磁盘占用，提高了数据的存储效率。

为了进一步说明本申请中对目标数据进行压缩的过程，图2提供了本申请一种数据压缩方法流程图，包括：

201：在所述压缩时间节点触发压缩启动指令。

本实施例中，当***检测到时间到达压缩时间节点时，可以触发压缩启动指令。其中，压缩时间节点可以针对规律业务数据设置。例如某个规律业务数据每天凌晨3-4点进行更新，那么这个规律业务数据的压缩时间节点可以在4点结束更新后的任意时间，例如4:05。在这个压缩时间节点启动压缩任务。对于冷数据，一般可以采用定时更新的机制，定时对索引库中的数据进行分析，对检测到未压缩的冷数据进行二次压缩。

本实施例中通过在指定压缩时间节点触发压缩启动指令实现了压缩任务的周期进行，确保了规律业务数据和冷数据在不是用的情况下随时处于二次压缩状态，节省了存储空间。

202：在启动指令触发后，根据所述目标数据存储位置查找目标数据。

在启动指令出发后，服务器可以根据目标数据存储位置查找目标参数。本实施例中是对索引库数据进行分许，得到的是目标数据的存储位置，而不是具体的目标数据，因此在执行压缩任务的过程中，可以通过压缩设定参数中包含的目标数据存储位置，从集群中查找到对应的目标数据。

203：根据所述压缩算法对所述目标数据进行压缩。

在找到目标数据的实际存储位置后，本实施例中可以采用压缩设定参数中包含的压缩算法对其进行压缩。压缩后的数据可以存储在原目标数据所在的位置，也可以存储到其他位置，本实施例不做具体限定。

以上两个实施例说明了本申请中数据压缩的方法，对于冷数据而言，将其压缩后可以一直不进行后续处理，当需要使用时可以进行解压。虽然重新解压速度较慢，但是冷数据访问频率很低，对集群整体的性能影响很低。但是对于规律业务数据，如果在使用时临时解压数据会对集群整体速度产生较大影响，为此，本申请提供了一种数据预解压方法。

图3为本申请一实施例提供的数据预解压方法流程图，包括：

301：在所述解压时间节点触发解压启动指令。

首先，为了实现目标数据的预解压，在设置压缩配置文件时可以设置包含解压时间节点和解压启动指令。其中解压时间节点为解压启动指令触发的时间。

在时间到达所述解压时间节点后，解压启动指令被触发。这里的解压时间节点可以针对规律业务数据设置。例如某个规律业务数据每天凌晨3-4点进行更新，解压目标数据需要5分钟，那么这个规律业务数据的解压时间节点可以在3点结束更新前的一段大于5分钟的时间。例如可以在2:53分触发并启动解压任务，对目标数据进行解压。以确保3点时可以正常对数据进行处理，不会影响集群正常的业务运转。

302：在解压启动指令出发后，根据所述目标数据存储位置选择目标数据。

在启动指令出发后，服务器可以根据目标数据存储位置查找目标参数。本实施例中是对索引库数据进行分许，得到的是目标数据的存储位置，而不是具体的目标数据，因此在执行解压缩任务的过程中，可以通过解压设定参数中包含的目标数据存储位置，从集群中查找到对应的目标数据。

303：根据所述压缩算法对所述目标数据进行解压缩。

在找到目标数据的实际存储位置后，本实施例中可以采用压缩设定参数中包含的压缩算法对其进行解压。解压后的数据可以存储在原目标数据所在的位置，也可以存储到其他位置，本实施例不做具体限定。

为从整体上对本申请中的数据压缩和解压缩过程做进一步的说明，图4给出了本申请一实施例提供的数据压缩执行流程图，主要包括：

401：任务开始。

在将该方法应用于集群中后，服务器可以发送指令开始设定任务和参数。

在本实施例中，所述设定任务和参数可以包括针对索引库中全部数据进行分析，从中选择冷数据和规律业务数据进行压缩。在分析结束后可以获取大量的目标数据，还可以针对每个目标数据生成单独的压缩配置文件。针对不同的数据类型和访问频率选择不同的压缩算法和时间节点等。

402：压缩控制启动。

在得到压缩配置文件后，服务器可以将这些参数以压缩任务和参数的格式存储起来。其中压缩任务可以是服务器中的一个进程，检测到时间到达压缩时间节点或解压时间节点时根据压缩配置文件执行压缩任务。

403：压缩响应。

在本实施例中，可以根据服务器后台的进程来判断数据压缩或数据解压任务。当后台进程检测到当前时间为时间节点时，触发压缩或解压缩操作指令。

本实施例中触发指令的步骤还可以包括从集群中查找对应的模板数据，创建并执行对应的模板数据压缩进程或数据解压缩进程，创建进程监视器对压缩或解压缩进程进行监控等。这些操作步骤都是计算机领域里常用的操作步骤，本实施例中不对其做过多限定。

404：压缩控制。

在进行压缩和解压缩的过程中，服务器也可以根据业务场景对压缩和解压缩做监控和微调等操作。

例如当服务器在对一个冷数据进行压缩时，收到了用户发送的针对该部分冷数据的查询或调用指令时，可以直接终端压缩进程，将原始数据发送给用户以确保索引效率。

405：任务完成。

在完成数据的压缩后，服务器可以对压缩前的原始数据进行处理，可以删除或者备份至其他存储集群。本实施例不做进一步限定。

本实施例通过流程的方式对本申请提供的数据压缩方法做了详细描述，本实施例的关键在于其中的“压缩控制启动”这一步。可以通过对数据和业务场景进行分析，选择使用频率较低的冷数据和具有规律使用时间的规律业务数据作为目标数据，同时还可以设定对应的压缩时间节点和解压时间节点，在对应的时间节点完成相应的操作。在尽可能保留集群索引效率的情况下尽可能大的节省存储磁盘空间

图5为本发明一实施例提供的数据压缩装置图，包括：

501，数据选择模块：

用于选择所述目标数据。

502：压缩控制模块：

用于所述压缩配置文件并在所述压缩时间节点启动压缩模块。

503：压缩模块：

用于对所述目标数据进行压缩。

本实施例中的各个模块可以具有信号收发模块或接口，用于各个模块之间的信号传输。例如数据选择模块可以通过接口将目标数据存储位置和压缩时间节点发送给压缩控制模块，压缩控制模块可以根据接受到的目标数据存储位置和压缩时间节点选择对应的压缩算法。并在所述压缩时间节点向压缩模块发送数据压缩指令，通知压缩模块采用压缩配置文件中包含的压缩算法对存储位置上的目标数据进行压缩。

本实施例中的各个可以都位于同一个服务器中，也可以位于不同服务器中；模块之间的信号传输可以采用接口，也可以采用网络传输等方式进行传输本实施例不做具体限定。

在一个实施例中，所述压缩控制模块包括：

参数生成模块，用于生成所述压缩配置文件；

指令触发模块，用于在所述压缩时间节点向所述压缩模块发送所述压缩启动指令。

在一个实施例中，所述装置进一步包括：

解压控制模块，用于在所述解压时间节点向所述解压模块发送所述解压启动指令；

解压模块，用于接收到所述解压启动指令后对实时目标数据进行解压。

对于规律业务数据，服务器可能需要在某个预先设定好的时间节点对其进行解压以完成相应的任务。这部分操作和压缩控制模块类似，将压缩指令更换为解压指令即可。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：read-only memory，ROM)/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及***实施例仅仅是示意性的，其中第一用户和第二用户可以是或者也可以不是物理上分开的，作为初始任务模板的部件可以是或者也可以不是代码模板。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本申请示例性的实施方式，并非用于限定本申请的保护范围。

Claims (10)

1.一种数据压缩方法，其特征在于，所述方法包括：

对索引库数据进行分析，从中选择目标数据；其中，所述目标数据包括冷数据和/或规律业务数据；冷数据为使用频率低于阈值的数据，所述规律业务数据的处理具有明确的时间规律。

根据所述目标数据生成压缩配置文件；其中，所述压缩配置文件包括具有高压缩率的压缩算法；

根据所述压缩配置文件对所述目标数据进行压缩。

2.根据权利要求1所述的方法，其特征在于，所述压缩配置文件包括高压缩率的压缩算法压缩设定参数；所述压缩设定参数包括目标数据存储位置和压缩配置文件

3.根据权利要求2所述的方法，其特征在于，所述根据压缩配置文件对所述目标数据进行压缩包括：

在所述压缩时间节点触发压缩启动指令；

在所述压缩启动指令触发后，根据所述目标数据存储位置查找目标数据；

根据所述压缩算法对所述目标数据进行压缩。

4.根据权利要求3所述的方法，其特征在于，所述压缩配置文件还包括解压时间节点。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所述解压时间节点触发解压启动指令；

在所述解压启动指令触发后，根据所述目标数据存储位置查找目标数据；

根据所述压缩算法对所述目标数据进行解压缩。

6.根据权利要求1所述的方法，其特征在于，所述压缩算法包括具有高压速率的gzip、lzo压缩算法。

7.根据权利要求1所述的方法，其特征在于，所述方法应用于solr存储集群。

8.一种数据压缩装置，其特征在于，所述装置包括：

数据选择模块，用于选择所述目标数据；

压缩控制模块，用于生成所述压缩配置文件并在所述压缩时间节点启动压缩模块；

压缩模块，用于对所述目标数据进行压缩。

9.根据权利要求8所述的装置，特征在于，所述压缩控制模块包括：

参数生成模块，用于生成所述压缩配置文件；

指令触发模块，用于在所述压缩时间节点向所述压缩模块发送所述压缩启动指令。

10.根据权利要求8所述的装置，其特征在于，所述装置进一步包括：

解压控制模块，用于在所述解压时间节点向所述解压模块发送所述解压启动指令；

解压模块，用于接收到所述解压启动指令后对实时目标数据进行解压。

Images