CN105631000B - 基于移动终端位置特征信息的终端缓存的数据压缩方法 - Google Patents

Abstract

本发明涉及基于移动终端位置特征信息的终端缓存的数据压缩方法，首先利用移动终端数据具有位置特征信息的特点，对数据进行预处理，减少移动终端的处理过程，同时采用周期性的方法对终端数据进行检测和压缩，减少移动设备能量的消耗。然后通过在线和离线的两种方式对移动终端的数据进行消重，接着寻找出移动终端数据中的高频词汇，周期性地更新该位置的特征信息并将这些词汇存入字典进行编码，最后用编码代替相应的词汇存入终端。本发明实现了对数据重复和数据冗余的处理，降低移动终端的存储负担。

Description

基于移动终端位置特征信息的终端缓存的数据压缩方法

技术领域

本发明属于通讯领域，具体涉及一种基于移动终端位置特征信息的终端缓存的数据压缩方法。

背景技术

随着大数据时代的到来，各种应用中涉及到的数据量急剧膨胀，以移动终端为载体的各种应用业务也面临着诸如终端节点有限的存储空间无法承载多样化移动应用需求的问题以及众多应用业务中普遍存在的信息的冗余性问题。综上所述，如何能够寻找高效的数据压缩方法，避免数据的冗余性存放，减少应用对移动终端存储空间的需求，以最大化利用移动终端现有的存储资源，已经成为当前各种应用中，亟需研究和开展的工作。在终端节点上开展卓有成效的数据压缩工作显得尤为必要，因此受到各方的关注。

当前数据压缩技术可以分为两类：有损压缩和无损压缩。有损压缩的压缩过程中会丢失一部分的原始信息，但是本发明研究的移动终端的数据，需要的是能够保存完整的原始信息，并且能够从压缩数据中精确地重构原始数据从而减少数据量的无损压缩技术。无损压缩算法包括：1）以字符出现概率统计为基础的Huffman编码，但其往往受限于具体信息中字符重复的频率，除了压缩性能波动大外，还因为其变长编码的本质，在文件查找中也会带来额外的统计和计算负担；2）算法编码拥有较高的压缩效率，但运算复杂性高影响了其在能量受限的移动终端上的实用性；3）游程编码的算法思想简单，还原度高，但是需要分多次压缩，压缩时间长，压缩效率比较低，应用的范围有限；4）LZ系列算法在数据压缩算法中的适应性很强，但这种算法受窗口大小的影响，并且每次都需要向前搜索到原文开头，对于较长的原文需要的时间过长。因此目前为止，尚无成熟的针对移动端节点的数据压缩算法。

虽然已经有很多的压缩算法被提出，但是运用到移动终端的算法很少，现如今提出来的针对移动终端节能的方法总体来说可以分为基于数据传输特性和封包结构的压缩算法和基于节点间数据相关性的压缩算法。前者的最大优点在于计算简单，但是没有充分利用终端传感器节点自身的相关性，所以效率比较低，而后者是利用终端之间数据的相关性进行数据的压缩，但是对终端的数据处理的要求较高，所以并没有得到很大的推广。

也有些专利针对终端的内容进行压缩处理，如专利CN105007412A就是针对移动终端的照片存储方法，通过提出“基准照片”概念来进行图片压缩从而实现减少连拍照片占用的存储空间的功能。

发明内容

本发明的目的是设计基于移动终端位置信息对终端缓存数据进行快速简化的压缩方法，解决终端的数据冗余问题，降低终端的存储负担。

为实现上述目的，本发明采用如下技术方案：将本发明分为三个部分，分别为：位置特征信息提取，移动终端数据的处理以及数据的还原。整个方法的实现步骤具体如下：

1、位置特征信息的提取：

步骤1-1，对城市进行区域性类别划分，包括学校，公司，公园在内的区域类别实例；

步骤1-2，对每个类别的位置存储，建立云端数据库，找出每个类别的特征性词汇；

步骤1-3，对每个特征词进行编码，行成对应的字典；

2、移动终端数据的处理：

移动设备的能量有限，移动终端不断地处理数据会耗损大量的能量，所以本发明将采用每隔一段的时间对移动终端的数据进行压缩的方法来减少能量的消耗。首先将读入的数据存入到移动终端的缓存区中，当达到一定的周期时间再进行批量处理，最后存入到终端中。具体步骤如下：

步骤2-1，移动设备进入某个区域，获取移动终端的位置信息；

步骤2-2，数据读入并存入移动终端的数据库中；

步骤2-3，寻找重复的数据，若有则进行数据的删除，没有则进行下一步；

步骤2-4，遍历数据，将数据中的高频词汇记入云端数据库中，更新该位置下的位置特征信息，对其进行相应的编码；

步骤2-5，将读入的数据与该位置下的特征词汇进行比较，如果有则用该特征词汇相对应的编码代替该数据存入移动终端缓存中，并加上“/%”这样的标识符；如果没有，则直接存入。

3、数据的还原：

以上过程就完成了移动终端的数据的压缩，消除了冗余，提高了内存的利用率，但是所存入的数据最终都是需要被阅读的，所以我们接下来要做的是还原步骤，具体的步骤如下：

步骤3-1，从终端缓存中读入压缩后的数据文件；

步骤3-2，遍历终端中的数据，当出现“/%”这样的字符出现的时候则表示出现了字典中的特征词汇，则进行查表，将编码恢复为移动设备所在位置的特征词汇，没有则直接读取；

步骤3-3，重复步骤3-2，直至解压完成；

步骤3-4，输出压缩的文件。

移动设备自身能量有限，传统算法需要的空间复杂度太高以及移动终端的处理能力又不强，使得我们必须寻找到一种比传统的算法要更加简洁和快速的方法实现终端数据的压缩。又因为如今移动设备能够有效的获取自己的位置信息，并且位置信息的特征明显，并且在设备中存储的频率过高。使得本发明找到此为突破口，通过某一个特定的位置，获取其相应的特征信息，形成相应的字典编码存入移动终端，从而进一步简化数据压缩。此外，移动终端数据中存在大量的重复数据块，这种数据块既占用了内存，又增加了带宽的负担。所以在进行数据压缩前，要先进行数据的删除工作，这样做的目的既可以减少数据的冗余，又可以为之后的数据的压缩较少一些计算的负担。

本发明的算法针对现有算法的不足并且根据移动终端本身数据的特点进行改进，实现了对终端缓存数据的压缩。本发明使用周期性的方法对移动终端的数据进行处理；压缩数据，减少内存的过度消耗；对终端缓存的处理快速简洁。除此以外，本发明通过获取移动终端所在的位置特征信息对移动终端缓存的数据进行周期性地压缩处理。

本发明的核心思想就是针对移动终端的能耗问题，存储问题和计算问题，设计了针对位置特征的周期性数据压缩方法，首先对移动设备所处的位置特征进行处理，在读入数据的同时，对位置特征进行更新，将位置特征的信息，转变为字典编码信息，存入移动终端，减少存储的负担，最后再将数据进行还原，输出原原始的数据。本发明的基于移动终端位置特征信息对移动终端信息进行周期性地快速数据消冗的数据压缩方法，针对包括移动终端处理能力受限、存储容量和能力有限、数据内容的关联性在内的特点，在不过多消耗移动终端处理能力和能量的同时，有效地降低存储负担，提高移动自组织网络的运行效率。

附图说明

图1是传入的数据包的格式；

图2是本发明整个的数据传输过程；

图3是数据的预处理过程；

图4是举例说明预处理过程中对特征词汇的处理；

图5是数据压缩过程以及数据还原步骤的细化流程图。

具体实施方式

为了使本发明的目的、特点和过程更加的清楚明白，下面将结合附图说明和具体实施例对本发明的压缩算法做进一步说明。

实施例1：

如图1所示为传入的数据包的格式，数字表示每个区域所占的字节数。目的地址和源地址分别占6个字节，传入的数据大小在6到1500个字节中，最后的冗余校验占4个字节。

如图2所示为本发明整个的数据传输过程，移动终端的过程中分数据压缩和数据还原两个部分。

本发明基于移动终端位置特征信息的终端缓存的数据压缩方法分为以下三个步骤：位置信息特征提取，移动终端数据的处理以及数据的还原。具体的实现过程如下：

1、位置信息特征的提取

现如今的数据量过于庞大，基于位置的信息特征比较明显，又因为移动设备可以容易地通过包括GPS在内的很多方法获得自己的位置信息，所以先对数据进行预处理工作。

并且本发明是针对移动终端的位置特征信息进行的终端压缩方法，通过百度地图这类的地图软件获取移动终端的位置，根据这些地图软件的接口，找出该地理位置下的特征信息，每个地理位置一定的范围内都会有相应的高频的搜索信息，这些信息被称为特征信息，本发明通过建立云端的数据库，对这些特征信息进行编码，形成相应的字典，并且定期更新数据。

现以南京城市为例，如图4所示。

步骤1-1，对南京城市进行位置性划分，包括新街口，学校，公司，公园在内的区域类别实例；

步骤1-2，根据所处的地理位置，建立云端数据库，找出该位置特征下出现的高频率词汇，这里称为特征性词汇，比如，“新街口”，特征性词汇包括“购物”、“衣服”、“鞋”、“饮食”；比如“学校”这个地理位置，位置的特征词汇就包括“老师”、“学生”、“考试”，因为不同的位置所对应的位置特征信息不同，根据这种差异将其进行区分；

步骤1-3，对这些位置信息下的特征词汇，为了保证其唯一性，首先会对位置信息按照数字的顺序进行编码，如学校的编码为“0”，“新街口”的编码为“1”。因为本文是基于移动终端位置特征信息下的压缩方法，所以在每个位置信息下的特征词汇也是有限的，根据每个位置进行对应的特征词汇编码，编码的方式也是按照数字的顺序。在每个特征词汇的编码前都会加入该特征词汇所在的位置信息的编码，如“购物”的编码就是以新街口“1”的编码开头，编码为“11”，具体的效果如图4所示。

2、移动终端数据的处理

移动设备的能量有限，每次对数据进行处会增加终端的运算量，会导致电量的大量消耗，所以本发明将采用每隔一定的时间对移动终端的数据进行处理的方法来较少能量的消耗，这里的时间周期可以是3个小时。在不进行数据处理时，读入的数据将存入到移动终端的缓存区中，经过一段周期时间后再进行批量处理，最后存入到移动终端的缓存中。具体数据处理步骤如下：

步骤2-1，当移动设备进入某个地理位置区域，我们可以通过GPS或者其他的途径获取移动终端的位置信息；

步骤2-2，数据读入移动终端并将其存入缓存区中，接下来将进行周期性的压缩处理；

步骤2-3，寻找重复的数据块，这里的数据块可以是一些只改动了可忽略的部分文件的数据，也可以是有多份拷贝的数据块，若有则进行数据的删除工作，如果没有则直接进行下一步。在对读入的数据进行数据删除的过程中，也存在两种方式，一种是在线，一种是离线；在线是指，如果数据中已经存在刚读入的数据，就用指针代替这个数据，直接写入到终端数据中；离线的方式就是指，读入的数据先存入到终端数据中，然后对整个数据进行遍历，如果存在重复的数据，则对其进行消重；

步骤2-4，对上一步处理过的移动终端数据，再次进行遍历，寻找出其中的高频词汇，将其用相应的编码代替，更新该位置下的位置特征信息，存入云端的数据库中，对其进行相应的编码；

步骤2-5，将读入的数据与位置信息相对应的特征词汇进行比较，如果有则用该特征词汇相对应的编码代替该数据并加入标记词“/%”存入移动终端，没有则直接存入移动终端的磁盘中。

3、数据的还原

以上过程就完成了移动终端的数据的压缩，消除了冗余，提高了内存的利用率，但是所存入的数据最终都是需要被阅读的，所以我们接下来要做的是还原步骤，具体的步骤如下：

步骤3-1，从终端中读入压缩后的数据文件；

步骤3-2，遍历终端中的数据，当出现“/%”这样的字符出现的时候则表示出现了字典中的特征词汇，则从云端数据库中进行查表，将编码恢复为移动设备所在位置的特征词汇，没有则直接读取；

步骤3-3，重复步骤3-2，直至解压完成；

步骤3-4，输出压缩的文件。

如图3所示，可以看出移动终端中的数据从原来的“新街口”这6个字节转换成“1”这样的1个字节，节省了部分的内存，而随着存储信息的增多，这种方法的效率将会更高。

针对移动终端需要考虑节能，以及对数据的处理能力没有PC端高效的特点，以“高频词汇”为突破口，利用根据地理位置信息的特征对数据进行预处理，减少移动端的数据处理过程，提出了简约版的数据周期性压缩方法。在整个方法的过程中实现了位置信息特征的更新，数据的消重，数据的压缩以及数据的还原工作。

本发明还可有其他多种实施方式，在不违背本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明做出各种相应的改变和变形，这些相应的改变和变形都应属于本发明权利要求的保护范围。

Claims (4)

1.基于移动终端位置特征信息的终端缓存的数据压缩方法，其特征在于，该方法包括3个步骤，分别是位置信息特征的提取，移动终端数据的处理和数据的还原；

所述位置信息特征的提取的具体步骤如下：

步骤1.1，对城市进行区域性类别划分，包括学校，公司，公园在内的区域类别实例；

步骤1.2，对每个类别的位置进行数据存储，建立云端的数据库，找出每个类别的特征性词汇；

步骤1.3，对每个特征性词汇进行编码，行成对应的字典；

所述移动终端数据的处理的具体步骤如下：

步骤2.1，移动设备进入某个区域，获取移动终端的位置信息；

步骤2.2，数据读入并存入移动终端的数据库中；

步骤2.3，寻找重复的数据，若有则进行数据的删除，没有则进行下一步；

步骤2.4，遍历数据，将数据中的高频词汇记入云端数据库中，更新该位置下的位置特征信息，对其进行相应的编码；

步骤2.5，将读入的数据与该位置下的特征性词汇进行比较，如果有则用该特征性词汇相对应的编码代替该数据存入移动终端缓存中，并加上“/％”这样的标识符；如果没有，则直接存入；

所述数据的还原的具体步骤如下：

步骤3.1，从终端缓存中读入压缩后的数据文件；

步骤3.2，遍历终端中的数据，当出现“/％”这样的字符时，则从云端数据库进行查表，将编码恢复为移动设备所在位置的特征性词汇，没有则直接读取；

步骤3.3，重复步骤3.2，直至解压完成；

步骤3.4，输出压缩的文件。

2.根据权利要求1所述的基于移动终端位置特征信息的终端缓存的数据压缩方法，其特征在于，所述步骤1.2中特征性词汇的识别方式为：通过地图软件获取移动终端的地理位置，根据这些地图软件的接口，找出该移动终端的地理位置下的位置特征信息，每个地理位置一定的范围内都会有相应的高频的搜索信息，即为所述特征性词汇。

3.根据权利要求1所述的基于移动终端位置特征信息的终端缓存的数据压缩方法，其特征在于，所述步骤1.3中编码方式为：对位置信息按照数字的顺序进行编码。

4.根据权利要求1所述的基于移动终端位置特征信息的终端缓存的数据压缩方法，其特征在于，所述步骤2.3中删除重复数据采用在线和离线两种方式，在线删除方式为：如果数据中已经存在刚读入的数据，就用指针代替这个数据，直接写入到终端数据中；离线删除方式为：读入的数据先存入到终端数据中，然后对整个数据进行遍历，如果存在重复的数据，则对其进行消重。