CN117767960B - 一种传感器数据优化采集存储方法 - Google Patents
一种传感器数据优化采集存储方法 Download PDFInfo
- Publication number
- CN117767960B CN117767960B CN202410195039.7A CN202410195039A CN117767960B CN 117767960 B CN117767960 B CN 117767960B CN 202410195039 A CN202410195039 A CN 202410195039A CN 117767960 B CN117767960 B CN 117767960B
- Authority
- CN
- China
- Prior art keywords
- temperature data
- real
- character
- data
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000005457 optimization Methods 0.000 title abstract description 9
- 238000007906 compression Methods 0.000 claims abstract description 60
- 230000006835 compression Effects 0.000 claims abstract description 59
- 230000000694 effects Effects 0.000 claims abstract description 18
- 238000005070 sampling Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明涉及数据处理技术领域,具体涉及一种传感器数据优化采集存储方法,包括:采集历史温度数据和实时温度数据;根据字符种类范围中任意一种字符在历史温度数据和实时温度数据中出现的频数,得到频数差异对费诺编码算法压缩率的影响大小,获取新的实时温度数据;得到重构费诺编码树,根据重构费诺编码树和费诺编码树得到第一编码数据和第二编码数据;将第一编码数据或第二编码数据进行存储。本发明自适应重构费诺编码树,更好的适应数据的实时性变化情况,进而提高数据的整体压缩效果,以减少传感器数据所占用存储空间的大小,从而减少存储所需要的资源。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种传感器数据优化采集存储方法。
背景技术
传感器数据在各种领域中被广泛应用,如物联网、智慧城市、工业自动化等。传感器数据的采集和存储是这些应用中的关键环节。然而,传感器数据通常以高频率生成,并且具有大量的冗余信息,导致数据量庞大,给数据的采集和存储带来挑战。因此,需要对传感器所采集到的数据进行压缩处理,以减少传感器数据所占用存储空间的大小,从而减少存储所需要的资源。
传统的费诺编码中,费诺编码树是根据数据样本中的字符出现概率预先构建的。由于传感器数据,是随着时间的变化,不断地有实时数据输入,当实时所输入的数据频率分布特征与费诺编码树中的预期分布存在偏差时则会导致编码效率降低。
发明内容
为解决上述问题,本发明提供一种传感器数据优化采集存储方法。
本发明的一种传感器数据优化采集存储方法采用如下技术方案:
本发明一个实施例提供了一种传感器数据优化采集存储方法,该方法包括以下步骤:
利用温度传感器采集历史温度数据和实时温度数据;
根据历史温度数据得到历史温度数据中所有字符的种类以及历史温度数据中每种字符出现的频数;根据实时温度数据得到实时温度数据中所有字符的种类以及实时温度数据中每种字符出现的频数;
预设字符种类范围,根据字符种类范围中任意一种字符在历史温度数据和实时温度数据中出现的频数,得到实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小;
根据实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小、实时温度数据中包含的温度值总个数,得到调整后的实时温度数据中包含的温度值总个数,根据调整后的实时温度数据中包含的温度值总个数获取新的实时温度数据;
根据历史温度数据中所有字符的频数得到历史温度数据对应的费诺编码树,根据新的实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,得到合并温度数据和重构费诺编码树,根据重构费诺编码树、合并温度数据得到第一编码数据,根据历史温度数据对应的费诺编码树、合并温度数据得到第二编码数据;
将第一编码数据或第二编码数据进行存储。
进一步地,所述利用温度传感器采集历史温度数据和实时温度数据,包括的具体步骤如下:
利用温度传感器采集室内的温度数据,其中温度传感器的采样时间为每隔TQ秒输出一个温度值,TQ为预设第一时间,将最近TW个小时内采集到的所有温度值构成的时序数据,记为室内温度数据,TW为预设第二时间,将室内温度数据中最后th个温度值构成的时序数据作为实时温度数据,将室内温度数据除实时温度数据以外的数据作为历史温度数据,th为预设温度值个数,所述室内温度数据中包含多个温度值,每一个温度值可以视为一个字符。
进一步地,所述根据历史温度数据得到历史温度数据中所有字符的种类以及历史温度数据中每种字符出现的频数;根据实时温度数据得到实时温度数据中所有字符的种类以及实时温度数据中每种字符出现的频数,包括的具体步骤如下:
按照从左到右的时间顺序获取历史温度数据中所有字符的种类,并统计每种字符在历史温度数据中出现的频数,得到历史温度数据中每种字符出现的频数;
按照从左到右的时间顺序获取实时温度数据中所有字符的种类,并统计每种字符在实时温度数据中出现的频数,得到实时温度数据中每种字符出现的频数。
进一步地,所述根据字符种类范围中任意一种字符在历史温度数据和实时温度数据中出现的频数,得到实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,包括的具体步骤如下:
根据字符种类范围中任意一种字符在历史温度数据和实时温度数据中出现的频数,得到字符种类范围中任意一种字符在实时温度数据与历史温度数据中的频数差异,根据字符种类范围中任意一种字符在实时温度数据与历史温度数据中的频数差异,得到实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小。
进一步地,所述根据字符种类范围中任意一种字符在历史温度数据和实时温度数据中出现的频数,得到字符种类范围中任意一种字符在实时温度数据与历史温度数据中的频数差异,包括的具体步骤如下:
式中,为字符种类范围中第i种字符在实时温度数据中出现的频数,/>为字符种类范围中第i种字符在历史温度数据中出现的频数,/>为字符种类范围中第j种字符在实时温度数据中出现的频数,/>为字符种类范围中第j种字符在历史温度数据中出现的频数,/>为字符种类范围中所有字符的总个数,/>为字符种类范围中第i种字符在实时温度数据与历史温度数据中的频数差异。
进一步地,所述根据字符种类范围中任意一种字符在实时温度数据与历史温度数据中的频数差异,得到实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,包括的具体步骤如下:
式中,为字符种类范围中第i种字符在实时温度数据与历史温度数据中的频数差异,/>为字符种类范围中第i种字符在实时温度数据中出现的频数,/>为字符种类范围中所有字符的总个数,/>为以2为底的对数函数,/>为以自然常数为底的指数函数,为实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,/>为取绝对值。
进一步地,所述根据实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小、实时温度数据中包含的温度值总个数,得到调整后的实时温度数据中包含的温度值总个数,包括的具体步骤如下:
式中,为实时温度数据中包含的温度值总个数,/>为预设参数,/>为实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,/>为以自然常数为底的指数函数,/>为调整后的实时温度数据中包含的温度值总个数。
进一步地,所述根据调整后的实时温度数据中包含的温度值总个数获取新的实时温度数据,包括的具体步骤如下:
将室内温度数据中最后th1个温度值构成的时序数据作为新的实时温度数据,th1为调整后的实时温度数据中包含的温度值总个数。
进一步地,所述根据历史温度数据中所有字符的频数得到历史温度数据对应的费诺编码树,包括的具体步骤如下:
根据历史温度数据中所有字符的频数利用费诺编码算法进行编码获取历史温度数据对应的费诺编码树。
进一步地,所述根据新的实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,得到合并温度数据和重构费诺编码树,根据重构费诺编码树、合并温度数据得到第一编码数据,根据历史温度数据对应的费诺编码树、合并温度数据得到第二编码数据,包括的具体步骤如下:
预设经验值阈值,记为T,若,/>为新的实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,将历史温度数据与新的实时温度数据按照时序顺序进行合并得到合并温度数据,根据合并温度数据中所有字符的频数利用费诺编码算法,得到重构费诺编码树,根据重构费诺编码树利用费诺编码算法对合并温度数据进行编码,得到第一编码数据;
若,将历史温度数据与新的实时温度数据按照时序顺序进行合并得到合并温度数据,根据历史温度数据对应的费诺编码树利用费诺编码算法对合并温度数据进行编码,得到第二编码数据。
本发明的技术方案的有益效果是:传统的固定费诺编码的编码树为通过统计数据中的字符频率事先建立的,而在传感器数据中由于不断存在实时数据的输入,实时数据的频率可能收到外界因素的影响而发生变化,利用原来的编码树对实时数据进行压缩的压缩效果可能变差。
本发明通过分析实时温度数据的频数特征,根据实时温度数据的频数分布特征计算其与历史温度数据的频数分布特征的差异,根据二者到的差异自适应动态对费诺编码树进行重构,使自适应重构后的编码树可以更好的适应数据的实时性变化情况,进而提高数据的整体压缩效果,以减少传感器数据所占用存储空间的大小,从而减少存储所需要的资源。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例所提供的一种传感器数据优化采集存储方法的步骤流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种传感器数据优化采集存储方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种传感器数据优化采集存储方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种传感器数据优化采集存储方法的步骤流程图,该方法包括以下步骤:
步骤S001、利用温度传感器采集历史温度数据和实时温度数据。
需要说明的是,本实施例利用智能家居***中的传感器,来监测室内温度、光照、空气质量等,以实现对智能家居的自动化控制和节能管理,本实施例中只以温度为例,首先需要采集数据。
具体的,利用温度传感器采集室内的温度数据,其中温度传感器的采样时间为每隔TQ秒输出一个温度值,TQ为预设第一时间,本实施例以TQ=10进行叙述,将最近TW个小时内采集到的所有温度值构成的时序数据,记为室内温度数据,TW为预设第二时间,本实施例以TW=1进行叙述,将室内温度数据中最后th个温度值构成的时序数据作为实时温度数据,将室内温度数据除实时温度数据以外的数据作为历史温度数据。th为预设温度值个数,本实施例以th=100进行叙述,需要说明的是,本实施例的温度数据中不同温度值的最小差异为0.1,室内温度数据中包含多个温度值,每一个温度值可以视为一个字符,即历史温度数据和实时温度数据中都包含多个字符。
至此,得到历史温度数据和实时温度数据。
步骤S002、根据历史温度数据得到历史温度数据中所有字符的种类以及历史温度数据中每种字符出现的频数。
需要说明的是,温度传感器所采集的室内温度数据会受到多种因素的影响,例如在夏天时,昼夜温差较大,温度传感器所采集的室内温度数据并不一定准确等于空调的设置温度,室内温度会受到室外温度的影响,外界因素的干扰会导致室内温度数据发生变化。即外界因素的干扰会导致温度传感器所采集的室内温度数据的频率分布发生变化。而费诺编码是基于历史数据的概率分布来构建的编码树,若温度传感器所采集的温度字符频率发生变化,则实时温度数据中的字符频率分布会与历史温度数据中的字符频率分布情况存在差异,差异越大则编码效果越差。因此,需要分析实时温度数据的频率特征,及时捕捉实时温度数据中字符的频率变化特征,通过分析实时温度数据与历史温度数据的频率分布差异,自适应对费诺编码树进行更新,使实时温度数据利用更新后的编码树进行压缩的压缩效果更好。
需要说明的是,温度传感器所采集的室内温度数据中,由于受到外界环境因素的影响,温度传感器所采集到的室内温度数据中的各类字符的频率也会发生变化。例如,当外界温度升高或降低时,即使当前空调在工作状态下,室内的温度依然会受到影响,室内温度数据的各类字符的分布情况也发生变化,字符分布情况发生变化则会对利用编码树对数据的压缩效果产生影响。故需要统计温度传感器所获取的历史温度数据中各类字符的频数。
具体的,根据历史温度数据得到历史温度数据中所有字符的种类以及历史温度数据中每种字符出现的频数,具体如下:
按照从左到右的时间顺序获取历史温度数据中所有字符的种类,并统计每种字符在历史温度数据中出现的频数,得到历史温度数据中每种字符出现的频数。
至此,得到历史温度数据中每种字符出现的频数。
步骤S003、根据实时温度数据得到实时温度数据中所有字符的种类以及实时温度数据中每种字符出现的频数。
需要说明的是,由于外界环境的干扰,实时温度数据和历史温度数据存在一定的差异。而利用费诺编码对实时温度数据进行压缩时,保持利用历史温度数据所构建的编码树与实时温度数据的频率分布同步是很重要的。实时温度数据中的各类字符与编码树中的对应字符的频率越接近,则压缩效果越好。而当实时温度数据中字符频率与历史温度数据中字符频率存在差异时,则会影响到压缩效果,且差异越大,则压缩效果越差。故需要统计实时温度数据中各类字符的频数,计算其与历史温度数据的差异。
具体的,根据实时温度数据得到实时温度数据中所有字符的种类以及实时温度数据中每种字符出现的频数,具体如下:
按照从左到右的时间顺序获取实时温度数据中所有字符的种类,并统计每种字符在实时温度数据中出现的频数,得到实时温度数据中每种字符出现的频数。
至此,得到实时温度数据中每种字符出现的频数。
步骤S004、预设字符种类范围,根据字符种类范围中任意一种字符在历史温度数据和实时温度数据中出现的频数,得到字符种类范围中任意一种字符在实时温度数据与历史温度数据中的频数差异,根据字符种类范围中任意一种字符在实时温度数据与历史温度数据中的频数差异,得到实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小。
需要说明的是,当实时温度数据中字符的频率差异与历史温度数据中字符的频率差异过大时,则会导致利用历史温度数据对应的费诺编码树对实时温度数据进行压缩的压缩效果变差,因此,需要根据实时温度数据与历史温度数据中对应字符的频数,计算实时温度数据与历史温度数据中对应字符的频率差异。
具体的,预设字符种类范围,根据字符种类范围中任意一种字符在历史温度数据和实时温度数据中出现的频数,得到字符种类范围中任意一种字符在实时温度数据与历史温度数据中的频数差异,具体如下:
预设一个字符种类范围,记为,本实施例以/>为为例进行叙述,其中字符种类范围中包含若干不同的字符,且不同字符的最小差值为0.1,需要特别说明的是,字符种类范围可以将获取到的历史温度数据和实时温度数据中出现的字符全部包含进去。
式中,为字符种类范围中第i种字符在实时温度数据中出现的频数,/>为字符种类范围中第i种字符在历史温度数据中出现的频数,/>为字符种类范围中第j种字符在实时温度数据中出现的频数,/>为字符种类范围中第j种字符在历史温度数据中出现的频数,/>为字符种类范围中所有字符的总个数,/>为字符种类范围中第i种字符在实时温度数据与历史温度数据中的频数差异。
需要说明的是,若的绝对值越大,则说明字符种类范围中第i种字符在实时温度数据与历史温度数据中的频数差异越大;若/>的取值越小,则说明字符种类范围中第i种字符在实时温度数据与历史温度数据中的频数差异越小。
需要说明的是,费诺编码的原理是字符的频率越高,则该字符所占用的比特位就越少,因此,如果一个字符的频率变化很大,那么它对压缩率的影响也会很大,对压缩率的影响越大,则利用历史温度数据对应的费诺编码树对实时温度数据进行压缩时压缩效果较差。因此,需根据实时温度数据与历史温度数据中字符的频数差异计算二者的差异对压缩率的影响。
具体的,根据字符种类范围中任意一种字符在实时温度数据与历史温度数据中的频数差异,得到实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,具体如下:
式中,为字符种类范围中第i种字符在实时温度数据与历史温度数据中的频数差异,需要说明的是,上述公式中/>不等于0,若/>等于0,则直接设置此时的/>对应的为0,/>为字符种类范围中第i种字符在实时温度数据中出现的频数,/>为字符种类范围中所有字符的总个数,/>为以2为底的对数函数,/>为以自然常数为底的指数函数,/>为实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,/>为取绝对值。
需要说明的是,表示字符种类范围中第i种字符在实时温度数据与历史温度数据的频数差异的符号,若字符种类范围中第i种字符在实时温度数据中出现的频数大于历史温度数据中出现的频数,即/>,则/>;若字符种类范围中第i种字符在实时温度数据中出现的频数小于历史温度数据中出现的频数,即/>,则/>,表示实时温度数据中的第/>类字符利用历史温度数据对应的费诺编码树进行编码时的压缩效果差异大小,实时温度数据与历史温度数据中对应字符的频率差异越大,则利用历史温度数据对应的费诺编码表来压缩实时温度数据对压缩效果的影响越大,实时温度数据与历史温度数据中对应字符的频率差异越小,则表示利用历史温度数据对应的费诺编码表来压缩实时温度数据对压缩效果的影响越小。
至此,得到实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小。
步骤S005、根据实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小、实时温度数据中包含的温度值总个数,得到调整后的实时温度数据中包含的温度值总个数,根据调整后的实时温度数据中包含的温度值总个数获取新的实时温度数据。
需要说明的是,在计算实时温度数据与历史温度数据的频数差异时,若实时温度数据的长度过长,即th过大,则会导致当实时温度数据中的字符频率变化较大时,利用历史温度数据所对应的费诺编码树对实时温度数据进行编码压缩时的压缩效果变差,若实时温度数据的长度过短,即th过小,则会导致在压缩过程中的计算量过大。故需要根据实时温度数据与历史温度数据中对应字符的频率差异对压缩率的影响大小对获取实时温度数据的预设长度范围进行调整。
具体的,根据实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小、实时温度数据中包含的温度值总个数,得到调整后的实时温度数据中包含的温度值总个数,具体如下:
式中,为实时温度数据中包含的温度值总个数,/>为预设参数,本实施例以进行叙述,/>为实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,/>为以自然常数为底的指数函数,/>为调整后的实时温度数据中包含的温度值总个数。
需要说明的是,若实时温度数据与历史温度数据中对应字符的频数差异对压缩率的影响越大,则调整后的实时温度数据中包含的温度值总个数越少,反应实时温度数据中各类字符的频数变化情况;若实时温度数据与历史温度数据中对应字符的频数差异对压缩率的影响越小,则调整后的实时温度数据中包含的温度值总个数越多。
进一步地,根据调整后的实时温度数据中包含的温度值总个数获取新的实时温度数据,具体如下:
将室内温度数据中最后th1个温度值构成的时序数据作为新的实时温度数据,th1为调整后的实时温度数据中包含的温度值总个数。
至此,得到新的实时温度数据。
步骤S006、根据历史温度数据中所有字符的频数得到历史温度数据对应的费诺编码树,根据新的实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,得到合并温度数据和重构费诺编码树,根据重构费诺编码树、合并温度数据得到第一编码数据,根据历史温度数据对应的费诺编码树、合并温度数据得到第二编码数据,将第一编码数据或第二编码数据进行存储。
需要说明的是,上述获得了实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,同理可以获得新的实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,通过对压缩率的影响大小进行判断来获取重构费诺编码树以及合并温度数据,后续可根据重构费诺编码树进行编码压缩。
具体的,根据历史温度数据中所有字符的频数得到历史温度数据对应的费诺编码树,根据新的实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,得到合并温度数据和重构费诺编码树,根据重构费诺编码树、合并温度数据得到第一编码数据,根据历史温度数据对应的费诺编码树、合并温度数据得到第二编码数据,将第一编码数据或第二编码数据进行存储,具体如下:
根据历史温度数据中所有字符的频数利用费诺编码算法进行编码获取历史温度数据对应的费诺编码树。需要说明的是,根据历史温度数据中所有字符的频数获取历史温度数据对应的费诺编码树为费诺编码算法的现有方法,本实施例不再赘述。
预设经验值阈值,记为T,本实施例以T=0.5进行叙述,若,/>为新的实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,则说明新的实时温度数据与历史温度数据对应字符的频率差异过大,对压缩率的影响过大,需要对历史温度数据对应的费诺编码树进行重构。
具体重构为:将历史温度数据与新的实时温度数据按照时序顺序进行合并得到合并温度数据,根据合并温度数据中所有字符的频数利用费诺编码算法,得到重构费诺编码树,根据重构费诺编码树利用费诺编码算法对合并温度数据进行编码,得到第一编码数据;需要说明的是,根据合并温度数据中所有字符的频数利用费诺编码算法,得到重构费诺编码树为费诺编码算法的现有方法,根据重构费诺编码树利用费诺编码算法对合并温度数据进行编码,为费诺编码算法的现有方法,本实施例不再赘述。
若,则说明新的实时温度数据与历史温度数据对应字符的频率差异较小,对压缩率的影响在可接受范围之内,不需要对历史温度数据对应的费诺编码树进行重构,同样将历史温度数据与新的实时温度数据按照时序顺序进行合并得到合并温度数据,根据历史温度数据对应的费诺编码树利用费诺编码算法对合并温度数据进行编码,得到第二编码数据。需要说明的是,根据历史温度数据对应的费诺编码树利用费诺编码算法对合并温度数据进行编码,为费诺编码算法的现有方法,本实施例不再赘述。
将第一编码数据或第二编码数据进行存储。
需要说明的是,上述只是以一个历史温度数据和一个新的实时温度数据为例进行分析的,若有另外一个新的实时温度数据出现,则可以将合并温度数据看作一个历史温度数据进行分析。
至此,通过对温度传感器采集到的温度数据,根据字符的频数变化进行编码,实现对于传感器数据的优化采集存储。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种传感器数据优化采集存储方法,其特征在于,该方法包括以下步骤:
利用温度传感器采集历史温度数据和实时温度数据;
根据历史温度数据得到历史温度数据中所有字符的种类以及历史温度数据中每种字符出现的频数;根据实时温度数据得到实时温度数据中所有字符的种类以及实时温度数据中每种字符出现的频数;温度数据中每个温度值作为一个字符;字符种类范围中包含若干不同的字符,且不同字符的最小差值为0.1,字符种类范围可以将获取到的历史温度数据和实时温度数据中出现的字符全部包含进去;
预设字符种类范围,根据字符种类范围中任意一种字符在历史温度数据和实时温度数据中出现的频数,得到实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小;
根据实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小、实时温度数据中包含的温度值总个数,得到调整后的实时温度数据中包含的温度值总个数,根据调整后的实时温度数据中包含的温度值总个数获取新的实时温度数据;
根据历史温度数据中所有字符的频数得到历史温度数据对应的费诺编码树,根据新的实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,得到合并温度数据和重构费诺编码树,根据重构费诺编码树、合并温度数据得到第一编码数据,根据历史温度数据对应的费诺编码树、合并温度数据得到第二编码数据;
将第一编码数据或第二编码数据进行存储;
所述根据字符种类范围中任意一种字符在历史温度数据和实时温度数据中出现的频数,得到实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,包括的具体步骤如下:
根据字符种类范围中任意一种字符在历史温度数据和实时温度数据中出现的频数,得到字符种类范围中任意一种字符在实时温度数据与历史温度数据中的频数差异,根据字符种类范围中任意一种字符在实时温度数据与历史温度数据中的频数差异,得到实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小;
所述根据字符种类范围中任意一种字符在实时温度数据与历史温度数据中的频数差异,得到实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,包括的具体步骤如下:
式中,为字符种类范围中第i种字符在实时温度数据与历史温度数据中的频数差异,为字符种类范围中第i种字符在实时温度数据中出现的频数,/>为字符种类范围中所有字符的总个数,/>为以2为底的对数函数,/>为以自然常数为底的指数函数,/>为实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,为取绝对值;
所述根据实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小、实时温度数据中包含的温度值总个数,得到调整后的实时温度数据中包含的温度值总个数,包括的具体步骤如下:
式中,为实时温度数据中包含的温度值总个数,/>为预设参数,/>为实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,/>为以自然常数为底的指数函数,/>为调整后的实时温度数据中包含的温度值总个数;
所述根据新的实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,得到合并温度数据和重构费诺编码树,根据重构费诺编码树、合并温度数据得到第一编码数据,根据历史温度数据对应的费诺编码树、合并温度数据得到第二编码数据,包括的具体步骤如下:
预设经验值阈值,记为T,若,/>为新的实时温度数据与历史温度数据中对应字符的频数差异对费诺编码算法压缩率的影响大小,将历史温度数据与新的实时温度数据按照时序顺序进行合并得到合并温度数据,根据合并温度数据中所有字符的频数利用费诺编码算法,得到重构费诺编码树,根据重构费诺编码树利用费诺编码算法对合并温度数据进行编码,得到第一编码数据;
若,将历史温度数据与新的实时温度数据按照时序顺序进行合并得到合并温度数据,根据历史温度数据对应的费诺编码树利用费诺编码算法对合并温度数据进行编码,得到第二编码数据。
2.根据权利要求1所述一种传感器数据优化采集存储方法,其特征在于,所述利用温度传感器采集历史温度数据和实时温度数据,包括的具体步骤如下:
利用温度传感器采集室内的温度数据,其中温度传感器的采样时间为每隔TQ秒输出一个温度值,TQ为预设第一时间,将最近TW个小时内采集到的所有温度值构成的时序数据,记为室内温度数据,TW为预设第二时间,将室内温度数据中最后th个温度值构成的时序数据作为实时温度数据,将室内温度数据除实时温度数据以外的数据作为历史温度数据,th为预设温度值个数,所述室内温度数据中包含多个温度值,每一个温度值视为一个字符。
3.根据权利要求1所述一种传感器数据优化采集存储方法,其特征在于,所述根据历史温度数据得到历史温度数据中所有字符的种类以及历史温度数据中每种字符出现的频数;根据实时温度数据得到实时温度数据中所有字符的种类以及实时温度数据中每种字符出现的频数,包括的具体步骤如下:
按照从左到右的时间顺序获取历史温度数据中所有字符的种类,并统计每种字符在历史温度数据中出现的频数,得到历史温度数据中每种字符出现的频数;
按照从左到右的时间顺序获取实时温度数据中所有字符的种类,并统计每种字符在实时温度数据中出现的频数,得到实时温度数据中每种字符出现的频数。
4.根据权利要求1所述一种传感器数据优化采集存储方法,其特征在于,所述根据字符种类范围中任意一种字符在历史温度数据和实时温度数据中出现的频数,得到字符种类范围中任意一种字符在实时温度数据与历史温度数据中的频数差异,包括的具体步骤如下:
式中,为字符种类范围中第i种字符在实时温度数据中出现的频数,/>为字符种类范围中第i种字符在历史温度数据中出现的频数,/>为字符种类范围中第j种字符在实时温度数据中出现的频数,/>为字符种类范围中第j种字符在历史温度数据中出现的频数,/>为字符种类范围中所有字符的总个数,/>为字符种类范围中第i种字符在实时温度数据与历史温度数据中的频数差异。
5.根据权利要求1所述一种传感器数据优化采集存储方法,其特征在于,所述根据调整后的实时温度数据中包含的温度值总个数获取新的实时温度数据,包括的具体步骤如下:
将室内温度数据中最后th1个温度值构成的时序数据作为新的实时温度数据,th1为调整后的实时温度数据中包含的温度值总个数。
6.根据权利要求1所述一种传感器数据优化采集存储方法,其特征在于,所述根据历史温度数据中所有字符的频数得到历史温度数据对应的费诺编码树,包括的具体步骤如下:
根据历史温度数据中所有字符的频数利用费诺编码算法进行编码获取历史温度数据对应的费诺编码树。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410195039.7A CN117767960B (zh) | 2024-02-22 | 2024-02-22 | 一种传感器数据优化采集存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410195039.7A CN117767960B (zh) | 2024-02-22 | 2024-02-22 | 一种传感器数据优化采集存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117767960A CN117767960A (zh) | 2024-03-26 |
CN117767960B true CN117767960B (zh) | 2024-06-18 |
Family
ID=90326068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410195039.7A Active CN117767960B (zh) | 2024-02-22 | 2024-02-22 | 一种传感器数据优化采集存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117767960B (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5945933A (en) * | 1998-01-27 | 1999-08-31 | Infit Ltd. | Adaptive packet compression apparatus and method |
JP4374712B2 (ja) * | 2000-04-04 | 2009-12-02 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに記録媒体 |
CN112667712B (zh) * | 2020-12-31 | 2023-03-17 | 安徽工业大学 | 一种基于差分隐私的分组精准直方图数据发布方法 |
CN116886104B (zh) * | 2023-09-08 | 2023-11-21 | 西安小草植物科技有限责任公司 | 一种基于人工智能的智慧医疗数据分析方法 |
CN117216023B (zh) * | 2023-11-07 | 2024-01-26 | 陕西长瑞安驰信息技术集团有限公司 | 一种大规模网络数据存储方法及*** |
-
2024
- 2024-02-22 CN CN202410195039.7A patent/CN117767960B/zh active Active
Non-Patent Citations (2)
Title |
---|
一种通用在线自适应压缩编码;张立清,解林;计算机工程;19940620(03);全文 * |
实时数据库在企业能源管理***(EMS)中的应用研究;茅心怡;牟磊;;中小企业管理与科技(下旬刊);20120725(07);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117767960A (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116153452B (zh) | 基于人工智能的医疗电子病历存储*** | |
CN116153453B (zh) | 基于云边协同的智能戒指信息管理方法及*** | |
CN117235557B (zh) | 基于大数据分析的电气设备故障快速诊断方法 | |
CN116232935B (zh) | 一种物联网监测大数据传输方法 | |
CN116910285B (zh) | 基于物联网的智慧交通数据优化存储方法 | |
CN116975503B (zh) | 一种土壤侵蚀信息管理方法及*** | |
CN116760908B (zh) | 基于数字孪生的农业信息优化管理方法及*** | |
CN117278054B (zh) | 一种智慧电网监控数据存储方法及*** | |
CN115987294A (zh) | 一种物联网的多维数据处理方法 | |
CN117527708B (zh) | 基于数据流向的企业级数据链路的优化传输方法及*** | |
CN117376429A (zh) | 一种无线传感器网络数据智能压缩方法 | |
CN116827350A (zh) | 基于云边协同的灵活用工平台智能监管方法及*** | |
CN117767960B (zh) | 一种传感器数据优化采集存储方法 | |
CN117040542B (zh) | 一种智能综合配电箱能耗数据处理方法 | |
CN117076408A (zh) | 一种温度监测大数据传输方法 | |
CN115695564B (zh) | 一种物联网数据的高效传输方法 | |
CN116980491A (zh) | 基于频域变换的低压电网数据压缩传输方法及装置 | |
CN115964347A (zh) | 一种市场监管监测中心数据的智能存储方法 | |
CN110321349B (zh) | 一种面向数据起源***的自适应数据合并存储方法 | |
CN117150224B (zh) | 基于物联网的用户行为数据存储分析方法 | |
CN117171399B (zh) | 基于云平台的新能源数据优化存储方法 | |
CN118282412B (zh) | 一种基于人工智能的自动化数据存储管理*** | |
CN116450592B (zh) | 一种基于工业大数据特征的工况自适应压缩方法及*** | |
CN117792403B (zh) | 基于流式大数据技术的分布式农业数据存储管理方法 | |
CN117997353B (zh) | 一种水利工程水位数据处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |