CN107908594A - 一种基于时域和频域的时序数据存储方法和*** - Google Patents

一种基于时域和频域的时序数据存储方法和*** Download PDF

Info

Publication number
CN107908594A
CN107908594A CN201711320919.9A CN201711320919A CN107908594A CN 107908594 A CN107908594 A CN 107908594A CN 201711320919 A CN201711320919 A CN 201711320919A CN 107908594 A CN107908594 A CN 107908594A
Authority
CN
China
Prior art keywords
frequency domain
time series
time
series data
mrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711320919.9A
Other languages
English (en)
Other versions
CN107908594B (zh
Inventor
***
黄向东
乔嘉林
王晨
龙明盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201711320919.9A priority Critical patent/CN107908594B/zh
Publication of CN107908594A publication Critical patent/CN107908594A/zh
Application granted granted Critical
Publication of CN107908594B publication Critical patent/CN107908594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/221—Column-oriented storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Discrete Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Algebra (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供一种基于时域和频域的时序数据存储方法和***，所述方法包括将待存储的时序数据分为若干段时间序列数据，依次提取每段时间序列数据中值列的频域信息；计算所述频域信息的误差率，并与设定的可容忍误差率相比；若所述频域信息的误差率小于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储所述频域信息；若所述频域信息的误差率大于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储时域信息。利用时间序列的频域特点，对时间序列值列按照需求进行频域和时域混合存储，能够适应不同的时间序列场景和用户需求，极大降低了存储空间，可通过用户设置参数实现磁盘占用和误差率间的平衡。

Description

一种基于时域和频域的时序数据存储方法和***
技术领域
本发明涉及数据处理技术领域，更具体地，涉及一种基于时域和频域的时序数据存储方法和***。
背景技术
工业领域通常需要处理时序数据，时序数据是指时间序列数据，时间序列数据是同一统一指标按时间顺序记录的数据列，即一段时间序列中的数据数据类型相同。时序数据中的每个数据点包含一个时间戳和一个观测值，如计算机中对CPU利用率、内存使用量等进行监控产生的数据，都属于时间序列。时间序列数据通常用于分析、故障诊断、预测等场景。
随着越来越多的传感器被部署，时间序列的数据量逐渐增大，传统的关系型数据库已经不能满足当今时间序列的存储需求；现有技术中一般都通过时域或频域处理方法对时间序列数据进行处理；时域处理方法是因此产生了很多管理时间序列的时序数据库，将时间序列按照列式存储，即相同时间序列的数据连续存储，从而可以利用压缩算法对时间序列进行压缩，以减少磁盘占用。时间序列这种方式存储的信息称为时间序列的时域信息；频域处理方法是描述时间序列在频率方面的特性用到的描述方法，通过傅里叶变换可以将时间序列在时域和频域之间进行转换。一个长度为N的时间序列可以通过傅里叶变换生成N个频域分量，用X(k)来表示，0≤k＜N。每个频域分量X(k)都由实部a(k)和虚部b(k)i组成，其中X(k)与X(N-k)共轭，即X(k)+X(N-k)＝2a(k)，因此，记录前个频域分量即可扩展至N个频域分量。用代表X(k)的能量，互为共轭的频域分量能量相同。
时域方式的存储能完全保留原始数据点，常用的通过时域处理方法进行时间序列数据处理的有Influxdb、OpenTSDB、Riak TS等，但是这种存储方法会带来较大的磁盘占用；而对时间序列数据进行频域处理，从频域的角度可以用更少的信息描述一个序列，从而实现高效的压缩，但是同时会带来精度损失，不能适应不同的时间序列场景和用户需求。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的一种基于时域和频域的时序数据存储方法和***，解决了现有技术中时序数据存储方法占用内存大、精度损失大，且不能适应不同的时间序列场景、用户需求的问题。
根据本发明的一个方面，提供一种时序数据存储方法，包括：
将待存储的时序数据分为若干段时间序列数据，依次提取每段时间序列数据中值列的频域信息；
计算所述频域信息的误差率，并与设定的可容忍误差率相比；
若所述频域信息的误差率小于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储所述频域信息；若所述频域信息的误差率大于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储时域信息。
作为优选的，将待存储的时序数据分为若干段时间序列数据具体包括：
将待存储的时序数据拆分，得到若干段时间序列数据，所述若干段时间序列数据中任意两段时间序列数据的数据点相等。
作为优选的，提取每段时间序列数据中值列的频域信息具体包括：
提取该段时间序列数据中的值列，并对所述值列进行离散傅里叶变换，得到所述值列的频域分量集合，将所述频域分量集合中的频域分量按能量大小排序，并保存能量最高的前v个频域分量，将所述前v个频域分量作为所述值列的频域信息，每段时间序列长度应大于v的2倍。
作为优选的，对所述值列进行离散傅里叶变换具体包括：
对所述值列进行离散傅里叶变换：
得到频域分量集合式中，S(c)为所述时间序列数据的值列，N为所述时间序列数据中的数据点的个数。
作为优选的，所述计算所述频域信息的误差率具体包括：
对所述频域信息进行逆变换，得到所述频域信息在时域上的恢复后时间序列；计算所述值列与所述恢复后时间序列间的误差率。
作为优选的，对所述频域信息进行逆变换，得到所述频域信息在时域上的恢复后时间序列，具体包括：
将所述频域信息扩展到N维，得到N个扩展后的频域分量，对所述N个扩展后的频域分量进行逆变换：
其中，S(n)表示时域空间的第n个数据点，X(k)表示第k个频域分量，j为虚数单位，N为频域分量的个数，e为自然对数的底数。
一种时序数据存储***，包括
数据拆分模块，用于将待存储的时序数据分为若干段时间序列数据，依次提取每段时间序列数据中值列的频域信息；
数据存储模块，用于计算所述频域信息的误差率，并与设定的可容忍误差率相比；
若所述频域信息的误差率小于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储所述频域信息；若所述频域信息的误差率大于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储时域信息。
一种时序数据存储设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述时序数据存储方法。
一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如上述时序数据存储方法。
一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如上述时序数据存储方法。
本发明提出一种基于时域和频域的时序数据存储方法和***，通过利用时间序列的频域特点，对时间序列值列按照需求进行频域和时域混合存储，能够适应不同的时间序列场景和用户需求，极大降低了存储空间，可通过用户设置参数实现磁盘占用和误差率间的平衡。
附图说明
图1为根据本发明实施例的时序数据存储方法流程示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
时序数据的基本单位为一个测量单元，用m表示。m的格式为m＝(t，v)，表示t时刻测量到的数值为v。一段时间序列数据S由按照t递增的n个测量单元组成，记为S(m1，m2，…，mn),其中时间列记为St＝(t1，t2，…，tn)，值列记为Sv＝(v1，v2，…，vn)。|S|表示S中包含数据点的个数，Sv(c)表示S中第c个测量单元mc的测量值vc。记时间序列S2的值列S2v相对于另一个时间序列S1的值列S2v的误差率为：
如图1所示，图中示出了一种基于时域和频域的时序数据存储方法，包括：
将待存储的时序数据分为若干段时间序列数据，依次提取每段时间序列数据中值列的频域信息；
计算所述频域信息的误差率，并与设定的可容忍误差率相比；
若所述频域信息的误差率小于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储所述频域信息；若所述频域信息的误差率大于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储时域信息。
在本实施例中，若频域信息带来的误差值满足用户要求，即用户设定的可容忍误差率，则在存储该段时间序列数据时，该时间序列数据的值列采用所述频域信息进行存储，时间列采用时域处理方法，存储其对应的时域信息；若不满足用户设定的可容忍误差率，则在存储该段时间序列数据时，该段时间序列数据的值列采用时域处理方法，存储其对应的时域信息，时间列采用时域处理方法，存储其对应的时域信息。
在本实施例中，将待存储的时序数据分为若干段时间序列数据具体包括：
将待存储的时序数据拆分，得到若干段时间序列数据，所述若干段时间序列数据中任意两段时间序列数据的数据点相等。
具体的，在本实施例中，提取每段时间序列数据中值列的频域信息具体包括：
提取该段时间序列数据中的值列Sv，并对所述值列Sv进行离散傅里叶变换：
其中X(k)表示第k个频域分量，S(c)表示值列中的第c个数据点，j为虚数单位，N为Sv中数据点的个数，π为圆周率，e为自然对数的底数。
得到所述值列的频域分量集合，式中，S(c)为所述时间序列数据的值列，N为所述时间序列数据中的数据点的个数；将所述频域分量集合中的频域分量按能量大小排序，E＝(X(q1)，X(q2)，…，X(qn))，其中且当y≠z时qy≠qz。并保存能量最高的前v个频域分量，将所述前v个频域分量作为所述值列的频域信息，记为P＝(X(q1)，X(q2)，…，X(qv))。
在本实施例中，所述计算所述频域信息的误差率具体包括：
对所述频域信息进行逆变换，得到所述频域信息在时域上的恢复后时间序列；计算所述值列与所述恢复后时间序列间的误差率。
具体的，对所述频域信息进行逆变换，得到所述频域信息在时域上的恢复后时间序列：
将所述频域信息P扩展到N维，得到N个扩展后的频域分量X(0)至X(N)，扩展方法为：
X(N-qz)＝a(qz)-b(qz)i,2≤z≤v
对所述N个扩展后的频域分量进行逆变换：
其中S(n)表示时域空间的第n个数据点，X(k)表示第k个频域分量，j为虚数单位，N为频域分量的个数，π为圆周率，e为自然对数的底数。
得到所述频域信息在时域上的恢复后时间序列Sv’，X(k)为扩展后的频域分量，N为所述时间序列数据中的数据点的个数。
根据误差率的计算公式，判断W(Sv，Sv’)是否小于设定的可容忍误差率δ，若是，则存储St和P，若否，则存储St和Sv。
重复上述步骤直至所时序数据存储完。
一种时序数据存储***，包括
数据拆分模块，用于将待存储的时序数据分为若干段时间序列数据，依次提取每段时间序列数据中值列的频域信息；
数据存储模块，用于计算所述频域信息的误差率，并与设定的可容忍误差率相比；
若所述频域信息的误差率小于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储所述频域信息；若所述频域信息的误差率大于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储时域信息。
本实施例中，具体的，对时序数据进行存储的整个流程为：
1)、设置可容忍误差率，并设置每段时间序列数据的长度N，存储频域分量能量最高的前v个分量记录，***初始化一个空的时间序列S；
2)、接收时序数据的数据点m，将m加入到S中；
3)、判断|S|是否等于N，若是，则执行步骤4)，若否则执行步骤2)；
4)、对S的值列Sv进行离散傅里叶变换，通过如下公式进行变换：
得到所述值列的频域分量集合，式中，S(c)为所述时间序列数据的值列，N为所述时间序列数据中的数据点的个数；将所述频域分量集合中的频域分量按能量大小排序，E＝(X(q1)，X(q2)，…，X(qn))，其中且当y≠z时qy≠qz。并保存能量最高的前v个频域分量，将所述前v个频域分量作为所述值列的频域信息，记为P＝(X(q1)，X(q2)，…，X(qv))。
5)、将所述频域信息P扩展到N维，得到N个扩展后的频域分量X(0)至X(N)，扩展方法为：
X(N-qz)＝a(qz)-b(qz)i,2≤z≤v
对所述N个扩展后的频域分量进行逆变换：
得到所述频域信息在时域上的恢复后时间序列Sv’，X(k)为扩展后的频域分量，N为所述时间序列数据中的数据点的个数。
6)、根据误差率的计算公式，判断W(Sv，Sv’)是否小于设定的可容忍误差率δ，若是，则存储St和P，若否，则存储St和Sv。
7)、清空S，返回步骤2)，直至待存储时序数据存储完毕。
在本实施例中，如步骤1)中，用户设置的可容忍误差率为δ＝30％，每段序列长度N＝5，频域存储取最高的前v＝2个分量记录。
接收时间序列数据点m，将m加到S中。
判断|S|是否等于N，若是，则执行步骤4)，若否则执行步骤2)。假设***通过重复步骤2)接收到了4个点，此时又接到了第5个点，此时|S|＝5。S＝((0,5),(1,3),(2,2),(3,8),(4,13))，执行步骤3)。
在本实施例中，步骤4)中，S的值列为S_v＝(5,3,2,8,13)。转化为频域得到X(0)＝31.0+0.0i，X(1)＝1.9+13.0i，X(2)＝-4.9+0.2i。根据能量排序后得到E＝(|X(0)|＝31.0，|X(1)|＝13.2，|X(2)|＝4.9)，记录的频域分量集合为P＝(X(0)＝31.0+0.0i，X(1)＝1.9+13.0i)。
在本实施例步骤5)中，扩展出来的N个维度的频域为X(0)＝31.0+0.0i，X(1)＝1.9+13.0i，X(2)＝0，X(3)＝0，X(4)＝1.9-13.0i，根据这些频域分量恢复出来的时域Sv’＝(7,1,3,9,11)。
在本实施例步骤6)中，误差率W(Sv，Sv’)＝7/31＝25.8％。满足用户设置的可容忍误差率，在存储该段时间序列数据是，值列存储Sv的频域信息P＝(X(0)＝31.0+0.0i，X(1)＝1.9+13.0i)。时间列St存储原始测量单元。
本实施例中还示出了一种基于时域和频域的时序数据存储装置，包括：处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；
其中，
所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；
所述处理器用于调用所述存储器中的程序指令，以执行上述各方法实施例所提供的基于时域和频域的时序数据存储方法，例如包括：
将待存储的时序数据分为若干段时间序列数据，依次提取每段时间序列数据中值列的频域信息；
计算所述频域信息的误差率，并与设定的可容忍误差率相比；
若所述频域信息的误差率小于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储所述频域信息；若所述频域信息的误差率大于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储时域信息。
本实施例还公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的基于时域和频域的时序数据存储方法，例如包括：
将待存储的时序数据分为若干段时间序列数据，依次提取每段时间序列数据中值列的频域信息；
计算所述频域信息的误差率，并与设定的可容忍误差率相比；
若所述频域信息的误差率小于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储所述频域信息；若所述频域信息的误差率大于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储时域信息。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的基于时域和频域的时序数据存储方法，例如包括：
将待存储的时序数据分为若干段时间序列数据，依次提取每段时间序列数据中值列的频域信息；
计算所述频域信息的误差率，并与设定的可容忍误差率相比；
若所述频域信息的误差率小于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储所述频域信息；若所述频域信息的误差率大于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储时域信息。
综上所述，本发明提出一种基于时域和频域的时序数据存储方法和***，通过利用时间序列的频域特点，对时间序列值列按照需求进行频域和时域混合存储，能够适应不同的时间序列场景和用户需求，极大降低了存储空间，可通过用户设置参数实现磁盘占用和误差率间的平衡。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的显示装置的测试设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种时序数据存储方法，其特征在于，包括：
将待存储的时序数据分为若干段时间序列数据，依次提取每段时间序列数据中值列的频域信息；
计算所述频域信息的误差率，并与设定的可容忍误差率相比，若所述频域信息的误差率小于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储所述频域信息；若所述频域信息的误差率大于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储时域信息。
2.根据权利要求1所述的时序数据存储方法，其特征在于，将待存储的时序数据分为若干段时间序列数据具体包括：
将待存储的时序数据拆分，得到若干段时间序列数据，所述若干段时间序列数据中任意两段时间序列数据的数据点相等。
3.根据权利要求1所述的时序数据存储方法，其特征在于，提取每段时间序列数据中值列的频域信息具体包括：
提取该段时间序列数据中的值列，并对所述值列进行离散傅里叶变换，得到所述值列的频域分量集合，将所述频域分量集合中的频域分量按能量大小排序，并保存能量最高的前v个频域分量，将所述前v个频域分量作为所述值列的频域信息。
4.根据权利要求3所述的时序数据存储方法，其特征在于，对所述值列进行离散傅里叶变换具体包括：
对所述值列进行离散傅里叶变换：
<mrow> <mi>X</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>c</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mi>S</mi> <mrow> <mo>(</mo> <mi>c</mi> <mo>)</mo> </mrow> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mi>j</mi> <mfrac> <mrow> <mn>2</mn> <mi>&amp;pi;</mi> </mrow> <mi>N</mi> </mfrac> <mi>k</mi> <mi>c</mi> </mrow> </msup> </mrow>
得到频域分量集合式中，S(c)为所述时间序列数据的值列，N为所述时间序列数据中的数据点的个数。
5.根据权利要求3所述的时序数据存储方法，其特征在于，所述计算所述频域信息的误差率具体包括：
对所述频域信息进行逆变换，得到所述频域信息在时域上的恢复后时间序列；计算所述值列与所述恢复后时间序列间的误差率。
6.根据权利要求5所述的时序数据存储方法，其特征在于，对所述频域信息进行逆变换，得到所述频域信息在时域上的恢复后时间序列，具体包括：
将所述频域信息扩展到N维，得到N个扩展后的频域分量，对所述N个扩展后的频域分量进行逆变换：
<mrow> <mi>S</mi> <mrow> <mo>(</mo> <mi>n</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>k</mi> <mo>=</mo> <mn>0</mn> </mrow> <mrow> <mi>N</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mi>X</mi> <mrow> <mo>(</mo> <mi>k</mi> <mo>)</mo> </mrow> <msup> <mi>e</mi> <mrow> <mi>j</mi> <mfrac> <mrow> <mn>2</mn> <mi>&amp;pi;</mi> </mrow> <mi>N</mi> </mfrac> <mi>k</mi> <mi>n</mi> </mrow> </msup> </mrow>
其中，S(n)表示时域空间的第n个数据点，X(k)表示第k个频域分量，j为虚数单位，N为频域分量的个数，e为自然对数的底数。
7.一种时序数据存储***，其特征在于，包括
数据拆分模块，用于将待存储的时序数据分为若干段时间序列数据，依次提取每段时间序列数据中值列的频域信息；
数据存储模块，用于计算所述频域信息的误差率，并与设定的可容忍误差率相比；
若所述频域信息的误差率小于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储所述频域信息；若所述频域信息的误差率大于可容忍误差率，则该段时间序列数据的时间列存储时域信息，值列存储时域信息。
8.一种时序数据存储设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
9.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1至6任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
CN201711320919.9A 2017-12-12 2017-12-12 一种基于时域和频域的时序数据存储方法和*** Active CN107908594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711320919.9A CN107908594B (zh) 2017-12-12 2017-12-12 一种基于时域和频域的时序数据存储方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711320919.9A CN107908594B (zh) 2017-12-12 2017-12-12 一种基于时域和频域的时序数据存储方法和***

Publications (2)

Publication Number Publication Date
CN107908594A true CN107908594A (zh) 2018-04-13
CN107908594B CN107908594B (zh) 2018-12-28

Family

ID=61865642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711320919.9A Active CN107908594B (zh) 2017-12-12 2017-12-12 一种基于时域和频域的时序数据存储方法和***

Country Status (1)

Country Link
CN (1) CN107908594B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014149028A1 (en) * 2013-03-18 2014-09-25 Ge Intelligent Platforms, Inc. Apparatus and method for optimizing time series data storage
CN105242882A (zh) * 2015-10-13 2016-01-13 东方网力科技股份有限公司 时序数据的帧存储方法及装置、时序数据查询方法及装置
CN106648446A (zh) * 2015-10-30 2017-05-10 阿里巴巴集团控股有限公司 一种用于时序数据的存储方法、装置及电子设备
US20170161340A1 (en) * 2015-12-07 2017-06-08 Sap Se Multi-representation Storage of Time Series Data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014149028A1 (en) * 2013-03-18 2014-09-25 Ge Intelligent Platforms, Inc. Apparatus and method for optimizing time series data storage
CN105242882A (zh) * 2015-10-13 2016-01-13 东方网力科技股份有限公司 时序数据的帧存储方法及装置、时序数据查询方法及装置
CN106648446A (zh) * 2015-10-30 2017-05-10 阿里巴巴集团控股有限公司 一种用于时序数据的存储方法、装置及电子设备
US20170161340A1 (en) * 2015-12-07 2017-06-08 Sap Se Multi-representation Storage of Time Series Data

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CYNTHIA M.FURSE: "Faster than Fourier：ultra-efficient time-to-frequency-domain conversions for FDTD simulations", 《ANTENNAS & PROPAGATION MAGAZINE IEEE》 *
HUAN LI ET AL: "Flash-Optimized Temporal Indexing for Time-Series Data Storage on Sensor Platforms", 《ACM TRANSACTIONS ON SENSOR NETWORKS》 *
刘博伟等: "基于HBase的金融时序数据存储***", 《中国科技论文》 *
金鑫: "海量时序数据高可用性实时存储技术研究与应用", 《万方学位论文库》 *

Also Published As

Publication number Publication date
CN107908594B (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
CN104461842B (zh) 基于日志相似性来处理故障的方法和装置
CN105071983B (zh) 一种面向云计算在线业务的异常负载检测方法
CN111064614A (zh) 一种故障根因定位方法、装置、设备及存储介质
CN110442516B (zh) 信息处理方法、设备及计算机可读存储介质
CN109299258A (zh) 一种舆情事件检测方法、装置及设备
US20190146463A1 (en) Tree search-based scheduling method and electronic apparatus using the same
CN110110226B (zh) 一种推荐算法、推荐***及终端设备
CN105989373B (zh) 利用训练模型实现的获取设备指纹方法及装置
CN110472154A (zh) 一种资源推送方法、装置、电子设备及可读存储介质
CN104993962A (zh) 获取终端使用状态的方法和***
CN107545038A (zh) 一种文本分类方法与设备
CN110276382A (zh) 基于谱聚类的人群分类方法、装置及介质
CN114638633A (zh) 异常流量检测的方法和装置、电子设备和存储介质
CN113159421A (zh) 一种基于企业特征预测中标概率的方法及装置
CN113268403A (zh) 时间序列的分析预测方法、装置、设备及存储介质
CN109325061A (zh) 一种基于概率分布的异常数据处理方法及装置
CN114417161B (zh) 基于异构图的虚拟物品时序推荐方法、装置、介质及设备
CN105242873B (zh) 云计算***的性能数据的采集与存储方法及装置
CN115439192A (zh) 医疗商品信息的推送方法及装置、存储介质、计算机设备
CN111325255B (zh) 特定人群圈定方法、装置、电子设备及存储介质
CN109471871A (zh) 公车管理方法及装置
CN111460293B (zh) 信息推送方法、装置及计算机可读存储介质
CN104778202B (zh) 基于关键词的事件演化过程的分析方法及***
CN107908594A (zh) 一种基于时域和频域的时序数据存储方法和***
CN113516200B (zh) 模型训练方案生成的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant