CN108052599A - 一种支持特征查询的时序数据存储的方法和装置 - Google Patents

一种支持特征查询的时序数据存储的方法和装置 Download PDF

Info

Publication number
CN108052599A
CN108052599A CN201711322634.9A CN201711322634A CN108052599A CN 108052599 A CN108052599 A CN 108052599A CN 201711322634 A CN201711322634 A CN 201711322634A CN 108052599 A CN108052599 A CN 108052599A
Authority
CN
China
Prior art keywords
data
characteristic
data point
point set
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711322634.9A
Other languages
English (en)
Inventor
***
黄向东
刘昆
张金瑞
龙明盛
王晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201711322634.9A priority Critical patent/CN108052599A/zh
Publication of CN108052599A publication Critical patent/CN108052599A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种支持特征查询的时序数据存储的方法和装置，包括：将待存储的时序数据划分成若干包括多个连续的数据点的数据点集合，通过预设的特征函数计算每个数据点集合的特征值，将每个数据点集合中数据点的时间戳和数据值作为对应数据点集合的原始数据，将特征函数的信息、每个数据点集合的时段信息和特征值作为对应数据点集合的特征数据信息，将一个原始数据块作为一个数据点集合的原始数据的存储空间，对每一数据点集合的原始数据进行存储，将一个特征数据块作为一个数据点集合的特征数据信息的存储空间，对每一数据点集合的特征数据信息进行存储；通过上述存储方法存储的时序数据，既支持对原始的时序数据的查询，又支持对特征值的查询。

Description

一种支持特征查询的时序数据存储的方法和装置
技术领域
本发明涉及数据处理技术领域，更具体地，涉及一种支持特征查询的时序数据存储的方法和装置。
背景技术
随着互联网和物联网的快速发展，时间序列数据(简称为时序数据)的采集与使用变得越来越广泛，如：在风力发电行业中，风机上的传感器会不断地产生大量的时序数据，通过对这些数据的实时分析可以对风机状态进行调整，提高风力发电效率；在复杂装备企业中，通过对采集的历史时序数据的统计，可以得到的各个设备的运行状态。
时序数据具有以下的特点：(1)数据量大：一个设备企业往往会有数千甚至上万台设备，每一个台设备上的传感器按照使用的需求以一定时间间隔采集并回传数据，因此，时序数据会不断的快速增加。(2)具有独特的特征：在不同的应用领域，可以针对时序数据采用不同的特征描述，用于强调时序数据的不同特征。例如：可以采用傅里叶变换得到时序数据的频域特征，进而用频域信息作为特征来表征时序数据；采用分段线性近似(PLA)将时序数据分割成多个连续的数据点集合，进而使用多条直线作为特征来表征对应的数据点集合；基本的统计特征(均值，方差，极值等)也可以被视为简单的特征，用于表征时序数据。对于时序数据，使用者可能需要通过原始的时序数据进行查询与分析，也可能只需要某段时间内的数据的一些特征。如：在异常监控中更加关注一段时间内的最大值与最小值。
现有的存储***在存储时序数据时，一般只对原始的时序数据进行存储，因此目前缺少一种既可以支持对原始的时序数据进行查询，又可以支持对原始的时序数据的特征进行查询的时序数据的存储方法。
发明内容
为了克服上述问题或者至少部分地解决上述问题，本发明提供一种支持特征查询的时序数据存储的方法和装置。
根据本发明的一个方面，提供一种支持特征查询的时序数据存储的方法，包括：将待存储的时序数据划分成若干数据点集合，每一数据点集合包括多个连续的数据点，每一数据点包括一个时间戳和一个数据值，对于任一数据点集合，将所述任一数据点集合中数据点的时间戳和数据值作为数据点集合的原始数据；将所述任一数据点集合中数据点的最早时间戳和最晚时间戳作为所述任一数据点集合的时段信息，根据预设的特征函数获取所述任一数据点集合的特征值，将所述任一数据点集合的时段信息、特征函数的信息和所述任一数据点集合的特征值作为所述任一数据点集合的特征数据信息；创建原始数据块和特征数据块，将一个原始数据块作为一个数据点集合的原始数据的存储空间，对每一数据点集合的原始数据进行存储，将一个特征数据块作为一个数据点集合的特征数据信息的存储空间，对每一数据点集合的特征数据信息进行存储。
其中，将待存储的时序数据划分成若干数据点集合，包括：按数据点的时间戳的先后顺序，将每预设数量的连续的数据点划分为一个数据点集合。
其中，根据预设的特征函数获取所述任一数据点集合的特征值，包括：调用特征函数，对所述任一数据点集合的原始数据作处理，获取所述任一数据点集合的特征值。
其中，对每一数据点集合的原始数据进行存储，包括：对于所述任一数据点集合，将所述任一数据点集合中每一数据点的时间戳和数据值依次存储在一个原始数据块中，且对于所述任一数据点集合中任一数据点，使所述任一数据点的时间戳关联至所述任一数据点的数据值，以存储所述任一数据点集合的原始数据；依次存储每一数据点集合的原始数据。
其中，对每一数据点集合的特征数据信息进行存储，包括：对于所述任一数据点集合，将所述任一数据点集合的时段信息、特征函数的信息和所述任一数据点集合的特征值依次存储在一个特征数据块中，以存储所述任一数据点集合的特征数据信息；依次存储每一数据点集合的特征数据信息。
其中，创建原始数据块和特征数据块，将一个原始数据块作为一个数据点集合的原始数据的存储空间，对每一数据点集合的原始数据进行存储，将一个特征数据块作为一个数据点集合的特征数据信息的存储空间，对每一数据点集合的特征数据信息进行存储之后，还包括：在原始数据块与特征数据块之间建立关联关系，其中，用于存储一个数据点集合的原始数据的原始数据块关联至用于存储同一个数据点集合的特征数据信息的特征数据块。
本发明的另一方面，提供一种支持特征查询的时序数据存储的装置，包括：至少一个处理器；以及与处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，处理器调用程序指令以执行上述的方法。
本发明的又一方面，提供一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使计算机执行上述的方法。
本发明的又一方面，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使计算机执行上述的方法。
本发明提供的一种支持特征查询的时序数据存储的方法和装置，包括：将待存储的时序数据划分成若干包括多个连续的数据点的数据点集合，通过预设的特征函数计算每个数据点集合的特征值，将每个数据点集合中数据点的时间戳和数据值作为对应数据点集合的原始数据，将特征函数的信息和每个数据点集合的时段信息和特征值作为对应数据点集合的特征数据信息，将一个原始数据块作为一个数据点集合的原始数据的存储空间，对每一数据点集合的原始数据进行存储，将一个特征数据块作为一个数据点集合的特征数据信息的存储空间，对每一数据点集合的特征数据信息进行存储；通过上述存储方法存储的时序数据，既可以支持对原始的时序数据的查询，又可以支持对原始的时序数据的特征的查询。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的支持特征查询的时序数据存储的方法的流程图；
图2为根据本发明实施例的原始数据块的存储格式的示意图；
图3为根据本发明实施例的特征数据块的存储格式的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的一个实施例中，参考图1，提供一种支持特征查询的时序数据存储的方法，包括：S11，将待存储的时序数据划分成若干数据点集合，每一数据点集合包括多个连续的数据点，每一数据点包括一个时间戳和一个数据值，对于任一数据点集合，将所述任一数据点集合中数据点的时间戳和数据值作为所述任一数据点集合的原始数据；S12，将所述任一数据点集合中数据点的最早时间戳和最晚时间戳作为所述任一数据点集合的时段信息，根据预设的特征函数获取所述任一数据点集合的特征值，将所述任一数据点集合的时段信息、特征函数的信息和所述任一数据点集合的特征值作为所述任一数据点集合的特征数据信息；S13，创建原始数据块和特征数据块，将一个原始数据块作为一个数据点集合的原始数据的存储空间，对每一数据点集合的原始数据进行存储，将一个特征数据块作为一个数据点集合的特征数据信息的存储空间，对每一数据点集合的特征数据信息进行存储。
具体的，时间序列数据是一系列带有时间戳、依时间按照升序排列、并且来自于同一个目标的数据，每个时间戳与该时间戳对应的数据值组成时序数据的一个数据点。使用S来表示时间序列，S中一段连续的数据点使用P＝{p1，p2...pn}表示，其中pi＝(ti，di)表示P中的第i个点，ti表示时间戳，di表示数据值。例如时序数据中的数据点是按照每5秒进行采集的数据，其中包含了10个数据点，则对应的时序数据如下表1所示：
表1包含了10个数据点的时序数据
数据点 P1 P2 P3 P4 P5 P6 P7 P8 P9 P10
时间戳 5 10 15 20 25 30 35 40 45 50
数据值 1 2 3.1 4 5.2 10 9 8 7 6
对于待存储的时序数据，将待存储的时序数据划分成若干数据点集合，每一数据点集合包括多个连续的数据点，对于每一数据点集合中数据点的时间戳和数据值，将每一数据点集合中数据点的时间戳和数据值作为对应的数据点集合的原始数据，例如，将表1的p1、p2、p3、p4和p5划分到第一个数据点集合，则该数据点集合的原始数据是(5,1)、(10,2)、(15,3.1)、(20,4)和(25,5.2)；对于每一数据点集合的原始数据，将每一数据点集合中数据点的昨早时间戳和最晚时间戳作为定每一数据点集合的时段信息，例如第一个数据点集合中最早时间戳是“5”，最晚时间戳是“25”，则第一个数据点集合的时段信息是[5,25]，每一数据点集合的时段信息包含对应数据点集合中所有数据点的时间戳的时间范围；利用预设的特征函数，获取每一数据点集合的特征值；预设的特征函数是根据用户需要所设定的，用于计算数据的某一特征的函数或者运算规则，例如傅里叶变换、分段线性近似或者计算均值的运算规则，计算方差的运算规则，计算极值运算规则等等，特征值为数据的某一特征通过相应的函数或者运算规则计算获得的值；例如将预设的特征函数选取为分段线性近似，则第一个数据点集合的特征值可确定为0.21(斜率)和0(纵截距)；对于任一数据点集合，将所述任一数据点集合的时段信息、特征函数的信息和所述任一数据点集合的特征值作为所述任一数据点集合的特征数据信息。
创建原始数据块和特征数据块，采用一个原始数据块作为一个数据点集合的原始数据的存储空间的方式，对每一数据点集合的原始数据进行存储，即一个原始数据块仅存储一个数据点集合的原始数据；采用一个特征数据块作为一个数据点集合的特征数据信息的存储空间的方式，对每一数据点集合的特征数据信息进行存储，即一个特征数据块仅存储一个数据点集合的特征数据信息。
本实施例将待存储的时序数据划分成若干包括多个连续的数据点的数据点集合，通过预设的特征函数计算每个数据点集合的特征值，将每个数据点集合中数据点的时间戳和数据值作为对应数据点集合的原始数据，将特征函数的信息和每个数据点集合的时段信息和特征值作为对应数据点集合的特征数据信息，将一个原始数据块作为一个数据点集合的原始数据的存储空间，对每一数据点集合的原始数据进行存储，将一个特征数据块作为一个数据点集合的特征数据信息的存储空间，对每一数据点集合的特征数据信息进行存储；通过上述存储方法存储的时序数据，既可以支持对原始的时序数据的查询，又可以支持对原始的时序数据的特征的查询。
基于以上实施例，将待存储的时序数据划分成若干数据点集合，包括：按数据点的时间戳的先后顺序，将每预设数量的连续的数据点划分为一个数据点集合。
具体的，从待存储的时序数据的第一个数据点开始，将每预设数量的连续的数据点划分到一个数据点集合中，例如表1的时序数据，如果预设数量为5，则p1、p2、p3、p4和p5划分为为第一个数据点集合，p6、p7、p8、p9和p10划分为为第二个数据点集合。
本实施例通过将每一数据点集合中第一个数据点的时间戳和最后一个数据点的时间戳作为对应的数据点集合的时段信息，从而该时段信息包含了对应数据点集合中所有数据点的时间戳的信息，在进行查询时，可基于时段信息进行初步的查询，有利于提高查询的效率。
基于以上实施例，根据预设的特征函数获取所述任一数据点集合的特征值，包括：调用特征函数，对所述任一数据点集合的原始数据作处理，获取所述任一数据点集合的特征值。
具体的调用特征函数，对所述任一数据点集合的原始数据作处理，例如特征函数为分段线性近似，则使用分段线性近似对第一个数据点集合中数据点p1、p2、p3、p4和p5的时间戳和数据值作处理，可获得第一个数据点集合的特征值为0.21(斜率)和0(纵截距)。
基于以上实施例，对每一数据点集合的原始数据进行存储，包括：对于所述任一数据点集合，将所述任一数据点集合中每一数据点的时间戳和数据值依次存储在一个原始数据块中，且对于所述任一数据点集合中任一数据点，使所述任一数据点的时间戳关联至所述任一数据点的数据值，以存储所述任一数据点集合的原始数据；依次存储每一数据点集合的原始数据。
具体的，依次对每一数据点集合的原始数据进行存储，且一个数据点集合的原始数据占用一个原始数据块；对于其中任一数据点集合的原始数据的存储，将该任一数据点集合中每一数据点的时间戳和数据值依次存储在一个原始数据块中，存储的格式如图2所示，并且对于任一数据点，使该任一数据点的时间戳关联至该任一数据点的数据值，依此对每一数据点集合的原始数据进行存储。
本实施例通过对每一数据点集合的原始数据进行存储，一个数据点集合的原始数据占用一个原始数据块，且任一数据点的时间戳关联至数据值，以实现对原始的时序数据高效管理，且可实现根据时间戳快速的查找到对应的数据值。
基于以上实施例，对每一数据点集合的特征数据信息进行存储，包括：对于所述任一数据点集合，将所述任一数据点集合的时段信息、特征函数的信息和所述任一数据点集合的特征值依次存储在一个特征数据块中，以存储所述任一数据点集合的特征数据信息；依次存储每一数据点集合的特征数据信息。
具体的，依次对每一数据点集合的特征数据信息进行存储，且一个数据点集合的特征数据信息占用一个特征数据块；对于其中任一数据点集合的特征数据信息的存储，将该任一数据点集合的时段信息、特征函数的信息和该任一数据点集合的特征值依次存储在一个特征数据块中，存储的格式如图3所示。
本实施例通过对每一数据点集合的特征数据信息进行存储，且一个数据点集合的特征数据信息占用一个特征数据块，以实现对时序数据的特征信息的高效管理，可通过用户输入的时刻信息确定时段信息，并通过时段信息快速的查找所要查找的特征值。
创建原始数据块和特征数据块，将一个原始数据块作为一个数据点集合的原始数据的存储空间，对每一数据点集合的原始数据进行存储，将一个特征数据块作为一个数据点集合的特征数据信息的存储空间，对每一数据点集合的特征数据信息进行存储之后，还包括：在原始数据块与特征数据块之间建立关联关系，其中，用于存储一个数据点集合的原始数据的原始数据块关联至用于存储同一个数据点集合的特征数据信息的特征数据块。
具体的，将用于存储一个数据点集合的原始数据的原始数据块关联至用于存储同一个数据点集合的特征数据信息的特征数据块，在用户输入时刻进行查询时，有利于先根据特征数据块中的时段信息确定数据点集合，再在数据点集合中查找数据点，而无需遍历每一数据点，以此实现快速查找，
基于上述实施例的支持特征查询的时序数据存储的方法存储的时序数据，可支持对原始的时序数据的查询和支持对特征值的查询两种查询类型，查询类型可由用户决定：
(1)对原始的时序数据的查询：接收用户输入的时间信息，根据用户输入的时间信息遍历特征数据块中的时段信息以确定特征数据块，根据特征数据块与原始数据块的关联关系确定原始数据块，在确定的原始数据块中遍历每一数据点，如果户输入的时间信息与某一数据戳匹配，则返回该匹配的数据戳关联的数据值给用户，如果户输入的时间信息与原始数据块中所有数据点的时间戳均无法匹配，例如时间戳的间隔是5s，时间戳分别为5s、10s，15s，……，但是户输入的时间信息是12s，则根据特征数据块中的特征函数的信息调用对应的特征函数，对该特征数据块中的时段信息和特征值进行处理，获得查询时刻的数据值返回给用户。
(2)对特征值的查询：接收用户输入的时间信息，根据用户输入的时间信息遍历特征数据块中的时段信息以确定特征数据块，将确定的特征数据块中存储的特征值返回给用户。
作为本发明的又一实施例，提供一种支持特征查询的时序数据存储的装置，包括：至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行上述各方法实施例所提供的方法，例如包括：将待存储的时序数据划分成若干数据点集合，每一数据点集合包括多个连续的数据点，每一数据点包括一个时间戳和一个数据值，对于任一数据点集合，将所述任一数据点集合中数据点的时间戳和数据值作为数据点集合的原始数据；将所述任一数据点集合中数据点的最早时间戳和最晚时间戳作为所述任一数据点集合的时段信息，根据预设的特征函数获取所述任一数据点集合的特征值，将所述任一数据点集合的时段信息、特征函数的信息和所述任一数据点集合的特征值作为所述任一数据点集合的特征数据信息；创建原始数据块和特征数据块，将一个原始数据块作为一个数据点集合的原始数据的存储空间，对每一数据点集合的原始数据进行存储，将一个特征数据块作为一个数据点集合的特征数据信息的存储空间，对每一数据点集合的特征数据信息进行存储。
作为本发明的又一个实施例，提供一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：将待存储的时序数据划分成若干数据点集合，每一数据点集合包括多个连续的数据点，每一数据点包括一个时间戳和一个数据值，对于任一数据点集合，将所述任一数据点集合中数据点的时间戳和数据值作为数据点集合的原始数据；将所述任一数据点集合中数据点的最早时间戳和最晚时间戳作为所述任一数据点集合的时段信息，根据预设的特征函数获取所述任一数据点集合的特征值，将所述任一数据点集合的时段信息、特征函数的信息和所述任一数据点集合的特征值作为所述任一数据点集合的特征数据信息；创建原始数据块和特征数据块，将一个原始数据块作为一个数据点集合的原始数据的存储空间，对每一数据点集合的原始数据进行存储，将一个特征数据块作为一个数据点集合的特征数据信息的存储空间，对每一数据点集合的特征数据信息进行存储。
作为本发明的又一个实施例，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使该计算机执行上述各方法实施例所提供的方法，例如包括：将待存储的时序数据划分成若干数据点集合，每一数据点集合包括多个连续的数据点，每一数据点包括一个时间戳和一个数据值，对于任一数据点集合，将所述任一数据点集合中数据点的时间戳和数据值作为数据点集合的原始数据；将所述任一数据点集合中数据点的最早时间戳和最晚时间戳作为所述任一数据点集合的时段信息，根据预设的特征函数获取所述任一数据点集合的特征值，将所述任一数据点集合的时段信息、特征函数的信息和所述任一数据点集合的特征值作为所述任一数据点集合的特征数据信息；创建原始数据块和特征数据块，将一个原始数据块作为一个数据点集合的原始数据的存储空间，对每一数据点集合的原始数据进行存储，将一个特征数据块作为一个数据点集合的特征数据信息的存储空间，对每一数据点集合的特征数据信息进行存储。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过计算机程序指令相关的硬件来完成，前述的计算机程序可以存储于一计算机可读取存储介质中，该计算机程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种支持特征查询的时序数据存储的方法，其特征在于，包括：
将待存储的时序数据划分成若干数据点集合，每一数据点集合包括多个连续的数据点，每一数据点包括一个时间戳和一个数据值，对于任一数据点集合，将所述任一数据点集合中数据点的时间戳和数据值作为所述任一数据点集合的原始数据；
将所述任一数据点集合中数据点的最早时间戳和最晚时间戳作为所述任一数据点集合的时段信息，根据预设的特征函数获取所述任一数据点集合的特征值，将所述任一数据点集合的时段信息、所述特征函数的信息和所述任一数据点集合的特征值作为所述任一数据点集合的特征数据信息；
创建原始数据块和特征数据块，将一个原始数据块作为一个数据点集合的原始数据的存储空间，对每一数据点集合的原始数据进行存储，将一个特征数据块作为一个数据点集合的特征数据信息的存储空间，对每一数据点集合的特征数据信息进行存储。
2.根据权利要求1所述的方法，其特征在于，所述将待存储的时序数据划分成若干数据点集合，包括：
按数据点的时间戳的先后顺序，将每预设数量的连续的数据点划分为一个数据点集合。
3.根据权利要求1所述的方法，其特征在于，所述根据预设的特征函数获取所述任一数据点集合的特征值，包括：
调用所述特征函数，对所述任一数据点集合的原始数据进行处理，获取所述任一数据点集合的特征值。
4.根据权利要求1所述的方法，其特征在于，所述对每一数据点集合的原始数据进行存储，包括：
对于所述任一数据点集合，将所述任一数据点集合中每一数据点的时间戳和数据值依次存储在一个原始数据块中，且对于所述任一数据点集合中任一数据点，使所述任一数据点的时间戳关联至所述任一数据点的数据值，以存储所述任一数据点集合的原始数据；
依次存储每一数据点集合的原始数据。
5.根据权利要求1所述的方法，其特征在于，所述对每一数据点集合的特征数据信息进行存储，包括：
对于所述任一数据点集合，将所述任一数据点集合的时段信息、所述特征函数的信息和所述任一数据点集合的特征值依次存储在一个特征数据块中，以存储所述任一数据点集合的特征数据信息；
依次存储每一数据点集合的特征数据信息。
6.根据权利要求1所述的方法，其特征在于，所述创建原始数据块和特征数据块，将一个原始数据块作为一个数据点集合的原始数据的存储空间，对每一数据点集合的原始数据进行存储，将一个特征数据块作为一个数据点集合的特征数据信息的存储空间，对每一数据点集合的特征数据信息进行存储之后，还包括：
在原始数据块与特征数据块之间建立关联关系，其中，用于存储一个数据点集合的原始数据的原始数据块关联至用于存储同一个数据点集合的特征数据信息的特征数据块。
7.一种支持特征查询的时序数据存储的装置，其特征在于，包括：
至少一个处理器；以及与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令以执行如权利要求1至6任一所述的方法。
8.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1至6任一所述的方法。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行如权利要求1至6任一所述的方法。
CN201711322634.9A 2017-12-12 2017-12-12 一种支持特征查询的时序数据存储的方法和装置 Pending CN108052599A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711322634.9A CN108052599A (zh) 2017-12-12 2017-12-12 一种支持特征查询的时序数据存储的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711322634.9A CN108052599A (zh) 2017-12-12 2017-12-12 一种支持特征查询的时序数据存储的方法和装置

Publications (1)

Publication Number Publication Date
CN108052599A true CN108052599A (zh) 2018-05-18

Family

ID=62131991

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711322634.9A Pending CN108052599A (zh) 2017-12-12 2017-12-12 一种支持特征查询的时序数据存储的方法和装置

Country Status (1)

Country Link
CN (1) CN108052599A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163015A (zh) * 2020-09-22 2021-01-01 南京信息职业技术学院 一种物联网时序数据实时监控方法、装置和***
CN114547027A (zh) * 2022-02-11 2022-05-27 清华大学 容量和价值约束的数据压缩处理方法、装置及存储介质
CN117370329A (zh) * 2023-12-07 2024-01-09 湖南易比特大数据有限公司 基于工业物联网的设备数据智能化管理方法及***

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611454A (zh) * 2012-01-29 2012-07-25 上海锅炉厂有限公司 一种实时历史数据动态无损压缩方法
CN103003803A (zh) * 2010-08-11 2013-03-27 株式会社日立制作所 时序数据处理装置及其方法
CN105242882A (zh) * 2015-10-13 2016-01-13 东方网力科技股份有限公司 时序数据的帧存储方法及装置、时序数据查询方法及装置
CN105843891A (zh) * 2016-03-22 2016-08-10 浙江大学 一种增量式的在线特征提取分析方法及***
CN106383585A (zh) * 2016-09-30 2017-02-08 山东瀚岳智能科技股份有限公司 基于可穿戴设备的用户情绪识别方法及***
CN106649438A (zh) * 2016-09-09 2017-05-10 西安交通大学 一种时序数据非预期故障检测方法
CN106682077A (zh) * 2016-11-18 2017-05-17 山东鲁能软件技术有限公司 一种基于Hadoop技术的海量时序数据存储实现方法
CN106776823A (zh) * 2016-11-25 2017-05-31 华为技术有限公司 一种时序数据管理方法、设备和装置
US20170161661A1 (en) * 2015-12-07 2017-06-08 Sap Se Advisor Generating Multi-representations of Time Series Data

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103003803A (zh) * 2010-08-11 2013-03-27 株式会社日立制作所 时序数据处理装置及其方法
CN102611454A (zh) * 2012-01-29 2012-07-25 上海锅炉厂有限公司 一种实时历史数据动态无损压缩方法
CN105242882A (zh) * 2015-10-13 2016-01-13 东方网力科技股份有限公司 时序数据的帧存储方法及装置、时序数据查询方法及装置
US20170161661A1 (en) * 2015-12-07 2017-06-08 Sap Se Advisor Generating Multi-representations of Time Series Data
CN105843891A (zh) * 2016-03-22 2016-08-10 浙江大学 一种增量式的在线特征提取分析方法及***
CN106649438A (zh) * 2016-09-09 2017-05-10 西安交通大学 一种时序数据非预期故障检测方法
CN106383585A (zh) * 2016-09-30 2017-02-08 山东瀚岳智能科技股份有限公司 基于可穿戴设备的用户情绪识别方法及***
CN106682077A (zh) * 2016-11-18 2017-05-17 山东鲁能软件技术有限公司 一种基于Hadoop技术的海量时序数据存储实现方法
CN106776823A (zh) * 2016-11-25 2017-05-31 华为技术有限公司 一种时序数据管理方法、设备和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112163015A (zh) * 2020-09-22 2021-01-01 南京信息职业技术学院 一种物联网时序数据实时监控方法、装置和***
CN112163015B (zh) * 2020-09-22 2023-09-22 南京信息职业技术学院 一种物联网时序数据实时监控方法、装置和***
CN114547027A (zh) * 2022-02-11 2022-05-27 清华大学 容量和价值约束的数据压缩处理方法、装置及存储介质
CN114547027B (zh) * 2022-02-11 2023-01-31 清华大学 容量和价值约束的数据压缩处理方法、装置及存储介质
CN117370329A (zh) * 2023-12-07 2024-01-09 湖南易比特大数据有限公司 基于工业物联网的设备数据智能化管理方法及***
CN117370329B (zh) * 2023-12-07 2024-02-27 湖南易比特大数据有限公司 基于工业物联网的设备数据智能化管理方法及***

Similar Documents

Publication Publication Date Title
JP6494777B2 (ja) 端末にプッシュされるデータコンテンツを選択するための方法およびデバイス
CN110245035A (zh) 一种链路跟踪方法及装置
CN107111527A (zh) 用于分析仪器化软件的数据流处理语言
CN107229730A (zh) 数据查询方法及装置
CN107784026B (zh) 一种etl数据处理方法及装置
CN108052599A (zh) 一种支持特征查询的时序数据存储的方法和装置
CN111209309B (zh) 数据流图处理结果确定方法、装置、设备及存储介质
WO2020087082A1 (en) Trace and span sampling and analysis for instrumented software
CN109144997A (zh) 数据关联方法、装置及存储介质
CN109254901B (zh) 一种指标监测方法及***
CN104424339A (zh) 数据分析的方法、装置及***
CN108415964A (zh) 数据表查询方法、装置、终端设备及存储介质
WO2014206131A1 (en) Method and apparatus for report generation
CN109669915A (zh) 一种计算机任务管理方法、装置及相关设备
CN111414410A (zh) 数据处理方法、装置、设备和存储介质
CN107463391A (zh) 任务处理方法、装置及设备
CN108460052A (zh) 一种自动创建索引的方法、装置及数据库***
CN107330031A (zh) 一种数据存储的方法、装置及电子设备
US20160217216A1 (en) Systems, methods, and devices for implementing a referral search
CN109657801A (zh) 推荐***的分流方法、装置及可读存储介质
CN108874994A (zh) 一种分块读取数据的方法、装置及计算机存储介质
CN104778253B (zh) 一种提供数据的方法和装置
CN110895745B (zh) 一种轮询领取任务的方法、装置、计算机设备及存储介质
CN115018624A (zh) 基于风控策略的决策引擎及方法
CN112954082B (zh) 域名注册ip地址查询方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180518