CN108038199A

CN108038199A - 一种层次结构的传感器时序数据存储方法和***

Info

Publication number: CN108038199A
Application number: CN201711319768.5A
Authority: CN
Inventors: ***; 黄向东; 赵馨逸; 康荣; 王晨
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2017-12-12
Filing date: 2017-12-12
Publication date: 2018-05-15

Abstract

本发明提供一种层次结构的传感器时序数据存储方法和***，所述方法包括：获取传感器的采集数据时，同时获取所述传感器的属性信息和所述采集数据的描述信息；将所述属性信息作为第一存储路径字节，将所述描述信息作为第二存储路径字节；将所述第一存储路径字节和所述第二存储路径字节组合形成一条数据存储路径，将所述采集数据存储到所述数据存储路径中。通过将时序数据的属性信息按照顺序排列，并结合时序数据的描述信息构成数据存储路径，引入了通配符匹配的方式增强语义，可以表达描述传感器唯一路径的全路径，描述多个传感器的前缀路径以及描述多个层级组合的带星路径，将传感器所涵盖的属性清晰、完整地表达出来，能够清晰表明属性信息之间的层级关联。

Description

一种层次结构的传感器时序数据存储方法和***

技术领域

本发明涉及数据处理技术领域，更具体地，涉及一种层次结构的传感器时序数据存储方法和***。

背景技术

时序数据库全称为时间序列数据库。时间序列数据库主要用于指处理带时间标签(按照时间的顺序变化，即时间序列化)的数据，带时间标签的数据也称为时间序列数据。时间序列数据主要由电力行业、化工行业等各类型实时监测、检查与分析设备所采集、产生的数据，这些工业数据的典型特点是：产生频率快(每一个监测点一秒钟内可产生多条数据)、严重依赖于采集时间(每一条数据均要求对应唯一的时间)、测点多信息量大(常规的实时监测***均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十GB的数据量)。

随着物联网技术的普及和传感器技术的发展，工业领域对传感器测量值进行即时传输、存储以及查询和更新的操作愈发普遍和重要。工业领域的传感器及其产生的数值有以下三个特点：(1)传感器所产生的数据是一种由时间戳和传感器采集值构成的时间序列数据，这些数据通常以传感器为最小单位进行数据的存储和操作；(2)产生数据的传感器具有丰富的属性信息(如传感器所处地理位置、所属业主、所属设备类型等)，且共性属性信息多样(如多个传感器可能属于同一地区、同一业主、同一设备)；在对传感器所产生数据进行存储时，这些属性信息也需被同时记录下来；(3)在对传感器数据进行操作时，用户需要根据传感器属性信息或传感器本身进行简单的增加、查询、更新、删除操作以及复杂操作。

因此，寻找一种合适的时序数据存储方法来简单、直观地描述时序数据复杂的属性信息，并方便通过这种表达方式对这些时序数据的属性信息进行查询等操作尤为关键。现有的针对时序数据的表达通常是属性信息零散化的。InfluxDB、OpenTSDB等较为成熟的时序数据库中会将时序数据的属性信息拆解到其***特有的概念之中。例如InfluxDB中有三种由大到小的概念，分别为度量、标签和域，使用时用户需要通过权衡将时序数据的属性信息离散对应到这三种概念中，然后通过属性名称进行查询等操作。这样的表达方式解决了多种属性信息的表达问题，也能够支持针对属性信息的时序数据操作，但同时也存在一些问题：将属性信息完全离散化，使得原有的层次概念的关联性未被表达；不便于进行多属性的查询组合；入门门槛高。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的一种层次结构的传感器时序数据存储方法和***，解决了现有技术中存储数据时属性信息完全离散化、不便于进行多属性的查询组合的问题。

根据本发明的一个方面，提供一种传感器时序数据存储方法，包括：

获取传感器的采集数据时，同时获取所述传感器的属性信息和所述采集数据的描述信息；

将所述属性信息作为第一存储路径字节，将所述描述信息作为第二存储路径字节；将所述第一存储路径字节和所述第二存储路径字节组合形成一条数据存储路径，将所述采集数据存储到所述数据存储路径中。

作为优选的，所述属性信息包括传感器标识属性信息，所述传感器标识属性信息用于记录所述传感器的所属信息。

作为优选的，将所述属性信息作为第一存储路径字节，将所述传感器数据的描述信息作为第二存储路径字节，具体包括：

将所述属性信息按照所属实体信息将序列拆分为a[1],a[2],…,a[k]；将a[1].a[2].….a[k]作为第一存储路径字节；

获取采集数据的描述信息，将所述描述信息按照实体名称信息拆分为a[k+1],a[k+2],…,a[n]；将a[k+1].a[k+2].….a[n]作为第二存储路径字节。

作为优选的，将所述第一存储路径字节和所述第二存储路径字节组合形成一条数据存储路径，具体包括：

以关键词ROOT为路径开头字节，将第一存储路径字节和第一存储路径字节组合，得到数据存储路径ROOT.a[1].a[2].a[3].….a[k].….a[n]；其中，a[k+1].….a[n]表示对应的传感器，a[1].a[2].a[3].….a[k]表示所述传感器的所属信息。

作为优选的，还包括：

在所述数据存储路径中设置星号通配符，所述通配符可替换所述第一、二存储路径字节中任意位置的内容，表示所述星号通配符位置属性的值为任意值。

一种传感器时序数据存储***，包括数据获取模块和路径生成模块；

一种传感器时序数据存储设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述的传感器时序数据存储方法。

一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如上述的传感器时序数据存储方法。

本发明提出一种层次结构的传感器时序数据存储方法和***，通过将时序数据的属性信息按照顺序排列，并结合时序数据的描述信息构成数据存储路径，引入了通配符匹配的方式增强语义，使得其可以表达描述传感器唯一路径的全路径、描述多个传感器的前缀路径以及描述多个层级组合的带星路径，能够将传感器所涵盖的属性清晰、完整地表达出来，能够清晰表明属性信息之间的层级关联。

附图说明

图1为根据本发明实施例的传感器时序数据存储方法流程示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，图中示出了一种传感器时序数据存储方法，包括：

获取传感器数据时，同时获取所述传感器数据的属性信息和描述信息；

在本实施例中，所述属性信息包括传感器标识属性信息和时间属性信息；所述传感器标识属性信息用于记录所述传感器的所属信息，所述时间属性信息用于记录所述传感器采集所述采集数据的时间信息可以记录在所述存储路径下所存储的采集数据的时间值。

在本实施例中，将所述属性信息作为第一存储路径字节，将所述传感器数据的描述信息作为第二存储路径字节，具体包括：

将所述属性信息按照时间序列拆分为a[1],a[2],…,a[k]；将a[1].a[2].….a[k]作为第一存储路径字节；

获取采集数据的描述信息，将所述描述信息拆分为a[k+1],a[k+2],…,a[n]；将a[k+1].a[k+2].….a[n]作为第二存储路径字节。

根据实际意义的时间序列将属性信息拆分为a[1],a[2],…,a[k]；将传感器信息拆分为a[k+1],a[k+2],…,a[n]。通过以属性信息作为数据存储路径的一部分，能够将传感器所涵盖的属性清晰、完整的表达出来，将属性信息进行拆分，并作为第一存储路径字节，能够清晰的表明属性信息之间的层级关系。

以关键词ROOT为路径开头字节，将第一存储路径字节和第一存储路径字节组合，得到数据存储路径ROOT.a[1].a[2].a[3].….a[k].….a[n]；其中，a[k+1].….a[n]表示对应的传感器，a[1].a[2].a[3].….a[k]表示所述传感器的所属信息，具体的可为传感器所处地理位置、所属业主、所属设备类型等。

在本实施例中，还包括：

在所述数据存储路径中配置通配符，所述通配符可替换所述第一存储路径字节中任意位置的内容。能够通过通配符号(“*”符号)的灵活使用增强查询语义，支持更强大的组合查询等复杂操作。

使用通配符“*”增强数据存储路径中描述的路径表达的语义范围。“*”可以替换路径中的任意a[k](1<＝k<＝n)部分，代表a[k](1<＝k<＝n)位置为任意内容。

使用“*[i]”表达形式简化多个“*”连接的情况(其中i为整数)，“*[i]”可以表示i个连续的“*”符号。

本实施例中，在用户需要进行时序数据的查询时，操作如下：

1、当针对一个(或多个)传感器的数据进行查询时，语法如下：

SELECT a[k+1].….a[n]FROM ROOT.a[1].….a[k]，ROOT.a[1]’.….a[k]’，…。

2、当针对一个(或多个)设备下所有传感器数据进行查询(设备路径完整)时，语法如下：

SELECT*FROM ROOT.a[1].….a[k]，ROOT.a[1]’.….a[k]’，…。

3、当针对一个(或多个)设备下所有传感器数据进行查询(设备路径中间属性为任意值)时，语法如下：

SELECT*FROM ROOT.a[1].….*[i].….a[k]，ROOT.a[1]’.….*[i]’.….a[k]’，…。

4、当针对一个(或多个)设备下部分传感器数据进行查询(设备路径完整)时，语法如下：

SELECT a[k+1].….*[i].….a[n]FROM ROOT.a[1].….a[k]，ROOT.a[1]’.….a[k]’，…。

5、当针对一个(或多个)设备下部分传感器数据进行查询(设备路径中间属性为任意值)时，语法如下：

SELECT a[k+1].….*[i].….a[n]FROM ROOT.a[1].….a[j].….a[k]，ROOT.a[1]’.….a[v]’.….a[k]’，…。

具体的，如下例所示：

北京市海淀区有两台笔记本电脑设备，分别有CPU温度、CPU湿度传感器和Memory温度三个传感器。我们可以将笔记本电脑设备属性拆分为：北京市(Beijing)、海淀区(Haidian)、笔记本电脑(Laptop1,Laptop2)三个部分，将传感器信息拆分为：CPU、Memory、温度(Temperature)、湿度(Humidity)四个部分。这两台设备拥有的四个传感器对应的时序数据路径为：

ROOT.Beijing.Haidian.Laptop1.CPU.Temperature；

ROOT.Beijing.Haidian.Laptop1.CPU.Humidity；

ROOT.Beijing.Haidian.Laptop1.Memory.Temperature；

ROOT.Beijing.Haidian.Laptop2.CPU.Temperature；

ROOT.Beijing.Haidian.Laptop2.CPU.Humidity；

ROOT.Beijing.Haidian.Laptop2.Memory.Temperature；

若用户需要针对北京海淀区笔记本电脑Laptop1设备的CPU温度传感器数值进行查询时，我们可以使用以下查询语句(对应上文3-1步骤)：

SELECT CPU.Temperature FROM ROOT.Beijing.Haidian.Laptop1；

若用户需要针对北京海淀区笔记本电脑Laptop1设备的所有传感器数值进行查询时，我们可以使用以下查询语句(对应上文3-2步骤)：

SELECT*FROM ROOT.Beijing.Haidian.Laptop1；

若用户需要针对北京所有地区的笔记本电脑Laptop1的所有传感器数值进行查询时，我们可以使用以下查询语句(对应上文3-3步骤)：

SELECT*FROM ROOT.Beijing.*.Laptop1；

若用户需要针对北京海淀区笔记本电脑Laptop1设备的所有温度传感器数值进行查询时，我们可以使用以下查询语句(对应上文3-4步骤)：

SELECT*.Temperature FROM ROOT.Beijing.Haidian.Laptop1；

若用户需要针对北京所有地区的笔记本电脑Laptop1的温度传感器数值进行查询时，我们可以使用以下查询语句(对应上文3-5步骤)：

SELECT*.Temperature FROM ROOT.Beijing.*.Laptop1。

本实施例中还示出了一种传感器时序数据存储***，包括数据获取模块和路径生成模块；

所述数据获取模块用于在获取传感器的采集数据时，同时获取所述传感器的属性信息和所述采集数据的描述信息；

所述路径生成模块用于将所述属性信息作为第一存储路径字节，将所述描述信息作为第二存储路径字节；将所述第一存储路径字节和所述第二存储路径字节组合形成一条数据存储路径，将所述采集数据存储到所述数据存储路径中。

本实施例中还示出了一种传感器时序数据存储设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

本实施例中还示出了传感器时序数据存储设备，包括：处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；

其中，

所述处理器、存储器、通信接口通过所述总线完成相互间的通信；

所述通信接口用于该测试设备与显示装置的通信设备之间的信息传输；

所述处理器用于调用所述存储器中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的传感器时序数据存储方法，例如包括：

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本发明提出一种层次结构的传感器时序数据存储方法和***，通过将时序数据的属性信息按照顺序排列，并结合时序数据的描述信息构成数据存储路径，引入了通配符匹配的方式增强语义，使得其可以表达描述传感器唯一路径的全路径、描述多个传感器的前缀路径以及描述多个层级组合的带星路径，能够将传感器所涵盖的属性清晰、完整地表达出来，能够清晰表明属性信息之间的层级关联。

以上所描述的显示装置的测试设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种传感器时序数据存储方法，其特征在于，包括：

2.根据权利要求1所述的传感器时序数据存储方法，其特征在于，所述属性信息包括传感器标识属性信息，所述传感器标识属性信息用于记录所述传感器的所属信息。

3.根据权利要求2所述的传感器时序数据存储方法，其特征在于，将所述属性信息作为第一存储路径字节，将所述传感器数据的描述信息作为第二存储路径字节，具体包括：

4.根据权利要求3所述的传感器时序数据存储方法，其特征在于，将所述第一存储路径字节和所述第二存储路径字节组合形成一条数据存储路径，具体包括：

5.根据权利要求1所述的传感器时序数据存储方法，其特征在于，还包括：

6.一种传感器时序数据存储***，其特征在于，包括数据获取模块和路径生成模块；

7.一种传感器时序数据存储设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至5任一所述的方法。

8.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求1至5任一所述的方法。