CN106503276A - 一种用于实时监控***的时间序列数据库的方法与装置 - Google Patents

一种用于实时监控***的时间序列数据库的方法与装置 Download PDF

Info

Publication number
CN106503276A
CN106503276A CN201710010399.5A CN201710010399A CN106503276A CN 106503276 A CN106503276 A CN 106503276A CN 201710010399 A CN201710010399 A CN 201710010399A CN 106503276 A CN106503276 A CN 106503276A
Authority
CN
China
Prior art keywords
uid
data
index
label
hbase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710010399.5A
Other languages
English (en)
Inventor
毛立花
唐旋
崔乐乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Cloud Service Information Technology Co Ltd
Original Assignee
Shandong Inspur Cloud Service Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Cloud Service Information Technology Co Ltd filed Critical Shandong Inspur Cloud Service Information Technology Co Ltd
Priority to CN201710010399.5A priority Critical patent/CN106503276A/zh
Publication of CN106503276A publication Critical patent/CN106503276A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/221—Column-oriented storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于实时监控***的时间序列数据库的方法与装置其实现过程为：首先构建HBase的行主键RowKey，用于添加监控指标；然后将数据存储到HBase数据库中，对该数据库的元数据进行管理，即设置一张元数据表，使用不同的列簇，存储元数据唯一化标识的正向关系和反向关系；最后对数据库进行过滤，即在服务器端对数据进行汇总，减少服务器端向客户端传送的数据量，从而完整整个时间序列数据库的设计。该用于实时监控***的时间序列数据库的方法与装置与现有技术相比，实现了监控***的实时写入和查询的功能，解决了对监控***中各类指标进行实时监控效率低、速度慢、可扩展性差的技术问题，广泛应用于各种软硬件***的运维监控***中。

Description

一种用于实时监控***的时间序列数据库的方法与装置
技术领域
本发明涉及大数据技术领域，具体地说是一种实用性强、用于实时监控***的时间序列数据库的方法与装置。
背景技术
当今，信息技术为人类步入智能社会开启了大门，带动了互联网、物联网、电子商务、智慧城市等现代服务业的发展，也带来了大数据。大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据具有四个特征：体量巨大、处理速度快、数据类型繁多和价值密度低。而大数据技术，是在低性能的廉价的PC机上搭建大规模集群，用于存储、分析和处理大数据。
HBase是Hadoop生态圈中的重要成员，是一个高可靠性、高性能、面向列、可伸缩的分布式存储***，HBase是谷歌公司的Bigtable的开源实现，底层使用HDFS作为文件***，使用MapReduce来处理HBase中的海量的数据，Zookeeper为HBase提供了稳定服务和failover机制，HBase提供了丰富的查询接口。HBase中的所有的行都按照row key的字典序排列。HBase不同于一般的关系型数据库，它是一个适合于非结构化数据存储的数据库，是面向列存储的，对于为空的列，并不占用存储空间，因此可以设计的非常稀疏。HBase中的每个列都归属于一个列簇，列簇在HBase中表的模式(schema)定义中。
实时计算也称为即时计算，互联网领域的实时计算是针对海量数据进行的，实时计算最重要的需求是能够实时响应计算结果，一般要求为秒级。实时计算需要解决的问题和难点是实时存储和实时计算。实时存储可以通过使用高性能的NoSQL数据来实现，而实时计算需要依赖计算过程全内存化。
大数据时代来临，产生了大量的大数据应用。由于大数据的体量大、多样性，大数据应用在实时数据处理领域存在较大的技术难度。监控***是大数据应用的重要模块，能全面了解***内部的运行情况，及时发现应用运行中的异常。监控***中主要存储的数据是按照时间的顺序，存储各个指标的值，例如每秒的业务处理量。监控***也应该提供不同维度的汇总数据，例如每天的业务处理总量。
基于此，现提供一种用于实时监控***的时间序列数据库的方法与装置。
发明内容
本发明的技术任务是针对以上不足之处，提供一种实用性强、用于实时监控***的时间序列数据库的方法与装置。
一种用于实时监控***的时间序列数据库的方法，基于HBase，其实现过程为：
首先构建HBase的行主键RowKey，用于添加监控指标；
然后将数据存储到HBase数据库中，对该数据库的元数据进行管理，即设置一张元数据表，使用不同的列簇，存储元数据唯一化标识的正向关系和反向关系；
最后对数据库进行过滤，即在服务器端对数据进行汇总，减少服务器端向客户端传送的数据量，从而完整整个时间序列数据库的设计。
在构建HBase的行主键RowKey时，首先构建存储时间序列数据的对象模型，该对象模型是包含某个指标的带有多个标签的数据点集合，其中每个数据点是某一个时刻的存储的数据的模型，该数据点包括指标名称、标签名称、标签数值、时间戳，组合指标名称、标签名称、标签数值、时间戳作为HBase中数据的RowKey。
所述对象模型中，指标名称是一个可测量的单位的标称，表示服务器的下载量指标；标签是用来描述一个指标名称应该测量的对象，用Tags来描述具有相同维度的指标名称，Tags由tagk和tagv组成，前者表示一个分组，后者表示一个特定的项。
所述HBase中每一条数据都包含行主键RowKey，该RowKey的设计规则如下：
<metric_UID><timestamp><tagk1_UID><tagv1_UID>[...<tagkN_UID><tag vN_UID>]；
即，指标的唯一标识符，时间戳，多个标签名的唯一标识符，多个标签值的唯一标识符；对于指标名称、标签名称、标签数值的每一个指标，标签在创建的时候，被分配一个唯一标识UID；时间戳的单位是一个小时，即每个小时作为一行数据，每个小时有3600秒，HBase中创建一个列簇，用于存储时间序列数据，每***一个数据点，该数据点的列就是其时间戳，值就是监控到的数值。
所述RowKey中的时间戳被编码为4个Byte，编码规则和过程如下：
1)时间取整点值，最小单位即小时；
2)获取时间戳的long值；
3)将上述过程2)生成的long值的最后三位去掉；
4)将上述过程3)生成的long值转换成二进制，得到4个Byte。
所述元数据表用于实现根据标签或指标查询到其UID，也能根据UID查询到指标或标签的内容；具体实现过程为：
设计一个单独的表用来存储UID映射，包括正向的和反向的，该表存在两列簇，一列簇叫做name，用来将一个UID映射到一个字符串；另一个列簇叫做id，用来将字符串映射到UID；列簇的每一行都至少有以下三列中的一个：
指标名称，将指标名称的名称映射到UID；
Tagk，将tag名称映射到UID；
Tagv，将tag的值映射到UID；
对于每一个指标名称、tagk或者tagv都存在从0开始的计数器，每来一个新的指标名称、tagk或者tagv，对应的计数器就会加1。
对数据库进行过滤时，在某个汇总维度，查询某个指标、某个标签及标签值的某一段时间的汇总值的过程如下，其中汇总维度包括秒、分钟、小时、天、月、年：
查询该指标的UID，该标签的UID，该标签值的UID，起始时间，生成最小的RowKey，称为MinRowKey；
查询该指标的UID，该标签的UID，该标签值的UID，结束时间，生成最大的RowKey，称为MaxRowKey；
使用时间序列过滤器，对HBase中数据的RowKey在[MinRowKey,MaxRowKey]范围中的数据，根据汇总的维度进行汇总分析。
使用时间过滤器过滤汇总分析的过程为：
首先获取一条数据；
然后判断该数据的RowKey是否在区间[MinRowKey,MaxRowKey]内，是则继续；
判断RowKey的指标UID、标签UID、标签值UID是否与查询的匹配；
判断是否已经达到最大的RowKey，即MaxRowKey，是则结束；
在内存中，根据维度汇总该数据，然后继续判断下一条数据。
一种用于实时监控***的时间序列数据库的装置，基于HBase，其结构包括：
对象模型，是包含某个指标的带有多个标签的数据点集合，其中每个数据点是某一个时刻的存储的数据的模型，该数据点包括指标名称、标签名称、标签数值、时间戳，组合指标名称、标签名称、标签数值、时间戳作为HBase中数据的RowKey；
HBase数据库，通过HBase的列式存储方式，存储时间序列数据；
基于HBase的过滤器，对上述存储的时间序列数据进行过滤分析汇总，减少返回的数据量。
所述HBase数据库中还设置有元数据表，用于实现根据标签或指标查询到其UID，也能根据UID查询到指标或标签的内容。
本发明的一种用于实时监控***的时间序列数据库的方法与装置，具有以下优点：
提出了一种用于实时监控***的数据的建模方法，包括指标维度、标签维度和时间戳等，能够满足大多数监控***的监控需求；
设计了用于实时监控***的通用的时间序列数据库的存储方法，包括RowKey的设计，元数据的设计等，能够灵活的增加监控指标和监控维度；
使用自定义的过滤器，优化实时监控***的多维度的分析汇总需求，支持高并发业务***的实时查询；
利用HBase针对key-value数据的高效的***和查询效率，实现了监控***的实时写入和查询的功能，解决了对监控***中各类指标进行实时监控效率低、速度慢、可扩展性差的技术问题，广泛应用于各种软硬件***的运维监控***中，实用性强，适用范围广泛，易于推广。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
附图1为时间序列数据查询过滤器过滤分析汇总过程的流程图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种用于实时监控***的时间序列数据库的方法，基于HBase，本发明主要解决大数据应用的实时监控***中的数据存储存在的技术问题，提供底层的通用的时间序列数据库。
其实现过程为：
首先构建HBase的行主键RowKey，用于添加监控指标；
然后将数据存储到HBase数据库中，对该数据库的元数据进行管理，即设置一张元数据表，使用不同的列簇，存储元数据唯一化标识的正向关系和反向关系；
最后对数据库进行过滤，即在服务器端对数据进行汇总，减少服务器端向客户端传送的数据量，从而完整整个时间序列数据库的设计。
在构建HBase的行主键RowKey时，首先构建存储时间序列数据的对象模型，该对象模型叫做Time Series，是包含某个指标的带有多个标签的数据点(Data Point)集合，其中每个数据点是某一个时刻的存储的数据的模型，包括以下部分：
指标名称metric；
数值；
时间戳(相对于一个小时的秒数)；
多个标签。
其中，Metric是一个可测量的单位的标称，例如webserver.downloads，表示服务器的下载量指标。标签是用来描述一个Metric应该测量的对象，为了实现***的灵活性和通用化，其不应该定义的太简单，用Tags来描述具有相同维度的metric。Tags由tagk和tagv组成，前者表示一个分组，后者表示一个特定的项。例如对不同的业务逻辑，分布监控各类图片的下载量，各类pdf的下载量，各类软件的下载量等。
HBase中每一条数据都必须包含RowKey，RowKey的设计规则直接影响HBase的效率。实时监控***的数据的RowKey的设计规则如下：
<metric_UID><timestamp><tagk1_UID><tagv1_UID>[...<tagkN_UID><tag vN_UID>]。
即，指标的唯一标识符，时间戳，多个标签名的唯一标识符，多个标签值的唯一标识符。每一个指标，标签在创建的时候，被分配一个唯一表示叫做UID；时间戳的单位是一个小时，即每个小时作为一行数据。每个小时有3600秒，HBase中创建一个列簇，用于存储时间序列数据。每***一个数据点，该数据点的列就是其时间戳(相对于一个小时的秒数)，值就是监控到的数值,如表格1的时间序列数据存储抽象示例所示。由于HBase面向列存储，只有真正的有数据的列才被存储，并不会存储所有的3600列。
表格1：
其中，RowKey中的时间戳被编码为4个Byte，编码规则和过程如下：
时间取整点值，最小单位即小时，例如“2016年12月6日15点23分”被转换成“2016年12月6日15点”；
获取时间戳的long值，即相对于1970年1月1日0点的毫秒数；
将上述过程2)生成的long值的最后三位去掉；
将上述过程3)生成的long值转换成二进制，得到4个Byte。
由于指标、标签需要灵活的添加，需要对指标、标签进行元数据管理，用于存储指标、标签名、标签值，并为指标、标签名和标签值进行唯一化标识，即生成UID。元数据表，需要实现可以根据标签或指标查询到其UID，也能根据UID查询到指标或标签的内容。
所述元数据表用于实现根据标签或指标查询到其UID，也能根据UID查询到指标或标签的内容；具体实现过程为：
设计一个单独的表用来存储UID映射，包括正向的和反向的，该表存在两列簇，一列簇叫做name，用来将一个UID映射到一个字符串；另一个列簇叫做id，用来将字符串映射到UID；列簇的每一行都至少有以下三列中的一个：
指标名称，将指标名称的名称映射到UID；
Tagk，将tag名称映射到UID；
Tagv，将tag的值映射到UID；
对于每一个指标名称、tagk或者tagv都存在从0开始的计数器，每来一个新的指标名称、tagk或者tagv，对应的计数器就会加1。
元数据结构如表格2元数据表结构抽象示例所示。
表格1:
对数据库进行过滤时，在某个汇总维度，查询某个指标、某个标签及标签值的某一段时间的汇总值的过程如下，其中汇总维度包括秒、分钟、小时、天、月、年：
查询该指标的UID，该标签的UID，该标签值的UID，起始时间，生成最小的RowKey，称为MinRowKey；
查询该指标的UID，该标签的UID，该标签值的UID，结束时间，生成最大的RowKey，称为MaxRowKey；
使用时间序列过滤器，对HBase中数据的RowKey在[MinRowKey,MaxRowKey]范围中的数据，根据汇总的维度进行汇总分析。
时间序列过滤器需要实现和覆盖HBase基本的抽象过滤器的接口，其执行过程如图1所示，其中，在内存中，维护一个Map结构，存储每个查询粒度的具体的值，例如每个小时的汇总值。
使用时间过滤器过滤汇总分析的过程为：
首先获取一条数据；
然后判断该数据的RowKey是否在区间[MinRowKey,MaxRowKey]内，是则继续；
判断RowKey的指标UID、标签UID、标签值UID是否与查询的匹配；
判断是否已经达到最大的RowKey，即MaxRowKey，是则结束；
在内存中，根据维度汇总该数据，然后继续判断下一条数据。
使用时间序列过滤器，可以有效的减少服务器往客户端传递的数据量，提高查询效率。
一种用于实时监控***的时间序列数据库的装置，基于HBase，设计HBase的rowkey的结构组成，元数据表的结构组成，能够灵活的添加监控指标，而不改变***的任何模块；将数据存储到HBase数据库中，利用HBase的列式存储的特点，存储时间序列数据，有效的压缩数据，节约存储空间；基于HBase的过滤器，设计实时监控***的过滤器，减少返回的数据量，并且提供不同维度的查询的能力。
其结构具体包括：
对象模型，是包含某个指标的带有多个标签的数据点集合，其中每个数据点是某一个时刻的存储的数据的模型，该数据点包括指标名称、标签名称、标签数值、时间戳，组合指标名称、标签名称、标签数值、时间戳作为HBase中数据的RowKey；
HBase数据库，通过HBase的列式存储方式，存储时间序列数据；
基于HBase的过滤器，对上述存储的时间序列数据进行过滤分析汇总，减少返回的数据量。
所述HBase数据库中还设置有元数据表，用于实现根据标签或指标查询到其UID，也能根据UID查询到指标或标签的内容。
上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种用于实时监控***的时间序列数据库的方法与装置的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (10)

1.一种用于实时监控***的时间序列数据库的方法，基于HBase，其特征在于，其实现过程为：
首先构建HBase的行主键RowKey，用于添加监控指标；
然后将数据存储到HBase数据库中，对该数据库的元数据进行管理，即设置一张元数据表，使用不同的列簇，存储元数据唯一化标识的正向关系和反向关系；
最后对数据库进行过滤，即在服务器端对数据进行汇总，减少服务器端向客户端传送的数据量，从而完整整个时间序列数据库的设计。
2.根据权利要求1所述的一种用于实时监控***的时间序列数据库的方法，其特征在于，在构建HBase的行主键RowKey时，首先构建存储时间序列数据的对象模型，该对象模型是包含某个指标的带有多个标签的数据点集合，其中每个数据点是某一个时刻的存储的数据的模型，该数据点包括指标名称、标签名称、标签数值、时间戳，组合指标名称、标签名称、标签数值、时间戳作为HBase中数据的RowKey。
3.根据权利要求2所述的一种用于实时监控***的时间序列数据库的方法，其特征在于，所述对象模型中，指标名称是一个可测量的单位的标称，表示服务器的下载量指标；标签是用来描述一个指标名称应该测量的对象，用Tags来描述具有相同维度的指标名称，Tags由tagk和tagv组成，前者表示一个分组，后者表示一个特定的项。
4.根据权利要求3所述的一种用于实时监控***的时间序列数据库的方法，其特征在于，所述HBase中每一条数据都包含行主键RowKey，该RowKey的设计规则如下：
<metric_UID><timestamp><tagk1_UID><tagv1_UID>[...<tagkN_UID><tagvN_UID>]；
即，指标的唯一标识符，时间戳，多个标签名的唯一标识符，多个标签值的唯一标识符；对于指标名称、标签名称、标签数值的每一个指标，标签在创建的时候，被分配一个唯一标识UID；时间戳的单位是一个小时，即每个小时作为一行数据，每个小时有3600秒，HBase中创建一个列簇，用于存储时间序列数据，每***一个数据点，该数据点的列就是其时间戳，值就是监控到的数值。
5.根据权利要求4任一所述的一种用于实时监控***的时间序列数据库的方法，其特征在于，所述RowKey中的时间戳被编码为4个Byte，编码规则和过程如下：
1)时间取整点值，最小单位即小时；
2)获取时间戳的long值；
3)将上述过程2)生成的long值的最后三位去掉；
4)将上述过程3)生成的long值转换成二进制，得到4个Byte。
6.根据权利要求3-5任一所述的一种用于实时监控***的时间序列数据库的方法，其特征在于，所述元数据表用于实现根据标签或指标查询到其UID，也能根据UID查询到指标或标签的内容；具体实现过程为：
设计一个单独的表用来存储UID映射，包括正向的和反向的，该表存在两列簇，一列簇叫做name，用来将一个UID映射到一个字符串；另一个列簇叫做id，用来将字符串映射到UID；列簇的每一行都至少有以下三列中的一个：
指标名称，将指标名称的名称映射到UID；
Tagk，将tag名称映射到UID；
Tagv，将tag的值映射到UID；
对于每一个指标名称、tagk或者tagv都存在从0开始的计数器，每来一个新的指标名称、tagk或者tagv，对应的计数器就会加1。
7.根据权利要求3-5任一所述的一种用于实时监控***的时间序列数据库的方法，其特征在于，对数据库进行过滤时，在某个汇总维度，查询某个指标、某个标签及标签值的某一段时间的汇总值的过程如下，其中汇总维度包括秒、分钟、小时、天、月、年：
查询该指标的UID，该标签的UID，该标签值的UID，起始时间，生成最小的RowKey，称为MinRowKey；
查询该指标的UID，该标签的UID，该标签值的UID，结束时间，生成最大的RowKey，称为MaxRowKey；
使用时间序列过滤器，对HBase中数据的RowKey在[MinRowKey,MaxRowKey]范围中的数据，根据汇总的维度进行汇总分析。
8.根据权利要求7所述的一种用于实时监控***的时间序列数据库的方法，其特征在于，使用时间过滤器过滤汇总分析的过程为：
首先获取一条数据；
然后判断该数据的RowKey是否在区间[MinRowKey,MaxRowKey]内，是则继续；
判断RowKey的指标UID、标签UID、标签值UID是否与查询的匹配；
判断是否已经达到最大的RowKey，即MaxRowKey，是则结束；
在内存中，根据维度汇总该数据，然后继续判断下一条数据。
9.一种用于实时监控***的时间序列数据库的装置，基于HBase，其特征在于，其结构包括：
对象模型，是包含某个指标的带有多个标签的数据点集合，其中每个数据点是某一个时刻的存储的数据的模型，该数据点包括指标名称、标签名称、标签数值、时间戳，组合指标名称、标签名称、标签数值、时间戳作为HBase中数据的RowKey；
HBase数据库，通过HBase的列式存储方式，存储时间序列数据；
基于HBase的过滤器，对上述存储的时间序列数据进行过滤分析汇总，减少返回的数据量。
10.根据权利要求9所述的一种用于实时监控***的时间序列数据库的装置，其特征在于，所述HBase数据库中还设置有元数据表，用于实现根据标签或指标查询到其UID，也能根据UID查询到指标或标签的内容。
CN201710010399.5A 2017-01-06 2017-01-06 一种用于实时监控***的时间序列数据库的方法与装置 Pending CN106503276A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710010399.5A CN106503276A (zh) 2017-01-06 2017-01-06 一种用于实时监控***的时间序列数据库的方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710010399.5A CN106503276A (zh) 2017-01-06 2017-01-06 一种用于实时监控***的时间序列数据库的方法与装置

Publications (1)

Publication Number Publication Date
CN106503276A true CN106503276A (zh) 2017-03-15

Family

ID=58345155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710010399.5A Pending CN106503276A (zh) 2017-01-06 2017-01-06 一种用于实时监控***的时间序列数据库的方法与装置

Country Status (1)

Country Link
CN (1) CN106503276A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107357915A (zh) * 2017-07-19 2017-11-17 郑州云海信息技术有限公司 一种数据存储方法及***
CN107463711A (zh) * 2017-08-22 2017-12-12 山东浪潮云服务信息科技有限公司 一种数据的标签匹配方法及装置
CN107545027A (zh) * 2017-07-10 2018-01-05 山东大学 一种自尊量表数据库及其构建方法、查询方法及***
CN108062378A (zh) * 2017-12-12 2018-05-22 清华大学 一种列式存储下多时间序列的连接查询方法及***
CN108183927A (zh) * 2017-11-22 2018-06-19 链家网（北京）科技有限公司 一种分布式***中链路调用的监控方法及***
CN108241724A (zh) * 2017-05-11 2018-07-03 新华三大数据技术有限公司 一种元数据管理方法和装置
CN108280015A (zh) * 2018-02-07 2018-07-13 福建星瑞格软件有限公司 基于大数据的集群服务器日志实时处理方法及计算机设备
CN108932324A (zh) * 2018-07-02 2018-12-04 海信集团有限公司 数据存储方法、装置、设备及存储介质
CN109361576A (zh) * 2018-12-21 2019-02-19 郑州云海信息技术有限公司 一种pim监控数据处理方法及***
CN109947809A (zh) * 2017-10-19 2019-06-28 上海时元互联网科技有限公司 一种订单操作数据的监控方法及***、存储介质及终端设备
CN110046172A (zh) * 2018-12-29 2019-07-23 阿里巴巴集团控股有限公司 在线计算数据处理方法及***
CN111291235A (zh) * 2020-05-13 2020-06-16 成都四方伟业软件股份有限公司 一种基于时序数据库的元数据存储方法及装置
CN112084226A (zh) * 2019-06-13 2020-12-15 北京京东尚科信息技术有限公司 数据处理方法、***、装置和计算机可读存储介质
CN112765247A (zh) * 2021-01-04 2021-05-07 光大兴陇信托有限责任公司 一种基于混合映射的接口元数据管理方法、装置、设备
CN113535770A (zh) * 2020-04-22 2021-10-22 杭州海康威视数字技术股份有限公司 数据查询的方法和装置
CN113761013A (zh) * 2020-06-05 2021-12-07 杭州海康威视数字技术股份有限公司 时序数据预统计方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838818A (zh) * 2012-11-27 2014-06-04 株式会社日立制作所 时间序列数据库的设定自动生成方法、***及监视服务器
CN104331432A (zh) * 2014-10-22 2015-02-04 江苏瑞中数据股份有限公司 一种适用于截面访问模式的电网海量时序数据存取方法
CN105357311A (zh) * 2015-11-23 2016-02-24 中国南方电网有限责任公司 一种云计算技术的二次设备大数据存储与处理方法
CN105426411A (zh) * 2015-10-31 2016-03-23 南京南瑞继保电气有限公司 基于访问趋势预测的时间序列数据库缓存管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838818A (zh) * 2012-11-27 2014-06-04 株式会社日立制作所 时间序列数据库的设定自动生成方法、***及监视服务器
CN104331432A (zh) * 2014-10-22 2015-02-04 江苏瑞中数据股份有限公司 一种适用于截面访问模式的电网海量时序数据存取方法
CN105426411A (zh) * 2015-10-31 2016-03-23 南京南瑞继保电气有限公司 基于访问趋势预测的时间序列数据库缓存管理方法
CN105357311A (zh) * 2015-11-23 2016-02-24 中国南方电网有限责任公司 一种云计算技术的二次设备大数据存储与处理方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108241724A (zh) * 2017-05-11 2018-07-03 新华三大数据技术有限公司 一种元数据管理方法和装置
WO2018205981A1 (zh) * 2017-05-11 2018-11-15 新华三大数据技术有限公司 元数据管理
CN107545027A (zh) * 2017-07-10 2018-01-05 山东大学 一种自尊量表数据库及其构建方法、查询方法及***
CN107357915A (zh) * 2017-07-19 2017-11-17 郑州云海信息技术有限公司 一种数据存储方法及***
CN107463711A (zh) * 2017-08-22 2017-12-12 山东浪潮云服务信息科技有限公司 一种数据的标签匹配方法及装置
CN109947809A (zh) * 2017-10-19 2019-06-28 上海时元互联网科技有限公司 一种订单操作数据的监控方法及***、存储介质及终端设备
CN108183927A (zh) * 2017-11-22 2018-06-19 链家网（北京）科技有限公司 一种分布式***中链路调用的监控方法及***
CN108062378A (zh) * 2017-12-12 2018-05-22 清华大学 一种列式存储下多时间序列的连接查询方法及***
CN108062378B (zh) * 2017-12-12 2018-12-11 清华大学 一种列式存储下多时间序列的连接查询方法及***
CN108280015A (zh) * 2018-02-07 2018-07-13 福建星瑞格软件有限公司 基于大数据的集群服务器日志实时处理方法及计算机设备
CN108932324A (zh) * 2018-07-02 2018-12-04 海信集团有限公司 数据存储方法、装置、设备及存储介质
CN109361576A (zh) * 2018-12-21 2019-02-19 郑州云海信息技术有限公司 一种pim监控数据处理方法及***
CN110046172A (zh) * 2018-12-29 2019-07-23 阿里巴巴集团控股有限公司 在线计算数据处理方法及***
CN110046172B (zh) * 2018-12-29 2023-07-11 创新先进技术有限公司 在线计算数据处理方法及***
CN112084226A (zh) * 2019-06-13 2020-12-15 北京京东尚科信息技术有限公司 数据处理方法、***、装置和计算机可读存储介质
CN113535770A (zh) * 2020-04-22 2021-10-22 杭州海康威视数字技术股份有限公司 数据查询的方法和装置
CN111291235A (zh) * 2020-05-13 2020-06-16 成都四方伟业软件股份有限公司 一种基于时序数据库的元数据存储方法及装置
CN113761013A (zh) * 2020-06-05 2021-12-07 杭州海康威视数字技术股份有限公司 时序数据预统计方法、装置及存储介质
CN112765247A (zh) * 2021-01-04 2021-05-07 光大兴陇信托有限责任公司 一种基于混合映射的接口元数据管理方法、装置、设备

Similar Documents

Publication Publication Date Title
CN106503276A (zh) 一种用于实时监控***的时间序列数据库的方法与装置
CN106980669B (zh) 一种数据的存储、获取方法及装置
CN105069703B (zh) 一种电网海量数据管理方法
CN104317800A (zh) 一种海量智能用电数据混合存储***及方法
CN107766402A (zh) 一种楼盘字典云房源大数据平台
CN111400326A (zh) 一种智慧城市数据管理***及其方法
CN104036025A (zh) 一种基于分布式的海量日志采集***
CN102254024A (zh) 海量数据处理***及方法
CN103177094B (zh) 一种物联网数据清洗方法
CN105357311A (zh) 一种云计算技术的二次设备大数据存储与处理方法
CN110275920A (zh) 数据查询方法、装置、电子设备及计算机可读存储介质
CN107895046B (zh) 一种异构数据集成平台
CN106874320A (zh) 分布式流式数据处理的方法和装置
CN104035956A (zh) 一种基于分布式列存储的时间序列数据存储方法
CN103207920A (zh) 一种元数据并行采集***
CN103885887A (zh) 用户数据存储方法、读取方法及***
CN113312376B (zh) 一种用于Nginx日志实时处理分析的方法及终端
CN106446144A (zh) 一种基于kettle的大数据平台数据抽取和统计方法
CN109669975B (zh) 一种工业大数据处理***及方法
CN106570145B (zh) 一种基于分层映射的分布式数据库结果缓存方法
CN114218218A (zh) 基于数据仓库的数据处理方法、装置、设备及存储介质
CN112559634A (zh) 一种基于计算机云计算大数据用数据管理***
CN105787090A (zh) 一种电力数据的olap***的索引建立方法和***
CN105550351B (zh) 旅客行程数据即席查询***及方法
CN110532319A (zh) 一种分布式气象数据定时处理***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170315