CN113434518A - 时序数据库查询方法、***、设备及存储介质 - Google Patents

时序数据库查询方法、***、设备及存储介质 Download PDF

Info

Publication number
CN113434518A
CN113434518A CN202110990241.5A CN202110990241A CN113434518A CN 113434518 A CN113434518 A CN 113434518A CN 202110990241 A CN202110990241 A CN 202110990241A CN 113434518 A CN113434518 A CN 113434518A
Authority
CN
China
Prior art keywords
data
time sequence
query
time
data fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110990241.5A
Other languages
English (en)
Other versions
CN113434518B (zh
Inventor
宋美艳
艾文凯
杨渊
李亚都
张勇
王珩
管磊
潘乐
孟宪宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NR Electric Co Ltd
Xian Thermal Power Research Institute Co Ltd
Original Assignee
NR Electric Co Ltd
Xian Thermal Power Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NR Electric Co Ltd, Xian Thermal Power Research Institute Co Ltd filed Critical NR Electric Co Ltd
Priority to CN202110990241.5A priority Critical patent/CN113434518B/zh
Publication of CN113434518A publication Critical patent/CN113434518A/zh
Application granted granted Critical
Publication of CN113434518B publication Critical patent/CN113434518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种时序数据库查询方法、***、设备及介质，方法包括，利用一致性哈希算法，计算下位机每个测点的时序ID的分片号，并将相同分片号的测点的时序数据存放在同一数据分片中，得到若干数据分片文件；获取查询请求，根据查询请求通过二维索引方式，得到待查询时序数据所在的数据分片文件；将待查询时序数据所在的数据分片文件解压后，映射至内存中，并在内存中查找待查询时序数据，得到所述的时序数据库查询结果；本发明利用一致性哈希算法，将时序数据分散到若干数据分片文件中；利用二维索引方式对数据分片文件进行查询，有效降低了内存开销，查询速度较高，避免查询过程数据量较大出现的卡顿现象，查询效率较高，精准度较高。

Description

时序数据库查询方法、***、设备及存储介质
技术领域
本发明属于分散控制***技术领域，特别涉及一种时序数据库查询方法、***、设备及存储介质。
背景技术
分散控制***（Distributed Control System，DCS）是利用计算机技术对工业生产过程进行集中监视、操作、管理和分散控制的一种新型控制设备，其广泛的应用于电力等工业生产领域；随着电力***的规模越来越大，结构越来越复杂，对电力设备的管理也日趋重要。
在电厂的生产现场包含大量生产设备，其运行过程中能够产生大量的时序数据；时序数据具有产生频率块、严重依赖于采集时间及测点多信息量大的特点，通过对历史的时序数据进行分析和处理，即可获取电厂或化工厂的运行情况，对工业生产起到了至关重要的指导作用。
分散控制***的上位机时序数据库保存了下位机所有测点的时序数据；分散控制***中下位机的测点数目众多，测点的时序数据大多以时间为单位进行存储，且由于采样间隔较短，导致上位机时序数据库的数据量较大；目前，查询速度较慢，效率较低，且常常无法快速准确获取目标数据。
发明内容
针对现有技术中存在的技术问题，本发明提供了一种时序数据库查询方法、***、设备及存储介质，以解决现有对于上位机时序数据库的查询大多采用人工查询，查询效率低且无法快速获取目标数据的技术问题。
为达到上述目的，本发明采用的技术方案为：
本发明公开了一种时序数据库查询方法，所述查询方法用于电厂的分散控制***的时序数据库查询过程；所述时序数据库用于对下位机测点的时序数据，以预设时间周期为单位进行保存；所述查询方法包括以下步骤：
利用一致性哈希算法，将每个测点的时序ID对预设的数据分片个数取余，计算得到每个测点的时序ID的分片号；并将相同分片号的测点的时序数据存放在同一数据分片中，得到若干数据分片文件；
获取查询请求，根据查询请求通过二维索引方式对若干数据分片文件进行查询，得到待查询时序数据所在的数据分片文件；
将待查询时序数据所在的数据分片文件解压后，映射至内存中，并在内存中查找待查询时序数据，得到所述的时序数据库查询结果。
进一步的，利用一致性哈希算法，计算下位机每个测点的时序ID的分片号，具体按照以下公式计算得到：
h(k)=k%m
其中，k为测点的时序ID，m为预设的数据分片个数，h(k)为测点的时序ID为k的数据分片号。
进一步的，若干数据分片文件保存在同一路径下。
进一步的，所述查询请求的内容为待查询时序数据的时间范围值及下位机测点的时序ID。
进一步的，获取查询请求，根据查询请求通过二维索引方式，得到待查询时序数据所在数据分片文件的过程，具体如下：
获取查询请求后，将查询请求发送至线程池中的空闲线程，形成查询线程；利用查询线程，根据查询请求，通过二维索引方式对若干数据分片文件进行查询，得到待查询时序数据所在数据分片文件；
其中，通过二维索引方式对若干数据分片文件进行查询的过程，具体如下：
根据待查询时序数据的时间范围值，确定对应时间范围值内的所有数据分片文件；
根据下位机测点的时序ID，从确定的对应时间范围值内的所有数据分片文件中，获取待查询时序数据所在的数据分片文件。
进一步的，通过哈夫曼压缩算法，对待查询时序数据所在的数据分片文件进行解压，得到解压后的原始时序数据文件，并将解压后的原始时序数据文件映射至内存中。
进一步的，在内存中查找待查询时序数据的过程，具体如下：
以待查询时序数据对应的下位机测点的时序ID及查询时间范围值，作为索引KEY，在内存中的解压后原始时序数据文件中进行检索，得到所述的待查询时序数据。
本发明还提供了一种时序数据库查询***，包括：
数据分片模块，用于利用一致性哈希算法，计算下位机每个测点的时序ID的分片号，并将相同分片号的测点的时序数据存放在同一数据分片中，得到若干数据分片文件；
查询模块，用于获取查询请求，根据查询请求通过二维索引方式，得到待查询时序数据所在的数据分片文件；
结果输出模块，用于将待查询时序数据所在的数据分片文件解压后，映射至内存中，并在内存中查找待查询时序数据，得到所述的时序数据库查询结果。
本发明还提供了一种时序数据库查询设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述一种时序数据库查询方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述一种时序数据库查询方法的步骤。
与现有技术相比，本发明的有益效果为：
本发明所述的一种时序数据库查询方法，利用一致性哈希算法，将时序数据分散到若干数据分片文件中；利用二维索引方式对数据分片文件进行查询，有效降低了内存开销和CPU资源，查询速度较高，避免了查询过程数据量较大出现的卡顿现象，查询效率较高，精准度较高。
进一步的，采用一致性哈希算法对时序数据进行分片划分，确保了每个数据分片文件中，时序数据的数目的均匀性，确保索引过程的均衡性。
附图说明
图1为本发明所述的时序数据库查询方法的流程图；
图2为本发明所述的时序数据库查询***的结构框图；
图3为本发明所述的时序数据库查询设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
如附图1所示，本发明提供了一种时序数据库二维索引查询方法，所述查询方法用于电厂的分散控制***的时序数据库查询过程；所述时序数据库用于对下位机测点的时序数据，以预设时间周期为单位进行保存；包括以下步骤：
步骤1、利用一致性哈希算法，计算下位机每个测点的时序ID的分片号，并将相同分片号的测点的时序数据存放在同一数据分片中，得到若干数据分片文件。其中，将每个测点的时序ID对预设的数据分片个数取余，计算得到每个测点的时序ID的分片号；利用一致性哈希算法，计算下位机每个测点的时序ID的分片号时，采用以下公式计算得到：
h(k)=k%m
其中，k为测点的时序ID，m为预设的数据分片个数，h(k)为测点的时序ID为k的数据分片号。
本发明中，所有数据分片文件保存在同一路径下；其中，数据分片文件的路径为：/users/data/slicex/数据分片文件。
步骤2、获取查询请求，根据查询请求通过二维索引方式，得到待查询时序数据所在的数据分片文件。其中，查询请求的内容包括待查询时序数据的时间范围值及对应的下位机测点的时序ID；获取查询请求后，将查询请求发送至线程池中的空闲线程，形成查询线程；利用查询线程，根据查询请求，通过二维索引方式对若干数据分片文件进行查询，得到待查询时序数据所在数据分片文件；其中，通过二维索引方式，对若干数据分片文件进行查询的过程，具体如下：
根据待查询时序数据的时间范围值，确定对应时间范围值内的所有数据分片文件；
根据下位机测点的时序ID，从确定的对应时间范围值内的所有数据分片文件中，获取待查询时序数据所在的数据分片文件。
步骤3、将待查询时序数据所在的数据分片文件解压后，映射至内存中，并在内存中查找待查询时序数据，得到所述的时序数据库查询结果。
具体的，通过哈夫曼压缩算法，对步骤2中获取的待查询时序数据所在的数据分片文件进行解压，得到解压后的原始时序数据文件；并将解压后的原始时序数据文件映射至内存中，之后在内存中查找待查询时序数据，得到所述的时序数据库查询结果。
其中，在内存中查找待查询时序数据的过程，具体方式如下：
以待查询时序数据对应的下位机测点的时序ID及查询时间范围值，作为索引KEY，对内存中解压后原始时序数据文件进行检索，得到所述的待查询时序数据。
如附图2所示，本发明还提供了一种时序数据库查询***，包括数据分片模块、查询模块及结果输出模块；
数据分片模块，用于利用一致性哈希算法，计算下位机每个测点的时序ID的分片号，并将相同分片号的测点的时序数据存放在同一数据分片中，得到若干数据分片文件。
查询模块，用于获取查询请求，根据查询请求通过二维索引方式，得到待查询时序数据所在的数据分片文件。
结果输出模块，用于将待查询时序数据所在的数据分片文件解压后，映射至内存中，并在内存中查找待查询时序数据，得到所述的时序数据库查询结果。
如附图3所示，本发明还提供了一种时序数据库查询设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述一种时序数据库查询方法的步骤；其中，附图3中的通讯接口，用于接入外部设备，以获取数据。
所述处理器执行所述计算机程序时实现上述时序数据库查询方法的步骤，例如：将每个测点的时序ID对预设的数据分片个数取余，计算得到每个测点的时序ID的分片号；并将相同分片号的测点的时序数据存放在同一数据分片中，得到若干数据分片文件；获取查询请求，根据查询请求通过二维索引方式对若干数据分片文件进行查询，得到待查询时序数据所在的数据分片文件；将待查询时序数据所在的数据分片文件解压后，映射至内存中，并在内存中查找待查询时序数据，得到所述的时序数据库查询结果。
或者，所述处理器执行所述计算机程序时实现上述时序数据库查询***中各模块的功能，例如：数据分片模块，用于利用一致性哈希算法，将每个测点的时序ID对预设的数据分片个数取余，计算得到每个测点的时序ID的分片号；并将相同分片号的测点的时序数据存放在同一数据分片中，得到若干数据分片文件；查询模块，用于获取查询请求，根据查询请求通过二维索引方式对若干数据分片文件进行查询，得到待查询时序数据所在的数据分片文件；结果输出模块，用于将待查询时序数据所在的数据分片文件解压后，映射至内存中，并在内存中查找待查询时序数据，得到所述的时序数据库查询结果。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述计算机程序在所述时序数据库查询设备中的执行过程。
所述时序数据库查询设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述时序数据库查询设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述附图3的示意图仅仅是时序数据库查询设备的示例，并不构成对时序数据库查询设备的限定。
所称处理器可以是中央处理单元（CentralProcessingUnit，CPU），还可以是其他通用处理器、数字信号处理器（DigitalSignalProcessor，DSP）、专用集成电路（ApplicationSpecificIntegratedCircuit，ASIC）、现成可编程门阵列（Field-ProgrammableGateArray，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者所述处理器也可以是任何常规的处理器等，所述处理器是所述时序数据库查询设备的控制中心，利用各种接口和线路连接整个时序数据库查询设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述时序数据库查询设备的各种功能。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述一种时序数据库查询方法的步骤。
所述时序数据库查询设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
基于这样的理解，本发明实现上述时序数据库查询方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述时序数据库查询方法的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或预设中间形式等。
所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，RandomAccessMemory）、电载波信号、电信信号以及软件分发介质等。
需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
本发明所述的时序数据库查询方法，利用一致性哈希算法，将时序数据分散到若干数据分片文件中；利用二维索引方式对数据分片文件进行查询，有效降低了内存开销和CPU资源，查询速度较高，避免了查询过程数据量较大出现的卡顿现象，查询效率较高，精准度较高。
实施例
以某电厂的分散控制***的时序数据库查询过程为例；其中，所述时序数据库用于对下位机的测点的时序数据进行保存，以天为单位进行保存；本实施例提供了一种时序数据库二维索引查询方法，具体包括以下步骤：
步骤1、采用一致性哈希算法，计算下位机每个测点的时序ID的分片号，并将相同片号的测点的时序数据存放在同一数据分片中，得到若干数据分片文件；其中，利用一致性哈希算法，计算下位机每个测点的时序ID的分片号时，采用以下公式计算得到：
h(k)=k%m
其中，k为测点的时序ID，m为预设的数据分片个数，h(k)为测点的时序ID为k的数据分片号。
本实施例中，所述电厂每天的时序数据以测点的分片号，划分为多个数据分片，数据分片的分片数与下位机的测点数相适应，可以根据测点的个数进行适应性调整；假设预设N个数据分片，采用每个测点的时序ID对数据分片的个数N取余，取余的结果为0～N-1；按照取余结果0～N-1，将测点的时序数据对应存放在第1～N个数据分片中。
例如，假设当前由4个下位机测点，且四个测点的时序ID分别为1、2、3及4；将上述四个测点的时序数据分别存放在四个数据分片中时：首先，分别对上述四个测点的时序ID除以4取余，得到每个测点的数据分片号；其中，上述四个测点的时序ID除以4取余的结果依次为1、2、3及0；因此，第一个数据分片slice1中存放时序ID为1的测点产生的时序数据，第为个数据分片slice2中存放时序ID为2的测点产生的时序数据，第三个数据分片slice3中存放时序ID为4的测点产生的时序数据，第四个数据分片slice4中存放时序ID为4的测点产生的时序数据。
通过一致性哈希算法，计算每个测点的时序ID的分片号，能够确保每个数据分片存放的时序数据均衡，数据分片的文件大小基本相等，确保了索引过程的均衡性；所有的数据分片文件保存在同一路径下；其中，数据分片文件的路径为/users/data/slicex/数据分片文件。
步骤2、通过上位机的上层应用生成查询请求，并发送查询请求至时序数据库；时序数据库获取查询请求后，将查询请求发送至线程池中的空闲线程，形成查询线程；利用查询线程，根据查询请求，通过二维索引方式对若干数据分片文件进行查询，得到待查询时序数据所在数据分片文件；其中，查询请求的内容包括待查询时序数据的时间范围值及对应的下位机测点的时序ID。
本实施例中，通过二维索引方式，对若干数据分片文件进行查询的过程，具体如下：
根据待查询时序数据的时间范围值，确定对应时间范围值内的所有数据分片文件，即获取/users/data/路径下的所有数据分片文件；
根据下位机测点的时序ID，从确定的对应时间范围值内的所有数据分片文件中，获取待查询时序数据所在的数据分片文件，即获取/users/data/slicex/路径下对应时间段的数据分片文件。
步骤3、通过哈夫曼压缩算法，对步骤2中获取的待查询时序数据所在的数据分片文件进行解压，得到解压后的原始时序数据文件；并将解压后的原始时序数据文件映射至内存中，之后在内存中查找待查询时序数据，得到所述的时序数据库查询结果。
其中，在内存中查找待查询时序数据的过程，具体方式如下：
以待查询时序数据对应的下位机测点的时序ID及查询时间范围值，作为索引KEY，对内存中解压后原始时序数据文件进行检索，得到所述的待查询时序数据；查询完成后返回查询结果。
本实施例所述时序数据库查询方法，通过一致性哈希算法，将一天的时序数据分散到多个数据分片中，相当于将原始的时序数据等分到多个分片数据文件中；查询时解压数据分片文件，加载数据分片文件所需要的内存和CPU资源会相较于以前更少；在查询的过程中，少量的数据量中查询会获得更高的速度。相较于查询大文件，通过二维索引找到较小的分片文件的过程所需要的开销可以忽略不计，获得的查询速度会得到大幅提升；查询数据量较大时则不会出现卡顿现象，获得更好的业务体验。
本实施例提供的时序数据库查询***、设备及计算机可读存储介质中相关部分的说明可以参见本实施例所述的一种时序数据库查询方法中对应部分的详细说明，在此不再赘述。
本发明所述的时序数据库查询方法，将每天的时序数据的数据分片存在同一个路径下，每天的时序数据以实际测点点数可以分为多个数据分片，数据分片数根据实际的测点点数进行调整，每个数据分片保存的时序数据个数均衡，确保数据分片文件大小基本相等；利用二维索引方式对数据分片文件进行查询，有效降低了内存开销和CPU资源，查询速度较高，避免了查询过程数据量较大出现的卡顿现象，查询效率较高，精准度较高。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种时序数据库查询方法，其特征在于，所述查询方法用于电厂的分散控制***的时序数据库查询过程；所述时序数据库用于对下位机测点的时序数据，以预设时间周期为单位进行保存；
所述查询方法包括以下步骤：
利用一致性哈希算法，将每个测点的时序ID对预设的数据分片个数取余，计算得到每个测点的时序ID的分片号；并将相同分片号的测点的时序数据存放在同一数据分片中，得到若干数据分片文件；
获取查询请求，根据查询请求通过二维索引方式对若干数据分片文件进行查询，得到待查询时序数据所在的数据分片文件；
将待查询时序数据所在的数据分片文件解压后，映射至内存中，并在内存中查找待查询时序数据，得到所述的时序数据库查询结果。
2.根据权利要求1所述的一种时序数据库查询方法，其特征在于，利用一致性哈希算法，计算得到下位机每个测点的时序ID的分片号，具体按照以下公式计算得到：
h(k)=k%m
其中，k为测点的时序ID，m为预设的数据分片个数，h(k)为测点的时序ID为k的数据分片号。
3.根据权利要求1所述的一种时序数据库查询方法，其特征在于，若干数据分片文件保存在同一路径下。
4.根据权利要求1所述的一种时序数据库查询方法，其特征在于，所述查询请求的内容包括待查询时序数据的时间范围值及下位机测点的时序ID。
5.根据权利要求4所述的一种时序数据库查询方法，其特征在于，所述获取查询请求，根据查询请求通过二维索引方式对若干数据分片文件进行查询，得到待查询时序数据所在数据分片文件的过程，具体如下：
获取查询请求，将查询请求发送至线程池中的空闲线程，形成查询线程；利用查询线程，根据查询请求，通过二维索引方式对若干数据分片文件进行查询，得到待查询时序数据所在数据分片文件；
其中，通过二维索引方式对若干数据分片文件进行查询的过程，具体如下：
根据待查询时序数据的时间范围值，确定对应时间范围值内的所有数据分片文件；
根据下位机测点的时序ID，从确定的对应时间范围值内的所有数据分片文件中，获取待查询时序数据所在的数据分片文件。
6.根据权利要求1所述的一种时序数据库查询方法，其特征在于，通过哈夫曼压缩算法，对待查询时序数据所在的数据分片文件进行解压，得到解压后的原始时序数据文件，并将解压后的原始时序数据文件映射至内存中。
7.根据权利要求6所述的一种时序数据库查询方法，其特征在于，在内存中查找待查询时序数据的过程，具体如下：
以待查询时序数据对应的下位机测点的时序ID及查询时间范围值，作为索引KEY，对内存中的解压后原始时序数据文件中进行检索，得到所述的待查询时序数据。
8.一种时序数据库查询***，其特征在于，包括：
数据分片模块，用于利用一致性哈希算法，将每个测点的时序ID对预设的数据分片个数取余，计算得到每个测点的时序ID的分片号；并将相同分片号的测点的时序数据存放在同一数据分片中，得到若干数据分片文件；
查询模块，用于获取查询请求，根据查询请求通过二维索引方式对若干数据分片文件进行查询，得到待查询时序数据所在的数据分片文件；
结果输出模块，用于将待查询时序数据所在的数据分片文件解压后，映射至内存中，并在内存中查找待查询时序数据，得到所述的时序数据库查询结果。
9.一种时序数据库查询设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述一种时序数据库查询方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种时序数据库查询方法的步骤。
CN202110990241.5A 2021-08-26 2021-08-26 时序数据库查询方法、***、设备及存储介质 Active CN113434518B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110990241.5A CN113434518B (zh) 2021-08-26 2021-08-26 时序数据库查询方法、***、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110990241.5A CN113434518B (zh) 2021-08-26 2021-08-26 时序数据库查询方法、***、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113434518A true CN113434518A (zh) 2021-09-24
CN113434518B CN113434518B (zh) 2021-12-03

Family

ID=77798087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110990241.5A Active CN113434518B (zh) 2021-08-26 2021-08-26 时序数据库查询方法、***、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113434518B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113641841A (zh) * 2021-10-15 2021-11-12 支付宝(杭州)信息技术有限公司 数据编码方法、图数据存储方法、图数据查询方法及装置
CN113961573A (zh) * 2021-12-23 2022-01-21 北京力控元通科技有限公司 一种时序数据库查询方法和查询***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100179954A1 (en) * 2009-01-09 2010-07-15 Linkage Technology Group Co., Ltd. Quick Mass Data Manipulation Method Based on Two-Dimension Hash
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技（深圳）有限公司 一种存取文件的方法、装置及分布式存储***
CN109299100A (zh) * 2018-10-12 2019-02-01 第四范式（北京）技术有限公司 管理内存数据及在内存中维护数据的方法和***
CN110704453A (zh) * 2019-10-15 2020-01-17 腾讯音乐娱乐科技（深圳）有限公司 一种数据查询方法、装置、存储介质及电子设备
CN110990400A (zh) * 2019-11-20 2020-04-10 浙江大搜车软件技术有限公司 数据库查询方法、装置、计算机设备和存储介质
CN112131242A (zh) * 2020-08-03 2020-12-25 福建威盾科技集团有限公司 一种基于redis的数据快速查询方法及装置
CN112328842A (zh) * 2021-01-05 2021-02-05 北京谷数科技股份有限公司 一种数据处理方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100179954A1 (en) * 2009-01-09 2010-07-15 Linkage Technology Group Co., Ltd. Quick Mass Data Manipulation Method Based on Two-Dimension Hash
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技（深圳）有限公司 一种存取文件的方法、装置及分布式存储***
CN109299100A (zh) * 2018-10-12 2019-02-01 第四范式（北京）技术有限公司 管理内存数据及在内存中维护数据的方法和***
CN110704453A (zh) * 2019-10-15 2020-01-17 腾讯音乐娱乐科技（深圳）有限公司 一种数据查询方法、装置、存储介质及电子设备
CN110990400A (zh) * 2019-11-20 2020-04-10 浙江大搜车软件技术有限公司 数据库查询方法、装置、计算机设备和存储介质
CN112131242A (zh) * 2020-08-03 2020-12-25 福建威盾科技集团有限公司 一种基于redis的数据快速查询方法及装置
CN112328842A (zh) * 2021-01-05 2021-02-05 北京谷数科技股份有限公司 一种数据处理方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MUHAMMAD N. KABIR ET AL.: ""Efficient search of a sequence of words in a large text file"", 《WORLD SYMPOSIUM ON COMPUTER APPLICATIONS & RESEARCH》 *
王佳英 等: ""一种空间高效多核并行近似子串匹配方法"", 《计算机研究与发展》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113641841A (zh) * 2021-10-15 2021-11-12 支付宝(杭州)信息技术有限公司 数据编码方法、图数据存储方法、图数据查询方法及装置
CN113961573A (zh) * 2021-12-23 2022-01-21 北京力控元通科技有限公司 一种时序数据库查询方法和查询***
CN113961573B (zh) * 2021-12-23 2022-03-04 北京力控元通科技有限公司 一种时序数据库查询方法和查询***

Also Published As

Publication number Publication date
CN113434518B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN113434518B (zh) 时序数据库查询方法、***、设备及存储介质
CN110460656B (zh) 一种工业环保物联网远程监测云平台
US10176208B2 (en) Processing time series data from multiple sensors
KR102511271B1 (ko) 시계열 데이터 저장 및 쿼리 방법 및 장치, 및 그 서버 및 저장 매체
US20210360088A1 (en) Systems and methods for data deduplication by generating similarity metrics using sketch computation
WO2016141584A1 (en) Method and apparatus for compaction of data received over a network
CA3038018C (en) Performing cache update adaptation
JP2022551011A (ja) データを格納するための方法および装置、並びにそれらのコンピュータデバイスおよび記憶媒体
CN102054000A (zh) 数据查询方法、装置及***
US20160292233A1 (en) Discarding data points in a time series
CN108628898A (zh) 数据入库的方法、装置和设备
CN112613271A (zh) 数据分页方法、装置、计算机设备及存储介质
CN110019319B (zh) 数据查询方法及装置
CN110851419A (zh) 一种数据迁移的方法和装置
WO2021096429A1 (en) Method for processing irradiation forecast, method for training stacked generalization model, and apparatuses thereof
CN115935723B (zh) 用于实现氮化镓制备场景下的设备组合分析方法及***
CN103902614A (zh) 一种数据处理方法、设备和***
CN115905168A (zh) 自适应压缩方法和压缩装置、计算机设备、存储介质
CN112883064A (zh) 一种自适应采样与查询方法及***
CN112036607A (zh) 基于出力水平的风电出力波动预测方法、装置及存储介质
CN110413647B (zh) 一种高维向量不等长序列相似度快速计算***
CN113157629A (zh) 数据处理方法、装置、电子设备及存储介质
Hurst et al. Direct analytics of generalized deduplication compressed IoT data
CN112329393A (zh) 一种短码id的生成方法、设备、存储介质
CN106776598B (zh) 一种信息处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant