CN110019247A - 数据存储以及查询方法、装置和监控*** - Google Patents
数据存储以及查询方法、装置和监控*** Download PDFInfo
- Publication number
- CN110019247A CN110019247A CN201810934580.XA CN201810934580A CN110019247A CN 110019247 A CN110019247 A CN 110019247A CN 201810934580 A CN201810934580 A CN 201810934580A CN 110019247 A CN110019247 A CN 110019247A
- Authority
- CN
- China
- Prior art keywords
- data
- stored
- type
- data type
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种数据存储以及查询方法、装置和监控***，其中，该方法包括：接收外部设备的数据存储请求，数据存储请求包括待存储数据；判断待存储数据的数据类型是否为预设数据类型；若判断获知待存储数据的数据类型为预设数据类型，则将待存储数据保存至时序数据库；若判断获知待存储数据的数据类型不为预设数据类型，则将待存储数据保存到关系数据库，由此，为数据采集与监控***提供统一的数据存储接口，并利用各自数据库的优势保存对应的数据，提高了数据的存储效率。
Description
技术领域
本发明涉及监控技术领域，尤其涉及一种数据存储以及查询方法、装置和监控***。
背景技术
综合监控***是基于现代计算机信息技术、网络技术、通信和自动控制技术研发的模块化，可扩展分布式大型计算机集成技术。
综合监控***通过数据采集、数据处理、数据存储、实施监控等功能为运营监控人员提供专业的现场设备及业务运行状态实时状态监控、报警、趋势分析等。
相关技术中，综合监控***一般通过传统关系型数据库(比如MySql数据库，Oracle数据库，SQL Server数据库等)保存所有数据。其中，关系型数据库具有较强的数据模型表达能力，可以通过创建表名和字段的方式建立复杂数据模型来表达业务模式，通用度比较高。然而，针对监控***中的实时采集的数据并不适用，监控***中的数据具有数据量大，持续性产生，产生频率高，时间关联性强，数据模型单一等特点，这表明其数据特点偏重于高性能读写，而并非复杂数据模型上，这与关系型数据库的强建模能力不匹配，而且正是由于关系型数据库的复杂数据模型使得其在数据读写上并不具有优势。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明目的在于提出一种数据存储以及查询方法、装置和监控***，为数据采集与监控***提供统一的数据存储接口，并通过待存储数据的数据类型确定保存待存储数据的数据库，从而可将适合在时序数据库保存的数据快速保存到时序数据库，并将适合在关系型数据库保存的数据快速保存到关系型数据库中，利用各自数据库的优势保存对应的数据，提高了数据的存储效率。
为达上述目的，本发明第一方面实施例提出了一种数据存储方法，所述方法应用于数据采集与综合监控***，所述数据采集与综合监控***包括时序数据库和关系数据库，所述方法包括：接收外部设备的数据存储请求，所述数据存储请求包括待存储数据；判断所述待存储数据的数据类型是否为预设数据类型；若判断获知所述待存储数据的数据类型为预设数据类型，则将所述待存储数据保存至所述时序数据库；若判断获知所述待存储数据的数据类型不为预设数据类型，则将所述待存储数据保存到所述关系数据库。
本发明实施例的数据存储方法，在获取到待存储数据后，在确定待存储数据的数据类型为预设数据类型时，通过时序数据库保存待存储数据；在确定待存储数据的数据类型不为预设数据类型时，通过关系数据库保存待存储数据。由此，为数据采集与监控***提供统一的数据存储接口，并通过待存储数据的数据类型确定保存待存储数据的数据库，从而可将适合在时序数据库保存的数据快速保存到时序数据库，并将适合在关系型数据库保存的数据快速保存到关系型数据库中，利用各自数据库的优势保存对应的数据，提高了数据的存储效率。
为达上述目的，本发明第二方面实施例提出了一种数据查询方法，所述方法应用于数据采集与综合监控***，所述数据采集与综合监控***包括时序数据库和关系数据库，所述方法包括：接收用户输入的查询请求；根据所述查询请求判断所述用户是否查询预设数据类型的数据；若判断获知所述用户查询预设数据类型的数据，则从所述时序数据库中获得符合所述查询请求的查询数据；若判断获知所述用户不查询预设数据类型的数据，则从所述关系数据库中获得符合所述查询请求的查询数据。
本发明实施例的数据查询方法，在接收到用户输入的查询请求后，通过查询请求确定用户是否查询预设数据类型的数据，并在确定用户查询预设数据类型的数据，通过时序数据库中获得符合查询请求的查询数据；以及在确定用户不查询预设数据类型的数据，则从关系数据库中获得符合查询请求的查询数据。由此，为数据采集与监控***提供统一的查询接口，方便了用户通过统一的查询接口查询所需类型的数据，提高了用户在数据采集与监控***中查询数据的效率，提高了用户的体验度。
为达上述目的，本发明第三方面实施例提出了一种数据存储装置，所述装置应用于数据采集与综合监控***，所述数据采集与综合监控***包括时序数据库和关系数据库，所述装置包括：第一接收模块，用于接收外部设备的数据存储请求，所述数据存储请求包括待存储数据；第一判断模块，用于判断所述待存储数据的数据类型是否为预设数据类型；第一处理模块，用于若判断获知所述待存储数据的数据类型为预设数据类型，则将所述待存储数据保存至所述时序数据库；第二处理模块，用于若判断获知所述待存储数据的数据类型不为预设数据类型，则将所述待存储数据保存到所述关系数据库。
本发明实施例的数据存储装置，在获取到待存储数据后，在确定待存储数据的数据类型为预设数据类型时，通过时序数据库保存待存储数据；在确定待存储数据的数据类型不为预设数据类型时，通过关系数据库保存待存储数据。由此，为数据采集与监控***提供统一的数据存储接口，并通过待存储数据的数据类型确定保存待存储数据的数据库，从而可将适合在时序数据库保存的数据快速保存到时序数据库，并将适合在关系型数据库保存的数据快速保存到关系型数据库中，利用各自数据库的优势保存对应的数据，提高了数据的存储效率。
为达上述目的，本发明第四方面实施例提出了一种数据查询装置，所述装置应用于数据采集与综合监控***，所述数据采集与综合监控***包括时序数据库和关系数据库，所述装置包括：第二接收模块，用于接收用户输入的查询请求；第二判断模块，用于根据所述查询请求判断所述用户是否查询预设数据类型的数据；第三处理模块，用于若判断获知所述用户查询预设数据类型的数据，则从所述时序数据库中获得符合所述查询请求的查询数据；第四处理模块，用于若判断获知所述用户不查询预设数据类型的数据，则从所述关系数据库中获得符合所述查询请求的查询数据。
本发明实施例的数据查询装置，在接收到用户输入的查询请求后，通过查询请求确定用户是否查询预设数据类型的数据，并在确定用户查询预设数据类型的数据，通过时序数据库中获得符合查询请求的查询数据；以及在确定用户不查询预设数据类型的数据，则从关系数据库中获得符合查询请求的查询数据。由此，为数据采集与监控***提供统一的查询接口，方便了用户通过统一的查询接口查询所需类型的数据，提高了用户在数据采集与监控***中查询数据的效率，提高了用户的体验度。
为达上述目的，本发明第五方面实施例提出了一种数据采集与综合监控***，所述数据采集与综合监控***包括时序数据库和关系数据库，所述***包括：
本发明第三方面实施例的数据存储装置；
本发明第四方面实施例的数据查询装置。
为了实现上述目的，本发明第六方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面实施例所述的数据存储方法。
为了实现上述目的，本发明第七方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明第一方面实施例所述的数据查询方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明一个实施例的数据存储方法的流程示意图；
图2是根据本发明一个实施例的数据查询方法的流程示意图；
图3是根据查询请求判断用户是否查询预设数据类型的数据的细化流程示意图；
图4是根据本发明一个实施例的数据存储装置的结构示意图；
图5是根据本发明另一个实施例的数据存储装置的结构示意图；
图6是根据本发明另一个实施例的数据存储装置的结构示意图；
图7是根据本发明一个实施例的数据查询装置的结构示意图；
图8是根据本发明一个实施例的数据采集与综合监控***的结构示意图；
图9是根据本发明一个具体实施例的数据采集与综合监控***的结构示意图；
图10是openTSDB的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的数据存储以及查询方法、装置和监控***。
图1是根据本发明一个实施例的数据存储方法的流程示意图。
如图1所示，该数据存储方法包括以下步骤：
步骤101，接收外部设备的数据存储请求。
其中，数据存储请求可以包括但不限于待存储数据，例如，数据存储请求还可以包括外部设备的设备标识、外部设备采集待存储数据的时间信息等。
其中，需要说明的是，本发明实施例的数据存储方法应用于数据采集与综合监控SCADA(Supervisory Control And Data Acquisition)***。
其中，需要说明的是，该数据采集与综合监控***中可以包括但不限于时序数据库和关系数据库。
步骤102，判断待存储数据的数据类型是否为预设数据类型。
其中，预设数据类型可以是预先设置的可通过时序数据库保存数据的数据类型。
其中，预设数据类型可以时间序列的数据，例如，在监控***中，预设数据类型可以为原始指标数据。
其中，原始指标数据对***设备或业务状态监控所采集的原始数据，具备时序数据特征也是数据量最庞大的部分。
其中，需要说明的是，在不同的应用场景下，判断待存储数据的数据类型是否为预设数据类型的方式有很多种，举例说明如下：
作为一种示例，可提取待存储数据的数据特征，并将数据特征与预设数据类型对应的数据特征进行匹配，并通过匹配结果确定待存储数据的数据类型是否为预设数据类型。
其中，若获知数据特征与预设数据类型对应的数据特征匹配，则确定待存储数据的数据类型为预设数据类型。
若获知数据特征与预设数据类型对应的数据特征不匹配，则确定待存储数据的数据类型不为预设数据类型。
具体而言，可将待存储数据的数据特征与预设数据类型所对应的数据特征进行匹配，若获知两者之间的匹配度超过预设阈值，则确定待存储数据的数据类型为预设数据类型。
其中，若获知两者之间的匹配度未超过预设阈值，则确定待存储数据的数据类型不为预设数据类型。
作为另一种示例，数据存储请求还可以包括外部设备的设备标识息，可判断与预设数据类型对应的预设设备标识集合中是否包含设备标识。
其中，若判断获知预设设备标识集合中包含设备标识，则确定待存储数据的数据类型为预设数据类型。
其中，若判断获知预设设备标识集合中不包含设备标识，则确定待存储数据的数据类型不为预设数据类型。
步骤103，若判断获知待存储数据的数据类型为预设数据类型，则将待存储数据保存至时序数据库。
其中，时序数据库主要遵循时间序列来存储数据，数据格式相对简单，能提供高效读写能力因而更适合监控***中的数据存储需求。
其中，需要说明的是，时序数据库具有高I/O性能，支持集群扩展，适合大规模数据存储、以及具有高查询效率等特点。
其中，需要理解的是，不同数据库存储数据的数据格式不同，为了可按照时序数据库所对应的数据格式保存待存储数据，作为一种示例性的实施方式，在将待存储数据保存至时序数据库之前，还可以获取与预设数据类型对应的数据结构封装规则，并根据数据结构封装规则对待存储数据进行结构封装，然后，调用与时序数据库对应的访问存储接口将封装后的数据写入时序数据库。
举例而言，假设外部设备为信息采集设备，预设数据类型为时序数据类型，在接收到信息采集设备所采集的原始指标数据后，为了在***中保存信息采集设备按照时间顺序所采集的原始指标数据，在确定信息采集设备所发送的数据存储请求中待存储数据的数据类型为时序数据类型，可将待存储数据为时序数据库要求的数据格式，并发送到时序数据库所对应的监听端口。具体地，可将设备标识信息作为metric，并将上报时间即为timestamp，上报数值即为value项，封装为JSON数据形式，使用HTTP(HyperText TransferProtocol,超文本传输协议)协议把封装后的数据发送到时序数据库所对应的监听端口。
为了降低保存数据所占用的存储空间，作为一种示例性的实施方式，在将待存储数据保存至时序数据库之后，还可以采用预设数据压缩算法，对待存储数据进行压缩，并将压缩后的数据保存至时序数据库。
其中，预设数据压缩算法是用于对时序数据库中的数据在时间维度上进行压缩的算法。
其中，预设数据压缩算法可以包括但不限于平均值、最大值、最小值压缩，和基于旋转门压缩算法等，该实施例对此不作限定。
作为一种示例性的实施方式，为了保证数据的安全性，还可以为时序数据库设置访问权限，以使得仅有访问权限的用户访问时序数据库。
步骤104，若判断获知待存储数据的数据类型不为预设数据类型，则将待存储数据保存到关系数据库。
其中，需要理解的是，该SCADA***中不仅可以对时序数据进行保存，还可以对其他业务事件所对应的业务数据进行保存。
其中，其他业务事件可以包括但不限于***事件，登录相关事件、控制产生事件、报警事件、FEP事件、冗余事件等。
其中，需要理解的是，SCADA***通过保存其他业务事件所对应的业务数据，可方便后续管理人员能全面地掌握***运行状态，实时监控设备、通讯等故障信息并及时做出相应应急措施。
本发明实施例的数据存储方法，在获取到待存储数据后，在确定待存储数据的数据类型为预设数据类型时，通过时序数据库保存待存储数据；在确定待存储数据的数据类型不为预设数据类型时，通过关系数据库保存待存储数据。由此，为数据采集与监控***提供统一的数据存储接口，并通过待存储数据的数据类型确定保存待存储数据的数据库，从而可将适合在时序数据库保存的数据快速保存到时序数据库，并将适合在关系型数据库保存的数据快速保存到关系型数据库中，利用各自数据库的优势保存对应的数据，提高了数据的存储效率。
图2是根据本发明一个实施例的数据查询方法的流程示意图。
步骤201，接收用户输入的查询请求。
步骤202，根据查询请求判断用户是否查询预设数据类型的数据。
其中，本发明实施例的数据查询方法应用于数据采集与综合监控SCADA(Supervisory Control And Data Acquisition)***。
其中，需要说明的是，该数据采集与综合监控***中可以包括但不限于时序数据库和关系数据库。
步骤203，若判断获知用户查询预设数据类型的数据，则从时序数据库中获得符合查询请求的查询数据。
其中，需要说明的是，在不同应用场景中根据查询请求判断用户是否查询预设数据类型的数据的方式不同，举例说明如下：
作为一种示例，如果查询请求中包括待查询数据的数据类型，可将待查询数据的数据类型与预设数据类型进行比较，如果待查询数据的数据类型与预设数据类型一致，则确定用户查询预设数据类型的数据。
作为另一种示例，如图3所示，根据查询请求判断用户是否查询预设数据类型的数据可以包括：
步骤301，对查询请求进行解析，确定查询请求对应的查询特征。
步骤302，获取与预设数据类型的数据所对应的预设查询特征。
步骤303，根据预设查询特征与查询特征之间的匹配度，确定用户是否查询预设数据类型的数据。
其中，需要说明的是，预先获取查询预设数据类型数据时用户所输入的样本查询请求，并根据样本查询请求，确定出查询预设数据类型数据时所对应的的查询特征，并保存与预设数据类型的数据所对应的查询特征。从而方便后续可根据与预设数据类型的数据所对应的查询特征，确定用户是否查询预设数据类型的数据。
步骤204，若判断获知用户不查询预设数据类型的数据，则从关系数据库中获得符合查询请求的查询数据。
本发明实施例的数据查询方法，在接收到用户输入的查询请求后，通过查询请求确定用户是否查询预设数据类型的数据，并在确定用户查询预设数据类型的数据，通过时序数据库中获得符合查询请求的查询数据，以及在确定用户不查询预设数据类型的数据，则从关系数据库中获得符合查询请求的查询数据。由此，为数据采集与监控***提供统一的查询接口，方便了用户通过统一的查询接口查询所需类型的数据，提高了用户在数据采集与监控***中查询数据的效率，提高了用户的体验度。
为了实现上述实施例，本发明还提出一种数据存储装置。
图4是根据本发明一个实施例的数据存储装置的结构示意图。
其中，需要说明的是，该装置应用于数据采集与综合监控***，数据采集与综合监控***包括时序数据库和关系数据库。
如图4所示，该装置可以包括：
第一接收模块110，用于接收外部设备的数据存储请求，数据存储请求包括待存储数据。
第一判断模块120，用于判断待存储数据的数据类型是否为预设数据类型。
第一处理模块130，用于若判断获知待存储数据的数据类型为预设数据类型，则将待存储数据保存至时序数据库。
第二处理模块140，用于若判断获知待存储数据的数据类型不为预设数据类型，则将待存储数据保存到关系数据库。
在本发明的一个实施例中，在图4所示的基础上，如图5所示，该装置还包括：
获取模块150，用于获取与预设数据类型对应的数据结构封装规则。
封装模块160，用于根据数据结构封装规则对待存储数据进行结构封装。
第一处理模块130，具体用于调用与时序数据库对应的访问存储接口将封装后的数据写入时序数据库。
在本发明的一个实施例中，第一判断模块120，具体用于：提取待存储数据的数据特征；将数据特征与预设数据类型对应的数据特征进行匹配。
其中，若获知数据特征与预设数据类型对应的数据特征匹配，则确定待存储数据的数据类型为预设数据类型。
在本发明的一个实施例中，数据存储请求还包括外部设备的设备标识息，第一判断模块120，具体用于：判断与预设数据类型对应的预设设备标识集合中是否包含设备标识。
其中，若判断获知预设设备标识集合中包含设备标识，则确定待存储数据的数据类型为预设数据类型。
在本发明的一个实施例中，为了降低存储数据所占用的存储空间，在图4所示的基础上，如图6所示，该装置还可以包括：
压缩模块170，用于采用预设数据压缩算法，对保存在时序数据库的数据进行压缩。
其中，需要说明的是，图6所示的装置实施例中的压缩模块170的结构也可以包含在前述图5所示的装置实施例中，该实施例对此不作限定。
其中，需要说明的是，前述对数据存储方法实施例的解释说明也适用于该实施例的数据存储装置，此处不再赘述。
本发明实施例的数据存储装置，在获取到待存储数据后，在确定待存储数据的数据类型为预设数据类型时，通过时序数据库保存待存储数据；在确定待存储数据的数据类型不为预设数据类型时，通过关系数据库保存待存储数据。由此，为数据采集与监控***提供统一的数据存储接口，并通过待存储数据的数据类型确定保存待存储数据的数据库，从而可将适合在时序数据库保存的数据快速保存到时序数据库，并将适合在关系型数据库保存的数据快速保存到关系型数据库中，利用各自数据库的优势保存对应的数据，提高了数据的存储效率。
为了实现上述实施例，本发明还提出一种数据查询装置。
图7是根据本发明一个实施例的数据查询装置的结构示意图。
其中，需要说明的是，该装置应用于数据采集与综合监控***，数据采集与综合监控***包括时序数据库和关系数据库。
如图7所示，该装置可以包括：
第二接收模块210，用于接收用户输入的查询请求。
第二判断模块220，用于根据查询请求判断用户是否查询预设数据类型的数据。
第三处理模块230，用于若判断获知用户查询预设数据类型的数据，则从时序数据库中获得符合查询请求的查询数据。
第四处理模块240，用于若判断获知用户不查询预设数据类型的数据，则从关系数据库中获得符合查询请求的查询数据。
在本发明的一个实施例中，第二判断模块220，具体用于：对查询请求进行解析，确定查询请求对应的查询特征；获取与预设数据类型的数据所对应的预设查询特征；根据预设查询特征与查询特征之间的匹配度，确定用户是否查询预设数据类型的数据。
其中，需要说明的是，前述对数据查询方法实施例的解释说明也适用于该实施例的数据查询装置，此处不再赘述。
本发明实施例的数据查询装置，在接收到用户输入的查询请求后，通过查询请求确定用户是否查询预设数据类型的数据，并在确定用户查询预设数据类型的数据，通过时序数据库中获得符合查询请求的查询数据；以及在确定用户不查询预设数据类型的数据，则从关系数据库中获得符合查询请求的查询数据。由此，为数据采集与监控***提供统一的查询接口，方便了用户通过统一的查询接口查询所需类型的数据，提高了用户在数据采集与监控***中查询数据的效率，提高了用户的体验度。
为了实现上述实施例，本发明还提出一种数据采集与综合监控***。
图8是根据本发明一个实施例的数据采集与综合监控***的结构示意图。
如图8所示，数据采集与综合监控***可以包括数据存储装置10、数据查询装置20、时序数据库30和关系数据库40。
其中，需要说明的是，前述对数据查询装置以及数据查询装置实施例的解释说明也适用于该实施例，此处不再赘述。
本发明实施例的数据采集与综合监控***，通过时序数据库和关系数据库保存各自对应的数据，并根据用户的查询请求，从与查询请求对应的数据库获取符合查询请求的数据。由此，提高了***存储数据的效果，并且，为数据采集与监控***提供统一的查询接口，方便了用户通过统一的查询接口查询所需类型的数据，提高了用户在数据采集与监控***中查询数据的效率，提高了用户的体验度。
为了更加清楚的说明本发明实施例的数据采集与综合监控***写入数据以及查询数据的过程，下面结合图9和图10对数据采集与综合监控***写入数据以及查询数据的过程进行说明，具体说明如下：
其中，需要说明的是，图10以时序数据库为openTSDB为例进行介绍。
其中，openTSDB是一种开源的可扩展时序数据库，提供大规模时序数据存储服务。
其中，openTSDB依赖于HBase，支持集群与横向扩展，底层更是依托大数据技术Hadoop技术框架，非常适合大数据存储和处理。
其中，需要说明的是，Hadoop是一个由Apache基金会所开发的分布式***基础架构，主要实现了分布式文件***HDFS和分布式计算框架MapReduce。
其中，在数据采集与综合监控SCADA***中设置时序数据库，并通过时序数据库保存数据的具体过程为：
1.构建时序数据库(openTSDB)，并启动服务。
openTSDB基于HBase的时序数据库，故需要搭建HBase服务，而HBase又基于Hadoop服务，首先应搭建Hadoop集群服务。
作为一种示例，本示例中以集群采用最低配置即3台服务器，安装Cloudera CDHexpress软件，此软件集成了Hadoop和HBase服务，按照官方指导文档按步骤安装即可。
基于此再配置openTSDB软件，具体的下载openTSDB软件到3台服务器的任一台上，解压并修改其配置文件，主要是修改其zookeeper配置项，指向3台服务器的IP地址则可以完成对HBase的依赖关联，端口号等配置项保持默认值即可。
启动openTSDB服务，使用命令tsdb tsd&，启动并进入后台模式，此时openTSDB启动并监听默认端口，可以通过此端口接收数据和查询指令。
2.启动SCADA***，并监听数据变化。
启动SCADA主程序，开始监听其采集的数据。
3.当数据上报时，将原始指标数据通过接口推送至时序数据库。
收到采集数据后，封装数据格式为openTSDB要求的数据格式并发送到openTSDB监听端口，具体的将nodeID认为metric，上报时间即为timestamp，上报数值即为value项，封装为JSON数据形式，使用HTTP协议把数据发送到openTSDB监听的端口既可完成数据保存。
其中，在数据采集与综合监控SCADA***中查询数据的具体过程为：
1.上层应用按照统一规则向历史数据服务发查询请求。
SCADA应用软件指定开始和结束时间点及指标项即nodeID，向SCADA服务发起查询请求。
2.向openTSDB发起查询。
收到查询请求后，将请求命令转为openTSDB查询语法，具体的将nodeID视为metric，开始和结束时间点为时间戳timestamp筛选条件，使用http协议发送到openTSDB监听端口即完成查询请求。
3.接收和解析返回结果
解析查询结果即http请求返回的响应response部分，此部分数据为openTSDB规定的JSON数据格式，其中value项即为查询的结果值，metric即为nodeID，按照JSON规则取出各项数值，转换为SCADA数据格式即可。
为了实现上述实施例，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例的数据存储方法。
为了实现上述实施例，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例的数据查询方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (15)
1.一种数据存储方法，其特征在于，所述方法应用于数据采集与综合监控***，所述数据采集与综合监控***包括时序数据库和关系数据库，所述方法包括：
接收外部设备的数据存储请求，所述数据存储请求包括待存储数据；
判断所述待存储数据的数据类型是否为预设数据类型；
若判断获知所述待存储数据的数据类型为预设数据类型，则将所述待存储数据保存至所述时序数据库；
若判断获知所述待存储数据的数据类型不为预设数据类型，则将所述待存储数据保存到所述关系数据库。
2.如权利要求1所述的方法，其特征在于，在所述将所述待存储数据保存至所述时序数据库之前，还包括：
获取与所述预设数据类型对应的数据结构封装规则；
根据所述数据结构封装规则对所述待存储数据进行结构封装；
所述将所述待存储数据保存至所述时序数据库，包括：
调用与所述时序数据库对应的访问存储接口将封装后的数据写入所述时序数据库。
3.如权利要求1所述的方法，其特征在于，所述判断所述待存储数据的数据类型是否为预设数据类型，包括：
提取所述待存储数据的数据特征；
将所述数据特征与所述预设数据类型对应的数据特征进行匹配；
其中，若获知所述数据特征与所述预设数据类型对应的数据特征匹配，则确定所述待存储数据的数据类型为预设数据类型。
4.如权利要求1所述的方法，其特征在于，所述数据存储请求还包括所述外部设备的设备标识息，所述判断所述待存储数据的数据类型是否为预设数据类型，包括：
判断与所述预设数据类型对应的预设设备标识集合中是否包含所述设备标识；
其中，若判断获知预设设备标识集合中包含所述设备标识，则确定所述待存储数据的数据类型为预设数据类型。
5.如权利要求1-4任一项所述的方法，其特征在于，在将所述待存储数据保存至所述时序数据库之后，还包括：
采用预设数据压缩算法，对保存在所述时序数据库的数据进行压缩。
6.一种数据查询方法，其特征在于，所述方法应用于数据采集与综合监控***，所述数据采集与综合监控***包括时序数据库和关系数据库，所述方法包括：
接收用户输入的查询请求；
根据所述查询请求判断所述用户是否查询预设数据类型的数据；
若判断获知所述用户查询预设数据类型的数据，则从所述时序数据库中获得符合所述查询请求的查询数据；
若判断获知所述用户不查询预设数据类型的数据，则从所述关系数据库中获得符合所述查询请求的查询数据。
7.如权利要求6所述的方法，其特征在于，根据所述查询请求判断所述用户是否查询预设数据类型的数据，包括：
对所述查询请求进行解析，确定所述查询请求对应的查询特征；
获取与所述预设数据类型的数据所对应的预设查询特征；
根据所述预设查询特征与所述查询特征之间的匹配度，确定所述用户是否查询预设数据类型的数据。
8.一种数据存储装置，其特征在于，所述装置应用于数据采集与综合监控***，所述数据采集与综合监控***包括时序数据库和关系数据库，所述装置包括：
第一接收模块，用于接收外部设备的数据存储请求，所述数据存储请求包括待存储数据；
第一判断模块，用于判断所述待存储数据的数据类型是否为预设数据类型；
第一处理模块，用于若判断获知所述待存储数据的数据类型为预设数据类型，则将所述待存储数据保存至所述时序数据库；
第二处理模块，用于若判断获知所述待存储数据的数据类型不为预设数据类型，则将所述待存储数据保存到所述关系数据库。
9.如权利要求8所述的装置，其特征在于，还包括：
获取模块，用于获取与所述预设数据类型对应的数据结构封装规则；
封装模块，用于根据所述数据结构封装规则对所述待存储数据进行结构封装；
所述第一处理模块，具体用于调用与所述时序数据库对应的访问存储接口将封装后的数据写入所述时序数据库。
10.如权利要求8所述的装置，其特征在于，所述第一判断模块，具体用于：
提取所述待存储数据的数据特征；
将所述数据特征与所述预设数据类型对应的数据特征进行匹配；
其中，若获知所述数据特征与所述预设数据类型对应的数据特征匹配，则确定所述待存储数据的数据类型为预设数据类型。
11.如权利要求8所述的装置，其特征在于，所述数据存储请求还包括所述外部设备的设备标识息，所述为预设数据类型判断模块，具体用于：
判断与所述预设数据类型对应的预设设备标识集合中是否包含所述设备标识；
其中，若判断获知预设设备标识集合中包含所述设备标识，则确定所述待存储数据的数据类型为预设数据类型。
12.如权利要求8-11任一项所述的装置，其特征在于，还包括：
压缩模块，用于采用预设数据压缩算法，对保存在所述时序数据库的数据进行压缩。
13.一种数据查询装置，其特征在于，所述装置应用于数据采集与综合监控***，所述数据采集与综合监控***包括时序数据库和关系数据库，所述装置包括：
第二接收模块，用于接收用户输入的查询请求；
第二判断模块，用于根据所述查询请求判断所述用户是否查询预设数据类型的数据；
第三处理模块，用于若判断获知所述用户查询预设数据类型的数据，则从所述时序数据库中获得符合所述查询请求的查询数据；
第四处理模块，用于若判断获知所述用户不查询预设数据类型的数据，则从所述关系数据库中获得符合所述查询请求的查询数据。
14.如权利要求13所述的装置，其特征在于，第二判断模块，具体用于：
对所述查询请求进行解析，确定所述查询请求对应的查询特征；
获取与所述预设数据类型的数据所对应的预设查询特征；
根据所述预设查询特征与所述查询特征之间的匹配度，确定所述用户是否查询预设数据类型的数据。
15.一种数据采集与综合监控***，所述数据采集与综合监控***包括时序数据库和关系数据库，所述***包括：
如权利要求8-12任一项所述的数据存储装置；
如权利要求13-14任一项所述的数据查询装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810934580.XA CN110019247A (zh) | 2018-08-16 | 2018-08-16 | 数据存储以及查询方法、装置和监控*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810934580.XA CN110019247A (zh) | 2018-08-16 | 2018-08-16 | 数据存储以及查询方法、装置和监控*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110019247A true CN110019247A (zh) | 2019-07-16 |
Family
ID=67188375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810934580.XA Pending CN110019247A (zh) | 2018-08-16 | 2018-08-16 | 数据存储以及查询方法、装置和监控*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110019247A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110377628A (zh) * | 2019-07-23 | 2019-10-25 | 京东方科技集团股份有限公司 | 一种信息获取方法、装置及电子设备 |
| CN110389967A (zh) * | 2019-07-26 | 2019-10-29 | 深圳市腾讯计算机***有限公司 | 数据存储方法、装置、服务器及存储介质 |
| CN110489445A (zh) * | 2019-08-02 | 2019-11-22 | 四川宏力信息科技有限责任公司 | 一种基于多形态复合的海量数据快速查询方法 |
| CN110837516A (zh) * | 2019-11-07 | 2020-02-25 | 恩亿科(北京)数据科技有限公司 | 数据割接方法、装置、计算机设备和可读存储介质 |
| CN110851443A (zh) * | 2019-10-28 | 2020-02-28 | 网联清算有限公司 | 数据库的存储管理方法、装置、存储介质及电子设备 |
| CN111008230A (zh) * | 2019-11-22 | 2020-04-14 | 远景智能国际私人投资有限公司 | 数据存储方法、装置、计算机设备及存储介质 |
| CN111144926A (zh) * | 2019-11-27 | 2020-05-12 | 泰康保险集团股份有限公司 | 业务请求处理方法、装置、***、电子设备及可读介质 |
| CN112506735A (zh) * | 2020-11-26 | 2021-03-16 | 中移（杭州）信息技术有限公司 | 服务质量监控方法、***、服务器和存储介质 |
| CN112667604A (zh) * | 2021-01-04 | 2021-04-16 | 中车青岛四方车辆研究所有限公司 | 轨道交通tias***的时序数据、数据存储方法及装置 |
| CN112766713A (zh) * | 2021-01-15 | 2021-05-07 | 国家海洋信息中心 | 一种海洋应急指挥调度的数据处理方法、设备及存储介质 |
| CN112800092A (zh) * | 2021-01-26 | 2021-05-14 | 苏州浪潮智能科技有限公司 | 一种数据缓存管理方法、装置、设备及可读存储介质 |
| CN114205389A (zh) * | 2021-12-08 | 2022-03-18 | 南方电网深圳数字电网研究院有限公司 | 基于物联网的信息智能筛选方法及装置 |
| CN114205372A (zh) * | 2021-12-08 | 2022-03-18 | 南方电网深圳数字电网研究院有限公司 | 一种物联网的数据存储方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102968438A (zh) * | 2012-09-29 | 2013-03-13 | 南京国电南自轨道交通工程有限公司 | 综合监控***中历史数据存储控制方法 |
| CN106055678A (zh) * | 2016-06-07 | 2016-10-26 | 国网河南省电力公司电力科学研究院 | 一种基于hadoop的全景大数据分布式存储方法 |
| CN106777108A (zh) * | 2016-12-15 | 2017-05-31 | 贵州电网有限责任公司电力科学研究院 | 一种基于混合存储架构的数据查询方法和装置 |
| US20180032567A1 (en) * | 2015-02-27 | 2018-02-01 | Alibaba Group Holding Limited | Method and device for processing data blocks in a distributed database |
-
2018
- 2018-08-16 CN CN201810934580.XA patent/CN110019247A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102968438A (zh) * | 2012-09-29 | 2013-03-13 | 南京国电南自轨道交通工程有限公司 | 综合监控***中历史数据存储控制方法 |
| US20180032567A1 (en) * | 2015-02-27 | 2018-02-01 | Alibaba Group Holding Limited | Method and device for processing data blocks in a distributed database |
| CN106055678A (zh) * | 2016-06-07 | 2016-10-26 | 国网河南省电力公司电力科学研究院 | 一种基于hadoop的全景大数据分布式存储方法 |
| CN106777108A (zh) * | 2016-12-15 | 2017-05-31 | 贵州电网有限责任公司电力科学研究院 | 一种基于混合存储架构的数据查询方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 单若琦: "一种基于OpenTSDB的海量实时数据存储***", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110377628A (zh) * | 2019-07-23 | 2019-10-25 | 京东方科技集团股份有限公司 | 一种信息获取方法、装置及电子设备 |
| CN110389967A (zh) * | 2019-07-26 | 2019-10-29 | 深圳市腾讯计算机***有限公司 | 数据存储方法、装置、服务器及存储介质 |
| CN110389967B (zh) * | 2019-07-26 | 2024-06-04 | 深圳市腾讯计算机***有限公司 | 数据存储方法、装置、服务器及存储介质 |
| CN110489445A (zh) * | 2019-08-02 | 2019-11-22 | 四川宏力信息科技有限责任公司 | 一种基于多形态复合的海量数据快速查询方法 |
| CN110851443A (zh) * | 2019-10-28 | 2020-02-28 | 网联清算有限公司 | 数据库的存储管理方法、装置、存储介质及电子设备 |
| CN110837516A (zh) * | 2019-11-07 | 2020-02-25 | 恩亿科(北京)数据科技有限公司 | 数据割接方法、装置、计算机设备和可读存储介质 |
| CN111008230B (zh) * | 2019-11-22 | 2023-08-04 | 远景智能国际私人投资有限公司 | 数据存储方法、装置、计算机设备及存储介质 |
| CN111008230A (zh) * | 2019-11-22 | 2020-04-14 | 远景智能国际私人投资有限公司 | 数据存储方法、装置、计算机设备及存储介质 |
| CN111144926A (zh) * | 2019-11-27 | 2020-05-12 | 泰康保险集团股份有限公司 | 业务请求处理方法、装置、***、电子设备及可读介质 |
| CN112506735A (zh) * | 2020-11-26 | 2021-03-16 | 中移（杭州）信息技术有限公司 | 服务质量监控方法、***、服务器和存储介质 |
| CN112667604A (zh) * | 2021-01-04 | 2021-04-16 | 中车青岛四方车辆研究所有限公司 | 轨道交通tias***的时序数据、数据存储方法及装置 |
| CN112766713A (zh) * | 2021-01-15 | 2021-05-07 | 国家海洋信息中心 | 一种海洋应急指挥调度的数据处理方法、设备及存储介质 |
| CN112800092A (zh) * | 2021-01-26 | 2021-05-14 | 苏州浪潮智能科技有限公司 | 一种数据缓存管理方法、装置、设备及可读存储介质 |
| CN114205389A (zh) * | 2021-12-08 | 2022-03-18 | 南方电网深圳数字电网研究院有限公司 | 基于物联网的信息智能筛选方法及装置 |
| CN114205372A (zh) * | 2021-12-08 | 2022-03-18 | 南方电网深圳数字电网研究院有限公司 | 一种物联网的数据存储方法及装置 |
| CN114205389B (zh) * | 2021-12-08 | 2023-12-01 | 南方电网数字平台科技(广东)有限公司 | 基于物联网的信息智能筛选方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110019247A (zh) | 数据存储以及查询方法、装置和监控*** | |
| CN110263054A (zh) | Sql工单的审核***、审核方法、装置及计算机设备 | |
| US20160140235A1 (en) | Real-time distributed in memory search architecture | |
| CN106682097A (zh) | 一种处理日志数据的方法和装置 | |
| CN108021809A (zh) | 一种数据处理方法及*** | |
| US20180322066A1 (en) | Modifying provisioned throughput capacity for data stores according to cache performance | |
| US20210151056A1 (en) | Network data aligning | |
| CN109815344B (zh) | 基于参数共享的网络模型训练***、方法、装置和介质 | |
| CN111881011A (zh) | 日志管理方法、平台、服务器及存储介质 | |
| CN104239377A (zh) | 跨平台的数据检索方法及装置 | |
| CN111046022A (zh) | 一种基于大数据技术的数据库审计方法 | |
| CN106909641B (zh) | 一种实时数据存储器 | |
| CN109902126B (zh) | 支持hive自动分区的加载***及其实现方法 | |
| CN105989140B (zh) | 一种数据块处理方法和设备 | |
| CN114817425B (zh) | 一种冷热数据分类的方法、装置、设备及可读存储介质 | |
| CN111984495A (zh) | 一种大数据监控方法、装置和存储介质 | |
| CN114780335A (zh) | 监测数据的关联方法、装置、计算机设备和存储介质 | |
| KR20230000927A (ko) | 장면 검출 방법 및 장치, 전자 기기, 컴퓨터 저장 매체 | |
| CN113407600A (zh) | 一种动态实时同步多源大表数据的增强实时计算方法 | |
| CN107491558B (zh) | 元数据更新方法及装置 | |
| CN107491463A (zh) | 数据查询的优化方法和*** | |
| CN109510730A (zh) | 分布式***及其监控方法、装置、电子设备及存储介质 | |
| CN110221929A (zh) | 一种服务化软件***架构及其应用方法 | |
| US11645283B2 (en) | Predictive query processing | |
| CN105718485B (zh) | 一种将数据录入数据库的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190716 |
|
| RJ01 | Rejection of invention patent application after publication |