CN110515810A - 一种基于时序数据库的数据监控日志收集及追溯方法 - Google Patents
一种基于时序数据库的数据监控日志收集及追溯方法 Download PDFInfo
- Publication number
- CN110515810A CN110515810A CN201910828718.2A CN201910828718A CN110515810A CN 110515810 A CN110515810 A CN 110515810A CN 201910828718 A CN201910828718 A CN 201910828718A CN 110515810 A CN110515810 A CN 110515810A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- data
- time series
- series database
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 29
- 239000000523 sample Substances 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 238000012800 visualization Methods 0.000 claims description 6
- 238000013079 data visualisation Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- WURBVZBTWMNKQT-UHFFFAOYSA-N 1-(4-chlorophenoxy)-3,3-dimethyl-1-(1,2,4-triazol-1-yl)butan-2-one Chemical compound C1=NC=NN1C(C(=O)C(C)(C)C)OC1=CC=C(Cl)C=C1 WURBVZBTWMNKQT-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2474—Sequence data queries, e.g. querying versioned data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Hardware Design (AREA)
- Fuzzy Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明特别涉及一种基于时序数据库的数据监控日志收集及追溯方法。该基于时序数据库的数据监控日志收集及追溯方法，采用探针实时采集监控数据，并主动将采集到的监控数据推送至时序数据库，时序数据库从时间维度将监控数据记录下来，然后采用基于监控数据匹配相应的预警策略及时将预警及告警信息反馈给检测人员。该基于时序数据库的数据监控日志收集及追溯方法，通过对业务全流程监控，能够及时发现问题，及时定位，早做处理，极大地缓解了政府部门应用***在访问高峰时的业务***雪崩、中断等突发情况，提升了社会大众、监管工作人员的满意度，提高了网上办事效率，优了化服务质量。
Description
技术领域
本发明涉及信息化建设技术领域，特别涉及一种基于时序数据库的数据监控日志收集及追溯方法。
背景技术
近年来，全球新一代信息技术发展突飞猛进，移动互联网、大数据、云计算、物联网、人工智能等信息技术的突破和融合发展促进了数字经济的快速发展。政府信息化的建设简化了政府行政办公流程，强化了政府职能部门效能建设，提升了服务百姓的本领。但是，政府信息化建设的不断发展，随之而来的政府部门网上办事业务需求不断增加，业务***访问量也飞速增长，尤其是在一些季节性和政策性高峰期，往往对会业务***、中间件、服务器等产生较大、突发性、洪流式压力，比较容易造成***负载过大、故障、业务被迫中断等情况。
而现阶段，为了简化业务办理流程，提高人民满意度，很多业务的办理都逐渐由线下转移到了线上，大大小小的业务***如雨后春笋不断涌现，因此政府业务***面临的压力正在飞速增长。如何管理好各个业务***，做到问题提前预防、及时发现、及时定位、及时解决，防止业务办理阻塞成为政府重点关注的课题。
传统监控中，绝大部分***运行情况我们只能通过读取应用日志的方式获取，形形色色的***日志分散在服务器各个角落，日志多、不直观、难定位给实施人员针对问题分析造成很大困扰。
基于上述情况，为了缓解政府部门应用***在访问高峰时的业务***雪崩、中断等突发情况，提升社会大众、监管工作人员的满意度，提升网上办事效率，优化服务质量，本发明提出了一种基于时序数据库的数据监控日志收集及追溯方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于时序数据库的数据监控日志收集及追溯方法。
本发明是通过如下技术方案实现的：
一种基于时序数据库的数据监控日志收集及追溯方法，其特征在于：采用探针实时采集监控数据，并主动将采集到的监控数据推送至时序数据库，时序数据库从时间维度将监控数据记录下来，然后采用基于监控数据匹配相应的预警策略及时将预警及告警信息反馈给检测人员，从而实现从最底层的操作***，往上再到中间件，再到到业务***本身，以及业务***依赖数据的全面监控。
本发明基于时序数据库的数据监控日志收集及追溯方法，包括以下步骤：
第一步，采集监控数据
针对不同的监控对象，采用不同结构及不同语言探针，收集监控对象的监控日志数据，提供数据支撑；
第二步，存储监控数据
将采集到的监控数据集中存储在时序数据库中，并给每条监控信息打上时间标签，建立监控数据基础库；
第三步，监控可视化
基于监控数据基础库，针对检测指标进行图型可视化展现；
第四步，预警机制
建立指标阈值模型，基于监控数据基础库数据计算预警信息，若在监控过程中某数据指标达到阈值，监控***迅速做出响应，将预警及告警信息反馈给检测人员。
所述第一步中，探针的形式包括但不限于war包、jar包或可执行文件。
所述第一步中，探针的监控范围覆盖整个部署环境，包括操作***CPU、内存及存储使用率，中间件内存占用率及线程数，业务***资源占用率，数据库最大连接数及内存使用率。
所述第二步中，采用时序数据库prometheus从时间维度将监控数据记录下来，24小时不间断全覆盖的监控数据使管理人员能追溯到任意时间，任意位置的监控内容。
所述第三步中，采用数据可视化工具grafana对主机监控信息、中间件监控信息和数据库监控信息进行实时直观展现。
所述第四步中，在指标阈值模型中设置各项指标阈值，若监控过程中某项指标达到阈值，***即向管理人员发出预警信息；若监控过程中某项指标超过阈值，***即向管理人员发出告警信息。
所述发出预警或告警信息的方式包括但不限于通过大屏显示、短信和/或邮件通知检测人员。
本发明的有益效果是：该基于时序数据库的数据监控日志收集及追溯方法，通过对业务全流程监控，能够及时发现问题，及时定位，早做处理，极大地缓解了政府部门应用***在访问高峰时的业务***雪崩、中断等突发情况，提升了社会大众、监管工作人员的满意度，提高了网上办事效率，优了化服务质量。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
该基于时序数据库的数据监控日志收集及追溯方法，采用探针实时采集监控数据，并主动将采集到的监控数据推送至时序数据库，时序数据库从时间维度将监控数据记录下来，然后采用基于监控数据匹配相应的预警策略及时将预警及告警信息反馈给检测人员，从而实现从最底层的操作***，往上再到中间件，再到到业务***本身，以及业务***依赖数据的全面监控。
该基于时序数据库的数据监控日志收集及追溯方法，包括以下步骤：
第一步，采集监控数据
针对不同的监控对象，采用不同结构及不同语言探针，收集监控对象的监控日志数据，提供数据支撑；
第二步，存储监控数据
将采集到的监控数据集中存储在时序数据库中，并给每条监控信息打上时间标签，建立监控数据基础库；
第三步，监控可视化
基于监控数据基础库，针对检测指标进行图型可视化展现；
第四步，预警机制
建立指标阈值模型，基于监控数据基础库数据计算预警信息，若在监控过程中某数据指标达到阈值，监控***迅速做出响应，将预警及告警信息反馈给检测人员。
所述第一步中，探针的形式包括但不限于war包、jar包或可执行文件。
所述第一步中，探针的监控范围覆盖整个部署环境，包括操作***CPU、内存及存储使用率，中间件内存占用率及线程数，业务***资源占用率，数据库最大连接数及内存使用率。
所述第二步中，采用时序数据库prometheus从时间维度将监控数据记录下来，24小时不间断全覆盖的监控数据使管理人员能追溯到任意时间，任意位置的监控内容。
所述第三步中，采用数据可视化工具grafana对主机监控信息、中间件监控信息和数据库监控信息进行实时直观展现。
所述第四步中，在指标阈值模型中设置各项指标阈值，若监控过程中某项指标达到阈值，***即向管理人员发出预警信息；若监控过程中某项指标超过阈值，***即向管理人员发出告警信息。
所述发出预警或告警信息的方式包括但不限于通过大屏显示、短信和/或邮件通知检测人员。
与现有技术相比，该基于时序数据库的数据监控日志收集及追溯方法，具有以下特点：
1、针对格式各样的业务***、中间件、数据库个性化开发所支持的探针，能够确保每一种监控对象处在监控范围之内，实现了***监控全覆盖；
2、探针+时序数据库prometheus的方式更加轻量级，数据存储更加直观，探针实时主动推送监控数据至时序数据库，时序数据库从时间维度将监控数据记录下来，此过程占用资源少，对原业务***影响也相对较小；
3、区别于传统数据库存储方式，创新性运用了时序数据库的概念在监控***中，无形中给每一条监控日志加入了时间属性，方便后期的追溯；
4、24小时不间断全覆盖监控，不仅能够记录全方位全时间段的监控数据，还能提供数据可视化工具进行展示查询，为后续业务***异常问题追溯原因提供数据依据；
5、提供了阈值报警机制，一旦监控过程中某个指标达到阈值能及时通知到相关管理人员，避免事态继续蔓延，做到事前减小防止突发情况的发生率，事中突发事件及时发现，事后准确定位事件原因，保障业务***的正常运行；
6、极大地缓解了政府部门应用***在访问高峰时的业务***雪崩、中断等突发情况，提升了社会大众、监管工作人员的满意度，提高了网上办事效率，优了化服务质量。
以上所述的实施例，只是本发明具体实施方式的一种，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (8)
1.一种基于时序数据库的数据监控日志收集及追溯方法，其特征在于：采用探针实时采集监控数据，并主动将采集到的监控数据推送至时序数据库，时序数据库从时间维度将监控数据记录下来，然后采用基于监控数据匹配相应的预警策略及时将预警及告警信息反馈给检测人员，从而实现从最底层的操作***，往上再到中间件，再到到业务***本身，以及业务***依赖数据的全面监控。
2.根据权利要求1所述的基于时序数据库的数据监控日志收集及追溯方法，其特征在于，包括以下步骤：
第一步，采集监控数据
针对不同的监控对象，采用不同结构及不同语言探针，收集监控对象的监控日志数据，提供数据支撑；
第二步，存储监控数据
将采集到的监控数据集中存储在时序数据库中，并给每条监控信息打上时间标签，建立监控数据基础库；
第三步，监控可视化
基于监控数据基础库，针对检测指标进行图型可视化展现；
第四步，预警机制
建立指标阈值模型，基于监控数据基础库数据计算预警信息，若在监控过程中某数据指标达到阈值，监控***迅速做出响应，将预警及告警信息反馈给检测人员。
3.根据权利要求2所述的基于时序数据库的数据监控日志收集及追溯方法，其特征在于：所述第一步中，探针的监控范围覆盖整个部署环境，包括操作***CPU、内存及存储使用率，中间件内存占用率及线程数，业务***资源占用率，数据库最大连接数及内存使用率。
4.根据权利要求3所述的基于时序数据库的数据监控日志收集及追溯方法，其特征在于：所述第一步中，探针的形式包括但不限于war包、jar包或可执行文件。
5.根据权利要求2或4所述的基于时序数据库的数据监控日志收集及追溯方法，其特征在于：所述第二步中，采用时序数据库prometheus从时间维度将监控数据记录下来，24小时不间断全覆盖的监控数据使管理人员能追溯到任意时间，任意位置的监控内容。
6.根据权利要求2所述的基于时序数据库的数据监控日志收集及追溯方法，其特征在于：所述第三步中，采用数据可视化工具grafana对主机监控信息、中间件监控信息和数据库监控信息进行实时直观展现。
7.根据权利要求2所述的基于时序数据库的数据监控日志收集及追溯方法，其特征在于：所述第四步中，在指标阈值模型中设置各项指标阈值，若监控过程中某项指标达到阈值，***即向管理人员发出预警信息；若监控过程中某项指标超过阈值，***即向管理人员发出告警信息。
8.根据权利要求7所述的基于时序数据库的数据监控日志收集及追溯方法，其特征在于：所述发出预警或告警信息的方式包括但不限于通过大屏显示、短信和/或邮件通知检测人员。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910828718.2A CN110515810A (zh) | 2019-09-03 | 2019-09-03 | 一种基于时序数据库的数据监控日志收集及追溯方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910828718.2A CN110515810A (zh) | 2019-09-03 | 2019-09-03 | 一种基于时序数据库的数据监控日志收集及追溯方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110515810A true CN110515810A (zh) | 2019-11-29 |
Family
ID=68630585
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910828718.2A Pending CN110515810A (zh) | 2019-09-03 | 2019-09-03 | 一种基于时序数据库的数据监控日志收集及追溯方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110515810A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112115023A (zh) * | 2020-09-02 | 2020-12-22 | 厦门安胜网络科技有限公司 | 一种用于数据链路的获取方法和*** |
| CN112435074A (zh) * | 2020-12-07 | 2021-03-02 | 浙江大学 | 一种新零售实时数据追踪、反馈方法和*** |
| CN112434063A (zh) * | 2020-11-03 | 2021-03-02 | 中国南方电网有限责任公司 | 一种基于时间序列数据库的监控数据的处理方法 |
| CN112486789A (zh) * | 2020-11-30 | 2021-03-12 | 建信金融科技有限责任公司 | 一种日志分析***、方法及装置 |
| CN112632127A (zh) * | 2020-12-29 | 2021-04-09 | 国华卫星数据科技有限公司 | 设备运行实时数据采集及时序的数据处理方法 |
| CN113051125A (zh) * | 2019-12-27 | 2021-06-29 | 微民保险代理有限公司 | 自定义监控指标的监控视图绘制方法、装置及计算机设备 |
| CN113485887A (zh) * | 2021-06-29 | 2021-10-08 | 上海众言网络科技有限公司 | 数据库监控方法、装置、电子设备及存储介质 |
| CN114677066A (zh) * | 2022-05-30 | 2022-06-28 | 广州信诚信息科技有限公司 | 一种基于时序数据的验电作业顺序监控模型 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103491354A (zh) * | 2013-10-10 | 2014-01-01 | 国家电网公司 | 一种***运行监控可视化平台 |
| CN106371986A (zh) * | 2016-09-08 | 2017-02-01 | 上海新炬网络技术有限公司 | 一种日志处理运维监控*** |
| CN109034521A (zh) * | 2018-06-07 | 2018-12-18 | 国电南瑞科技股份有限公司 | 一种电网调度控制***的智能运维架构设计方法 |
-
2019
- 2019-09-03 CN CN201910828718.2A patent/CN110515810A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103491354A (zh) * | 2013-10-10 | 2014-01-01 | 国家电网公司 | 一种***运行监控可视化平台 |
| CN106371986A (zh) * | 2016-09-08 | 2017-02-01 | 上海新炬网络技术有限公司 | 一种日志处理运维监控*** |
| CN109034521A (zh) * | 2018-06-07 | 2018-12-18 | 国电南瑞科技股份有限公司 | 一种电网调度控制***的智能运维架构设计方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113051125A (zh) * | 2019-12-27 | 2021-06-29 | 微民保险代理有限公司 | 自定义监控指标的监控视图绘制方法、装置及计算机设备 |
| CN112115023A (zh) * | 2020-09-02 | 2020-12-22 | 厦门安胜网络科技有限公司 | 一种用于数据链路的获取方法和*** |
| CN112434063A (zh) * | 2020-11-03 | 2021-03-02 | 中国南方电网有限责任公司 | 一种基于时间序列数据库的监控数据的处理方法 |
| CN112486789A (zh) * | 2020-11-30 | 2021-03-12 | 建信金融科技有限责任公司 | 一种日志分析***、方法及装置 |
| CN112435074A (zh) * | 2020-12-07 | 2021-03-02 | 浙江大学 | 一种新零售实时数据追踪、反馈方法和*** |
| CN112632127A (zh) * | 2020-12-29 | 2021-04-09 | 国华卫星数据科技有限公司 | 设备运行实时数据采集及时序的数据处理方法 |
| CN112632127B (zh) * | 2020-12-29 | 2022-07-15 | 国华卫星数据科技有限公司 | 设备运行实时数据采集及时序的数据处理方法 |
| CN113485887A (zh) * | 2021-06-29 | 2021-10-08 | 上海众言网络科技有限公司 | 数据库监控方法、装置、电子设备及存储介质 |
| CN114677066A (zh) * | 2022-05-30 | 2022-06-28 | 广州信诚信息科技有限公司 | 一种基于时序数据的验电作业顺序监控模型 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110515810A (zh) | 一种基于时序数据库的数据监控日志收集及追溯方法 | |
| US9652723B2 (en) | Electrical transformer failure prediction | |
| US8516112B2 (en) | Performance monitoring of a computer resource | |
| CN101854277B (zh) | 一种移动通信经营分析***的监控方法 | |
| US20150073608A1 (en) | System and method for managing and monitoring renewable energy power generation | |
| CN104362757B (zh) | 一种基于iec61850的变电站在线监测*** | |
| CA2747484C (en) | Time tracking technology | |
| CN105373899A (zh) | 一种服务器资产管理的方法及装置 | |
| CN105512790A (zh) | 一体化运维管理*** | |
| CN103745322A (zh) | 电力调度中省地二次***一体化综合监视及流程化管理***及实现方法 | |
| Zhang et al. | A video cloud platform combing online and offline cloud computing technologies | |
| WO2013097318A1 (zh) | 一种园区的智能用电***及方法 | |
| CN101296115B (zh) | 电信网络多维监控方法 | |
| US9269062B2 (en) | Methods for optimizing energy consumption and devices thereof | |
| CN103488793A (zh) | 一种基于信息检索的用户行为监控方法 | |
| CN108229154A (zh) | 敏感数据操作日志记录方法、装置、存储介质及设备 | |
| CN109800133A (zh) | 一种统一监控告警的方法、一站式监控告警平台及*** | |
| CN116522746A (zh) | 高耗能企业配电托管方法 | |
| CN117453137A (zh) | 云化智能运维***数据管理*** | |
| CN103442212A (zh) | 网络安防综合预警式管理***平台 | |
| CN112149975B (zh) | 一种基于人工智能的apm监控***及监控方法 | |
| CN109783310A (zh) | It设备的多维动态安全监控方法及其监控装置 | |
| CN105321049A (zh) | 一种企业管理*** | |
| CN117632897A (zh) | 动态扩缩容方法及装置 | |
| CN115840656A (zh) | 一种基于故障自愈的应用程序自动化运维方法和*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191129 |