CN114584600A - 一种数据审计监测*** - Google Patents
一种数据审计监测*** Download PDFInfo
- Publication number
- CN114584600A CN114584600A CN202210068473.XA CN202210068473A CN114584600A CN 114584600 A CN114584600 A CN 114584600A CN 202210068473 A CN202210068473 A CN 202210068473A CN 114584600 A CN114584600 A CN 114584600A
- Authority
- CN
- China
- Prior art keywords
- data
- module
- monitoring
- monitoring system
- interface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 79
- 238000012550 audit Methods 0.000 title claims description 25
- 238000013075 data extraction Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000005540 biological transmission Effects 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims abstract description 5
- 238000007726 management method Methods 0.000 claims description 32
- 210000000609 ganglia Anatomy 0.000 claims description 21
- 238000013500 data storage Methods 0.000 claims description 13
- 238000013515 script Methods 0.000 claims description 11
- 238000012800 visualization Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000003745 diagnosis Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 abstract 1
- 238000000034 method Methods 0.000 description 9
- 238000013480 data collection Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 150000003839 salts Chemical class 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013079 data visualisation Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
- H04L41/0213—Standardised network management protocols, e.g. simple network management protocol [SNMP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Water Supply & Treatment (AREA)
- Strategic Management (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种数据审计监测***，包括用于采集基础设施以及服务等各类资源的状态数据，并为数据传输提供统一格式来屏蔽资源异构性的数据采集模块、用于以分布式可伸缩的消息队列的形式为所述数据采集模块的监测数据提供缓存功能，并通过发布订阅的形式为监测数据的处理提供访问接口的数据转发模块、用于对所述数据转发模块的监测数据作进一步处理的数据抽取模块以及为数据审计监测***的状态管理提供可视化接口的视图模块。本发明的监测***不集中于对单一资源域的监测管理，有效的整合了服务器、网络设备、虚拟资源以及环境设备的监测，并有效提高了监测数据的价值密度、监测有效性，降低了监测成本。
Description
技术领域
本发明涉及电力信息审计领域，尤其涉及一种数据审计监测***。
背景技术
电力行业作为国家关键性行业，对国家正常的经济运行起到重大的支撑作用，数据库是所有电力信息***的运行基础，记录有大量的用户信息、生产数据等关键信息，是最具有战略性的资产。电力数据审计监测的目的是能够及时有效反映数据中心各类资源的运行状态并进行自动化调控，但资源种类的增多会使得不同资源监测缺少一个标准的统一的接口，资源数量的增多会导致难以有效的从海量的监测数据中提取表征资源状态的特征点以实现有效的可视化和状态分析，这己成为现在监测***所面临的一个难点。
发明内容
本发明基于以上问题，本发明公开了一种数据审计监测***。
为实现上述目的，本发明所采用的技术方案如下：
一种数据审计监测***，包括用于采集基础设施以及服务等各类资源的状态数据，并为数据传输提供统一格式来屏蔽资源异构性的数据采集模块、用于以分布式可伸缩的消息队列的形式为所述数据采集模块的监测数据提供缓存功能，并通过发布订阅的形式为监测数据的处理提供访问接口的数据转发模块、用于对所述数据转发模块的监测数据作进一步处理的数据抽取模块以及为数据审计监测***的状态管理提供可视化接口的视图模块。
可选的，所述数据采集模块包括采集接口模块以及采集代理模块，所述采集接口模块用于定义数据审计监测***各类资源状态的数据采集接口，所述采集代理模块根据所述采集接口模块所提供的数据转发或可编程接口直接或间接获取审计数据的状态，并将审计数据推送到所述数据转发模块，所述数据转发模块通过消息中间件对所述采集代理模块的数据进行缓存和转发。
可选的，所述采集接口模块包括服务器数据采集模块、虚拟机数据采集模块以及网络设备数据采集模块，其中所述服务器数据采集模块通过编写代理程序从Ganglia的服务端程序Gmetad的数据转发端口获取Ganglia采集的状态数据，然后将采集到的数据统一转化为JSON并通过lzo算法对数据进行压缩以降低网络传输的数据量，最后将数据发布到kafka消息队列的指定topic，所述网络设备数据采集模块通过Linux的Cron定时任务周期性执行SNMP指令获取网络设备的状态数据，所述虚拟机数据采集模块通过底模块的libvirt获取审计数据。
可选的，所述采集代理模块包括Ganglia代理接口、SNMP代理接口以及libvirt编程接口，所述服务器数据采集模块、所述虚拟机数据采集模块以及所述网络设备数据采集模块分别与所述Ganglia代理接口、所述SNMP代理接口以及所述libvirt编程接口连接。
可选的，所述数据抽取模块包括数据存储模块以及状态监测模块，所述数据存储模块根据数据来源将数据库分为三类，分别是GangliaDB、SNMPDB和LibvirtDB，其中，GangliaDB用于保存Ganglia的转储数据，SNMPDB用于保存通过SNMP协议所采集的网络设备数据，LibvirtDB用于保存通过libvirt接口所获取的虚拟机状态数据，所述状态监测模块在硬件设备和***运行出现异常的时候及时产生告警信息并为故障追踪和诊断提供状态数据。
可选的，所述状态监测模块包括nagios，nagios将对象与行为进行了分离，用于实现告警策略，其中，策略适应的对象、响应的时间、通知的联系人分别定义在单独的文件中。
可选的，所述数据转发模块包括消息中间件，所述消息中间件为kafka，其用于将审计数据转发到所述状态监测模块和/或所述数据存储模块。
可选的，还包括分布式集中配置管理模块，所述分布式集中配置管理模块包括SaltStack，所述SaltStack包括服务端和客户端，所述服务端用于管理所有Minion节点，所述客户端用于接受、执行Minion的管理命令并将结果反馈给Master，所述服务端和所述客户端之间通过ZeroMQ进行通信，用户通过SaltStack的客户端执行配置管理命令。
可选的，所述SaltStack还包括配置管理模块，所述配置管理模块在SaltStack的Master上创建相应的目录，并保存安装文件、配置文件、服务脚本以及pillar和grains目录下的配置变量采集脚本，grains用于收集和保存主机的CPU、内核以及操作***信息，所述服务端从grains获取信息实现配置的灵活定制，pillar用于定义全局数据供其他组件使用，pillar通过与服务器相关联的特征数据并结合grains来实现配置的规则匹配、动态生成与更新操作。
可选的，所述视图模块包括query组件和graph组件，所述query组件用于向终端用户提供REST查询接口，接受来自前端不同维度的指标查询请求，所述query组件从时间维度判断请求的时间范围，以此来确定是从历史数据库还是趋势数据库获取graph组件所需要的数据，所述graph组件用于接收来自query的结果数据，并以JSONRPC的形式提供向web模块提供访问接口，通过D3.sj来实现不同形式的可视化。
本发明与现有技术相比，所取得的技术进步在于：
本发明包括四部分：数据采集模块、数据转发模块、数据抽取模块以及视图模块，数据采集模块主要通过编写脚木采集资源状态数据，数据存储部分主要结合文档数据库MongoDB和时间序列数据库的时序数据存储模式的设计，告警通知主要将监控数据通过中间处理转发到nagios来做告警判定，数据可视化主要采用Echarts和D3(Data-DrivenDocuments)来对监控数据实现基本可视化。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
在附图中：
图1为本发明的***结构图。
具体实施方式
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
实施例1
本发明公开了一种数据审计监测***，包括数据采集模块、数据转发模块、数据抽取模块以及视图模块，其中：
数据采集模块：主要负责采集基础设施以及服务等各类资源的状态数据，并为数据传输提供统一的格式来屏蔽资源的异构性；
数据转发模块：主要作为数据采集***的消息代理，以分布式可伸缩的消息队列的形式为数据采集模块的大量监测数据提供缓存功能，并通过发布-订阅的形式为监测数据的处理提供访问接口；
数据抽取模块：主要对数据转发模块的监测数据作进一步处理，比如将数据存储到数据库，将数据转发到告警通知***，或者为进一步的资源分析调度提供数据访问接口库等；
视图模块：视图模块处于监测***的最上模块，主要负责为整个数据中心的状态管理提供可视化的接口，包括数据采集模块的监测代理(例如，服务器、网络设备以及虚拟资源和服务的监测代理程序)、数据转发模块的消息中间件以及数据抽取模块的存储、告警通知以及资源分析调度等***；视图模块主要是为数据中心的异构资源以及各个***提供分区管理，为***管理和资源多样性提供一个有效的可视化管理接口和状态视图。
实施例2
数据采集模块包括采集接口模块以及采集代理模块，集接口模块用于定义数据审计监测***各类资源状态的数据采集接口，采集代理模块根据所述采集接口模块所提供的数据转发或可编程接口直接或间接获取审计数据的状态，并将审计数据推送到所述数据转发模块，所述数据转发模块通过消息中间件对所述采集代理模块的数据进行缓存和转发。
采集接口模块包括服务器数据采集模块、虚拟机数据采集模块以及网络设备数据采集模块，具体的，服务器数据采集模块：服务器的数据采集主要基于Ganglia，通过编写代理程序从Ganglia的服务端程序Gmetad的数据转发端口获取Ganglia采集的状态数据，然后将采集到的数据统一转化为JSON并通过lzo算法对数据进行压缩以降低网络传输的数据量，最后将数据发布到kafka消息队列的指定topic。服务器的主要监测指标主要包括CPU、内存、磁盘和网络等指标用于表征服务器硬件资源的基本运行状态。
虚拟机数据采集模块：虚拟机的数据采集模块主要是虚拟机自身属性信息和所占用主机资源状态的信息，例如虚拟机的名称、位置、***版本、CPU架构等配置信息以及所分配的虚拟CPU数量、虚拟内存大小、存储卷的读写请求数和字节数、网络接口所接受和转发的数据包和字节数等信息。像KVM、Xen、VMwareESX等虚拟化平台底模块都是通过libvirt所实现的，libvirt对上模块提供了统一的管理接口，并通过驱动的方式来具体实现接口的行为，最终以一种统一的方式获取宿主机上的虚拟机信息，对虚拟机的资源进行动态分配，以及对虚拟机的状态进行更改等，由此可以将不同虚拟化平台的虚拟机纳入统一管理之中。
网络设备数据采集模块：首先需要开启网络设备的SNMP服务，然后在Linux服务器上安装Net-SNMP代理程序，通过Linux的Cron定时任务周期性执行SNMP指令获取网络设备的状态数据，或者基于SNMP编写特定的代理程序来获取数据，并将数据统一按照Ganglia对数据的组织形式发送到kafka消息队列。
三种方式所采集的原始数据格式各不相同，主要是XML和字符串格式，监测终端的数据采集代理最终会为所有的监测指标数据提供一个统一的传输格式，如表3-4所示；采集代理会保存上一次拉取数据的状态，并计算两次数据推送周期内数据的变化率是否超过了预设值，如果没有超过预设值就抑制该数据点的发送，这样就提高了数据传输效率；为了进一步降低网络负载，提高数据传输效率，数据在发送前会采取lzo算法对数据进行压缩，压缩后的状态数据会统一发布到kafka消息队列的指定topic，并通过消息订阅的方式由数据转发模块对监测数据进行统一转发，以供进一步的处理。
在本实施例中，采集代理模块包括Ganglia代理接口、SNMP代理接口以及libvirt编程接口，所述服务器数据采集模块、所述虚拟机数据采集模块以及所述网络设备数据采集模块分别与所述Ganglia代理接口、所述SNMP代理接口以及所述libvirt编程接口连接，据转发模块包括消息中间件，所述消息中间件为kafka，其用于将审计数据转发到所述状态监测模块和/或所述数据存储模块。
实施例3
数据抽取模块包括数据存储模块以及状态监测模块，数据存储模块根据数据来源将数据库分为三类，分别是GangliaDB、SNMPDB和LibvirtDB，GangliaDB用于保存Ganglia的转储数据，SNMPDB用于保存通过SNMP协议所采集的网络设备数据，LibvirtDB用于保存通过libvirt接口所获取的虚拟机状态数据。每个数据库都有三类集合，这三类集合分别以hostname，host-meta和hosts来命名，hostname集合表示以主机名所命名的集合，该集合用于保存主机上所有metric的状态数据；host-meta集合用于保存主机的***和配置信息，例如某个主机需要采集的metric列表以及采集频率等；hosts集合用于保存纳入监测***监测范围的的主机列表等信息。
数据中心除了包括服务器、网络设备等硬件资源以外，还包括基于硬件资源所构建的虚拟机等抽象资源，资源的抽象虽然使得数据中心资源的分配能够达到按需获取，但由此也进一步增加了资源监测的复杂性，资源的监测指标变得更加复杂，运行过程中所产生的数据也急剧增加，为了使监测***能有效处理监测任务运行过程中所采集的大量数据，需要结合监测数据的特点和监测需求来设计一种高效的数据存储模式。
首先，监测数据具有以下特点：1)数据增长快、体量大、只读；2)数据具有时序性，一般按时间升序排列；3)数据在访问时需要从不同维度进行聚合；结合监测数据的这些特点以及***对存储可靠性、灵活性以及可伸缩性等方面的要求，***选取了MongoDB这种具有水平扩展能力、可靠性高且模式灵活的文档性数据库作为存储。MongoDB中的表和记录分别采用集合(collection)和文档(document)等概念来表示，除了提供高性能、水平扩展、高可用以及可伸缩性等功能特点外，在时序数据的存储方面也有很大的优势。
状态监测模块在硬件设备和***运行出现异常的时候及时产生告警信息并为故障追踪和诊断提供状态数据，通过获取服务器或应用的状态数据，并结合服务端配置的告警策略产生相应的告警信息，并将告警信息以邮件或短信的方式通知运维人员。告警策略可以通过简单的脚本来实现，但这种原始的告警通知方式缺乏模块次性、可扩展性差并且难以管理，而且脚本的性能会随着监测告警的主机数量的不断增多而不断下降，因此，为了解决这个问题，***在监测告警方面采用了分布式的开源告警***nagios，通过数据转发模块提供的数据接口将资源的状态数据转发到nagios来实现对资源异常状态的告警通知功能。
数据采集模块的数据经过消息中间件汇聚到worker端，再由worker将监测数据从指定端口转发出去，nagios从worker的数据转发端口定期拉取状态数据，然后结合服务端预设的告警策略产生告警信息，并依据配置的联系人和联系人组发出短信或邮件通知。集成告警***最关键的部分是数据提取和告警策略定义，数据提取主要是提取与nagios告警相匹配的状态数据，告警策略定义主要是检测状态数据是否符合预定义的告警策略来决定是否产生告警信息来通知运维人员。
实施例4
还包括分布式集中配置管理模块，所述分布式集中配置管理模块包括SaltStack，主要用于实现对分布式集群配置的集中化管理，支持以基础架构即代码的方式来部署和管理对象，相对puppet来说更加轻量级。SaltStack使用了ZeroMQ消息库来作为网络模块的数据传输协议，以此来满足对***管理环境下的高速数据采集和命令执行的需求。Master和Minion分别作为***的服务端，和客户端，前者负责管理所有Minion节点，而后者则主要接受、执行Minion的管理命令并将结果反馈给Master，两者之间采用ZeroMQ进行通信，用户可以通过SaltStack的客户端执行配置管理命令，命令会首先发送到Master，Master负责对命令进行解析并找到匹配的Minion机器，然后将命令发送给Minion去执行，Minion接收到Master的命令后在指定机器上执行并将结果返回给Maste，整个配置管理流程就通过命令发布与订阅的形式完成了。Minion启动后会生成自己的公钥，并将公钥发送到Master，然后两者在经过密钥认证建立安全通信后就可以采用AES消息加密方式来进行通信，这样就保证了远程配置管理过程中双方通信的安全性。
SaltStack还包括配置管理模块，每个模块都需要在SaltStack的Master上创建相应的目录，并保存安装文件、配置文件、服务脚本以及pillar和_grains目录下的配置变量采集脚本等。grains主要用于收集和保存主机的CPU、内核以及操作***等信息，服务端可以从grains获取信息实现配置的灵活定制。pillar主要用于定义全局数据供其他组件如模板和state文件等使用，pillar一般定义与服务器相关联的特征数据并结合grains来实现配置的规则匹配、动态生成与更新操作等，首先由前端发起配置更新请求，后端根据请求进行参数解析并将新的配置信息更新到CMDB，然后调用saltutil.sync_grains命令将_grains目录下的metric.py同步到minion上，minion调用metric.py脚本从CMDB获取最新配置信息并更新到grains，然后后端进程调用配置同步命令将指定minion的grains信息同步到pillar，并生成新的配置文件，最终将新的配置文件同步到minion，整个配置更新就完成了。后端在处理配置请求的时候有几个关键文件和执行脚本，分别为管理模块下的配置文件模板(例如salt/ganglia目录下的gmond.conf)和配置文件模板中预定义的配置变量(例如pillar/ganglia目录下的metric.sls)以及更新配置信息的数据源(例如salt/_grains目录下的metric.py)。对于以上配置文件，其中gmond.conf是ganglia的配置文件模板，其中花括号内的是变量，该变量由Salt从CMDB获取并填充，gmond.sls是gmond的自动安装部署脚本，并从salt的pillar获取变量并利用这些变量初始化配置文件。
实施例5
数据可视化的功能主要是用于实时展现数据中心各种资源的运行状态，通过数据库提供的数据接口获取某个指标在指定时间范围内的状态数据，并通过绘图组件将数据以不同的形式展示到前端，可视化展现的形式主要包括资源关联关系、模块次关系和状态变化等。***主要采取D3(Data-DrivenDocuments)和Echarts来实现绘图组件的主要功能。数据可视化主要包括两部分，分别是query组件和graph组件。query组件主要面向终端用户，提供REST风格的查询接口，接受来自前端不同维度的指标查询请求，由于数据存储模块会将监测数据保存为两份，一份是历史数据，一份是趋势数据，历史数据主要是保存固定时间范围内的数据，趋势数据主要由历史数据归档而来，保存的时间范围比较长，query组件会从时间维度判断请求的时间范围，以此来确定是从历史数据库还是趋势数据库获取graph组件所需要的数据；graph主要接收来自query的结果数据，并以JSONRPC的形式提供向web模块提供访问接口，通过D3.sj提供的绘图功能来实现不同形式的可视化，例如饼图、折线图以及条形图等，为数据中心各个资源的运行状态提供视图管理。
最后应说明的是：以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明权利要求保护的范围之内。
Claims (10)
1.一种数据审计监测***，其特征在于：包括用于采集基础设施以及服务等各类资源的状态数据，并为数据传输提供统一格式来屏蔽资源异构性的数据采集模块、用于以分布式可伸缩的消息队列的形式为所述数据采集模块的监测数据提供缓存功能，并通过发布订阅的形式为监测数据的处理提供访问接口的数据转发模块、用于对所述数据转发模块的监测数据作进一步处理的数据抽取模块以及为数据审计监测***的状态管理提供可视化接口的视图模块。
2.根据权利要求1所述的数据审计监测***，其特征在于：所述数据采集模块包括采集接口模块以及采集代理模块，所述采集接口模块用于定义数据审计监测***各类资源状态的数据采集接口，所述采集代理模块根据所述采集接口模块所提供的数据转发或可编程接口直接或间接获取审计数据的状态，并将审计数据推送到所述数据转发模块，所述数据转发模块通过消息中间件对所述采集代理模块的数据进行缓存和转发。
3.根据权利要求2所述的数据审计监测***，其特征在于：所述采集接口模块包括服务器数据采集模块、虚拟机数据采集模块以及网络设备数据采集模块，其中所述服务器数据采集模块通过编写代理程序从Ganglia的服务端程序Gmetad的数据转发端口获取Ganglia采集的状态数据，然后将采集到的数据统一转化为JSON并通过lzo算法对数据进行压缩以降低网络传输的数据量，最后将数据发布到kafka消息队列的指定topic，所述网络设备数据采集模块通过Linux的Cron定时任务周期性执行SNMP指令获取网络设备的状态数据，所述虚拟机数据采集模块通过底模块的libvirt获取审计数据。
4.根据权利要求3所述的数据审计监测***，其特征在于：所述采集代理模块包括Ganglia代理接口、SNMP代理接口以及libvirt编程接口，所述服务器数据采集模块、所述虚拟机数据采集模块以及所述网络设备数据采集模块分别与所述Ganglia代理接口、所述SNMP代理接口以及所述libvirt编程接口连接。
5.根据权利要求4所述的数据审计监测***，其特征在于：所述数据抽取模块包括数据存储模块以及状态监测模块，所述数据存储模块根据数据来源将数据库分为三类，分别是GangliaDB、SNMPDB和LibvirtDB，其中，GangliaDB用于保存Ganglia的转储数据，SNMPDB用于保存通过SNMP协议所采集的网络设备数据，LibvirtDB用于保存通过libvirt接口所获取的虚拟机状态数据，所述状态监测模块在硬件设备和***运行出现异常的时候及时产生告警信息并为故障追踪和诊断提供状态数据。
6.根据权利要求5所述的数据审计监测***，其特征在于：所述状态监测模块包括nagios，nagios将对象与行为进行了分离，用于实现告警策略，其中，策略适应的对象、响应的时间、通知的联系人分别定义在单独的文件中。
7.根据权利要求6所述的数据审计监测***，其特征在于：所述数据转发模块包括消息中间件，所述消息中间件为kafka，其用于将审计数据转发到所述状态监测模块和/或所述数据存储模块。
8.根据权利要求7所述的数据审计监测***，其特征在于：还包括分布式集中配置管理模块，所述分布式集中配置管理模块包括SaltStack，所述SaltStack包括服务端和客户端，所述服务端用于管理所有Minion节点，所述客户端用于接受、执行Minion的管理命令并将结果反馈给Master，所述服务端和所述客户端之间通过ZeroMQ进行通信，用户通过SaltStack的客户端执行配置管理命令。
9.根据权利要求8所述的数据审计监测***，其特征在于：所述SaltStack还包括配置管理模块，所述配置管理模块在SaltStack的Master上创建相应的目录，并保存安装文件、配置文件、服务脚本以及pillar和grains目录下的配置变量采集脚本，grains用于收集和保存主机的CPU、内核以及操作***信息，所述服务端从grains获取信息实现配置的灵活定制，pillar用于定义全局数据供其他组件使用，pillar通过与服务器相关联的特征数据并结合grains来实现配置的规则匹配、动态生成与更新操作。
10.根据权利要求9所述的数据审计监测***，其特征在于：所述视图模块包括query组件和graph组件，所述query组件用于向终端用户提供REST查询接口，接受来自前端不同维度的指标查询请求，所述query组件从时间维度判断请求的时间范围，以此来确定是从历史数据库还是趋势数据库获取graph组件所需要的数据，所述graph组件用于接收来自query的结果数据，并以JSONRPC的形式提供向web模块提供访问接口，通过D3.sj来实现不同形式的可视化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210068473.XA CN114584600A (zh) | 2022-01-20 | 2022-01-20 | 一种数据审计监测*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210068473.XA CN114584600A (zh) | 2022-01-20 | 2022-01-20 | 一种数据审计监测*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114584600A true CN114584600A (zh) | 2022-06-03 |
Family
ID=81771332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210068473.XA Pending CN114584600A (zh) | 2022-01-20 | 2022-01-20 | 一种数据审计监测*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114584600A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120317274A1 (en) * | 2011-06-13 | 2012-12-13 | Richter Owen E | Distributed metering and monitoring system |
| CN105553741A (zh) * | 2015-12-28 | 2016-05-04 | 江苏省电力公司信息通信分公司 | 一种基于云计算的应用***自动化部署方法 |
| CN105681298A (zh) * | 2016-01-13 | 2016-06-15 | 成都安信共创检测技术有限公司 | 公共信息平台中的数据安全异常监测方法及*** |
| CN105681113A (zh) * | 2016-03-29 | 2016-06-15 | 浪潮软件集团有限公司 | 一种基于SaltStack的自动化运维方法 |
| CN107609987A (zh) * | 2017-09-19 | 2018-01-19 | 广西电网有限责任公司电力科学研究院 | 一种面向设备主人的智能变电运维*** |
| CN107707415A (zh) * | 2017-11-23 | 2018-02-16 | 成都知道创宇信息技术有限公司 | 一种基于SaltStack的服务器配置自动监控与告警方法 |
| CN108804686A (zh) * | 2018-06-14 | 2018-11-13 | 北京全联互控科技有限公司 | 一种物联网数据采集处理及分析应用的整体解决方法 |
| CN111158328A (zh) * | 2020-01-14 | 2020-05-15 | 南京粒聚智能科技有限公司 | 一种基于工业物联网的设备运维*** |
| CN111625496A (zh) * | 2020-05-22 | 2020-09-04 | 柏科数据技术（深圳）股份有限公司 | 分布式文件***在虚拟机环境下的部署方法、装置及设备 |
| CN112817791A (zh) * | 2020-12-31 | 2021-05-18 | 西安合智宇信息科技有限公司 | 一种工作面集群开采状态的移动端监控方法 |
| CN113542424A (zh) * | 2021-07-19 | 2021-10-22 | 中移（杭州）信息技术有限公司 | 数据处理方法、装置、设备及计算机程序产品 |
| CN113723714A (zh) * | 2021-11-01 | 2021-11-30 | 边缘智能研究院南京有限公司 | 一种基于物联网的碳达峰预测平台 |
| CN113900794A (zh) * | 2021-08-31 | 2022-01-07 | 艾普工华科技（武汉）有限公司 | 一种工业数据采集平台及方法 |
-
2022
- 2022-01-20 CN CN202210068473.XA patent/CN114584600A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120317274A1 (en) * | 2011-06-13 | 2012-12-13 | Richter Owen E | Distributed metering and monitoring system |
| CN105553741A (zh) * | 2015-12-28 | 2016-05-04 | 江苏省电力公司信息通信分公司 | 一种基于云计算的应用***自动化部署方法 |
| CN105681298A (zh) * | 2016-01-13 | 2016-06-15 | 成都安信共创检测技术有限公司 | 公共信息平台中的数据安全异常监测方法及*** |
| CN105681113A (zh) * | 2016-03-29 | 2016-06-15 | 浪潮软件集团有限公司 | 一种基于SaltStack的自动化运维方法 |
| CN107609987A (zh) * | 2017-09-19 | 2018-01-19 | 广西电网有限责任公司电力科学研究院 | 一种面向设备主人的智能变电运维*** |
| CN107707415A (zh) * | 2017-11-23 | 2018-02-16 | 成都知道创宇信息技术有限公司 | 一种基于SaltStack的服务器配置自动监控与告警方法 |
| CN108804686A (zh) * | 2018-06-14 | 2018-11-13 | 北京全联互控科技有限公司 | 一种物联网数据采集处理及分析应用的整体解决方法 |
| CN111158328A (zh) * | 2020-01-14 | 2020-05-15 | 南京粒聚智能科技有限公司 | 一种基于工业物联网的设备运维*** |
| CN111625496A (zh) * | 2020-05-22 | 2020-09-04 | 柏科数据技术（深圳）股份有限公司 | 分布式文件***在虚拟机环境下的部署方法、装置及设备 |
| CN112817791A (zh) * | 2020-12-31 | 2021-05-18 | 西安合智宇信息科技有限公司 | 一种工作面集群开采状态的移动端监控方法 |
| CN113542424A (zh) * | 2021-07-19 | 2021-10-22 | 中移（杭州）信息技术有限公司 | 数据处理方法、装置、设备及计算机程序产品 |
| CN113900794A (zh) * | 2021-08-31 | 2022-01-07 | 艾普工华科技（武汉）有限公司 | 一种工业数据采集平台及方法 |
| CN113723714A (zh) * | 2021-11-01 | 2021-11-30 | 边缘智能研究院南京有限公司 | 一种基于物联网的碳达峰预测平台 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101621405B (zh) | 分布式管理监控***及其监控方法、创建方法 | |
| US7610268B2 (en) | Pre-defined hardware and software bundle ready for database applications | |
| US8429256B2 (en) | Systems and methods for generating cached representations of host package inventories in remote package repositories | |
| WO2020253079A1 (zh) | 基于Jmeter的分布式性能测试方法、装置、设备及存储介质 | |
| CN102571420B (zh) | 一种网元数据管理方法及*** | |
| CN112543222B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN101667034A (zh) | 一种易扩展的、支持异构集群的监控*** | |
| CN103092698A (zh) | 云计算应用自动部署***及方法 | |
| CN111563018B (zh) | 一种人机物融合云计算平台的资源管理和监控方法 | |
| CN110336863B (zh) | 一种数据上报方法和*** | |
| CN113407421A (zh) | 微服务网关的动态日志记录管理方法及*** | |
| CN101256599B (zh) | 基于网格的分布仿真平台数据收集*** | |
| CN105045905A (zh) | 一种基于全文检索的日志维护方法及*** | |
| CN113596117B (zh) | 实时数据处理方法、***、设备及介质 | |
| CN112804362B (zh) | 分散数据微服务自动化运维体系 | |
| CN112486634A (zh) | 一种实现容器云平台整体监控的方法 | |
| CN115640110A (zh) | 分布式云计算***调度方法和装置 | |
| CN114567633B (zh) | 一种支撑多栈数据库全生命周期的云平台***及管理方法 | |
| CN117389830A (zh) | 集群日志采集方法、装置、计算机设备及存储介质 | |
| CN111984505A (zh) | 一种运维数据采集引擎及采集方法 | |
| CN110032578B (zh) | 一种海量数据查询缓存的方法及装置 | |
| CN102026228A (zh) | 通信网络性能数据的统计方法和设备 | |
| CN113127526A (zh) | 一种基于Kubernetes的分布式数据存储和检索*** | |
| CN113570347A (zh) | 一种面向微服务架构***的rpa运维方法 | |
| US20190097887A1 (en) | Modifying distributed application based on cloud diagnostic data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |