CN110941530A - 监控数据的获取方法、装置、计算机设备和存储介质 - Google Patents
监控数据的获取方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN110941530A CN110941530A CN201911095101.0A CN201911095101A CN110941530A CN 110941530 A CN110941530 A CN 110941530A CN 201911095101 A CN201911095101 A CN 201911095101A CN 110941530 A CN110941530 A CN 110941530A
- Authority
- CN
- China
- Prior art keywords
- monitoring data
- service system
- modification information
- configuration file
- relational database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3037—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a memory, e.g. virtual memory, cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种监控数据的获取方法、装置、计算机设备和存储介质。所述方法包括:获取对业务***的配置文件进行修改的修改信息;将所述修改信息发送至所述业务***,触发所述业务***对所述配置文件进行修改;获取所述业务***采集的监控数据;所述监控数据为所述业务***根据修改后的配置文件采集的数据。采用本方法能够根据实际需求获取监控数据以提高分析准确性。
Description
技术领域
本发明涉及监控技术领域,特别是涉及一种监控数据的获取方法、装置、计算机设备和存储介质。
背景技术
随着互联网技术的发展,银行、证券等为更好地保障相关业务安全可靠地运行,一般都会开发自己的业务***,如银行的核心账务***、网银***和结算***。其中,各个业务***在运行时都会产生大量数据,而从这些数据中获取用于监控的数据是非常必要的,因为对获取到的监控数据进行分析可以让用户可以正确和及时地了解业务***的运行状态,也让操作人员快速地分析出故障原因。在传统技术中,需要在这些业务***正式使用前就设定好配置文件,然后业务***根据配置文件采集相应的监控数据。但这些业务***正式投入使用后,如果操作人员需要新增其他类型的监控数据以提高分析准确率,那么业务***需要暂时关闭,修改配置文件,而这种做法的风险是非常大的,因为操作人员可能会误删/误改其他的程序代码,导致业务***在运行时出现崩溃的情况。
发明内容
基于此,有必要针对上述技术问题,提供一种能够根据实际需求获取监控数据以提高分析准确性的监控数据的获取方法、装置、计算机设备和存储介质。
在一个实施例中,提供一种监控数据的获取方法,所述方法包括:
获取对业务***的配置文件进行修改的修改信息;
将所述修改信息发送至所述业务***,触发所述业务***对所述配置文件进行修改;
获取所述业务***采集的监控数据;所述监控数据为所述业务***根据修改后的配置文件采集的数据。
在一个实施例中,提供一种监控数据的获取装置,所述装置包括:
修改信息获取模块,用于获取对业务***的配置文件进行修改的修改信息;
修改信息发送模块,用于将所述修改信息发送至所述业务***,触发所述业务***对所述配置文件进行修改;
监控数据获取模块,用于获取所述业务***采集的监控数据;所述监控数据为所述业务***根据修改后的配置文件采集的数据。
在一个实施例中,提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取对业务***的配置文件进行修改的修改信息;
将所述修改信息发送至所述业务***,触发所述业务***对所述配置文件进行修改;
获取所述业务***采集的监控数据;所述监控数据为所述业务***根据修改后的配置文件采集的数据。
在一个实施例中,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取对业务***的配置文件进行修改的修改信息;
将所述修改信息发送至所述业务***,触发所述业务***对所述配置文件进行修改;
获取所述业务***采集的监控数据;所述监控数据为所述业务***根据修改后的配置文件采集的数据。
在上述监控数据的获取方法、装置、计算机设备和存储介质中,通过向业务***发送修改信息,使业务***根据该修改信息修改配置文件,并根据修改后的配置文件采集监控数据,从而可以获取到与修改信息对应的监控数据,也就是说,可以通过向业务***发送根据实际需求确定的修改信息,触发业务***自动修改配置文件,并采集对应的监控数据,可以避免操作人员直接修改业务***的配置文件,导致误修改业务***其它代码的情况,并且还可以让操作人员根据对应的监控数据进行分析,提高分析准确性。
附图说明
图1为一个实施例中监控数据的获取方法的应用环境图;
图2为一个实施例中监控数据的获取方法的流程示意图;
图3为另一个实施例中监控数据的获取方法的流程示意图;
图4为再一个实施例中监控数据的获取方法的流程示意图;
图5为一个实施例中监控数据的获取装置的结构框图;
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明提供的监控数据的获取方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络连接的方式与业务***104进行通信,终端102在获取到修改信息后,将修改信息发送至业务***104,业务***104根据修改信息对配置文件进行修改,并且业务***104根据修改后的配置文件采集监控数据,并由终端102获取这些监控数据,其中上述操作可以由业务***104的服务器执行。终端102可以但不限于是笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,业务***可以为用于提供某个业务服务的***,该业务***可以包括但不限于:计算机程序(如业务模块、采集模块)和用于运行该计算机程序的计算机设备。其中,该业务模块在计算机设备上运行,以提供对应的业务服务;采集模块也可以在计算机设备上运行,以采集数据;计算机设备可以是电脑、独立的服务器或者是由多个服务器组成的服务器集群等,例如,银行的计息***,该计息***用于提供计算利息的业务服务,可以包括但不限于:计息业务模块、采集模块和计算机设备,当计息业务模块在计算机设备上运行时,会产生许多业务数据,如用户ID号、可以理解的是,业务***可以包括业务数据和硬件数据,其中,业务数据为业务程序模块在计算机设备上运行时产生的数据,如用户ID号;硬件数据为与计算机设备相关的数据,如计算机设备的内存,以下为描述方便,可以用业务***数据代指业务数据和硬件数据,即:业务***数据可以是业务数据,也可以是硬件数据,还可以既包括业务数据又包括硬件数据。可以理解的是,监控数据可以理解为:采集模块根据业务***的配置文件从业务***数据中采集到的数据。
在一个实施例中,如图2所示,提供了一种监控数据的获取方法,以该方法应用于图1中的终端102为例进行说明,包括以下步骤:
步骤S202,获取对业务***的配置文件进行修改的修改信息。
其中,修改信息可以包括但不限于是:采集指标或采集频率,可以理解的是,修改信息可以由实际需求确定;配置文件可以包括但不限于:采集指标或采集频率;另外,业务***根据配置文件,从业务***数据中采集数据,此时,采集到的数据可以称为监控数据;进一步地,上述从业务***数据中采集数据的操作可以由业务***的采集模块执行。例如,业务***可以根据配置文件中的采集指标,采集对应的数据;又例如,业务***还可以按照配置文件中的采集频率,采集数据。
具体地,当终端102获取到对业务***的配置文件进行修改的修改信息后,进入步骤204,其中,修改信息可以由操作人员直接在终端102上输入,也可以由操作人员在其他终端输入,然后由其他终端将修改信息发送至终端102,其他终端可以是操作人员的手机或者电脑等设备,还可以由终端102在对历史的分析准确率进行分析后,自动生成修改信息。
步骤S204,将修改信息发送至业务***,触发业务***对配置文件进行修改。
具体地,当终端102将修改信息发送至业务***104后,业务***104根据修改信息对配置文件进行修改;进一步地,可以由业务***104的采集模块根据修改信息对配置文件进行修改。当修改信息为采集指标时,业务***104根据该采集指标修改配置文件的采集指标,当修改信息为采集频率时,业务***104根据该采集频率修改配置文件的采集频率。
另外,业务***104的数量可以是一个、两个甚至多个,终端102可以通过广播的方式向各个业务***发送修改信息,也可以通过点对点传输方式向指定的一个或一个以上的业务***发送修改信息。其中,当终端102通过广播的方式向这些业务***发送修改信息时,还可以通过令牌方式指定一个或一个以上的业务***根据修改信息修改配置文件,可以理解为:修改信息中携带有令牌;当终端102向通过广播的方式向各个业务***发送修改信息时,各个业务***解析修改信息,识别其中的令牌是否和本业务***对应,如果对应,则根据修改信息修改配置文件,如果不对应,则不进行修改操作。
步骤S206,获取业务***采集的监控数据;监控数据为业务***根据修改后的配置文件采集的数据。
具体地,业务***的业务模块计算机设备上运行时,会产生许多业务数据,其中,例如,在金融行业中,业务***可以但不限于是:网银***、核心账务***等,网银***包括网银模块,核心账务***包括核心账务模块;又例如,当用户在网银***上转账时,会生成对应的业务数据,如打款人名称、打款账号、收款人名称、收款账号、交易日期和交易金额,进一步地,网银***还可以将这些业务数据发送至核心账务***,让核心账务***汇总记录这些业务数据,以从该用户的账户总额中扣除这笔交易金额。各个业务***(如业务***的采集模块)可以根据配置文件从这些业务数据中采集相应的数据,也就是说,得到了监控数据,然后终端102可以获取这些监控数据。可以理解的是,业务***还可以从硬件数据中采集相应的数据,即采集到的硬件数据为监控数据,并且终端102也可以获取这些监控数据。
其中,本领域技术人员可以理解的是,采集模块采集数据的功能可以基于AOP技术(Aspect Oriented Programming,面向切面编程)或者HOOK技术实现,因此,采集模块也可以对应地称为AOP程序或HOOK程序。
上述监控数据的获取方法中,终端102通过向业务***发送修改信息,触发业务***根据该修改信息修改配置文件,实现业务***自动修改配置文件,避免操作人员直接在业务***上修改配置文件,导致业务模块被迫停止运行,或者误修改其他部分内容的情况,并且还可以让操作人员根据实际需求设置修改信息,使得业务***根据修改信息修改配置文件,并根据修改后的配置文件采集数据,得到想要的监控数据,提高数据分析的准确性。
在一个实施例中,修改信息还携带有令牌;触发业务***对配置文件进行修改的步骤之前,还包括:通过广播方式,向至少一个业务***发送修改信息,触发与令牌对应的业务***修改配置文件。
在本实施例中,当操作人员需要从一个或一个以上业务***获取监控数据时,终端102可以通过广播方式向业务***发送修改信息;具体地,终端102获取到携带有令牌的修改信息后,通过广播方式,向各业务***发送该修改信息;当各个业务***接收到该修改信息后,解析该修改信息,并识别其中的令牌是否与自身的令牌对应,当该令牌与自身的令牌对应时,根据该修改信息修改配置文件,当该令牌与自身的令牌不对应时,则不根据修改信息修改配置文件。终端102通过广播方式向业务***发送修改信息,可以不需要分别向业务***发送修改信息,并且可以通过令牌的方式指定某个或者某些业务***根据修改信息对配置文件进行修改,使得修改更有针对性,可以根据实际需求确定要进行修改操作的业务***,提高修改业务***的配置文件的效率。
其中,广播方式可以但不限于是:MQ(Message Queue,消息队列),当终端102通过MQ向业务***发送修改信息时,终端102可以将修改信息写入MQ中,业务***从MQ中获取修改信息。在有新的业务***加入时,该新的业务***可以直接从MQ中获取修改信息,而不需要再与终端102进行接入操作,能减少对终端102的接入操作,提高方便灵活性。
可以理解的是,修改信息可以包括多个子修改信息,一个子修改信息包含一个令牌,通过令牌对应一个业务***;终端102将修改信息发送至业务***后,业务***可以解析其中的两个或两个以上的子修改信息,确定这些子修改信息中的令牌是否存在本业务***对应的令牌,如果确定存在,则根据与该令牌对应的子修改信息,修改配置文件。终端102通过向业务***发送包含多个子修改信息的修改信息,使得终端102不用在获取到修改信息后分别发送到对应的业务***,可以提高修改效率。
可以理解的是,各个业务***解析到修改信息中没有与自身业务***相对应的令牌时,业务***根据默认设置执行对应的操作,即:如果默认设置为:当解析到没有令牌时,触发业务***修改配置文件,那么业务***在解析到没有令牌时,业务***修改配置文件;如果默认设置为当解析到没有令牌时,业务***不修改配置文件,那么业务***在解析到没有令牌时,不修改配置文件。业务***通过默认设置的方式判断是否需要根据修改信息对配置文件进行修改,进一步简化了操作人员的设置操作,提高修改效率。
在一个实施例中,获取业务***采集的监控数据的步骤,包括:通过NoSQL方式,从第一非关系型数据库中获取监控数据;监控数据由业务***根据数据处理规则对采集到的监控数据进行分类和/或清洗后,存储至第一非关系型数据库。
具体地,当业务***获取到修改信息后,修改配置文件,其中,可以由业务***的采集模块执行修改操作;当业务***的采集模块根据修改后的配置文件从业务***数据中采集到数据后,也就是说,此时得到了监控数据,然后根据数据处理规则对将该监控数据进行处理,如分类和/或清洗,并将处理后的监控数据存储至第一非关系型数据库(如Elasticsearch数据库),终端102通过NoSQL方式(NoSQL,Not Only SQL,即非关系型数据库的查询方式),从第一非关系型数据库中获取监控数据。其中,对监控数据进行分类,可以包括但不限于:按照设定分类方式对监控数据进行分类,设定分类方式可以是告警分级方式、数据来源方式(如数据是属于其他业务***发送的,还有属于本业务***发送的)等等;对监控数据进行清洗,可以包括但不限于:将字段缺失的数据删除、将不符合设定格式的日期转化为符合设定格式的日期、过滤不达标的数据。
在本实施例中,根据数据处理规则对监控数据进行分类、清洗后,存储至第一非关系型数据库中,并且通过NoSQL方式查询监控数据,可以缩短获取用于分析的监控数据的时间,减少了后期数据处理的操作量,提高查询效率;并且由于操作人员根据实际需求获取监控数据,所以将这些监控数据存储至非关系型数据库中不需要重新对监控数据进行格式转换,因为如果使用关系型数据库,还需要操作人员进一步设置格式转换,而使用非关系型数据库可以减少操作人员后期处理数据的操作,并保证监控数据的可用性。
在一个实施例中,数据处理规则还用于控制业务***对采集到的监控数据通过特定算法进行提取,将经过提取后得到的监控数据存储至第一非关系型数据库。
具体地,当某些监控数据(如某个时间段的告警交易比例)需要通过其他方式处理时,业务***可以根据特定算法对采集到的监控数据进行提取,然后将提取后的监控数据存储到第一非关系型数据库中。其中,特定算法根据实际情况确定,可以包括但不限于:全索引、聚类、TF-IDF、CRUSH、Hash等算法。
在本实施例中,数据处理规则可以根据监控数据适应性修改,使业务***在采集到监控数据后,根据特定算法对监控数据进行提炼,并将提炼后的监控数据存储至第一非关系型数据库中,避免了操作人员在获取到监控数据后还需对监控数据进行提炼的情况,减少了后期数据处理的操作量,提高获取监控数据的效率和查询效率。
在一个实施例中,监控数据由业务***通过Kafka集群存储至第二非关系型数据库中;第二非关系型数据库用于对存储至第一非关系型数据库的监控数据进行备份。
具体地,业务***在获取到监控数据后,将监控数据存储至Kafka集群中,此时Kafka集群会按照自身存储数据的规则,对监控数据进行相应的处理,以缓存监控数据;然后,监控数据会被存储至第二非关系型数据库(如Mongo数据库)中,此时Mongo数据库也会按照自身存储数据的规则,对监控数据进行相应的处理,以对监控数据进行备份。
在本实施例中,业务***将监控数据通过Kafka集群存储至第二非关系型数据库中,可以对数据进行备份,避免其他数据库损坏而导致无法获取监控数据的情况,提升数据存储的安全性,并且也可以根据Kafka集群和Mongo数据库的特性进一步对监控数据进行处理。
在一个实施例中,获取业务***采集的监控数据的步骤之前,还包括:接收监控数据查询指令;监控数据查询指令携带有ID号;向第一非关系型数据库发送ID号,触发第一非关系型数据库查询与ID号对应的监控数据;ID号在与监控数据对应后,由业务***发送至第一非关系型数据库中;接收第一非关系型数据库返回的目标监控数据。
具体地,业务***通过采集模块采集到该监控数据后,将该监控数据与ID号对应,并将ID号存储至第一非关系型数据库中;如果终端102接收到携带有ID号的监控数据查询指令,终端102从监控数据查询指令中解析出ID号,并将该ID号发送至第一非关系型数据库中;第一非关系型数据库接收到该ID号后,查询与ID号对应的监控数据,然后将监控数据发送至终端102。
在本实施例中,当操作人员需要获取某个监控数据时,可以通过ID号的查询方式获取到该监控数据,提高查询效率。
在一个实施例中,修改信息包括ID编码规则;接收监控数据查询指令的步骤之前,还包括:将ID编码规则发送给业务***,以使业务***接收到后存储至缓存中;ID号由业务***从缓存中获取ID编码规则后生成。
其中,ID编码规则可以通过终端102根据实际需求设置,具体来说,操作人员可以在终端102的配置页面(也可称为Web前端的配置页面)根据实际需求设置。
具体地,终端102将ID编码规则发送给业务***,业务***在接收到该ID编码规则后存储至缓存(如Redis)中,并且业务***在采集到监控数据后,访问缓存,根据ID编码规则生成ID号,并将该ID号与监控数据进行匹配,然后将监控数据与对应的ID号存储至第一非关系型数据库中;其中,可以由业务***的AOP程序或HOOK程序访问缓存,根据缓存中的ID编码规则生成ID号。
在上述实施例中,业务***通过ID编码规则快捷、自动地生成ID号,减少操作人员的操作,进一步地,ID编码规则可以根据业务的需求设置,提高配置的灵活性,更符合查询需求。
在另一个实施例中,在各个业务***发起调用(即开始采集监控数据)时,AOP程序或HOOK程序在采集到监控数据后,访问缓存(redis),根据缓存中的ID编码规则生成全局ID号(即在各个业务***中针对同一个监控数据使用唯一的ID号),并将该全局ID号与监控数据匹配对应,例如,根据ID编码规则生成一个全局ID号(data1id),并将该全局ID号与监控数据data1匹配对应,进一步地,各个业务***将监控数据与对应的全局ID号发送至数据库中存储,例如如果该监控数据data1如果由网银***产生,并且还由网银***发送至核心账务***,那么这两个业务***都会将与这个监控数据存储至数据库中。此时,在终端输入data1id,可以数据库中获取到网银***和核心账务***存储的该监控数据。
在上述实施例中,通过全局ID号的方式可以将各个业务***采集到的监控数据从业务角度串联起来,并且如果要分析监控数据在各个业务***之间的流向,可以通过全局ID号索引至各个业务***的采集到的监控数据,提高查询效率。
上述各实施例监控数据的获取方法可以运用在银行、证券等行业中,例如当上述各实施例的方法运用在银行中时,假定银行使用的业务***包括但不限于:核心账务***、网银***和结算***(可以理解的是,对本领域技术人员来说,各业务***使用的名称可能会有所不同)。当用户在网银***上发生一笔交易时,会产生相应的数据,此时,网银***会将这些数据发送给结算***或者核心账务***进行相应的处理(当然,也可以由结算***将处理后的数据发送给核心账务***),当结算***或者核心账务***处理这些数据后,可能会返回处理操作完成或者处理操作失败等数据,而各个业务***可以从这些数据中采集数据(采集到的数据可以理解为监控数据),并将这些监控数据存储至数据库中,终端可以从数据库中获取监控数据,以进一步分析。
在传统方法中,如果操作人员根据实际需求获取特定的监控数据,以提高分析的准确性,而在业务***的配置文件中没有与获取该监控数据的信息时,操作人员需要关闭业务***,对业务***的代码进行修改;而发明人发现:如果这些业务***已经完成测试,并进入生产环境(即正式上线使用),原则上是不允许关闭业务***进行修改,因为可能会误修改其他模块的代码,导致这些业务***崩溃。基于此,提出一种通过终端向业务***发送修改信息,以使业务***根据修改信息,自动修改配置文件,然后业务***根据配置文件采集操作人员需要的监控数据的方法。此外,采用关系型数据库和并行数据库处理采集到的监控数据,其处理方法是根据在业务***中预先设置好的处理规则,或者是根据关系型数据库和并行数据库存储数据的格式进行处理,在分析时基于结构化、关系型的数据采用抽样方式对整体数据进行预测和判断,如果业务***将采集到的监控数据,存储至关系型数据库或并行数据库中,会导致这些特定的监控数据被修改为对应数据格式,导致监控数据的不可用,因此将监控数据存储至非关系型数据库的方法,避免监控数据不可用的情况。
为了更好地理解上述方法,结合图3和图4详细阐述一个本发明监控数据的获取方法的应用实例:
如图3所示,在步骤S302中、通过Web前端的配置页面设置修改信息,其中修改信息与需要采集的监控指标、数据处理规则、采集频率等对应(可以理解的是,这种方式可以称为动态采集配置);
步骤S304、然后终端通过MQ广播给各业务***,业务***接收到修改信息后修改配置文件;
步骤S306、各业务***从配置文件中获取修改信息,通过AOP程序或HOOK程序从发送信息和接收信息中获取监控数据,并进行简单的分类(如按发送信息和接收信息分类,告警分级分类等);
步骤S308、业务***从配置文件中获取与数据处理规则对应的修改信息,对监控数据进行处理,如过滤一些数据不达标的指标;
步骤S310、业务***将处理后的监控数据根据全索引、聚类、TF-IDF、CRUSH、Hash等算法存储至非关系型数据库中,进行分布式存储。
其中,如图4所示,在修改配置文件后,业务***的执行程序会调用AOP程序或HOOK程序从产生的数据中采集相应的数据(即监控数据),并把这些数据在处理后发送到Kafka集群中进行缓存,然后发送至Mango数据库中进行备份;并且业务***还根据数据处理规则对监控数据进行处理,将处理后的监控数据发送至Elasticsearch数据库中进行存储。此时,终端可以通过NoSQL方式或者全局ID号的方式从Elasticsearch数据库中获取监控数据。进一步地,终端还可以在获取到监控数据后,根据自定义的展示页面展示监控数据或者对监控数据进行分析后的分析结果(可以理解的是,这种方式可以称为动态展示配置)。
在上述实施例中,动态采集配置可以使操作人员根据实际需求通过终端获取相应的监控数据。此外,使用非关系型数据库的分布式存储方式增加了存储量,并且业务***在采集到监控数据后的传输中,预先对监控数据进行处理,如清洗和分类,减少了后期数据处理的操作量。并且操作人员在获取监控数据时,可以使用NoSQL方式,使得即使查询大量数据,也能保证一定的查询效率。进一步地,动态展示配置可以让根据习惯设置展示页面,实现自定义展示。
在上述实施例中,监控数据的获取方式不仅实现了监控数据格式不固定,可动态配置外,如果使用AOP程序采集监控数据,那么可以支持目前大多数使用的spring系列框架的java程序,进一步简化操作人员的设置操作。
需要说明的是,对于前述的各方法实施例,为了简便描述,将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的监控数据的获取方法相同的思想,本发明还提供监控数据的获取装置,该装置可用于执行上述监控数据的获取方法。为了便于说明,监控数据的获取装置实施例的结构示意图中,仅仅示出了与本发明实施例相关的部分,本领域技术人员可以理解,图示结构并不构成对装置的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
在一个实施例中,如图5所示,提供了一种监控数据的获取装置500,包括:修改信息获取模块502、修改信息发送模块504和监控数据获取模块506,其中:
修改信息获取模块502,用于获取对业务***的配置文件进行修改的修改信息;
修改信息发送模块504,用于将所述修改信息发送至所述业务***,触发所述业务***对所述配置文件进行修改;
监控数据获取模块506,用于获取所述业务***采集的监控数据;所述监控数据为所述业务***根据修改后的配置文件采集的数据。
在一个实施例中,修改信息携带有令牌;修改信息发送模块504,还用于通过广播方式,向至少一个业务***发送修改信息,触发与令牌对应的业务***修改配置文件。
在一个实施例中,监控数据获取模块506,还包括:监控数据获取单元,用于通过NoSQL方式,从第一非关系型数据库中获取监控数据;监控数据由业务***根据数据处理规则对采集到的监控数据进行分类和/或清洗后,存储至第一非关系型数据库。
在一个实施例中,数据处理规则还用于控制业务***对采集到的监控数据通过特定算法进行提取,将经过提取后得到的监控数据存储至第一非关系型数据库。
在一个实施例中,监控数据由业务***通过Kafka集群存储至第二非关系型数据库中;第二非关系型数据库用于对存储至第一非关系型数据库的监控数据进行备份。
在一个实施例中,监控数据获取模块506,还包括:指令接收单元,用于接收监控数据查询指令;监控数据查询指令携带有ID号;ID号发送单元,用于向第一非关系型数据库发送ID号,触发第一非关系型数据库查询与ID号对应的监控数据;ID号在与监控数据对应后,由业务***发送至第一非关系型数据库中;监控数据接收单元,用于接收第一非关系型数据库返回的监控数据。
在一个实施例中,修改信息包括ID编码规则;指令接收单元,还用于将ID编码规则发送给业务***,以使业务***接收到后存储至缓存中;ID号由业务***从缓存中获取ID编码规则后生成。
需要说明的是,本发明的监控数据的获取装置与本发明的监控数据的获取方法一一对应,在上述监控数据的获取方法的实施例阐述的技术特征及其有益效果均适用于监控数据的获取装置的实施例中,具体内容可参见本发明方法实施例中的叙述,此处不再赘述,特此声明。
此外,上述示例的监控数据的获取装置的实施方式中,各程序模块的逻辑划分仅是举例说明,实际应用中可以根据需要,例如出于相应硬件的配置要求或者软件的实现的便利考虑,将上述功能分配由不同的程序模块完成,即将所述监控数据的获取装置的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分功能。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入部件。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种监控数据的获取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,显示屏可以显示配置页面(即Web前端的配置页面),该计算机设备的输入部件可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等,操作人员可以通过该输入部件输入修改信息。
本领域技术人员可以理解,图6中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,处理器执行计算机程序时实现上述各个方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,作为独立的产品销售或使用。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部件(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本发明实施例的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或(模块)单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种监控数据的获取方法,其特征在于,所述方法包括:
获取对业务***的配置文件进行修改的修改信息;
将所述修改信息发送至所述业务***,触发所述业务***对所述配置文件进行修改;
获取所述业务***采集的监控数据;所述监控数据为所述业务***根据修改后的配置文件采集的数据。
2.根据权利要求1所述的方法,其特征在于,所述修改信息携带有令牌;所述触发所述业务***对所述配置文件进行修改的步骤,包括:
通过广播方式,向至少一个业务***发送修改信息,触发与所述令牌对应的业务***修改配置文件。
3.根据权利要求1所述的方法,其特征在于,所述获取所述业务***采集的监控数据的步骤,包括:
通过NoSQL方式,从第一非关系型数据库中获取监控数据;所述监控数据由所述业务***根据数据处理规则对采集到的监控数据进行分类和/或清洗后,存储至所述第一非关系型数据库。
4.根据权利要求3所述的方法,其特征在于,所述数据处理规则还用于控制所述业务***对采集到的监控数据通过特定算法进行提取,将经过提取后得到的监控数据存储至所述第一非关系型数据库。
5.根据权利要求3所述的方法,其特征在于,所述监控数据由所述业务***通过Kafka集群存储至第二非关系型数据库中;所述第二非关系型数据库用于对存储至所述第一非关系型数据库的监控数据进行备份。
6.根据权利要求1所述的方法,其特征在于,所述获取所述业务***采集的监控数据的步骤之前,还包括:
接收监控数据查询指令;所述监控数据查询指令携带有ID号;
向第一非关系型数据库发送所述ID号,触发所述第一非关系型数据库查询与所述ID号对应的监控数据;所述ID号在与监控数据对应后,由所述业务***发送至所述第一非关系型数据库中;
接收所述第一非关系型数据库返回的所述监控数据。
7.根据权利要求6所述的方法,其特征在于,所述修改信息包括ID编码规则;
所述接收监控数据查询指令的步骤之前,还包括:
将ID编码规则发送给所述业务***,以使所述业务***将所接收到的ID编码规则存储至缓存中;所述ID号由所述业务***从所述缓存中获取所述ID编码规则后生成。
8.一种监控数据的获取装置,其特征在于,所述装置包括:
修改信息获取模块,用于获取对业务***的配置文件进行修改的修改信息;
修改信息发送模块,用于将所述修改信息发送至所述业务***,触发所述业务***对所述配置文件进行修改;
监控数据获取模块,用于获取所述业务***采集的监控数据;所述监控数据为所述业务***根据修改后的配置文件采集的数据。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911095101.0A CN110941530B (zh) | 2019-11-11 | 2019-11-11 | 监控数据的获取方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911095101.0A CN110941530B (zh) | 2019-11-11 | 2019-11-11 | 监控数据的获取方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110941530A true CN110941530A (zh) | 2020-03-31 |
CN110941530B CN110941530B (zh) | 2023-09-26 |
Family
ID=69906675
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911095101.0A Active CN110941530B (zh) | 2019-11-11 | 2019-11-11 | 监控数据的获取方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110941530B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112269859A (zh) * | 2020-11-16 | 2021-01-26 | 国网山东省电力公司聊城供电公司 | 一种供配电数据优化快速处理***、设备以及可读存储介质 |
CN112650648A (zh) * | 2020-12-30 | 2021-04-13 | 杭州趣链科技有限公司 | 监控方法、装置、设备和存储介质 |
CN113641719A (zh) * | 2021-08-13 | 2021-11-12 | 网易(杭州)网络有限公司 | 数据处理方法、装置、计算机及存储介质 |
CN114726755A (zh) * | 2022-02-25 | 2022-07-08 | 中盈优创资讯科技有限公司 | 一种业务切片性能指标采集监控方法及装置 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104579761A (zh) * | 2014-12-24 | 2015-04-29 | 西安工程大学 | 一种基于云计算的nosql集群自动配置***及自动配置方法 |
WO2018103315A1 (zh) * | 2016-12-09 | 2018-06-14 | 上海壹账通金融科技有限公司 | 监控数据的处理方法、装置、服务器及存储设备 |
CN109039751A (zh) * | 2018-08-14 | 2018-12-18 | 深圳壹账通智能科技有限公司 | 配置路由的方法、装置、计算机设备和存储介质 |
CN109358869A (zh) * | 2018-09-03 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 配置文件修改方法、装置、计算机设备和存储介质 |
CN109542865A (zh) * | 2018-12-03 | 2019-03-29 | 郑州云海信息技术有限公司 | 分布式集群***配置文件同步方法、装置、***及介质 |
CN109670690A (zh) * | 2018-12-07 | 2019-04-23 | 泰康保险集团股份有限公司 | 数据信息中心监控预警方法、***及设备 |
CN109714192A (zh) * | 2018-11-29 | 2019-05-03 | 深圳供电局有限公司 | 一种监控云平台的监控方法及*** |
CN110022226A (zh) * | 2019-01-04 | 2019-07-16 | 国网浙江省电力有限公司 | 一种基于面向对象的数据采集***及采集方法 |
CN110244987A (zh) * | 2019-06-18 | 2019-09-17 | 腾讯科技(深圳)有限公司 | 配置数据处理方法、装置、可读存储介质和计算机设备 |
-
2019
- 2019-11-11 CN CN201911095101.0A patent/CN110941530B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104579761A (zh) * | 2014-12-24 | 2015-04-29 | 西安工程大学 | 一种基于云计算的nosql集群自动配置***及自动配置方法 |
WO2018103315A1 (zh) * | 2016-12-09 | 2018-06-14 | 上海壹账通金融科技有限公司 | 监控数据的处理方法、装置、服务器及存储设备 |
CN109039751A (zh) * | 2018-08-14 | 2018-12-18 | 深圳壹账通智能科技有限公司 | 配置路由的方法、装置、计算机设备和存储介质 |
CN109358869A (zh) * | 2018-09-03 | 2019-02-19 | 中国平安人寿保险股份有限公司 | 配置文件修改方法、装置、计算机设备和存储介质 |
CN109714192A (zh) * | 2018-11-29 | 2019-05-03 | 深圳供电局有限公司 | 一种监控云平台的监控方法及*** |
CN109542865A (zh) * | 2018-12-03 | 2019-03-29 | 郑州云海信息技术有限公司 | 分布式集群***配置文件同步方法、装置、***及介质 |
CN109670690A (zh) * | 2018-12-07 | 2019-04-23 | 泰康保险集团股份有限公司 | 数据信息中心监控预警方法、***及设备 |
CN110022226A (zh) * | 2019-01-04 | 2019-07-16 | 国网浙江省电力有限公司 | 一种基于面向对象的数据采集***及采集方法 |
CN110244987A (zh) * | 2019-06-18 | 2019-09-17 | 腾讯科技(深圳)有限公司 | 配置数据处理方法、装置、可读存储介质和计算机设备 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112269859A (zh) * | 2020-11-16 | 2021-01-26 | 国网山东省电力公司聊城供电公司 | 一种供配电数据优化快速处理***、设备以及可读存储介质 |
CN112650648A (zh) * | 2020-12-30 | 2021-04-13 | 杭州趣链科技有限公司 | 监控方法、装置、设备和存储介质 |
CN113641719A (zh) * | 2021-08-13 | 2021-11-12 | 网易(杭州)网络有限公司 | 数据处理方法、装置、计算机及存储介质 |
CN114726755A (zh) * | 2022-02-25 | 2022-07-08 | 中盈优创资讯科技有限公司 | 一种业务切片性能指标采集监控方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN110941530B (zh) | 2023-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109271411B (zh) | 报表生成方法、装置、计算机设备及存储介质 | |
CN110941530B (zh) | 监控数据的获取方法、装置、计算机设备和存储介质 | |
CN109672741B (zh) | 微服务监控方法、装置、计算机设备和存储介质 | |
CN109240886B (zh) | 异常处理方法、装置、计算机设备以及存储介质 | |
CN106953740B (zh) | 应用中页面访问数据的处理方法、客户端、服务器及*** | |
US9590880B2 (en) | Dynamic collection analysis and reporting of telemetry data | |
US9612936B2 (en) | Correlation of source code with system dump information | |
CN111046011B (zh) | 日志收集方法、***、装置、电子设备及可读存储介质 | |
CN111881011A (zh) | 日志管理方法、平台、服务器及存储介质 | |
CN113489713B (zh) | 网络攻击的检测方法、装置、设备及存储介质 | |
US20090271437A1 (en) | Determining computer information from processor properties | |
CN112491602B (zh) | 行为数据的监控方法、装置、计算机设备及介质 | |
CN111723313A (zh) | 页面跳转的处理方法、装置、设备及存储介质 | |
CN112307057A (zh) | 数据的处理方法及装置、电子设备、计算机存储介质 | |
CN109951469B (zh) | 一种创建域名黑白名单的方法、装置、存储介质和服务器 | |
Sharma et al. | Mitigation and risk factor analysis of android applications | |
CN112394908A (zh) | 埋点页面自动生成的方法、装置、计算机设备及存储介质 | |
CN109495291B (zh) | 调用异常的定位方法、装置和服务器 | |
CN109445768B (zh) | 数据库脚本生成方法、装置、计算机设备及存储介质 | |
CN109697155B (zh) | It***性能评估方法、装置、设备及可读存储介质 | |
CN113934733A (zh) | 问题定位方法、装置、***、存储介质及电子设备 | |
CN108234392B (zh) | 一种网站的监控方法及装置 | |
CN115757107A (zh) | 埋点检测方法、装置、服务器及存储介质 | |
CN113760856B (zh) | 数据库管理方法及装置、计算机可读存储介质、电子设备 | |
CN109635015B (zh) | 属性数据使用对象的确定方法、装置和服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |