CN113448798A - 日志数据监控方法及相关设备 - Google Patents

日志数据监控方法及相关设备 Download PDF

Info

Publication number
CN113448798A
CN113448798A CN202011628491.6A CN202011628491A CN113448798A CN 113448798 A CN113448798 A CN 113448798A CN 202011628491 A CN202011628491 A CN 202011628491A CN 113448798 A CN113448798 A CN 113448798A
Authority
CN
China
Prior art keywords
log
data
request
monitored
operation index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011628491.6A
Other languages
English (en)
Inventor
雷国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Soyoung Technology Beijing Co Ltd
Original Assignee
Soyoung Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Soyoung Technology Beijing Co Ltd filed Critical Soyoung Technology Beijing Co Ltd
Priority to CN202011628491.6A priority Critical patent/CN113448798A/zh
Publication of CN113448798A publication Critical patent/CN113448798A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请是关于一种日志数据监控方法及相关设备。该方法包括：向目标地址发送日志采集请求，所述日志采集请求用于采集待监测***的日志数据；获取来自所述目标地址的日志数据；按照预定的数据计算规则，对所述日志数据进行计算，得到所述待监测***的运行指标数据；输出所述待监测***的运行指标数据。本申请提供的方案，能够实现对日志数据的常态化监控。

Description

日志数据监控方法及相关设备
技术领域
本申请涉及***运维技术领域，尤其涉及日志数据监控方法及相关设备。
背景技术
网络设备和软件***等设备，在运行时***会记录运行日志，每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。对相关日志进行监控和分析，是进行运维分析与故障定位的常见方法。
相关技术中，通常是***运行故障时，通过在数据分析后台添加抓取日志的单个接口，利用单个接口去抓取日志，再对日志进行排查，以分析故障原因，但是这种故障分析的办法有很多弊端：1、相关技术中的日志分析属于事后分析，即故障发生后才对日志进行分析，无法对接口进行持续化的观察，往往都是问题出来以后才能去解决、2、无法完全一一的对各条日志去添加、抓取和校验，只能通过排除法，一步一步的先排除各种可能的故障原因，最终发现排查一个问题就会花费大量的时间，整体的排查工作量非常巨大。
发明内容
为克服相关技术中存在的问题，本申请提供一种日志数据监控方法及相关设备，该日志数据监控方法及相关设备，能够实时的统计出待监测***的运行指标数据，实现对日志数据的常态化监控。
本申请第一方面提供一种日志数据监控方法，所述方法包括：
向目标地址发送日志采集请求，所述日志采集请求用于采集待监测***的日志数据；
获取来自所述目标地址的日志数据；
按照预定的数据计算规则，对所述日志数据进行计算，得到所述待监测***的运行指标数据；
输出所述待监测***的运行指标数据。
本申请第二方面提供一种日志数据监控装置，包括：
发送单元，向目标地址发送日志采集请求，所述日志采集请求用于采集待监测***的日志数据；
获取单元，用于获取来自所述目标地址的日志数据；
计算单元，用于按照预定的数据计算规则，对所述日志数据进行计算，得到所述待监测***的运行指标数据；
输出单元，用于输出所述待监测***的运行指标数据。
本申请第三方面提供一种电子设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
本申请第四方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
本申请提供的技术方案可以包括以下有益效果：通过目标地址采集待监测***的日志数据，自动的计算待监测***的运行指标数据，可以及时的统计出待监测***的运行指标数据，实现对日志数据的常态化监控，在指标异常时及时的发现问题，便于运维分析和故障定位。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。
图1是本申请实施例示出的日志数据监控方法的流程示意图；
图2是本申请实施例示出的日志数据监控方法的另一流程示意图；
图3是本申请实施例示出的日志数据监控装置的结构示意图；
图4是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的优选实施方式。虽然附图中显示了本申请的优选实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
现有技术中运维工作一般的是在软件***出现故障时，获取软件***的运行日志，通过对日志的分析确定故障原因，但是这种分析是事后分析，无法对***运行状态进行监控，并且通常是人为分析，分析效率很低。
针对相关技术中存在的上述问题，本申请实施例提供一种日志数据监控方法，能够实现对日志数据的常态化监控，在指标异常时及时的发现问题，便于运维分析和故障定位。
以下结合附图详细描述本申请实施例的技术方案。
图1是本申请实施例示出的日志数据监控方法的流程示意图。
参见图1，本实施例提供的日志数据监控方法包括：
S101、向目标地址发送日志采集请求，上述日志采集请求用于采集待监测***的日志数据。
本实施例中，目标地址可以是预先配置的，例如预先配置待监测***的日志数据的采集接口，通过读取该采集接口获取到目标地址，也可通过该采集接口向目标地址发送日志采集请求。
S102、获取来自上述目标地址的日志数据。
向目标地址发送日志采集请求之后，待监测***响应于该日志采集请求，将需要采集的日志数据返回。
S103、按照预定的数据计算规则，对上述日志数据进行计算，得到上述待监测***的运行指标数据。
上述数据计算规则可以是预先配置并保存在监控***中的，在获取到日志数据之后，即按照预先配置的数据计算规则对日志数据进行计算，得到运行指标数据，其中运行指标数据可以是一项或者多项。
S104、输出上述待监测***的运行指标数据。
举例来说，输出运行指标数据的方式可以有多种，例如：通过日志数据监控***的显示界面输出，通过邮件、即时通信工具输出等方式输出；
优选地，可以以图形化的形式输出运行指标数据，例如将各项运行指标数据制作成图表(如折线图、柱状图等)输出，使得运行指标数据的展示更加直观。
本实施例提供的日志数据监控方法通过采集待监测***的日志数据，自动的计算待监测***的运行指标数据，可以实时的统计出待监测***的运行指标数据，实现对日志数据的常态化监控，在指标异常时及时的发现问题，便于运维分析和故障定位。
图2是本申请实施例示出的日志数据监控方法的另一流程示意图。
参见图2，本实施例提供的日志数据监控方法包括：
S201、向目标地址发送日志采集请求，上述日志采集请求用于采集待监测***的日志数据。
本实施例中，目标地址可以是预先配置的，例如预先配置待监测***的日志数据的采集接口，通过读取该采集接口获取到目标地址，也可通过该采集接口向目标地址发送日志采集请求；
举例来说，目标地址一般是URL(Uniform Resource Locator,统一资源***)，可以利用浏览器或URL抓取工具来实现日志数据的抓取，例如利用CURL工具(curl是一个命令行工具，可通过指定的URL来上传或下载数据)来进行日志数据的抓取；
例如下面即是一个示例性的日志采集请求，该请求通过CURL发送：curl-H"Content-Type:application/json"-X POST-d'{"user_id":"123","coin":100,"success":1,"msg":"OK！"}'"http://192.168.0.1:8001/test"；
其中，-H"Content-Type:application/json"为请求头，-X POST表示请求协议，-d'{"user_id":"123","coin":100,"success":1,"msg":"OK！"}表示采集的内容，"http://192.168.0.1:8001/test"为目标地址；
在一种实施方式中，日志采集请求可以是实时采集请求，用于实时地采集待监测***的日志数据，即可以对待监测***的日志数据进行实时地不间断的采集；
在另一种实施方式中，日志采集请求也可以用于请求目标时间范围内的待监测***的日志数据，日志采集请求中携带有目标时间范围，例如目标时间范围可以是需要重点监控的时间范围，如双十一当天、黑色星期五当天等大型促销期间；
在一种实施方式中，日志采集请求中可以包括目标类别数据的类别标识信息，则该日志采集请求用于采集待监测***的目标类别数据的日志数据，例如该类别标识信息指示的目标类别数据为商品类别数据，或者日记类别数据，或者其它类别的数据；这样可以仅采集某一个类别数据的日志数据，可以减小日志数据的采集量和处理压力，将监控目标聚焦在需要的类别数据上。
举例来说，待监测***记录的日志数据可以包括下列三种日志数据中至少一种：服务器请求日志,业务请求日志、错误日志，这三种日志可以对应三个不同的目标地址(URL)；
则向目标地址发送日志采集请求可以包括：
向第一目标地址发送第一日志采集请求，上述第一日志采集请求用于采集上述服务器请求日志；和/或，
向第二目标地址发送第二日志采集请求，上述第二日志采集请求用于采集上述业务请求日志；和/或，
向第三目标地址发送第三日志采集请求，上述第三日志采集请求用于采集上述错误日志。
S202、获取来自上述目标地址的日志数据。
向目标地址发送日志采集请求之后，待监测***响应于该日志采集请求，将需要采集的日志数据返回；
如果日志采集请求是实时采集请求，则待监测***不间断地将所产生的日志数据实时返回；
如果日志采集请求中携带有目标时间范围，则待监测***可仅将目标时间范围内的日志数据返回；
如果日志采集请求中携带有目标类别数据的日志数据，则待监测***可以仅将目标类别数据的日志数据返回；
S203、按照预定的数据计算规则，对上述日志数据进行计算，得到上述待监测***的运行指标数据。
以常用的NGINX(engine x，是一个高性能的HTTP和反向代理web服务器)服务器为例，服务器在接收到访问请求即会生成日志，该日志即为服务器请求日志，该服务器请求日志可以包括请求时间、请求内容、请求IP等信息；
在一种实施方式中，错误日志可以包括服务器请求错误日志，可以是服务器在响应访问请求过程中产生的错误日志，例如NGINX服务器在响应访问请求过程中产生的错误日志；
相应的，S203可以包括：
根据服务器请求日志包含的成功请求数和服务器请求错误日志包含的错误请求数计算得到服务器请求错误率；和/或，
根据上述服务器请求日志包含的多个请求的响应时间计算得到服务器请求的平均响应时间。
其中，服务器请求错误率的具体计算公式可以是：服务器请求错误日志包含的错误请求数/(服务器请求错误日志包含的错误请求数+服务器请求日志包含的成功请求数)；
服务器请求的平均响应时间可以是多个请求的响应时间的平均值或者加权平均值。
业务请求日志可以是在执行具体业务逻辑处理时生成的日志，以PHP-FPM(PHP即Hypertext Preprocessor，一种通用开源脚本语言；FPM即FastCGI Process Manager，快速公共网关接口协议进程管理器)进程管理器为例，该进程管理器在执行具体业务逻辑处理会生成业务请求日志，从业务请求日志中可以获取到当前请求的执行时间，返回的数据内容等数据；
在另一种实施方式中，错误日志还可以包括业务请求错误日志，即还可以包括执行具体业务逻辑处理时生成的错误日志，PHP-FPM进程管理器产生的错误日志；
相应的，S203还可以包括：
根据业务请求日志包含的成功请求数和业务请求错误日志包含的错误请求数计算得到业务请求错误率；和/或，
根据上述业务请求日志包含的多个请求的响应时间计算得到业务请求的平均响应时间。
其中，业务请求错误率的具体计算公式可以是：业务请求错误日志包含的错误请求数/(业务请求错误日志包含的错误请求数+业务请求日志包含的成功请求数)；
业务请求的平均响应时间可以是多个请求的响应时间的平均值或者加权平均值。
需要说明是，运行指标不限于前文所列举的平均响应时间和错误率，还可以包括其它的运行指标，在此不做具体的限制。
S204、输出上述待监测***的运行指标数据。
关于S204的具体内容可以参考前文对S104的描述，在此不再赘述。
S205、判断上述待监测***的运行指标数据是否超出预设的数据异常阈值，如果是，执行S206，否则继续执行S205。
数据异常阈值可以是预先配置的，例如但不限于将业务请求的平均响应时间的数据异常阈值配置为300ms，将服务器请求的平均响应时间的数据异常阈值配置为250ms，将业务请求的错误率的数据异常阈值配置为1‰，将服务器请求的错误率的数据异常阈值配置为2‰等等；
S206、通过预定方式发送提醒信息。
在上述运行指标数据超出数据异常阈值时，说明待监测***的运行可能出现了问题，可以但不限于通过预定方式发送提醒信息，例如通过电话、短信、即时通讯软件向运维人员发送提醒信息，以使运维人员在待监测***运行异常时能及时的发现问题解决问题。其中，提醒信息的具体内容可以包括超出数据异常阈值的具体数据，超出幅度等内容，在此不做具体限制。
优选的，本实施例示出的日志数据监控方法还可以包括：
将第一目标时间段内的运行指标数据与第二目标时间段内的运行指标数据进行比较，并输出比较结果。
通过两个时间段运行指标数据的比较结果，可以发现待监测***的运行指标数据是否有改善，可以对运维工作的成效进行反馈。
与前述应用功能实现方法实施例相对应，本申请还提供了一种日志数据监控装置、电子设备及相应的实施例。
图3是本申请实施例示出的日志数据监控装置300的结构示意图。
该装置300具有实现上述方法实施例中全部或部分方法的功能，上述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现，该装置300包括：
发送单元310，向目标地址发送日志采集请求，上述日志采集请求用于采集待监测***的日志数据；
获取单元320，用于获取来自上述目标地址的日志数据；
计算单元330，用于按照预定的数据计算规则，对上述日志数据进行计算，得到上述待监测***的运行指标数据；
输出单元340，用于输出上述待监测***的运行指标数据。
该日志数据监控装置300通过目标地址采集待监测***的日志数据，自动的计算待监测***的运行指标数据，可以及时的统计出待监测***的运行指标数据，实现对日志数据的常态化监控。
优选地，日志数据监控装置300还可以包括：
判断单元，用于判断上述待监测***的运行指标数据是否超出预设的数据异常阈值；
提醒单元，用于在判断单元的判断结果为是时，通过预定方式发送提醒信息。
优选地，日志数据监控装置300还可以包括：
比较单元，用于将第一目标时间段内的运行指标数据与第二目标时间段内的运行指标数据进行比较，并输出比较结果。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
图4是本申请实施例示出的电子设备的结构示意图。
参见图4，电子设备400包括存储器410和处理器420。
处理器420可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器410可以包括各种类型的存储单元，例如***内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器420或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。***内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。***内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器410可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器410可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器410上存储有可执行代码，当可执行代码被处理器420处理时，可以使处理器420执行上文述及的方法中的部分或全部。
上文中已经参考附图详细描述了本申请的方案。在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。本领域技术人员也应该知悉，说明书中所涉及的动作和模块并不一定是本申请所必须的。另外，可以理解，本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者，本申请还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或电子设备、服务器等)的处理器执行时，使所述处理器执行根据本申请的上述方法的各个步骤的部分或全部。
本领域技术人员还将明白的是，结合这里的申请所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本申请的多个实施例的***和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (14)

1.一种日志数据监控方法，其特征在于，所述方法包括：
向目标地址发送日志采集请求，所述日志采集请求用于采集待监测***的日志数据；
获取来自所述目标地址的日志数据；
按照预定的数据计算规则，对所述日志数据进行计算，得到所述待监测***的运行指标数据；
输出所述待监测***的运行指标数据。
2.根据权利要求1所述的方法，其特征在于，所述日志采集请求用于实时地采集所述待监测***的日志数据；
所述输出所述待监测***的运行指标数据包括：输出所述待监测***的实时的运行指标数据。
3.根据权利要求1所述的方法，其特征在于，所述日志采集请求中包括所请求日志数据的目标时间范围，所述日志采集请求用于采集目标时间范围内的所述待监测***的日志数据；
所述输出所述待监测***的运行指标数据包括：输出所述待监测***的目标时间范围内的运行指标数据。
4.根据权利1所述的方法，其特征在于，所述日志采集请求中包括目标类别数据的类别标志信息，所述日志采集请求用于采集所述待监测***的目标类别数据的日志数据；
所述输出所述待监测***的运行指标数据包括：输出所述待监测***的目标类别数据的运行指标数据。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述日志数据包括服务器请求日志、业务请求日志、错误日志中的至少一种。
6.根据权利要求5所述的方法，其特征在于，所述向目标地址发送日志采集请求包括：
向第一目标地址发送第一日志采集请求，所述第一日志采集请求用于采集所述服务器请求日志；和/或，
向第二目标地址发送第二日志采集请求，所述第二日志采集请求用于采集所述业务请求日志；和/或，
向第三目标地址发送第三日志采集请求，所述第三日志采集请求用于采集所述错误日志。
7.根据权利要求5所述的方法，其特征在于，所述错误日志包括服务器请求错误日志；
所述按照预定的数据计算规则，对所述日志数据进行计算，得到所述待监测***的运行指标数据包括：
根据服务器请求日志包含的成功请求数和服务器请求错误日志包含的错误请求数计算得到服务器请求错误率；和/或，
根据所述服务器请求日志包含的多个请求的响应时间计算得到服务器请求的平均响应时间。
8.根据权利要求5所述的方法，其特征在于，所述错误日志包括业务请求错误日志；
所述按照预定的数据计算规则，对所述日志数据进行计算，得到所述待监测***的运行指标数据包括：
根据业务请求日志包含的成功请求数和业务请求错误日志包含的错误请求数计算得到业务请求错误率；和/或，
根据所述业务请求日志包含的多个请求的响应时间计算得到业务请求的平均响应时间。
9.根据权利要求1-4任意一项所述的方法，其特征在于，所述输出所述待监测***的运行指标数据包括：以图形化的方式输出所述待监测***的运行指标数据。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
判断所述待监测***的运行指标数据是否超出预设的数据异常阈值，如果是，通过预定方式发送提醒信息。
11.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将第一目标时间段内的运行指标数据与第二目标时间段内的运行指标数据进行比较，并输出比较结果。
12.一种日志数据监控装置，其特征在于，包括：
发送单元，向目标地址发送日志采集请求，所述日志采集请求用于采集待监测***的日志数据；
获取单元，用于获取来自所述目标地址的日志数据；
计算单元，用于按照预定的数据计算规则，对所述日志数据进行计算，得到所述待监测***的运行指标数据；
输出单元，用于输出所述待监测***的运行指标数据。
13.一种电子设备，其特征在于，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1-11中任一项所述的方法。
14.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-11中任一项所述的方法。
CN202011628491.6A 2020-12-30 2020-12-30 日志数据监控方法及相关设备 Pending CN113448798A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011628491.6A CN113448798A (zh) 2020-12-30 2020-12-30 日志数据监控方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011628491.6A CN113448798A (zh) 2020-12-30 2020-12-30 日志数据监控方法及相关设备

Publications (1)

Publication Number Publication Date
CN113448798A true CN113448798A (zh) 2021-09-28

Family

ID=77808712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011628491.6A Pending CN113448798A (zh) 2020-12-30 2020-12-30 日志数据监控方法及相关设备

Country Status (1)

Country Link
CN (1) CN113448798A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114900444A (zh) * 2022-04-25 2022-08-12 北京奇艺世纪科技有限公司 数据监控方法、装置、电子设备及存储介质
CN116610537A (zh) * 2023-07-20 2023-08-18 中债金融估值中心有限公司 一种数据量监控方法、***、设备及存储介质
CN117194179A (zh) * 2023-11-08 2023-12-08 杭州星锐网讯科技有限公司 一种指标的确定方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684863A (zh) * 2018-09-07 2019-04-26 平安科技（深圳）有限公司 数据防泄漏方法、装置、设备及存储介质
CN109726074A (zh) * 2018-08-31 2019-05-07 网联清算有限公司 日志处理方法、装置、计算机设备和存储介质
CN110995497A (zh) * 2019-12-16 2020-04-10 厦门市美亚柏科信息股份有限公司 一种云计算环境下统一运维的方法、终端设备及存储介质
CN111221702A (zh) * 2019-11-18 2020-06-02 上海维谛信息科技有限公司 基于日志分析的异常处理方法、***、终端及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726074A (zh) * 2018-08-31 2019-05-07 网联清算有限公司 日志处理方法、装置、计算机设备和存储介质
CN109684863A (zh) * 2018-09-07 2019-04-26 平安科技（深圳）有限公司 数据防泄漏方法、装置、设备及存储介质
CN111221702A (zh) * 2019-11-18 2020-06-02 上海维谛信息科技有限公司 基于日志分析的异常处理方法、***、终端及介质
CN110995497A (zh) * 2019-12-16 2020-04-10 厦门市美亚柏科信息股份有限公司 一种云计算环境下统一运维的方法、终端设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114900444A (zh) * 2022-04-25 2022-08-12 北京奇艺世纪科技有限公司 数据监控方法、装置、电子设备及存储介质
CN116610537A (zh) * 2023-07-20 2023-08-18 中债金融估值中心有限公司 一种数据量监控方法、***、设备及存储介质
CN116610537B (zh) * 2023-07-20 2023-11-17 中债金融估值中心有限公司 一种数据量监控方法、***、设备及存储介质
CN117194179A (zh) * 2023-11-08 2023-12-08 杭州星锐网讯科技有限公司 一种指标的确定方法、装置、电子设备及存储介质
CN117194179B (zh) * 2023-11-08 2024-04-16 杭州星锐网讯科技有限公司 一种指标的确定方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN113448798A (zh) 日志数据监控方法及相关设备
CN111221743B (zh) 自动化测试方法及***
CN108881294B (zh) 基于网络攻击行为的攻击源ip画像生成方法以及装置
US20180365085A1 (en) Method and apparatus for monitoring client applications
CN103795580B (zh) 一种数据监控方法、***及相关设备
US10771306B2 (en) Log monitoring system
CN106878074B (zh) 流量过滤方法及装置
CN110083391A (zh) 调用请求监控方法、装置、设备及存储介质
CN114077525A (zh) 异常日志处理方法、装置、终端设备、云服务器及***
CN109005162B (zh) 工控***安全审计方法及装置
CN110363381B (zh) 一种信息处理方法和装置
CN113935696B (zh) 一种寄递行为异常分析方法、***、电子设备及存储介质
CN109409948B (zh) 交易异常检测方法、装置、设备及计算机可读存储介质
CN114531345B (zh) 流量比对结果存储方法、装置、设备及存储介质
CN112583944A (zh) 一种更新域名证书的处理方法和装置
CN113110965A (zh) 异常信息的监控方法及装置、计算机存储介质、终端
CN112565232A (zh) 一种基于模板和流量状态的日志解析方法及***
CN112565228A (zh) 一种客户端网络分析方法及装置
CN113497721A (zh) 网络故障定位方法与装置
CN109598525B (zh) 数据处理方法和装置
CN110958129A (zh) 流量分析的方法、***和装置
CN114422186A (zh) 一种攻击检测方法、装置、电子设备及存储介质
CN112860527A (zh) 应用服务器的故障监测方法及装置
CN112508207A (zh) 故障检测方法、装置、设备及存储介质
CN113568811A (zh) 分布式安全监测数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination