CN108989101B - 一种日志输出***、方法及电子设备 - Google Patents

一种日志输出***、方法及电子设备 Download PDF

Info

Publication number
CN108989101B
CN108989101B CN201810725475.5A CN201810725475A CN108989101B CN 108989101 B CN108989101 B CN 108989101B CN 201810725475 A CN201810725475 A CN 201810725475A CN 108989101 B CN108989101 B CN 108989101B
Authority
CN
China
Prior art keywords
log
flow
server
log data
switch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810725475.5A
Other languages
English (en)
Other versions
CN108989101A (zh
Inventor
燕楠
吴杰珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201810725475.5A priority Critical patent/CN108989101B/zh
Publication of CN108989101A publication Critical patent/CN108989101A/zh
Application granted granted Critical
Publication of CN108989101B publication Critical patent/CN108989101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供了一种日志输出***、方法及电子设备，其中，该***包括：交换机、负载均衡服务器和日志采集服务器；交换机用于接收业务流量，对接收到的业务流量进行镜像操作，获得镜像流量，并将镜像流量发送至日志采集服务器；其中，业务流量包括：交换机用于发送至负载均衡服务器的，和/或交换机从负载均衡服务器接收到的；日志采集服务器用于从接收到的镜像流量中采集日志数据，并将采集的日志数据发送至ELK集群。通过另设日志采集服务器将原本由负载均衡服务器负责的日志处理工作转移至日志采集服务器，降低负载均衡服务器的承载压力，可以防止丢包或延迟，以及丢失关键日志等问题的出现，从而提高日志输出***的工作性能。

Description

一种日志输出***、方法及电子设备
技术领域
本发明涉及互联网技术领域，特别是涉及一种日志输出***、方法及电子设备。
背景技术
如图1所示，目前网络中的日志输出***通常包括：交换机11和负载均衡服务器12，日志输出***属于业务处理***的子***，业务处理***通常包括：交换机11、负载均衡服务器12和业务处理服务器13。日志输出***主要功能包括：业务分发与日志采集，将业务分发到业务处理服务器进行处理，将采集到的日志数据导入到ELK(Elasticsearch,Logstash,Kibana,一种日志分析***)集群14进行分析、存储与展示。具体的，负载均衡服务器12接收业务流量，并将业务流量发送至交换机11，和/或分发给业务处理服务器13，负载均衡服务器13对接收的业务流量进行日志采集，将采集到的日志数据发送至ELK集群14进行分析、存储与展示。
然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：负载均衡服务器既要分发业务，又要采集日志，导致负载均衡服务器负载压力过大。而负载均衡服务器的负载压力过大常常会导致丢失关键日志，或引起丢包延迟现象，从而导致日志输出***的工作性能降低。
发明内容
本发明实施例的目的在于提供一种日志输出***、方法、电子设备及存储介质，以提高日志输出***的工作性能。具体技术方案如下：
第一方面，为了达到上述目的，本发明实施例公开了一种日志输出***，上述***包括：交换机、负载均衡服务器和日志采集服务器；
所述交换机，用于接收业务流量，对接收到的业务流量进行镜像操作，获得镜像流量，并将所述镜像流量发送至所述日志采集服务器；其中，所述业务流量包括：所述交换机用于发送至所述负载均衡服务器的，和/或所述交换机从所述负载均衡服务器接收到的；
所述日志采集服务器，用于从接收到的镜像流量中采集日志数据，并将采集的日志数据发送至ELK集群。
可选的，所述日志采集服务器，具体用于从接收到的镜像流量中记录日志数据，对记录的日志数据进行压缩，并将压缩后的日志数据发送至ELK集群。
可选的，所述日志采集服务器，具体用于从接收到的镜像流量中根据预设规则过滤并记录日志数据，对记录的日志数据进行压缩，并将压缩后的日志数据发送至ELK集群。
可选的，所述预设规则是按照以下至少一种元素设置的：
源IP、目的IP、源端口、目的端口、传输层协议。
在本发明实施的又一方面，本发明实施例还提供了一种日志输出方法，该方法应用于所述日志输出***中的交换机，所述日志输出***包括：交换机、负载均衡服务器和日志采集服务器；
所述方法包括：
接收业务流量，其中，所述业务流量包括：所述交换机用于发送至所述负载均衡服务器的，和/或所述交换机从所述负载均衡服务器接收到的；
对所述业务流量进行镜像操作，获得镜像流量；
将所述镜像流量发送至所述日志采集服务器，以使所述日志采集服务器从接收到的镜像流量中采集日志数据，并将采集到的日志数据发送至ELK集群。
可选的，所述对所述业务流量进行镜像操作，获得镜像流量的步骤，包括：
对所述业务流量进行全量镜像操作，获得镜像流量。
在本发明实施的又一方面，本发明实施例还提供了一种日志输出方法，该方法应用于所述日志输出***中的日志采集服务器，所述日志输出***包括：交换机、负载均衡服务器和日志采集服务器；
所述方法包括：
接收所述交换机发送的镜像流量；其中，所述镜像流量是所述交换机对自身接收到的业务流量进行镜像操作获得的，所述业务流量包括：所述交换机用于发送至所述负载均衡服务器的，和/或所述交换机从所述负载均衡服务器接收到的；
从接收到的镜像流量中采集日志数据，并将采集的日志数据发送至ELK集群。
可选的，所述从接收到的镜像流量采集日志数据，并将采集的日志数据发送至ELK集群的步骤，包括：
从接收到的镜像流量记录日志数据，对记录的日志数据进行压缩，并将压缩后的日志数据发送至ELK集群。
可选的，所述从接收到的镜像流量采集日志数据，并将采集的日志数据发送至ELK集群的步骤，包括：
从接收到的镜像流量中，根据预设规则过滤并记录日志数据，对记录的日志数据进行压缩，并将压缩后的日志数据发送至ELK集群。
可选的，所述预设规则是按照以下至少一种元素设置的：
源IP、目的IP、源端口、目的端口、传输层协议。
在本发明实施的又一方面，本发明实施例还提供了一种电子设备，其该电子设备包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述任一日志输出方法所述的方法步骤。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述任一日志输出方法所述的方法步骤。
在本发明实施的又一方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一日志输出方法所述的方法步骤。
本发明实施例提供的一种日志输出***、方法、电子设备及存储介质，交换机接收业务流量，对接收到的业务流量进行镜像操作，获得镜像流量，并将镜像流量发送至日志采集服务器；其中，业务流量包括：交换机用于发送至负载均衡服务器的，和/或交换机从负载均衡服务器接收到的；日志采集服务器从接收到的镜像流量中采集日志数据，并将采集的日志数据发送至ELK集群。
通过另设日志采集服务器，将原本由负载均衡服务器负责的日志处理工作转移到日志采集服务器上，降低了负载均衡服务器的承载压力，可以有效防止丢包或延迟，以及丢失关键日志等问题的出现。因此，可以提高日志输出***的工作性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为现有技术中一种业务处理***(连接有ELK集群)的结构示意图；
图2为本发明实施例提供的一种日志输出***的结构示意图；
图3为本发明实施例提供的一种业务处理***(连接有ELK集群)的结构示意图；
图4为本发明实施例提供的日志输出方法的一种流程示意图；
图5为本发明实施例提供的日志输出方法的另一种流程示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
现有技术中，由于负载均衡服务器既要分发业务，又要收集日志，导致负载均衡服务器负载压力过大。而负载压力过大常常会导致丢失关键日志，或引起丢包延迟现象，从而导致日志输出***的工作性能降低。为了解决该技术问题，本发明实施例提供了一种日志输出***、方法、电子设备及存储介质。
参照图2，该日志输出***包括：交换机21、负载均衡服务器22和日志采集服务器23；
交换机21，用于接收业务流量，对接收到的业务流量进行镜像操作，获得镜像流量，并将镜像流量发送至日志采集服务器23；其中，业务流量包括：交换机21用于发送至负载均衡服务器22的，和/或交换机21从负载均衡服务器22接收到的；
交换机21接收到的业务流量中，用于发送至负载均衡服务器22的部分可以由交换机21发送至负载均衡服务器22，再由负载均衡服务器22分发给各个业务处理服务器，以实现业务的分发。交换机21接收到的业务流量中，从负载均衡服务器22接收到的部分可以由交换机21转发出去。
业务流量可以包括：请求业务流量和响应业务流量，请求业务流量可以是交换机21从内网接收到的，也可以是从外网接收到的，交换机21可以将请求业务流量发送至负载均衡服务器22，负载均衡服务器22再将请求业务流量发送至业务处理服务器以处理业务。响应业务流量是业务处理服务器针对业务请求作出的响应，可以通过负载均衡服务器22发送至交换机21，再由交换机21返回给业务请求流量的来源设备。
交换机21接收的业务流量可以仅是外网流量，也可以仅是内网流量，还可以一部分是内网流量，另一部分是外网流量。
交换机21对接收到的业务流量进行镜像操作时，可以对接收到的业务流量进行全量镜像操作，也可以进行部分镜像操作。镜像操作是指将业务流量从源端口复制到目标端口，其中，目的端口是指用于向其他设备发送获得的镜像流量的端口，通过镜像操作可以实现对业务流量的复制。
具体是采用全量镜像操作还是部分镜像操作，是根据接收到的业务流量的大小和交换机21所能承载的最大流量限制来设置的，业务流量和镜像流量大小之和不能大于交换机21所能承载的最大流量限制。通过对发送至负载均衡服务器22和来自负载均衡服务器22的业务流量进行全量镜像操作，所获得镜像流量包括全量日志信息，便于全量日志数据的采集。
日志采集服务器23，用于从接收到的镜像流量中采集日志数据，并将采集的日志数据发送至ELK集群。
业务流量中可以包括用于生成日志数据的第一信息，如时间点、源IP、目标IP、源端口、目的端口、传输层协议、最小延迟、最大延迟等等，通过镜像操作获得的镜像流量，不仅可以包含业务流量中所包含的用于生成日志数据的第一信息，还可以包含用于确定该业务流量是被拒绝的还是被允许的第二信息，利用第一信息和第二信息可以进行日志数据的采集。
ELK集群挂载有存储盘，可以实现日志数据的分布式存储，同时，还可以实现日志数据的分析与展示。
应用图2所示实施例，通过另设日志采集服务器23，将原本由负载均衡服务器22负责的日志处理工作转移到日志采集服务器23上，降低了负载均衡服务器22的承载压力，可以有效防止丢包或延迟，以及丢失关键日志等问题的出现。因此，可以提高日志输出***的工作性能。
本发明实施例的一种实施方式中，日志采集服务器23，具体用于从接收到的镜像流量中记录日志数据，对记录的日志数据进行压缩，并将压缩后的日志数据发送至ELK集群。其中，日志采集服务器23完成记录和压缩的动作，即完成日志的采集，这样设置可以节省存储空间。
本发明实施例的另一种实施方式中，日志采集服务器23，具体用于从接收到的镜像流量中根据预设规则过滤并记录日志数据，对记录的日志数据进行压缩，并将压缩后的日志数据发送至ELK集群。其中，日志采集服务器完成记录、过滤和压缩的动作，即完成日志的采集。记录和过滤可同时进行，选择过滤后的进行记录。这样设置不仅节省存储空间，而且通过过滤操作，可使ELK集群可以实现更好地、更有针对性的展示，便于保持日志数据的实时性，以及快速响应业务的查询需求。
进一步的，预设规则是按照以下至少一种元素设置的：
源IP、目的IP、源端口、目的端口、传输层协议。具体的，如可以是根据源IP、目的IP、源端口、目的端口和传输层协议，确定仅记录业务流量的源IP、目的IP、源端口、目的端口、传输层协议等日志信息的预设规则。
实际应用中，通过日志采集可以获得如下的信息：出站和入站流量、流量所适应的NIC(网卡)、预设规则，以及允许还是拒绝流量等信息。示例性，日志采集服务器从镜像流量中采集的日志数据，参照表一。
可以理解的是，预设规则可以是按照表一中类型这一列的元素来设置的，也就是说可以根据实际需求考虑采集哪些日志数据。
表一
Figure BDA0001719661210000071
需要注意的是，上述实施例中，并未对日志输出***中的交换机、负载均衡服务器和日志采集服务器三者的数量做具体限制。
因此，可以理解的是，在其他实施例中，交换机用于发送至负载均衡服务器的业务流量可以是直接发送的，也可以是间接发送的，例如，业务流量从该交换机到另一个交换机，再到该负载均衡服务器。同理，交换机从负载均衡服务器接收到的业务流量，可以是直接发送的，也可以是间接发送的，例如，业务流量从该负载均衡服务器到另一个交换机，再到该交换机。
另外，一台日志采集服务器可以仅接收一台交换机发送的镜像流量，也可以接收多台交换机发送的镜像流量，负载均衡服务器可以仅接收一个交换机发送的业务流量，也可以接收多个交换机发送的业务流量，当然，负载均衡服务器还可以向一个或多个交换机发送业务流量。在包含多个日志采集服务器的情况下，针对不同的日志采集服务器可以设置相同的预设规则，也可以通过灵活的规则变更设置不同的预设规则。通过设置不同的预设规则，可以实现日志数据的高效筛选。
示例性的，参照图3，业务处理***包括：多台交换机31(如两台)、多台负载均衡服务器32(如四台)、多台日志采集服务器33(如两台)和多台业务处理服务器34(如两台)；多台交换机31中可以包括内网交换机和外网交换机，外网交换机接收的业务流量可以是外网流量，内网交换机31接收的业务流量可以是内网流量。该***的工作流程可以包括：交换机31从内网或外网接收业务流量，并对接收到的业务流量做镜像操作，得到镜像流量，并将业务流量发送至一台或多台负载均衡服务器32，对应的负载均衡服务器32将业务流量分发给一台或多台业务处理服务器34进行业务处理。交换机31将镜像流量发送至一台或多台日志采集服务器33进行日志采集，日志采集服务器33将采集到的日志数据发送给ELK集群35进行分析、存储和展示。
当然，该***的工作流程还可以包括：交换机31从内网接收业务流量，并对接收到的业务流量做镜像操作，得到镜像流量，并将业务流量转发该***的外部设备。交换机31将镜像流量发送至一台或多台日志采集服务器33进行日志采集，日志采集服务器33将采集到的日志数据发送给ELK集群35进行分析、存储和展示。
基于上述日志输出***，本发明实施例还提供了一种日志输出方法。
参照图4，该日志输出方法应用于日志输出***中的交换机，日志输出***包括：交换机、负载均衡服务器和日志采集服务器；该方法可以包括以下三个步骤：
S401、接收业务流量，其中，业务流量包括：交换机用于发送至负载均衡服务器的，和/或交换机从负载均衡服务器接收到的；
S402、对业务流量进行镜像操作，获得镜像流量；
S403、将镜像流量发送至日志采集服务器，以使日志采集服务器从接收到的镜像流量中采集日志数据，并将采集到的日志数据发送至ELK集群。
该方法中，交换机所做的步骤与日志输出***中的交换机所要执行的动作一致，相关解释可以参考日志输出***实施例中相关部分的介绍。
本技术方案中，将原本由负载均衡服务器负责的日志处理工作转移到日志采集服务器上，降低了负载均衡服务器的承载压力，可以有效防止丢包或延迟，以及丢失关键日志等问题的出现。因此，可以提高日志输出***的工作性能。
进一步的，对业务流量进行镜像操作，获得镜像流量的步骤，包括：
对业务流量进行全量镜像操作，获得镜像流量。当然，在其他实施方式中，还可以对业务流量进行部分镜像操作，以获得镜像流量。关于全量镜像操作和部分镜像操作的相关解释，可以参考上述日志输出***实施例中相关部分的介绍。
基于上述日志输出***，本发明实施例还提供了一种日志输出方法。
参照图5，该日志输出方法应用于日志输出***中的日志采集服务器，日志输出***包括：交换机、负载均衡服务器和日志采集服务器；该方法可以包括以下两个步骤：
S501、接收交换机发送的镜像流量；其中，镜像流量是交换机对自身接收到的业务流量进行镜像操作获得的，业务流量包括：交换机用于发送至负载均衡服务器的，和/或交换机从负载均衡服务器接收到的；
需要说明的是，交换机对接收到的业务流量进行镜操作时，可以对接收到的业务流量进行全量镜像操作，也可以进行部分镜像操作。具体采用哪种方式进行镜像，是根据接收到的业务流量的大小和交换机所能承载的最大流量限制来设置的，业务流量和镜像流量大小之和不能大于交换机所能承载的最大流量限制。
S502、从接收到的镜像流量中采集日志数据，并将采集的日志数据发送至ELK集群。
该方法中，日志采集服务器所做的步骤与日志输出***中的日志采集服务器所要执行的动作一致，相关解释可以参考日志输出***实施例中相关内容的介绍。
本技术方案中，通过另设日志采集服务器，将原本由负载均衡服务器负责的日志处理工作转移到日志采集服务器上，降低了负载均衡服务器的承载压力，可以有效防止丢包或延迟，以及丢失关键日志等问题的出现。因此，可以提高日志输出***的工作性能。
本发明实施例的一种实施方式中，从接收到的镜像流量采集日志数据，并将采集的日志数据发送至ELK集群的步骤，包括：
从接收到的镜像流量记录日志数据，对记录的日志数据进行压缩，并将压缩后的日志数据发送至ELK集群。其中，日志采集服务器完成记录和压缩的动作，即完成日志的采集，这样设置可以节省存储空间。
本发明实施例的另一种实施方式中，从接收到的镜像流量采集日志数据，并将采集的日志数据发送至ELK集群的步骤，包括：
从接收到的镜像流量中，根据预设规则过滤并记录日志数据，对记录的日志数据进行压缩，并将压缩后的日志数据发送至ELK集群。日志采集服务器完成记录、过滤和压缩的动作，即完成日志的采集。记录和过滤可同时进行，选择过滤后的进行记录。这样设置不仅节省存储空间，而且通过过滤操作，可使ELK集群可以实现更好地、更有针对性的展示，便于保持日志数据的实时性，以及快速响应业务的查询需求。
上述预设规则是按照以下至少一种元素设置的：
源IP、目的IP、源端口、目的端口、传输层协议。
关于预设规则的设置可以参考上述日志输出***实施例中的相关内容。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器61、通信接口62、存储器63和通信总线64，其中，处理器61，通信接口62，存储器63通过通信总线64完成相互间的通信，
存储器63，用于存放计算机程序；
处理器61，用于执行存储器63上所存放的程序时，实现如下步骤：
(1)、接收业务流量，其中，业务流量包括：用于发送至负载均衡服务器的，和/或从负载均衡服务器接收到的；
(2)、对业务流量进行镜像操作，获得镜像流量；
(3)、将镜像流量发送至日志采集服务器，以使日志采集服务器从接收到的镜像流量中采集日志数据，并将采集到的日志数据发送至ELK集群。
或实现如下步骤：
(1)、接收交换机发送的镜像流量；其中，镜像流量是交换机对自身接收到的业务流量进行镜像操作获得的，业务流量包括：交换机用于发送至负载均衡服务器的，和/或交换机从负载均衡服务器接收到的；
(2)、从接收到的镜像流量中采集日志数据，并将采集的日志数据发送至ELK集群。
本技术方案中，通过另设日志采集服务器，将原本由负载均衡服务器负责的日志处理工作转移到日志采集服务器上，降低了负载均衡服务器的承载压力，可以有效防止丢包或延迟，以及丢失关键日志等问题的出现。因此，可以提高日志输出***的工作性能。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一的日志输出方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一的日志输出方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质、计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (6)

1.一种日志输出***，其特征在于，所述***包括：交换机、负载均衡服务器和日志采集服务器；
所述交换机，用于接收业务流量，对接收到的业务流量进行镜像操作，获得镜像流量，并将所述镜像流量发送至所述日志采集服务器；其中，所述业务流量包括：所述交换机用于发送至所述负载均衡服务器的，和/或所述交换机从所述负载均衡服务器接收到的；所述镜像操作为全量镜像操作；所述业务流量还包括用于生成日志数据的第一信息和用于确定所述业务流量是被拒绝的还是被允许的第二信息；所述日志采集服务器，用于从接收到的镜像流量中采集日志数据，并将采集的日志数据发送至ELK集群；
所述日志采集服务器，具体用于从接收到的镜像流量中根据预设规则过滤并记录日志数据，对记录的日志数据进行压缩，并将压缩后的日志数据发送至ELK集群。
2.根据权利要求1所述的***，其特征在于，所述预设规则是按照以下至少一种元素设置的：源IP、目的IP、源端口、目的端口、传输层协议。
3.一种日志输出方法，其特征在于，所述方法应用于所述日志输出***中的交换机，所述日志输出***包括：交换机、负载均衡服务器和日志采集服务器；所述方法包括：
接收业务流量，其中，所述业务流量包括：所述交换机用于发送至所述负载均衡服务器的，和/或是所述交换机从所述负载均衡服务器接收到的；
对所述业务流量进行镜像操作，获得镜像流量；所述镜像操作为全量镜像操作；所述业务流量还包括用于生成日志数据的第一信息和用于确定所述业务流量是被拒绝的还是被允许的第二信息；
将所述镜像流量发送至所述日志采集服务器，以使所述日志采集服务器从接收到的镜像流量中采集日志数据，并将采集到的日志数据发送至ELK集群；所述日志采集服务器，具体用于从接收到的镜像流量中根据预设规则过滤并记录日志数据，对记录的日志数据进行压缩，并将压缩后的日志数据发送至ELK集群。
4.一种日志输出方法，其特征在于，所述方法应用于所述日志输出***中的日志采集服务器，所述日志输出***包括：交换机、负载均衡服务器和日志采集服务器；
所述方法包括：
接收所述交换机发送的镜像流量；其中，所述镜像流量是所述交换机对自身接收到的业务流量进行镜像操作获得的，所述业务流量包括：所述交换机用于发送至所述负载均衡服务器的，和/或是所述交换机从所述负载均衡服务器接收到的；所述业务流量还包括用于生成日志数据的第一信息和用于确定所述业务流量是被拒绝的还是被允许的第二信息；
从接收到的镜像流量中采集日志数据，并将采集的日志数据发送至ELK集群；
所述从接收到的镜像流量采集日志数据，并将采集的日志数据发送至ELK集群的步骤，包括：
从接收到的镜像流量中，根据预设规则过滤并记录日志数据，对记录的日志数据进行压缩，并将压缩后的日志数据发送至ELK集群。
5.根据权利要求4所述的方法，其特征在于，所述预设规则是按照以下至少一种元素设置的：源IP、目的IP、源端口、目的端口、传输层协议。
6.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求3-5任一所述的方法步骤。
CN201810725475.5A 2018-07-04 2018-07-04 一种日志输出***、方法及电子设备 Active CN108989101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810725475.5A CN108989101B (zh) 2018-07-04 2018-07-04 一种日志输出***、方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810725475.5A CN108989101B (zh) 2018-07-04 2018-07-04 一种日志输出***、方法及电子设备

Publications (2)

Publication Number Publication Date
CN108989101A CN108989101A (zh) 2018-12-11
CN108989101B true CN108989101B (zh) 2022-01-21

Family

ID=64536788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810725475.5A Active CN108989101B (zh) 2018-07-04 2018-07-04 一种日志输出***、方法及电子设备

Country Status (1)

Country Link
CN (1) CN108989101B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110336811A (zh) * 2019-06-29 2019-10-15 上海淇馥信息技术有限公司 一种基于蜜罐***的网络威胁分析方法、装置和电子设备
CN111343037B (zh) * 2019-08-19 2022-05-31 海通证券股份有限公司 云平台负载按应用的流量监控方法、装置、计算机设备
CN111176951A (zh) * 2019-12-31 2020-05-19 上海擎感智能科技有限公司 日志输出的配置/日志处理方法/***、介质及服务器
CN114157458A (zh) * 2021-11-18 2022-03-08 深圳依时货拉拉科技有限公司 用于混合云环境中的流量检测方法、装置、设备和介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102664789B (zh) * 2012-04-09 2016-08-17 北京百度网讯科技有限公司 一种大规模数据的处理方法和***
CN104699592B (zh) * 2012-09-25 2018-09-04 北京奇虎科技有限公司 一种日志数据传输的方法和***
CN104537120A (zh) * 2015-01-26 2015-04-22 浪潮通信信息***有限公司 一种基于用户行为分析的dns数据挖掘***及方法
US10951489B2 (en) * 2015-12-29 2021-03-16 Digital River, Inc. SLA compliance determination with real user monitoring
CN105786683B (zh) * 2016-03-03 2019-02-12 四川长虹电器股份有限公司 自定制的日志收集***和方法

Also Published As

Publication number Publication date
CN108989101A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
CN108989101B (zh) 一种日志输出***、方法及电子设备
WO2019227689A1 (zh) 数据监控方法、装置、计算机设备及存储介质
CN107943841A (zh) 流式数据处理方法、***和计算机可读存储介质
CN110225104B (zh) 数据获取方法、装置及终端设备
CN105592123B (zh) 存储管理***、管理装置及方法
CN105607986A (zh) 用户行为日志数据采集方法及装置
CN106027595A (zh) 用于cdn节点的访问日志处理方法及***
JP2015508543A (ja) 店舗訪問データを処理すること
CN107181821A (zh) 一种基于sse规范的消息推送方法及装置
US20230017300A1 (en) Query method and device suitable for olap query engine
CN110928934A (zh) 一种用于业务分析的数据处理方法和装置
US11038803B2 (en) Correlating network level and application level traffic
CN107977418A (zh) 一种截屏图片管理方法、截屏图片管理装置及移动终端
US8914517B1 (en) Method and system for predictive load balancing
CN111198885A (zh) 数据的处理方法及装置
EP3481099B1 (en) Load balancing method and associated device
CN109981697B (zh) 一种文件转存方法、***、服务器及存储介质
CN114285786B (zh) 一种网络链路库的构建方法及装置
KR20150139546A (ko) 탈착가능형 저장 디바이스 아이덴티티 및 구성 정보
US20220303360A1 (en) Reduction of data transmissions based on end-user context
CN110311868B (zh) 业务处理方法、装置、成员设备及机器可读存储介质
KR102093764B1 (ko) 서버 및 스토리지 관리 서버
CN111124365A (zh) Rpa需求收集的方法和装置
CN106664223A (zh) 一种共享接入主机数目检测方法及检测装置
CN112527787B (zh) 一种安全可靠的多方数据去重***、方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant