CN106571960A - 日志收集管理***及方法 - Google Patents

日志收集管理***及方法 Download PDF

Info

Publication number
CN106571960A
CN106571960A CN201610953544.9A CN201610953544A CN106571960A CN 106571960 A CN106571960 A CN 106571960A CN 201610953544 A CN201610953544 A CN 201610953544A CN 106571960 A CN106571960 A CN 106571960A
Authority
CN
China
Prior art keywords
layer subsystem
log
daily record
data
log collection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610953544.9A
Other languages
English (en)
Other versions
CN106571960B (zh
Inventor
李玉福
宋春喜
易有涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING NONGXIN INTERNET DATA TECHNOLOGY Co.,Ltd.
BEIJING NONGXIN INTERNET TECHNOLOGY GROUP Co.,Ltd.
Original Assignee
Beijing Nongxin Interconnection Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Nongxin Interconnection Technology Co Ltd filed Critical Beijing Nongxin Interconnection Technology Co Ltd
Priority to CN201610953544.9A priority Critical patent/CN106571960B/zh
Publication of CN106571960A publication Critical patent/CN106571960A/zh
Application granted granted Critical
Publication of CN106571960B publication Critical patent/CN106571960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明提供了一种日志收集管理***及方法，所述***包括应用层子***、数据传输层子***、数据处理层子***和数据存储层子***，其中，应用层子***包括一个以上业务***，用于收集单机的日志，将收集的日志传输给数据传输层子***；数据传输层子***由分布式发布订阅消息***组成，用于接收应用层子***发送的日志；数据处理层子***由分布式计算***组成，从数据传输层子***订阅日志，并进行分析；数据存储层子***将原始日志存放至分布式文件***，将数据处理层子***的分析结果存放至分布式数据库***和关系型数据库单元。采用本发明的日志收集管理***及方法，能够满足日志收集管理业务对业务***要求低，通用性好的要求。

Description

日志收集管理***及方法
技术领域
本发明涉及分布式在线服务技术，特别是涉及到分布式日志收集管理技术领域。
背景技术
互联网应用的各种服务通常都是用复杂大规模分布式集群来实现的。而这些互联网应用又构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器，横跨多个不同的数据中心。因此，就需要一些可以帮助理解***行为、用于分析性能问题的工具。
对于分布式在线服务，其由数以百计的分布式服务构成。每一个请求路由过来后，会经过多个业务***并留下足迹，并产生对各种缓存或数据库的访问，但是这些分散的数据对于问题排查，或是流程优化都帮助有限。一个请求需要经过***中多个模块，上百台机器的协作完成单次请求，典型场景，单靠人力无法掌握整个请求中各个阶段的性能开销，更无法快速的定位***中性能瓶颈。对于这么一个跨进程/跨线程的场景，汇总收集并分析海量日志就显得尤为重要。要能做到追踪每个请求的完整调用链路，收集调用链路上每个服务的性能数据，计算性能数据和比对性能指标，甚至在更远的未来能够再反馈到服务治理中，那么这就是分布式跟踪的目标了。
这样的***需要满足的要求包括1.低侵入性——作为非业务组件，应当尽可能少侵入或者无侵入其他业务***，对于使用方透明，减少开发人员的负担；2.灵活的应用策略——可以(最好随时)决定所收集数据的范围和粒度；3.时效性——从数据的收集和产生，到数据计算和处理，再到最终展现，都要求尽可能快；4.决策支持——这些数据是否能在决策支持层面发挥作用，特别是从研发运维一体化(DevOps)的角度；5.满足可视化的要求。
目前的日志收集管理***，还不具有这样的性能，例如有的日志收集管理***对原有的业务***变更很大，有的日志收集管理***时效性差，数据产生慢等。
发明内容
本发明的目的在于针对现有技术中日志收集管理***对原有的业务***变更很大，有的日志收集管理***时效性差，数据产生慢的问题，提供一种日志收集管理***，能够满足对业务***要求低，通用性好的要求。
为解决上述技术问题，本发明采用了如下技术方案：
一种日志收集管理***，包括应用层子***、数据传输层子***、数据处理层子***和数据存储层子***，其中，
应用层子***包括一个以上业务***，用于收集单机的日志，将收集的日志传输给数据传输层子***；
数据传输层子***由分布式发布订阅消息***组成，用于接收应用层子***发送的日志；
数据处理层子***由分布式计算***组成，从数据传输层子***订阅日志，并进行分析；
数据存储层子***将原始日志存放至分布式文件***，将数据处理层子***的分析结果存放至分布式数据库***和关系型数据库单元。
其中，所述应用层子***采用数据交换格式组织收集的日志，统一不同业务***获得的日志格式。
另外，所述应用层子***在所述一个以上业务***设置埋点，获得包括跟踪识别号、远程过程调用识别号、调用开始时间、调用类型、协议类型、调用方网络地址和端口、服务名信息、调用耗时、调用结果、异常信息的日志内容。
所述数据传输层子***采用离线与实时存储结合的方式，获取应用层子***发布的日志。
另外，所述应用层子***将所有日志均衡发到数据传输层子***的所有子节点上，以实现负载均衡，当数据传输层子***的单个子节点失效时，其他子节点补充发布订阅消息功能。
特别地，当发生业务***异常时，所述应用层子***收集报警日志，所述报警日志包括异常业务***标示号、报警标示、通知方式字段、通知对象和报警通知内容。
所述数据处理层子***包括报警监测单元，当所述应用层子***收集到报警日志后，如果所述数据处理层子***的报警监测单元监测到报警日志重复发送，则按照预定间隔发送报警日志，发送成功后则存储所述报警日志并不再发送报警日志，直至报警日志超出预设有效时间。
一种日志收集管理方法，所述方法包括步骤：
A、收集单机的日志并发布收集的日志；
B、利用分布式发布订阅消息***接收日志；
C、利用分布式计算***订阅日志，并进行分析；
D、将原始日志存放至分布式文件***，将数据处理层子***的分析结果存放至分布式数据库***和关系型数据库单元。
特别地，步骤A中收集单机的日志的步骤包括：在业务***设置埋点，获得包括跟踪识别号、远程过程调用识别号、调用开始时间、调用类型、协议类型、调用方网络地址和端口、服务名信息、调用耗时、调用结果、异常信息的日志内容。
发布收集的日志及利用分布式发布订阅消息***接收日志的步骤包括：应用层子***将所有日志均衡发到数据传输层子***的所有子节点上，以实现负载均衡，当数据传输层子***的单个子节点失效时，其他子节点补充发布订阅消息功能。
本发明的日志收集管理***和方法采用数据交换格式组织收集的日志，统一不同业务***获得的日志格式，因此对业务***的要求低，通用性较好，不同业务***之间的日志文件能够兼容。
本发明的日志收集管理***和方法对报警日志采用防雪崩方式，因此提供了***的稳定性，防止了业务***的崩溃。
附图说明
图1是根据本发明具体实施方式的日志收集管理***的结构示意图。
图2是根据本发明具体实施方式的日志收集管理方法的流程示意图。
具体实施方式
下面结合附图，对本发明作详细说明。
以下公开详细的示范实施例。然而，此处公开的具体结构和功能细节仅仅是出于描述示范实施例的目的。
然而，应该理解，本发明不局限于公开的具体示范实施例，而是覆盖落入本公开范围内的所有修改、等同物和替换物。在对全部附图的描述中，相同的附图标记表示相同的元件。
参阅附图，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的位置限定用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
同时应该理解，如在此所用的术语“和/或”包括一个或多个相关的列出项的任意和所有组合。另外应该理解，当部件或单元被称为“连接”或“耦接”到另一部件或单元时，它可以直接连接或耦接到其他部件或单元，或者也可以存在中间部件或单元。此外，用来描述部件或单元之间关系的其他词语应该按照相同的方式理解(例如，“之间”对“直接之间”、“相邻”对“直接相邻”等)。
在介绍本发明具体实施方式之前，首先简要说明一些相关技术。
埋点即***在当前节点的上下文信息，可以分为客户端埋点、服务端埋点，以及客户端和服务端双向型埋点。
Kafka是一种高吞吐量的分布式发布订阅消息***，它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析***，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。
Hadoop是一个由Apache基金会所开发的分布式***基础架构。Hadoop由许多元素构成。其最底部是Hadoop Distributed File System(HDFS)，它存储Hadoop集群中所有存储节点上的文件。
Strom是分布式的、容错的实时计算***。Storm与其他大数据解决方案的不同之处在于它的处理方式。Hadoop在本质上是一个批处理***。数据被引入Hadoop文件***(HDFS)并分发到各个节点进行处理。当处理完成时，结果数据返回到HDFS供始发者使用。Storm支持创建拓扑结构来转换没有终点的数据流，不同于Hadoop作业，这些转换从不停止，它们会持续处理到达的数据。
Storm集群由一个主节点和多个工作节点组成。主节点运行了一个名为“Nimbus”的守护进程，用于分配代码、布置任务及故障检测。每个工作节点都运行了一个名为“Supervisor”的守护进程，用于监听工作，开始并终止工作进程。Nimbus和Supervisor都能快速失败，而且是无状态的，这样一来它们就变得十分健壮，两者的协调工作是由ApacheZooKeeper来完成的。
HBase是一个分布式的、面向列的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储***”。就像Bigtable利用了Google文件***(File System)所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。
Log4j是Apache的一个开源项目，通过使用Log4j，我们可以控制日志信息输送的目的地是控制台、文件、GUI组件，甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等；我们也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，我们能够更加细致地控制日志的生成过程。最方便的是，这些可以通过一个配置文件来灵活地进行配置，而不需要修改应用的代码。
Log4j主要有三个组件，分别是Logger、Appender和Layout。其中Logger负责供客户端代码调用，执行debug(Object msg)、info(Object msg)、warn(Object msg)、error(Object msg)等方法。而Appender负责日志的输出，Log4j已经实现了多种不同目标的输出方式，可以向文件输出日志、向控制台输出日志、向Socket输出日志等。Layout则负责日志信息的格式化。
JSON(JavaScript Object Notation)是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯(包括C、C++、C#、Java、JavaScript、Perl、Python等)。这些特性使JSON成为理想的数据交换语言。
如图1所示，本发明具体实施方式中提供了一种日志收集管理***及方法，所述***包括应用层子***、数据传输层子***、数据处理层子***和数据存储层子***，其中，应用层子***包括一个以上业务***，用于收集单机的日志，将收集的日志传输给数据传输层子***；数据传输层子***由分布式发布订阅消息***组成，用于接收应用层子***发送的日志；数据处理层子***由分布式计算***组成，从数据传输层子***订阅日志，并进行分析；数据存储层子***将原始日志存放至分布式文件***，将数据处理层子***的分析结果存放至分布式数据库***和关系型数据库单元。
特别地，应用层子***的每个业务***使用Log4j配置Appender，负责进行对单机的日志收集工作。
具体而言，所述应用层子***在所述一个以上业务***设置埋点，获得包括跟踪识别号TraceId、远程过程调用识别号RPCId、调用开始时间、调用类型、协议类型、调用方网络地址和端口、服务名信息、调用耗时、调用结果、异常信息的日志内容。另外，日志还可以预留可扩展字段，为下一步扩展做准备。
为了对日志进行统一处理。一个统一、规范的日志格式就是非常重要的，而现有技术中常常使用的Pattern Layout，主要用于人眼查看，而对于***的分析和处理很不方便，特别是字段的切分非常的不方便，如下所示：
可以看出，这种日志的组织方式不利于统一管理，也不利于计算机进行自动分析。为此，所述应用层子***采用数据交换格式组织收集的日志，统一不同业务***获得的日志格式。例如在一个具体实施方式中，采用JSON格式来统一组织需要的日志格式。
因此，本发明的日志收集管理***和方法采用数据交换格式组织收集的日志，统一不同业务***获得的日志格式，因此对业务***的要求低，通用性较好，不同业务***之间的日志文件能够兼容。
另外，所述数据传输层子***采用离线与实时存储结合的方式，获取应用层子***发布的日志。例如在一个具体实施方式中，直接采用基于Log4j的MQ组件将日志推送给分布式发布订阅消息***。
对于数据传输层子***而言，所述分布式发布订阅消息***可以是Kafka，利用Kafka接受应用层子***发布的日志，并将日志发送给订阅日志的数据处理层子***。
而所述数据处理层子***的分布式计算***可以是Storm集群，Storm集群由一个主节点和多个工作节点组成。主节点运行了一个名为“Nimbus”的守护进程，用于分配代码、布置任务及故障检测。
在一个具体实施方式中，所述应用层子***将所有日志均衡发到数据传输层子***的所有子节点上，以实现负载均衡，当数据传输层子***的单个子节点失效时，其他子节点补充发布订阅消息功能，这种技术方案也被称为failover策略，其目的是为了防止Kafka的单点故障问题，将所有的日志均衡地发到所有的Kafka节点上，达到负载均衡的目标，同时并处理单个Kafka失效的问题。
另外，当发生业务***异常时，所述应用层子***收集报警日志，所述报警日志包括异常业务***标示号、报警标示、通知方式字段、通知对象和报警通知内容。
例如报警日志的各字段为：
sysid:***标示号
alarm:[true\false]是否报警的标示，默认false
msgtype:[sms\email]通知方式字段，
sysidto:发送需要通知的通知对象，
content:报警通知内容
如果某些条件下一些***连续alarm日志，这时要来者不拒发消息就可能导致消息***崩溃，甚至一系列其它业务***雪崩。为了克服这一问题，在本发明具体实施方式中，所述数据处理层子***包括报警监测单元，当所述应用层子***收集到报警日志后，如果所述数据处理层子***的报警监测单元监测到报警日志重复发送，则按照预定间隔发送报警日志，发送成功后存储所述报警日志并不再发送报警日志，直至存储的报警日志超出预设有效时间。
通过伪代码的方式表示为：
可见，本发明的日志收集管理***和方法对报警日志采用防雪崩方式，因此提供了***的稳定性，防止了业务***的崩溃。
与本发明的日志收集管理***相对应，本发明具体实施方式中还包含了一种日志收集管理方法，如图2所示，所述方法包括步骤：
A、收集单机的日志，发布收集的日志；
B、利用分布式发布订阅消息***接收日志；
C、利用分布式计算***订阅日志，并进行分析；
D、将原始日志存放至分布式文件***，将数据处理层子***的分析结果存放至分布式数据库***和关系型数据库单元。
特别地，在步骤A中收集单机的日志的步骤包括：在业务***设置埋点，获得包括跟踪识别号、远程过程调用识别号、调用开始时间、调用类型、协议类型、调用方网络地址和端口、服务名信息、调用耗时、调用结果、异常信息的日志内容。
另外，发布收集的日志及利用分布式发布订阅消息***接收日志的步骤包括：应用层子***将所有日志均衡发到数据传输层子***的所有子节点上，以实现负载均衡，当数据传输层子***的单个子节点失效时，其他子节点补充发布订阅消息功能。
需要说明的是，上述实施方式仅为本发明较佳的实施方案，不能将其理解为对本发明保护范围的限制，在未脱离本发明构思前提下，对本发明所做的任何微小变化与修饰均属于本发明的保护范围。

Claims (10)

1.一种日志收集管理***，包括应用层子***、数据传输层子***、数据处理层子***和数据存储层子***，其中，
应用层子***包括一个以上业务***，用于收集单机的日志，将收集的日志传输给数据传输层子***；
数据传输层子***由分布式发布订阅消息***组成，用于接收应用层子***传输的日志；
数据处理层子***由分布式计算***组成，用于从数据传输层子***订阅日志，并进行分析；
所述数据存储层子***将原始日志存放至分布式文件***，将数据处理层子***的分析结果存放至分布式数据库***和关系型数据库单元。
2.根据权利要求1中所述的日志收集管理***，其特征在于，所述应用层子***采用数据交换格式组织收集日志，统一不同业务***获得的日志格式。
3.根据权利要求1中所述的日志收集管理***，其特征在于，所述应用层子***在所述一个以上业务***设置埋点，获得包括跟踪识别号、远程过程调用识别号、调用开始时间、调用类型、协议类型、调用方网络地址和端口、服务名信息、调用耗时、调用结果、异常信息的日志内容。
4.根据权利要求1中所述的日志收集管理***，其特征在于，所述数据传输层子***采用离线与实时存储结合的方式，获取应用层子***传输来的日志。
5.根据权利要求1中所述的日志收集管理***，其特征在于，所述应用层子***将所有日志均衡传输到数据传输层子***的所有子节点上，以实现负载均衡，当数据传输层子***的单个子节点失效时，其他子节点补充发布订阅消息功能。
6.根据权利要求1中所述的日志收集管理***，其特征在于，发生业务***异常时，所述应用层子***收集报警日志，所述报警日志包括异常业务***标示号、报警标示、通知方式字段、通知对象和报警通知内容。
7.根据权利要求6中所述的日志收集管理***，其特征在于，所述数据处理层子***包括报警监测单元，当所述应用层子***收集到报警日志后，如果所述数据处理层子***的报警监测单元监测到报警日志重复发送，则按照预定间隔发送报警日志，发送成功后则存储所述报警日志并不再发送报警日志，直至报警日志超出预设有效时间。
8.一种日志收集管理方法，所述方法包括步骤：
A、收集单机的日志并发布收集的日志；
B、利用分布式发布订阅消息***接收日志；
C、利用分布式计算***订阅日志，并进行分析；
D、将原始日志存放至分布式文件***，将数据处理层子***的分析结果存放至分布式数据库***和关系型数据库单元。
9.根据权利要求8中所述的日志收集管理方法，其特征在于，步骤A中收集单机的日志的步骤包括：在业务***设置埋点，获得包括跟踪识别号、远程过程调用识别号、调用开始时间、调用类型、协议类型、调用方网络地址和端口、服务名信息、调用耗时、调用结果、异常信息的日志内容。
10.根据权利要求8中所述的日志收集管理方法，其特征在于，发布收集的日志及利用分布式发布订阅消息***接收日志的步骤包括：应用层子***将所有日志均衡发到数据传输层子***的所有子节点上，以实现负载均衡，当数据传输层子***的单个子节点失效时，其他子节点补充发布订阅消息功能。
CN201610953544.9A 2016-11-03 2016-11-03 日志收集管理***及方法 Active CN106571960B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610953544.9A CN106571960B (zh) 2016-11-03 2016-11-03 日志收集管理***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610953544.9A CN106571960B (zh) 2016-11-03 2016-11-03 日志收集管理***及方法

Publications (2)

Publication Number Publication Date
CN106571960A true CN106571960A (zh) 2017-04-19
CN106571960B CN106571960B (zh) 2020-05-22

Family

ID=58535191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610953544.9A Active CN106571960B (zh) 2016-11-03 2016-11-03 日志收集管理***及方法

Country Status (1)

Country Link
CN (1) CN106571960B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092683A (zh) * 2017-04-21 2017-08-25 北京奇艺世纪科技有限公司 一种日志处理***和方法
CN107491382A (zh) * 2017-07-21 2017-12-19 北京京东尚科信息技术有限公司 日志输出方法和装置
CN107623862A (zh) * 2017-09-21 2018-01-23 广州华多网络科技有限公司 多媒体信息推送控制方法、装置及服务器
CN108920342A (zh) * 2018-05-03 2018-11-30 北京奇虎科技有限公司 一种实现应用的数据采集的方法和装置
CN109344137A (zh) * 2018-10-09 2019-02-15 广东网安科技有限公司 一种日志存储方法及***
CN109525422A (zh) * 2018-10-31 2019-03-26 武汉雨滴科技有限公司 一种日志数据监控管理方法
CN110020161A (zh) * 2017-12-13 2019-07-16 阿里巴巴集团控股有限公司 数据处理方法、日志处理方法和终端
CN110717132A (zh) * 2019-09-05 2020-01-21 深圳平安通信科技有限公司 全链路监控***数据收集方法、推送方法及相关设备
CN110764974A (zh) * 2019-12-25 2020-02-07 武汉慧联无限科技有限公司 一种监控方法、装置及存储介质
CN110780857A (zh) * 2019-10-23 2020-02-11 杭州涂鸦信息技术有限公司 一种统一日志组件
CN110908956A (zh) * 2019-11-19 2020-03-24 许继集团有限公司 一种保信主站***及其故障信息归档方法
CN112506743A (zh) * 2020-12-09 2021-03-16 天津狮拓信息技术有限公司 一种日志监控方法、装置和服务器
CN115086296A (zh) * 2022-05-27 2022-09-20 阿里巴巴（中国）有限公司 一种日志传输***、日志传输方法及相关装置
CN115514609A (zh) * 2022-08-31 2022-12-23 北京控制工程研究所 一种Socket链路受限的发布订阅***及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101106478A (zh) * 2007-08-06 2008-01-16 华为技术有限公司 告警处理方法及其设备
CN104965935A (zh) * 2015-08-06 2015-10-07 携程计算机技术（上海）有限公司 网络监控日志的更新方法
CN104993957A (zh) * 2015-06-29 2015-10-21 浪潮软件股份有限公司 一种为使用Log4j的分布式应用提供云端日志服务的方法
CN105224445A (zh) * 2015-10-28 2016-01-06 北京汇商融通信息技术有限公司 分布式跟踪***
CN105338086A (zh) * 2015-11-04 2016-02-17 浪潮软件股份有限公司 一种分布式的消息转发方法
CN105608203A (zh) * 2015-12-24 2016-05-25 Tcl集团股份有限公司 一种基于Hadoop平台的物联网日志处理方法和装置
CN105630650A (zh) * 2015-12-25 2016-06-01 北京奇虎科技有限公司 一种日志处理方法、装置及***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101106478A (zh) * 2007-08-06 2008-01-16 华为技术有限公司 告警处理方法及其设备
CN104993957A (zh) * 2015-06-29 2015-10-21 浪潮软件股份有限公司 一种为使用Log4j的分布式应用提供云端日志服务的方法
CN104965935A (zh) * 2015-08-06 2015-10-07 携程计算机技术（上海）有限公司 网络监控日志的更新方法
CN105224445A (zh) * 2015-10-28 2016-01-06 北京汇商融通信息技术有限公司 分布式跟踪***
CN105338086A (zh) * 2015-11-04 2016-02-17 浪潮软件股份有限公司 一种分布式的消息转发方法
CN105608203A (zh) * 2015-12-24 2016-05-25 Tcl集团股份有限公司 一种基于Hadoop平台的物联网日志处理方法和装置
CN105630650A (zh) * 2015-12-25 2016-06-01 北京奇虎科技有限公司 一种日志处理方法、装置及***

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092683A (zh) * 2017-04-21 2017-08-25 北京奇艺世纪科技有限公司 一种日志处理***和方法
CN107491382A (zh) * 2017-07-21 2017-12-19 北京京东尚科信息技术有限公司 日志输出方法和装置
CN107491382B (zh) * 2017-07-21 2020-11-20 北京京东尚科信息技术有限公司 日志输出方法和装置
CN107623862A (zh) * 2017-09-21 2018-01-23 广州华多网络科技有限公司 多媒体信息推送控制方法、装置及服务器
CN110020161A (zh) * 2017-12-13 2019-07-16 阿里巴巴集团控股有限公司 数据处理方法、日志处理方法和终端
CN108920342B (zh) * 2018-05-03 2022-06-10 北京奇虎科技有限公司 一种实现应用的数据采集的方法和装置
CN108920342A (zh) * 2018-05-03 2018-11-30 北京奇虎科技有限公司 一种实现应用的数据采集的方法和装置
CN109344137A (zh) * 2018-10-09 2019-02-15 广东网安科技有限公司 一种日志存储方法及***
CN109525422A (zh) * 2018-10-31 2019-03-26 武汉雨滴科技有限公司 一种日志数据监控管理方法
CN110717132A (zh) * 2019-09-05 2020-01-21 深圳平安通信科技有限公司 全链路监控***数据收集方法、推送方法及相关设备
CN110780857B (zh) * 2019-10-23 2024-01-30 杭州涂鸦信息技术有限公司 一种统一日志组件
CN110780857A (zh) * 2019-10-23 2020-02-11 杭州涂鸦信息技术有限公司 一种统一日志组件
CN110908956A (zh) * 2019-11-19 2020-03-24 许继集团有限公司 一种保信主站***及其故障信息归档方法
CN110908956B (zh) * 2019-11-19 2023-06-02 许继集团有限公司 一种保信主站***及其故障信息归档方法
CN110764974A (zh) * 2019-12-25 2020-02-07 武汉慧联无限科技有限公司 一种监控方法、装置及存储介质
CN112506743A (zh) * 2020-12-09 2021-03-16 天津狮拓信息技术有限公司 一种日志监控方法、装置和服务器
CN115086296A (zh) * 2022-05-27 2022-09-20 阿里巴巴（中国）有限公司 一种日志传输***、日志传输方法及相关装置
CN115086296B (zh) * 2022-05-27 2024-04-05 阿里巴巴（中国）有限公司 一种日志传输***、日志传输方法及相关装置
CN115514609A (zh) * 2022-08-31 2022-12-23 北京控制工程研究所 一种Socket链路受限的发布订阅***及方法
CN115514609B (zh) * 2022-08-31 2024-05-03 北京控制工程研究所 一种Socket链路受限的发布订阅***及方法

Also Published As

Publication number Publication date
CN106571960B (zh) 2020-05-22

Similar Documents

Publication Publication Date Title
CN106571960A (zh) 日志收集管理***及方法
US10747592B2 (en) Router management by an event stream processing cluster manager
US10178067B1 (en) Data center portal applications monitoring
CN111435344B (zh) 一种基于大数据的钻井提速影响因素分析模型
US10423469B2 (en) Router management by an event stream processing cluster manager
EP3796167B1 (en) Router management by an event stream processing cluster manager
CN103458033A (zh) 事件驱动、面向服务的物联网服务提供***及其工作方法
CN102684934A (zh) 监控web应用程序性能的方法、***和web服务器
CN109977125A (zh) 一种基于网络安全的大数据安全分析平台***
CN104780221A (zh) 中小企业知识产权综合服务平台***
CN101911071A (zh) ***交网络响应跟踪
CN110297990A (zh) 众包营销微博与水军的联合检测方法及***
CN103412883B (zh) 基于p2p技术的语义智能信息发布订阅方法
CN108337100A (zh) 一种云平台监测的方法和装置
CN114357280A (zh) 一种信息推送方法、装置、电子设备及计算机可读介质
Martinez-Mosquera et al. Development and evaluation of a big data framework for performance management in mobile networks
Maske et al. A real time processing and streaming of wireless network data using storm
Patel et al. Real time data processing frameworks
Chen et al. Related technologies
Tisbeni et al. A Big Data Platform for heterogeneous data collection and analysis in large-scale data centres
CN114860851A (zh) 数据处理方法、装置、设备及存储介质
Dworzak et al. Federated autonomous orchestration in fog computing systems
Cuiyuan A method of public opinion analysis in big data environments
Dawod et al. A Self-managed Marketplace for Sharing IoT Sensors
Rathore et al. Spatio-temporal summarized visualization of smartx multi-view visibility in cloud-native edge boxes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 100080, No. 1601, Zhongguancun Avenue, 27, Beijing, Haidian District, No. 16

Patentee after: BEIJING NONGXIN INTERNET TECHNOLOGY GROUP Co.,Ltd.

Address before: 100080, No. 1601, Zhongguancun building, No. 27 Zhongguancun street, Beijing, Haidian District, No. 16

Patentee before: BEIJING NONGXIN INTERNET TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address
TR01 Transfer of patent right

Effective date of registration: 20201026

Address after: 100080, No. 1601, Zhongguancun Avenue, 27, Beijing, Haidian District, No. 16

Patentee after: BEIJING NONGXIN INTERNET TECHNOLOGY GROUP Co.,Ltd.

Patentee after: BEIJING NONGXIN INTERNET DATA TECHNOLOGY Co.,Ltd.

Address before: 100080, No. 1601, Zhongguancun Avenue, 27, Beijing, Haidian District, No. 16

Patentee before: BEIJING NONGXIN INTERNET TECHNOLOGY GROUP Co.,Ltd.

TR01 Transfer of patent right